calibration
Pour commencer
Pour réduire la précision d’un modèle sans trop l’abîmer, il faut savoir quelles valeurs il manipule vraiment. La calibration consiste à le regarder travailler avant de choisir.
Les faits
Certaines méthodes de quantification font passer quelques données représentatives dans le modèle et observent les valeurs obtenues, par exemple la plage des activations. Elles s’en servent pour choisir les échelles ou les arrondis. Le modèle n’est pas entraîné pour une nouvelle tâche : on observe pour mieux approximer. La qualité se vérifie ensuite sur le matériel cible.
À retenir
La calibration observe, elle n’enseigne rien. Ce n’est pas un fine-tuning.
Les histoires qui en parlent
Le carnet s’ouvre bientôt.Les premières histoires arrivent.