fine-tuning
Pour commencer
Plutôt que d’entraîner un modèle depuis zéro, on part d’un modèle qui sait déjà beaucoup de choses et on l’ajuste pour une tâche, un domaine ou une façon de répondre.
Les faits
Le fine-tuning est un nouvel apprentissage qui démarre de poids déjà appris. Il peut modifier tous les paramètres, ou seulement de petites pièces ajoutées comme un adaptateur LoRA. On ne le confond pas avec la reprise d’un entraînement interrompu, qui restaure aussi l’état de l’optimiseur depuis un checkpoint. Le résultat se mesure sur des exemples non utilisés pour l’entraînement.
À retenir
Fine-tuning et reprise partent tous deux de poids existants : même mécanique, mais un but différent et un état restauré différent.
Les histoires qui en parlent
Le carnet s’ouvre bientôt.Les premières histoires arrivent.