préentraînement
Pour commencer
Avant de savoir suivre des consignes, un modèle de langage doit d’abord apprendre la langue elle-même. C’est la première phase, et la plus longue : le préentraînement.
Les faits
Pendant le préentraînement, le modèle lit d’immenses quantités de texte et apprend souvent à prédire le token suivant. Les bonnes réponses viennent du texte lui-même : personne n’a besoin de les écrire à la main. Cette phase construit les capacités de base et coûte très cher en calcul. Le modèle obtenu sert ensuite de point de départ au fine-tuning.
À retenir
Le préentraînement apprend à continuer un texte, pas encore à suivre des consignes. Ça vient ensuite, avec l’adaptation.
Les histoires qui en parlent
Le carnet s’ouvre bientôt.Les premières histoires arrivent.