← Le glossaire

préentraînement

Pour commencer

Avant de savoir suivre des consignes, un modèle de langage doit d’abord apprendre la langue elle-même. C’est la première phase, et la plus longue : le préentraînement.

Les faits

Pendant le préentraînement, le modèle lit d’immenses quantités de texte et apprend souvent à prédire le token suivant. Les bonnes réponses viennent du texte lui-même : personne n’a besoin de les écrire à la main. Cette phase construit les capacités de base et coûte très cher en calcul. Le modèle obtenu sert ensuite de point de départ au fine-tuning.

À retenir

Le préentraînement apprend à continuer un texte, pas encore à suivre des consignes. Ça vient ensuite, avec l’adaptation.

Les histoires qui en parlent

Le carnet s’ouvre bientôt.Les premières histoires arrivent.