Glossaire
tous les mots expliqués dans le carnet
Chaque mot de cette liste a sa petite définition, et mène aux histoires qui l’expliquent. Le glossaire grandit au fil du carnet.
-
adaptateur LoRA
Un petit ensemble de paramètres ajouté à un modèle pour l’adapter par apprentissage. Les poids de base restent généralement gelés. Un adaptateur distribué seul…
-
apprentissage
Un processus qui ajuste les paramètres d’un modèle à partir d’exemples et d’un objectif mesurable. Ces ajustements changent la façon dont le modèle calcule…
-
architecture
Le plan de calcul d’un modèle : ses couches, leurs connexions et leurs opérations. Deux modèles peuvent partager ce plan tout en ayant des…
-
cache KV
Une mémoire de travail : pendant qu’il écrit, le modèle garde des calculs déjà faits sur les mots précédents (des clés et des valeurs)…
-
calibration
Dans certaines quantifications, un passage sur des données représentatives pour choisir comment réduire la précision. Cette étape ne constitue pas, à elle seule, un…
-
checkpoint
Une sauvegarde de l’état d’un modèle à un moment donné. Elle peut se limiter aux poids. Pour reprendre la même exécution d’entraînement, il faut…
-
conversion
Une transformation de la représentation d’un modèle pour un autre outil ou moteur, par exemple un export en ONNX. Elle ne lui enseigne pas…
-
couche
Une étape de calcul. Un modèle en empile des dizaines, et chaque token les traverse une par une, comme les étages d’un immeuble.
-
distribution de modèle
L’ensemble de fichiers préparés pour utiliser un modèle dans un environnement : poids, configuration, tokenizer et parfois graphe de calcul. Il faut aussi un…
-
expert
Dans un modèle à mélange d’experts, un petit bloc spécialisé dans une partie du travail. Il ne travaille que lorsque le routeur le choisit.
-
fine-tuning
Un apprentissage supplémentaire qui part d’un modèle déjà entraîné pour l’adapter. Il peut modifier beaucoup de paramètres ou seulement une petite partie, par exemple…
-
graphe de calcul
Une description des opérations d’un calcul et des données qui passent entre elles. ONNX peut enregistrer ce graphe pour qu’un moteur compatible exécute le…
-
inférence
Le moment où le modèle répond : il utilise ce qu’il a appris, sans rien modifier en lui-même.
-
poids
Les coefficients numériques qui règlent les calculs d’un modèle. L’apprentissage en ajuste certains ; une sauvegarde les conserve. Dans un modèle MoE, ils comprennent…
-
préentraînement
Une première grande phase d’apprentissage qui construit les capacités de base d’un modèle. Pour un modèle de langage, elle utilise souvent de nombreux textes…
-
quantification
Une manière de représenter certaines valeurs d’un modèle avec moins de précision, souvent pour économiser de la mémoire. Le modèle devient plus léger, avec…
-
rétropropagation
Pendant l’apprentissage, le chemin du retour : on mesure l’erreur à la sortie et on la fait remonter couche par couche pour savoir comment…
-
routeur
Dans une couche MoE, le composant qui choisit quels experts traiteront chaque token. Ses paramètres appris sont sauvegardés avec les poids du modèle ;…
-
token
Un petit morceau de texte : un mot, un bout de mot ou un signe de ponctuation. Une IA ne lit pas des phrases…