← Le glossaire

expert

Pour commencer

Plutôt que de faire travailler tout le modèle pour chaque token, un modèle MoE répartit le travail entre plusieurs blocs de calcul. Chacun de ces blocs est un expert.

Les faits

Dans une couche MoE, plusieurs experts sont placés côte à côte. Pour chaque token, le routeur en choisit quelques-uns : deux sur huit dans Mixtral. Tous les experts sont stockés dans les poids et doivent être disponibles en mémoire, mais seuls ceux choisis calculent. Leur spécialisation est apprise ; elle ne correspond pas forcément à un sujet qu’on saurait nommer.

À retenir

Un expert n’est pas un petit modèle spécialiste d’un sujet. C’est un bloc de calcul choisi token par token.

Les histoires qui en parlent

Le carnet s’ouvre bientôt.Les premières histoires arrivent.