routeur
Pour commencer
Dans un modèle MoE, chaque token ne passe pas par tous les experts. Comme un aiguilleur de gare, le routeur décide de la voie qu’il prend.
Les faits
Le routeur est une petite couche qui calcule un score pour chaque expert à partir de la représentation du token, puis garde les meilleurs : deux sur huit dans Mixtral. Ses coefficients sont appris pendant l’entraînement et rangés dans les poids. Ses choix, eux, sont recalculés à chaque token et ne sont pas enregistrés dans le modèle.
À retenir
Le routeur apprend une règle de choix, pas une liste de réponses. On sauvegarde la règle ; les choix se refont à chaque fois.
Les histoires qui en parlent
Le carnet s’ouvre bientôt.Les premières histoires arrivent.