architecture
Pour commencer
Deux modèles peuvent avoir la même forme et pourtant répondre très différemment. La forme, c’est l’architecture : le plan du bâtiment, pas ce qu’on a mis dedans.
Les faits
L’architecture décrit les couches d’un modèle, leur ordre, leurs connexions et leurs opérations : attention, blocs de calcul, normalisations. Elle fixe aussi des choix comme le nombre de couches ou, dans un MoE, le nombre d’experts. On la trouve souvent dans un fichier de configuration. Les valeurs apprises, elles, sont dans les poids.
À retenir
L’architecture est le plan, les poids sont ce que l’apprentissage a réglé. Il faut les deux pour obtenir un modèle qui fonctionne.
Les histoires qui en parlent
Le carnet s’ouvre bientôt.Les premières histoires arrivent.