← Le glossaire

adaptateur LoRA

Pour commencer

Adapter un grand modèle coûte cher si l’on modifie tous ses poids. LoRA le laisse tel quel et y ajoute une petite pièce sur mesure, comme une lentille posée sur un objectif.

Les faits

Pendant un fine-tuning, LoRA gèle les poids de base et entraîne, dans certaines couches, deux petites matrices dont le produit forme une correction. Elles ne représentent souvent qu’une petite fraction des paramètres. Le fichier obtenu est léger, mais il ne fonctionne qu’avec le modèle de base pour lequel il a été entraîné. On peut aussi le fusionner dans ce modèle.

À retenir

Un adaptateur LoRA est une correction apprise, pas un modèle complet. Sans sa base, il ne sert à rien.

Les histoires qui en parlent

Le carnet s’ouvre bientôt.Les premières histoires arrivent.