adaptateur LoRA
Pour commencer
Adapter un grand modèle coûte cher si l’on modifie tous ses poids. LoRA le laisse tel quel et y ajoute une petite pièce sur mesure, comme une lentille posée sur un objectif.
Les faits
Pendant un fine-tuning, LoRA gèle les poids de base et entraîne, dans certaines couches, deux petites matrices dont le produit forme une correction. Elles ne représentent souvent qu’une petite fraction des paramètres. Le fichier obtenu est léger, mais il ne fonctionne qu’avec le modèle de base pour lequel il a été entraîné. On peut aussi le fusionner dans ce modèle.
À retenir
Un adaptateur LoRA est une correction apprise, pas un modèle complet. Sans sa base, il ne sert à rien.
Les histoires qui en parlent
Le carnet s’ouvre bientôt.Les premières histoires arrivent.