LoRA (Low-Rank Adaptation)
Technique
Définition
Technique efficace de fine-tuning permettant d’adapter un grand modèle en ne modifiant qu’une fraction des paramètres. LoRA réduit considérablement les coûts de mémoire et de calcul du fine-tuning, rendant l’adaptation de modèles accessible aux petites équipes.
En anglais
LoRA (Low-Rank Adaptation) — Low-Rank Adaptation — a parameter-efficient fine-tuning technique that adds trainable low-rank matrices to frozen model weights, significantly reducing memory and computation costs for fine-tuning.
Termes associés
Apprentissage par renforcement
Apprentissage profond
Attention (mécanisme d’)
Benchmark
Classification
Clustering
Explorer le glossaire complet
Découvrez tous les termes de l’intelligence artificielle dans notre glossaire.