Le Bon LMM

Carnet de code et de réflexions autour de l’IA générative à la française

CodeCorpusContributionsConversationsLexiqueFaqRecherche

Communauté

Pour échanger, demandez l’accès au :

Infolettre

Nous avons le projet d’une infolettre, seriez-vous intéressé ?

Misc

TwitterLinkedIn

Contact

Mentions légales

Que sont les paramètres du modèle LLM ?

Les paramètres des modèles LLM font référence aux variables internes qui sont apprises lors du processus d'entraînement. Ces paramètres permettent au modèle de capturer et de représenter la connaissance et les schémas du langage dans les données d'entraînement.

Les paramètres des modèles LLM peuvent inclure les poids des neurones dans les différentes couches du modèle, les biais associés et les facteurs d'échelle qui sont utilisés pour normaliser les données. Les valeurs de ces paramètres sont mises à jour pendant l'entraînement à l'aide d'algorithmes d'optimisation tels que la descente de gradient.

Le nombre de paramètres dans un modèle LLM détermine souvent sa taille et sa capacité à apprendre et à générer du texte. Les modèles LLM de grande taille, tels que GPT-3, peuvent avoir des centaines de millions, voire des milliards de paramètres, tandis que les modèles plus petits peuvent avoir des dizaines de millions de paramètres.

Autres questions

Pour optimiser votre expérience, nous collectons des données de navigation en utilisant les cookies (lire les mentions légales).
Êtes-vous d'accord ?
/