Le Bon LMM

Carnet de code et de réflexions autour de l’IA générative à la française

CodeCorpusContributionsConversationsLexiqueFaqRecherche

Communauté

Pour échanger, demandez l’accès au :

Infolettre

Nous avons le projet d’une infolettre, seriez-vous intéressé ?

Misc

TwitterLinkedIn

Contact

Mentions légales

Est-ce que BERT est un LLM ?

Oui, BERT est en effet un Modèle de Langage de Grande Échelle (MLGE). BERT (Bidirectional Encoder Representations from Transformers), développé par Google, a été l'un des premiers modèles d'apprentissage de la langue. Il est conçu pour comprendre le contexte des mots dans les deux directions, de gauche à droite et de droite à gauche, afin d'améliorer la compréhension du sens.

BERT a été entraîné sur une énorme quantité de données textuelles et peut être utilisé pour effectuer une variété de tâches de traitement du langage naturel, telles que la classification de texte, la traduction automatique et bien d'autres. En tant que modèle de langue pré-entraîné, BERT peut également être affiné pour des tâches spécifiques à l'aide de jeux de données appropriés.

Ainsi, BERT est considéré comme un MLGE car il s'agit de l'un des modèles de langage à grande échelle utilisés pour comprendre et générer du texte basé sur des modèles statistiques appris à partir de données d'entraînement massives.

Autres questions

Pour optimiser votre expérience, nous collectons des données de navigation en utilisant les cookies (lire les mentions légales).
Êtes-vous d'accord ?
/