Le Bon LMM

Carnet de code et de réflexions autour de l’IA générative à la française

CodeCorpusContributionsConversationsLexiqueFaqRecherche

Communauté

Pour échanger, demandez l’accès au :

Infolettre

Nous avons le projet d’une infolettre, seriez-vous intéressé ?

Misc

TwitterLinkedIn

Contact

Mentions légales

Est-ce que les LLM utilisent des RNN ?

Non, en général, les LLM ne sont pas basés sur des Réseaux de Neurones Récurrents (RNN). Les LLM utilisent principalement des architectures basées sur les transformers, qui sont des réseaux neuronaux spécifiquement conçus pour le traitement du langage naturel.

Les transformers sont des architectures d'apprentissage profond qui se distinguent des RNN en utilisant des mécanismes d'attention pour prendre en compte les dépendances entre les mots d'une séquence de manière plus efficace. Les LLM, tels que GPT (Generative Pretrained Transformer) et BERT (Bidirectional Encoder Representations from Transformers), sont basés sur ces architectures transformer.

Les RNN étaient autrefois populaires dans le traitement du langage naturel en raison de leur capacité à traiter des unités de manière séquentielle en conservant une mémoire à court terme. Cependant, les RNN ont des limitations en termes de parallélisme et de prise en compte de dépendances à long terme, ce qui a conduit au développement des architectures transformer pour les LLM.

Il est important de noter que bien que les LLM ne soient généralement pas basés sur des RNN, il existe des modèles hybrides qui combinent des éléments de RNN et de transformers pour capturer à la fois la séquentialité et les dépendances à long terme. Cependant, ces approches hybrides ne sont pas couramment utilisées dans les LLM les plus répandus.

Autres questions

  • Est-ce que les LLM peuvent générer des images ?
  • Quels sont les métriques de performance pour les LLM ?
Pour optimiser votre expérience, nous collectons des données de navigation en utilisant les cookies (lire les mentions légales).
Êtes-vous d'accord ?
/