Le Bon LMM

Carnet de code et de réflexions autour de l’IA générative à la française

CodeCorpusContributionsConversationsLexiqueFaqRecherche

Communauté

Pour échanger, demandez l’accès au :

Infolettre

Nous avons le projet d’une infolettre, seriez-vous intéressé ?

Misc

TwitterLinkedIn

Contact

Mentions légales

Quels sont les métriques de performance pour les LLM ?

Les métriques de performance pour les LLM (Large Language Models) peuvent varier en fonction de la tâche spécifique à laquelle le modèle est appliqué. Voici quelques-unes des métriques couramment utilisées pour évaluer les performances des LLM :

  • Perplexité : C'est une mesure de la capacité du modèle à prédire un ensemble de données. Une perplexité plus basse indique une meilleure performance du modèle.

  • BLEU (Bilingual Evaluation Understudy) : Il est couramment utilisé pour évaluer la qualité des traductions automatiques générées par les LLM. Plus le score BLEU est élevé, meilleure est la qualité de la traduction.

  • ROUGE (Recall-Oriented Understudy for Gisting Evaluation) : Cette métrique est utilisée pour évaluer la qualité des résumés générés par les LLM. Un score ROUGE plus élevé indique un meilleur résumé.

  • F1-score : Il est utilisé pour évaluer la précision et le rappel d'une tâche spécifique, comme la classification de texte ou la détection d'entités nommées.

Il est important de noter que les métriques de performance peuvent varier en fonction du contexte et de la tâche spécifique. Il peut également y avoir d'autres métriques spécifiques à chaque tâche utilisées pour évaluer les performances des LLM.

Autres questions

  • Est-ce que les LLM peuvent générer des images ?
  • Est-ce que les LLM utilisent des RNN ?
Pour optimiser votre expérience, nous collectons des données de navigation en utilisant les cookies (lire les mentions légales).
Êtes-vous d'accord ?
/