Qui a inventé BERT ?

BERT (Bidirectional Encoder Representations from Transformers) a été développé par une équipe de chercheurs de Google AI Language, dirigée par Jacob Devlin, Ming-Wei Chang, Kenton Lee et Kristina Toutanova. L'équipe a publié un article intitulé "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" en 2018, présentant les détails de ce modèle révolutionnaire.

BERT a été conçu pour améliorer la compréhension du langage naturel en exploitant le contexte des mots dans les deux sens, de gauche à droite et de droite à gauche. En pré-entraînant le modèle sur de vastes quantités de données textuelles, BERT a réussi à capturer les relations et les significations des mots en fonction de leur contexte. Depuis sa publication, BERT est devenu l'un des modèles de langage les plus influents et les plus utilisés dans le domaine du traitement du langage naturel. Il a ouvert la voie à de nombreuses améliorations et développements dans ce domaine, et a été utilisé pour résoudre diverses tâches de traitement du langage, telles que la classification de texte, la reconnaissance d'entités nommées, la traduction automatique et bien d'autres.