Que sont les poids des modèles LLM ?

Les poids des modèles LLM font référence aux paramètres internes du modèle qui sont appris lors du processus d'entraînement. Ces poids sont des valeurs numériques qui représentent les relations et les patterns appris à partir des données d'entraînement. Lors de l'entraînement d'un LLM, le modèle ajuste les poids de ses différentes couches et modules afin de minimiser une fonction de perte spécifique et d'optimiser ses performances pour la tâche donnée. Les poids du modèle capturent les informations nécessaires pour générer des prédictions et des réponses cohérentes lors de l'inférence. Les poids des modèles LLM peuvent être énormes, car ils sont déterminés par le nombre de paramètres du modèle. Les grands modèles de langage tels que GPT (Generative Pretrained Transformer) ou BERT (Bidirectional Encoder Representations from Transformers) peuvent avoir des dizaines ou des centaines de millions de paramètres, ce qui correspond à des poids considérables.

Ces poids sont généralement représentés sous forme de tenseurs multidimensionnels et sont stockés dans la mémoire de l'appareil utilisé pour l'inférence du modèle, qu'il s'agisse d'un processeur central (CPU) ou d'une unité de traitement graphique (GPU).