Zero-Shot Prompting

Le concept de "Zero-Shot Prompting" fait référence à la capacité des grands modèles de langage, comme GPT-3, à effectuer certaines tâches sans avoir reçu d'exemples spécifiques lors de leur instruction. Ces modèles, formés sur d'énormes quantités de données, peuvent suivre des instructions et réaliser des tâches "zero-shot", c'est-à-dire sans exemples préalables. Par exemple, lorsque l'on demande au modèle de classifier un texte comme étant neutre, négatif ou positif sans lui donner d'exemple précis, il est capable de le faire grâce à sa compréhension intrinsèque du "sentiment".

Pourquoi est-ce important ?

La capacité de "zero-shot prompting" démontre l'efficacité et la flexibilité des modèles de langage modernes. Elle permet aux utilisateurs de communiquer avec le modèle de manière intuitive sans avoir à fournir systématiquement des exemples ou des instructions détaillées. Cette capacité rend les modèles plus accessibles et plus efficaces dans de nombreux contextes d'application, réduisant la nécessité d'un apprentissage supervisé spécifique pour chaque nouvelle tâche.

Comment est-il utilisé en 2023 ?

En 2023, la capacité "zero-shot" est largement exploitée dans diverses applications impliquant des modèles de langage. Cependant, de récentes évolutions, comme l'affinage par instruction (instruction tuning) décrit par Wei et al. en 2022, ont amélioré l'apprentissage zero-shot. Cette méthode consiste à affiner les modèles sur des ensembles de données décrits via des instructions. De plus, la RLHF (reinforcement learning from human feedback) est adoptée pour améliorer ce processus, alignant davantage le modèle sur les préférences humaines. Ces développements sont notamment au cœur des capacités de modèles comme ChatGPT. Lorsque le "zero-shot" ne fonctionne pas, on s'oriente vers des méthodes de "few-shot prompting" où quelques exemples sont fournis pour guider le modèle.