L'apprentissage par prompt système : La vision d'Andrej Karpathy pour le prochain modèle de formation de l'IA
Andrej Karpathy, une voix majeure dans le développement de l'IA et ancien directeur de l'IA chez Tesla, a récemment lancé un débat avec une idée apparemment simple : peut-être avons-nous manqué tout un modèle dans la manière dont les grands modèles linguistiques (LLMs) apprennent. Sa proposition, "l'apprentissage par prompt système", n'implique pas plus de données ou de réseaux plus profonds, mais plutôt une façon plus intelligente de guider les modèles en utilisant des instructions modifiables qui ressemblent à la mémoire et au raisonnement humains.
Dans un monde où les investissements en IA dépendent de percées qui vont au-delà du pré-entraînement intensif et de l'ajustement fin coûteux, cette idée, inspirée des mécanismes derrière le prompt système de 17 000 mots de Claude, soulève des questions cruciales sur la façon de mettre l'IA à l'échelle de manière plus efficace et responsable.
Pré-entraînement, ajustement fin... et après ?
La structure actuelle de formation de l'IA est dominée par deux stratégies principales :
- Pré-entraînement : Les LLMs absorbent d'énormes quantités de texte pour développer une compréhension générale du langage et du monde.
- Ajustement fin : Des comportements spécifiques sont renforcés grâce à des exemples supervisés ou à l'apprentissage par renforcement, souvent alignés sur le retour d'information humain (RLHF).
L'apprentissage par renforcement à partir de rétroaction humaine (RLHF) est un processus en plusieurs étapes utilisé pour entraîner des modèles d'IA, en particulier de grands modèles linguistiques, afin de mieux les aligner sur les préférences humaines. Il implique d'utiliser le retour d'information humain, souvent en classant différentes sorties de modèles, pour créer un modèle de récompense qui guide ensuite l'apprentissage de l'IA par le biais de l'apprentissage par renforcement.
Ces deux approches modifient les paramètres internes du modèle. Mais Karpathy souligne un trait d'apprentissage humain que ces méthodes négligent : nous ne "reprogrammons" pas souvent notre cerveau lorsque nous apprenons. Nous prenons des notes. Nous nous laissons des rappels explicites. Nous nous adaptons en changeant nos instructions internes, pas notre structure fondamentale.
L'apprentissage par prompt système s'inspire de ce principe. Au lieu de modifier les poids avec des gradients, il suggère de modifier le prompt système du modèle, un ensemble d'instructions permanentes qui façonnent son comportement pour différentes tâches. Dans ce cadre, les LLMs pourraient, en théorie, écrire, affiner et mettre à jour leurs propres stratégies de résolution de problèmes, comme tenir un carnet personnel.
Le manuel de 17 000 mots de Claude : L'étincelle derrière le changement
La proposition de Karpathy n'était pas théorique. Elle a été déclenchée par un exemple concret : le modèle Claude d'Anthropic, dont le prompt système s'étend sur près de 17 000 mots. Ce méga-prompt encode tout, des limites morales (par exemple, éviter les paroles de chansons protégées par des droits d'auteur) aux stratégies détaillées pour répondre aux questions (par exemple, comment compter les lettres dans un mot comme fraise). Vous pouvez consulter le prompt système complet de Claude ici.
Tableau 1 : Caractéristiques et composants du prompt système de Claude
| Caractéristique | Détails |
|---|---|
| Taille | ~16 739 mots (110ko) |
| Longueur en tokens | Estimée à environ 24 000 tokens |
| Comparaison | Beaucoup plus grand que celui d'OpenAI o4-mini (2 218 mots, 15.1ko) |
| Composants Clés | |
| Informations actuelles | Fournit la date et des informations contextuelles au début de la conversation |
| Directives comportementales | Instructions sur le format des réponses et le style d'interaction |
| Définition du rôle | Établit l'identité de Claude et ses paramètres opérationnels |
| Définitions d'outils | Composant le plus important ; instructions pour l'utilisation d'outils à partir de serveurs MCP |
| Paramètres de sécurité | Conseils pour gérer les demandes potentiellement dangereuses |
| Instructions techniques | Directives pour compter les mots/caractères et le formatage |
| Objectif | Sert de "paramètres" pour l'interaction du LLM avec les utilisateurs |
| Développement | Mis à jour périodiquement en fonction des retours utilisateurs et des améliorations de conception |
Plutôt que d'intégrer la connaissance de manière rigide dans les poids (ce qui peut être inefficace, rigide et coûteux), Anthropic semble utiliser le prompt système comme un ensemble d'instructions dynamiques. Selon Karpathy, cela ressemble à la façon dont les humains s'ajustent : en déclarant explicitement "quand X se produit, essaie l'approche Y".
Ce changement redéfinit les prompts système, les faisant passer de guides de comportement statiques à des documents évolutifs, un endroit où les LLMs pourraient stocker des stratégies généralisées et les réviser au fil du temps. En d'autres termes, c'est une proposition pour rendre l'IA non seulement plus intelligente, mais aussi plus facile à enseigner.
Pourquoi cela est important pour les investisseurs et les développeurs
L'intérêt de l'apprentissage par prompt système n'est pas seulement académique. Il répond directement aux points sensibles de l'utilisation actuelle de l'IA :
1. Réduction des coûts opérationnels
Ajuster finement un modèle (en particulier avec RLHF) est coûteux et lent. Mettre à jour un prompt système, en revanche, est presque gratuit et instantané. Si les comportements de base peuvent être modifiés en actualisant des instructions au lieu de ré-entraîner les poids, le déploiement devient plus rapide et moins cher.
Méthodes de mise à jour des modèles d'IA : Ajustement fin/RLHF vs. Modification du prompt système
| Méthode | Coût et Effort | Temps de mise en œuvre | Caractéristiques Clés |
|---|---|---|---|
| Ajustement fin / RLHF | Élevé : Nécessite calcul, données et expertise ML | Long (jours-semaines) | Met à jour les poids du modèle pour la précision sur tâche/domaine ; moins flexible après entraînement |
| Modification du prompt | Faible : Principalement conception/test du prompt | Court (heures-jours) | Ajuste le comportement via instructions ; rapide, flexible, pas de ré-entraînement nécessaire |
| Notes Générales | Le coût dépend de la taille du modèle, des tokens et de l'infrastructure | Maintenance continue | Le choix dépend des objectifs, des ressources et des performances requises ; peut être combiné |
2. Produits IA plus agiles
Les startups qui créent des agents spécialisés par domaine (bots juridiques, assistants médicaux, outils de service client) ont besoin d'une itération rapide. Les prompts système permettent des changements rapides sans ré-entraîner le modèle, augmentant ainsi l'adaptabilité dans les environnements de production.
3. Efficacité des données et boucles de rétroaction
L'ajustement fin traditionnel nécessite de grands ensembles de données. L'apprentissage par prompt système offre un canal de rétroaction de dimension supérieure. Au lieu d'optimiser pour une récompense scalaire, il permet une rétroaction textuelle plus riche, plus proche de la façon dont les humains donnent des instructions.
Ce que disent les experts
L'idée a suscité des réactions mitigées dans les cercles de l'IA :
- Les partisans comparent les prompts système à une Torah écrite – définissant les instructions de base – tandis que les nouveaux cas s'adaptent et se développent grâce à l'apprentissage interactif, similaire à une Torah orale.
- Les critiques s'inquiètent de la mise à l'échelle et de la complexité. À mesure que les prompts grandissent, ils risquent de devenir fragiles, incohérents ou contradictoires. Cela pourrait nuire à la fiabilité dans les applications critiques.
- Certains plaident pour une approche hybride : une "distillation" périodique des connaissances du prompt système dans les poids, permettant à l'IA de passer d'une connaissance explicite à une connaissance habituelle au fil du temps, tout comme les humains le font.
- D'autres expérimentent des hiérarchies de mémoire, où les modèles indexent des exemples de résolution de problèmes et les intègrent dans le contexte du prompt uniquement lorsque nécessaire, combinant cela avec la génération augmentée par récupération (RAG) et des outils de planification.
La Génération Augmentée par Récupération (RAG) est une architecture d'IA conçue pour améliorer les réponses générées par les Grands Modèles Linguistiques (LLMs). Elle fonctionne en récupérant d'abord les informations pertinentes à partir de sources de connaissances externes, puis en fournissant ce contexte au LLM pour produire des réponses plus précises, pertinentes et à jour.
Malgré ses promesses, certains voient l'apprentissage par prompt système non pas comme un changement de modèle majeur, mais comme une évolution progressive. Pourtant, lorsque des entreprises comme Anthropic, OpenAI et Google diffèrent radicalement dans la taille de leurs prompts système (les 16 739 mots de Claude contre les ~2 218 mots d'OpenAI), il est clair que le prompt est en train de devenir une nouvelle frontière.
Où cela pourrait aller ensuite
Si les LLMs pouvaient écrire et mettre à jour leurs propres prompts système de manière autonome – documentant les leçons apprises, les stratégies testées et les tâches affinées – nous pourrions assister à la naissance d'une nouvelle architecture de formation de l'IA :
- Des agents s'auto-affinant qui évoluent en production en révisant leurs propres manuels
- Des modèles spécialisés par tâche qui ne nécessitent pas de ré-entraînement poussé pour de nouveaux domaines
- Une distillation semi-automatisée, où les connaissances basées sur les prompts sont déplacées sélectivement dans les poids à long terme, améliorant les performances sans perte de flexibilité
Cela pourrait bien s'aligner avec les besoins des entreprises : des modèles interprétables, traçables et entraînés de manière incrémentale, avec un temps d'arrêt minimal.
Un carnet de notes pour les machines
L'idée de Karpathy peut sembler abstraite, mais elle puise dans une intuition profonde : l'intelligence ne concerne pas seulement ce que nous savons, mais comment nous structurons cette connaissance pour l'utiliser. L'apprentissage par prompt système suggère que les LLMs n'ont pas seulement besoin de plus grands cerveaux, ils ont besoin de meilleurs carnets de notes.
À mesure que davantage d'entreprises d'IA explorent cette voie médiane entre le pré-entraînement et l'ajustement fin, attendez-vous à ce que l'ingénierie des prompts évolue vers l'architecture des prompts, une discipline à part entière. Reste à voir si cela deviendra le prochain modèle ou un auxiliaire puissant.
Mais une chose est claire : dans la course à la construction d'une IA plus intelligente, moins chère et plus contrôlable, enseigner aux modèles comment apprendre pourrait bientôt compter plus que ce qu'ils savent.