L'illusion de l'intelligence des machines : Comment la "percée du raisonnement" de l'IA pourrait être un mirage
Une recherche révolutionnaire remet en question les fondements des affirmations selon lesquelles l'intelligence artificielle apprendrait à penser par elle-même.
L'industrie de l'intelligence artificielle a passé l'année écoulée à célébrer ce qui semblait être un tournant décisif : des systèmes d'IA capables d'apprendre à raisonner par eux-mêmes, découvrant de nouvelles stratégies de résolution de problèmes, à l'image d'un élève maîtrisant les mathématiques par la pratique et les retours.
Mais un nouvel article de recherche menace de bouleverser entièrement ce récit, suggérant que ce que l'industrie a salué comme un apprentissage autonome pourrait n'être guère plus qu'une astuce d'optimisation élaborée – une astuce qui rend les systèmes d'IA plus rapides et plus fiables, tout en les rendant globalement moins performants.
Les implications s'étendent bien au-delà des laboratoires universitaires. Si ces conclusions se confirment, elles suggèrent que la voie vers des machines véritablement intelligentes pourrait être fondamentalement différente de celle que l'industrie emprunte actuellement à toute vitesse, avec des milliards de dollars d'investissements potentiellement destinés à peaufiner les capacités existantes plutôt qu'à les développer.
L'expérience qui a tout changé
La recherche repose sur une question d'une simplicité trompeuse : lorsqu'un modèle d'IA s'améliore dans la résolution de problèmes après entraînement, apprend-il véritablement de nouvelles compétences, ou se contente-t-il de devenir plus efficace dans des compétences qu'il possédait déjà ?
Pour y répondre, les chercheurs ont développé une nouvelle méthodologie de test. Plutôt que de juger un système d'IA par sa première réponse à une question – l'approche standard – ils ont donné aux modèles 100 tentatives pour chaque problème. Cette métrique "pass@100" a révélé quelque chose de surprenant : les modèles de base originaux, non entraînés, pouvaient en réalité résoudre une plus grande variété de problèmes que leurs homologues prétendument supérieurs, entraînés par apprentissage par renforcement.
Ce schéma s'est vérifié pour plusieurs familles de modèles d'IA, à travers des défis mathématiques et de codage, et pour différents algorithmes d'entraînement. Les modèles entraînés étaient effectivement plus rapides et plus précis à leur première tentative. Mais leur connaissance totale s'était réduite. Ils étaient devenus des spécialistes pour trouver des solutions courantes, tout en perdant la capacité d'aborder les problèmes rares que seules leurs versions de base pouvaient résoudre.
La bibliothèque qui a perdu ses livres
Cette découverte bouleverse une hypothèse fondamentale du développement de l'IA. La théorie dominante était que l'apprentissage par renforcement – entraînant l'IA par des récompenses pour les bonnes réponses – fonctionnerait comme ce fut le cas pour les systèmes de jeu de DeepMind, qui avaient découvert des stratégies entièrement nouvelles qu'aucun humain n'avait conçues.
Au lieu de cela, les chercheurs ont trouvé quelque chose qui s'apparentait davantage à un bibliothécaire méticuleux mais borné. Le processus d'entraînement a pris les réponses qui fonctionnaient et les a déplacées vers une étagère frontale facilement accessible, tandis que d'autres solutions – dont certaines étaient les seules approches correctes à des problèmes difficiles – étaient effectivement oubliées, perdues dans les profondeurs de la connaissance du modèle.
Le modèle de base, aussi désordonné et inefficace fût-il, conservait l'accès à l'intégralité de sa bibliothèque. Le modèle entraîné avait une meilleure organisation des rayonnages, mais moins de livres.
Ce "raffinement distributionnel", comme l'appellent les chercheurs, explique pourquoi les systèmes d'IA semblent si impressionnants dans les benchmarks qui mesurent la précision à la première tentative, même si leurs capacités fondamentales stagnent ou déclinent. L'industrie mesurait l'efficacité et la confondait avec l'intelligence.
Ce que nous pensions être une découverte était en fait une récupération
L'équipe de recherche est allée plus loin, en analysant les chemins de raisonnement réels que les modèles entraînés utilisaient pour résoudre les problèmes. Ils ont constaté que les solutions "correctes" générées par les modèles entraînés par apprentissage par renforcement étaient déjà des chemins à forte probabilité dans le modèle de base – l'équivalent de sentiers bien tracés à travers la forêt des réponses possibles.
L'entraînement n'avait pas appris aux modèles à frayer de nouveaux chemins. Il les avait simplement entraînés à suivre des chemins familiers plus constamment.
Cette découverte contraste fortement avec la distillation des connaissances, où un modèle "étudiant" plus petit apprend d'un "professeur" plus capable. Les chercheurs ont montré que la distillation peut véritablement étendre la limite de raisonnement d'un modèle, parce que l'étudiant apprend des capacités qu'il n'a jamais possédées. Mais lorsqu'un modèle tente de s'améliorer par l'apprentissage par renforcement, il semble contraint par les limites de ses propres connaissances antérieures.
Le temps des comptes
Pour l'industrie de l'IA, les implications sont profondes et inconfortables. Les entreprises ont massivement investi sur la prémisse que l'apprentissage par renforcement représente une voie vers des systèmes toujours plus performants. La recherche suggère que ces investissements produisent des rendements décroissants sur la dimension qui compte le plus : la capacité fondamentale.
Ce travail ne rejette pas entièrement l'apprentissage par renforcement. Pour construire des systèmes fiables et spécifiques à une tâche – un assistant de codage qui produit systématiquement du code fonctionnel, ou un tuteur de mathématiques qui résout de manière fiable les problèmes standards – les méthodes d'entraînement actuelles restent des outils puissants. Elles excellent à transformer de bons systèmes en systèmes exceptionnels pour des tâches définies.
Mais pour l'ambition plus vaste qui a captivé l'imagination du public – l'intelligence artificielle générale capable de résoudre des problèmes auparavant insolubles et de faire de véritables découvertes – cette recherche suggère que l'industrie pourrait être en train d'optimiser le mauvais objectif. Un modèle qui obtient 95 % à sa première tentative mais peut résoudre 1 000 types de problèmes différents pourrait être moins précieux qu'un modèle qui obtient 60 % mais peut, avec un échantillonnage suffisant, résoudre 2 000 types.
La voie à suivre reste incertaine. La recherche souligne que la phase la plus critique n'est peut-être pas le raffinement post-entraînement, mais le pré-entraînement initial sur de vastes ensembles de données, où les modèles développent leur réservoir latent de connaissances et de schémas de raisonnement. Elle suggère également qu'une véritable expansion des capacités pourrait nécessiter des approches fondamentalement différentes : des interactions multi-tours, des mécanismes d'exploration plus riches, ou l'accès à des expériences véritablement nouvelles qui dépassent les limites des connaissances existantes du modèle.
Ce qui est clair, c'est que le domaine ne peut plus confondre le raffinement avec la puissance, ni l'efficacité avec l'intelligence. Le bibliothécaire a appris à organiser superbement la collection existante. Mais écrire de nouveaux livres – la véritable découverte – reste aussi insaisissable que jamais.