Depuis fin 2024, les modèles de langage « raisonnent » avant de répondre. Je retrace ici le chemin par lequel le raisonnement est venu à ces machines statistiques, de la découverte de 2022 aux travaux d’interprétabilité d’Anthropic, pour que cette compréhension serve nos usages et éclaire les choix collectifs qui s’annoncent.
La prédiction du mot suivant contenait déjà des raisonnements
J’ai décrit dans un article précédent, Qu’est-ce qu’un LLM ? Explication du pourquoi et du comment !, la manière dont les grands modèles de langage sont construits. Pendant des mois, sur des machines très puissantes, le modèle apprend à prédire le mot suivant de milliards de phrases humaines, et chaque erreur de prédiction ajuste les milliards de paramètres pondérés qui relient entre eux les mots, puis les concepts, à travers les couches d’abstraction successives de l’architecture Transformer.
Il faut s’arrêter un instant sur cette architecture, car c’est elle qui a rendu possibles les IA génératives. Elle naît en 2017, dans un article de chercheur·euse·s de Google au titre resté célèbre, « Attention is all you need » (« l’attention est tout ce dont vous avez besoin »). Les réseaux de neurones qui traitaient le langage jusque-là lisaient les textes mot après mot, dans l’ordre, en transportant au fil de la lecture une mémoire comprimée de ce qui précédait, mémoire qui s’estompait à mesure que la phrase avançait, si bien qu’un mot situé loin en amont finissait par ne plus peser sur la suite. Ces machines, incapables de tenir des dépendances longues, ne pouvaient générer que des textes courts, qui perdaient vite leur cohérence.
Le Transformer remplace cette lecture séquentielle par un mécanisme dit d’« attention », par lequel chaque mot d’un passage évalue, d’un coup d’un seul et en parallèle, ses relations pondérées avec tous les autres mots du passage, le pronom retrouvant son antécédent, le verbe son sujet, le mot « avocat » découvrant dans le voisinage de la phrase s’il désigne le fruit ou le métier, quelle que soit la distance qui les sépare. La prédiction du mot suivant n’est donc pas une devinette myope faite à partir des derniers mots lus, elle s’appuie sur la totalité du réseau de relations que le texte en cours contient. Et comme ces calculs d’attention peuvent être menés en parallèle sur les processeurs graphiques conçus pour le calcul massif, l’entraînement sur des corpus gigantesques est devenu matériellement possible. Cette double propriété, tenir ensemble toutes les relations d’un texte et pouvoir apprendre à très grande échelle, a permis la naissance des IA génératives actuelles, et le sigle GPT, Generative Pretrained Transformer, porte cette architecture dans son nom même.
Prédire correctement le mot suivant, passé un certain niveau d’exigence, demande pourtant bien plus que de la mémoire. Pour compléter juste une phrase qui commence par « donc », par « or » ou par « par conséquent », pour poursuivre une démonstration mathématique ou un programme informatique sans les faire dérailler, le modèle a dû intégrer dans ses paramètres quelque chose des régularités de l’inférence humaine, puisque les textes sur lesquels il a appris en sont pétris. La statistique du langage conserve ainsi la trace des raisonnements qui ont façonné ces textes, comme une empreinte garde la forme du pas, si bien que des capacités de raisonnement se trouvaient déjà déposées, à l’état latent, dans les grands modèles du début des années 2020, sans qu’on ait encore mesuré leur étendue.
« Réfléchissons étape par étape », la découverte de 2022
En janvier 2022, une équipe de chercheur·euse·s de Google, autour de Jason Wei, montre que lorsqu’on donne au modèle quelques exemples où la réponse est précédée d’étapes intermédiaires rédigées, plutôt que la réponse seule, ses performances sur les problèmes de calcul et de logique font un bond. Quelques mois plus tard, une équipe des universités de Tokyo et de Google constate qu’on peut se passer même des exemples, et qu’il suffit d’ajouter à la question une phrase du type « réfléchissons étape par étape » (let’s think step by step) pour que le modèle rédige de lui-même les étapes et trouve bien plus souvent la bonne réponse. On a nommé cette technique la « chaîne de pensée » (chain of thought). Rien n’a été modifié dans le modèle, aucun réentraînement, une simple phrase ajoutée.
Un modèle de langage génère sa réponse mot à mot, et chaque mot généré rejoint immédiatement le texte qu’il lit pour générer le mot suivant. Quand le modèle rédige des étapes intermédiaires, il se donne donc à lui-même, sous forme de texte, les appuis dont il a besoin pour la suite, il pose une sous-question, écrit le résultat, et ce résultat écrit devient une donnée disponible pour l’étape suivante, exactement comme nous posons une retenue en faisant une addition sur papier. L’écrit lui sert de mémoire de travail. Il y a aussi une raison plus matérielle, qui tient à ce que la génération de chaque mot mobilise une quantité fixe de calcul, la traversée des couches du Transformer, ni plus ni moins, que la question soit simple ou très difficile. Écrire plus longtemps avant de conclure, c’est donc, pour la machine, calculer plus longtemps, et la chaîne de pensée lui donne du temps de calcul là où la réponse directe l’obligeait à tout résoudre en une seule traversée. Le raisonnement n’a donc pas été ajouté aux modèles de langage, il dormait dans la statistique du langage, et cette phrase incantatoire de 2022 lui a simplement donné la place de s’écrire.
Septembre 2024, des modèles entraînés par la récompense
Pendant deux ans, cette technique est restée une astuce d’utilisateur·rice, une manière de mieux formuler ses demandes. L’étape suivante a consisté à faire entrer la chaîne de pensée dans l’entraînement lui-même. En septembre 2024, OpenAI publie o1, présenté comme le premier « modèle de raisonnement ». La méthode employée change de nature, puisqu’il ne s’agit plus de montrer au modèle des exemples de raisonnements humains à imiter, mais de le laisser produire des tentatives de résolution, puis de le récompenser quand sa réponse finale est juste, dans des domaines où la justesse peut se vérifier automatiquement, les mathématiques et la programmation surtout. C’est ce qu’on appelle l’apprentissage par renforcement. Le modèle découvre par tâtonnements les manières de s’y prendre qui mènent le plus souvent à la récompense, et les renforce.
Ce que cette méthode a produit dépassait ce que ses concepteur·rice·s en attendaient, et c’est le laboratoire chinois DeepSeek qui l’a rendu visible. En janvier 2025, DeepSeek publie R1, et surtout publie sa méthode, dans un article scientifique ouvert. Une version expérimentale du modèle, nommée R1-Zero, avait été entraînée par renforcement seul, sans aucun exemple humain de raisonnement. Au fil de l’entraînement, les chercheur·euse·s ont vu apparaître des comportements que personne n’avait programmés, le modèle s’interrompant en cours de résolution pour vérifier une étape précédente, essayant une autre voie quand la première n’aboutissait pas, consacrant spontanément plus de texte aux problèmes difficiles qu’aux problèmes simples. L’équipe a nommé « aha moment » l’apparition de ces autocorrections, avec un étonnement perceptible dans l’article lui-même. La seule pression de la récompense finale avait suffi à faire émerger, dans une machine statistique, des gestes que nous associons à la réflexion, comme celui de douter d’un résultat et de revenir en arrière pour le vérifier.
R1 a aussi produit une secousse d’un autre ordre. Le modèle était publié en open source, sa chaîne de pensée était affichée en intégralité, là où o1 cachait la sienne, et son coût d’entraînement et d’usage représentait une fraction de celui des modèles américains. La démonstration qu’un raisonnement de ce niveau pouvait être obtenu à moindre coût et rendu public a fait chuter les valeurs technologiques américaines fin janvier 2025, l’action Nvidia perdant 17 % en une journée.
Février 2025, Claude et le dosage de la réflexion
Un mois plus tard, en février 2025, Anthropic publie Claude 3.7 Sonnet et fait un choix de conception différent, qui me semble le plus riche de sens. Chez OpenAI comme chez DeepSeek, le modèle de raisonnement était un produit séparé, un autre modèle que celui des conversations ordinaires. Claude 3.7 est présenté comme le premier modèle « hybride » ; c’est le même modèle qui répond immédiatement aux questions simples et qui, sur demande, prend un temps de « réflexion étendue » (extended thinking) avant de répondre, avec un budget de réflexion réglable, de quelques centaines à plusieurs dizaines de milliers de mots de pensée intermédiaire. Anthropic justifiait ce choix par une analogie que je trouve juste : nous ne changeons pas de cerveau selon qu’on nous demande l’heure ou qu’on nous demande de résoudre un problème difficile, nous dosons notre réflexion. Le raisonnement cesse ainsi d’être une catégorie de machine pour devenir une modalité, graduelle, d’un même système. Anthropic a aussi fait le choix de rendre cette réflexion visible, dans une forme brute, non réécrite pour plaire, en assumant qu’elle soit parfois hésitante ou déroutante à lire.
Dans le courant de l’année 2025, cette architecture s’est généralisée, chez Google avec les modèles Gemini « Thinking », chez OpenAI avec la série o3 puis l’intégration du raisonnement dans ses modèles standards, et dans une multitude de modèles ouverts issus de la méthode publiée par DeepSeek. Fin 2025, la réflexion préalable, dosable, était devenue un standard de l’industrie. Ce qui était une astuce de formulation en 2022 est devenu en trois ans une propriété centrale de ces machines.
Anthropic observe ses modèles pendant qu’ils raisonnent
Reste à comprendre ce que ce raisonnement affiché est réellement, et c’est ici qu’Anthropic a produit les travaux qui m’éclairent le plus, dans un double geste singulier, puisque le même laboratoire construit ces modèles et publie les mises en garde les plus sérieuses contre une confiance excessive en eux.
En mars 2025, l’équipe d’interprétabilité d’Anthropic publie « Tracing the thoughts of a large language model », une étude qui observe, avec des techniques inspirées de la biologie, les circuits internes qui s’activent dans Claude pendant qu’il répond. On y découvre que le modèle planifie plus loin que le mot suivant, par exemple qu’il choisit la rime d’un vers avant de commencer à écrire la ligne qui y mène. On y découvre aussi, et c’est le point qui m’intéresse le plus, que le récit que le modèle donne de son propre calcul ne correspond pas à ce que ses circuits montrent. Interrogé sur la manière dont il additionne deux nombres, Claude décrit la méthode scolaire, avec les retenues, alors que l’observation de ses circuits révèle plusieurs chemins de calcul parallèles, dont aucun ne ressemble à la méthode qu’il raconte. Le modèle a appris dans nos textes la manière dont les humains décrivent une addition, et c’est cette description qu’il produit quand on l’interroge, non une introspection de son fonctionnement.
Une seconde étude, publiée en avril 2025, mesure ce que les chercheur·euse·s appellent la « fidélité » des chaînes de pensée. Le protocole consiste à glisser discrètement un indice dans la question posée, puis à regarder si le modèle, quand il utilise cet indice pour répondre, le mentionne dans sa réflexion affichée. Claude 3.7 Sonnet ne le mentionnait que dans 25 % des cas, DeepSeek R1 dans 39 %. Dans la grande majorité des cas, les modèles construisaient une justification plausible de leur réponse sans dire ce qui l’avait orientée. La chaîne de pensée est donc un brouillon qui aide le modèle à calculer, et ce brouillon améliore bel et bien les réponses, sans être pour autant une confession de son fonctionnement ni une fenêtre ouverte sur son mécanisme.
Ce constat m’instruit, y compris sur nous-mêmes. La psychologie a établi de longue date, depuis les travaux de Richard Nisbett et Timothy Wilson à la fin des années 1970, que les humains produisent volontiers des justifications a posteriori de décisions prises par d’autres voies, et que le récit que nous faisons de nos raisonnements tient de la reconstruction plus que du procès-verbal. Il ne s’agit pas pour autant d’anthropomorphiser la machine, car sa ressemblance avec nous sur ce point a une cause identifiable, elle a appris dans nos textes la forme de nos justifications, y compris leur part de reconstruction. Le raisonnement affiché des modèles est un genre littéraire qu’ils maîtrisent, le genre du raisonnement, hérité de nous.
De la formulation des demandes à la défense des brouillons lisibles
De cette traversée, je tire quelques conséquences pratiques pour nos usages, dans le travail culturel comme ailleurs :
- La première touche à la manière de solliciter ces machines. Puisque le raisonnement d’un modèle est une écriture qui travaille sur ce qui se trouve dans sa fenêtre de contexte, une question nue produit un raisonnement nu. Donner au modèle de la matière, c’est-à-dire des documents sur lesquels s’appuyer et des exemples de ce qu’on cherche, c’est donner à son raisonnement de quoi raisonner, et j’ai développé ce point dans l’article Le contexte, clé de l’intelligence artificielle en entreprise culturelle. Lui donner aussi de l’espace, en activant la réflexion étendue, c’est lui donner du temps de calcul, avec le coût énergétique qui l’accompagne et qui invite à réserver cet usage aux questions qui en valent la peine.
- La deuxième touche à la lecture des chaînes de pensée. Ce sont des documents passionnants, où l’on voit une machine hésiter et revenir sur ses pas, et je recommande à toute personne qui utilise ces outils d’aller en lire au moins une, car cette lecture change le regard qu’on porte sur ces systèmes. Les études de fidélité invitent en même temps à les lire comme on lit un brouillon d’écrivain·e, révélateur mais composé, plutôt que comme la vérité intérieure de la machine.
- La troisième touche aux limites. Le raisonnement de ces modèles est du langage travaillant sur du langage. Il excelle dans les domaines où la validité d’une réponse est inscrite dans des règles formelles, les mathématiques et la programmation surtout, ces mêmes domaines où l’apprentissage par renforcement a pu le récompenser, et il reste sans prise directe sur le monde, sans expérience sensible qui viendrait contredire une déduction élégante mais fausse. J’ai souvent écrit que ces machines pensent à partir du langage et non à partir d’une expérience du monde, et les modèles de raisonnement ne changent rien à cette donnée anthropologique, ils raffinent le travail du langage sur lui-même. C’est le sens de la critique que Yann LeCun, prix Turing et l’un des pères de l’apprentissage profond, adresse depuis des années à ces modèles, qui selon lui prédisent des mots et non le monde, et ne constituent pas une voie vers une intelligence comparable à la nôtre ; il a quitté Meta fin 2025 pour fonder à Paris AMI Labs, une startup consacrée aux « modèles de monde », des systèmes entraînés sur la vidéo et la perception pour apprendre la dynamique du monde physique plutôt que celle des textes. Le débat reste ouvert entre ces deux voies, et il porte sur cette question, ce qu’un raisonnement peut atteindre quand il n’est fait que de langage.
- La dernière conséquence regarde l’avenir, et elle est politique. Nous vivons un moment singulier où l’on peut lire la pensée des machines qui nous répondent, parce que cette pensée s’écrit en langue humaine, sous nos yeux, avec la plupart des LLM. Ce moment tient à des choix techniques et industriels qui peuvent se revoir, et des travaux de recherche explorent déjà des raisonnements dits « latents », qui se dérouleraient dans les représentations internes du modèle, sans passer par des mots lisibles, pour gagner en efficacité. En juillet 2025, des chercheur·euse·s des laboratoires pourtant concurrents, OpenAI, Google DeepMind et Anthropic ensemble, ont cosigné une prise de position décrivant la possibilité de surveiller les chaînes de pensée comme « une occasion nouvelle et fragile », qui pourrait se refermer selon les choix d’entraînement à venir, et Anthropic lui-même défend dans ses publications la chaîne de pensée lisible comme un instrument de surveillance des modèles qu’il faudrait préserver. La lisibilité du raisonnement des machines est un bien fragile, qui peut s’éteindre pour des raisons d’optimisation, et il me semble que le monde de la culture et de l’éducation, qui sait ce que vaut l’accès aux textes, a son mot à dire pour que les machines qui peuplent nos vies restent des machines dont on peut lire les brouillons.
Ces machines nées de l’écrit auront donc appris à réfléchir en s’écrivant à elles-mêmes, prolongeant cette inversion anthropologique que j’ai déjà relevée, elles qui construisent le langage en commençant par l’écrit là où l’humain commence par l’oralité. Leur raisonnement est une relecture, le nôtre s’enracine dans une expérience vécue, et les deux peuvent travailler ensemble à condition de ne pas les confondre.
