Intelligence Artificielle ou Stupidité Artificielle ?

Dossier · Intelligence artificielle

On dit d'une machine qu'elle « apprend », « pense » et « décide ». Et si le mot « stupide » nous en apprenait davantage sur celui qui le prononce que sur la machine ? Anatomie d'une accusation, en dix mouvements.

I · Les rôlesTrois personnages et un verdict

Fig. ITrois pions, une estrade : l'auteur, la victime, et celui qui juge d'en haut.

Une bêtise est une pièce à trois rôles. Il y a celui qui la commet, celui qui la subit, et celui qui l'interprète, c'est-à-dire qui, du haut de son estrade, déclare : « Ceci est stupide. » Les distributions sont variées : trois personnes distinctes, deux seulement (la victime est son propre juge : « Quel idiot je suis ! »), ou une seule, qui cumule les trois emplois dans le célèbre monologue du lendemain matin.

Observez ce que cela implique : la stupidité n'est jamais constatée, elle est prononcée. Un événement n'est pas stupide comme un fil est en cuivre. Il le devient lorsqu'un interprète le range dans cette catégorie. Le métier d'ingénieur nous a pourtant appris à nous méfier des grandeurs qui n'existent que dans l'œil de l'opérateur.

II · La mesureLa descente d'un cran

Fig. IIDescendre d'un cran suppose une marche d'où descendre : le référentiel.

Qui accuse-t-on, exactement ? Pas n'importe qui. On n'accuse de stupidité que celui qui descend d'un cran : l'accusé a un niveau, et le geste incriminé se situe en dessous. La constance dans la médiocrité n'est pas stupide, elle est tenue pour une fatalité, presque pour un trait de caractère, et on la traite avec la tendresse qu'on réserve aux saisons. C'est le brillant qui trébuche que l'on juge, pas celui qui rampe : la chute suppose une hauteur.

D'où l'exigence d'un référentiel. On ne descend jamais « tout court » ; on descend par rapport à quelque chose. Ce quelque chose peut être le moi antérieur de l'accusé (« Toi, d'habitude si prudent ! »), ou le moi idéal de l'accusé, ou, plus souvent qu'on ne le croit, le référentiel de l'accusateur lui-même. La stupidité devient alors une relation entre un acte et un repère, de la même façon qu'en mécanique une vitesse n'existe que relativement à un repère.

III · Le pivotL'interprète, pivot et suspect

Fig. IIIUn même acte, deux repères : la stupidité est une relation, pas une propriété.

Si le référentiel est celui de l'accusateur, alors l'interprète est le pivot de tout le système, et par conséquent son maillon le plus faible. Son repère peut être trop haut (il exige de l'autre ce que l'autre n'a jamais promis), ou bien mal informé (il ignore le contexte, les contraintes, l'information manquante). Le verdict « stupide » dit alors moins de choses sur l'accusé que sur la distance entre deux têtes. Combien de « bêtises » ne sont que des décisions raisonnables prises dans une pièce où l'accusateur n'était pas ?

Le danger est le relativisme : si tout dépend du repère, « stupide » signifie simplement « différent de moi ». Il faut donc un invariant. Un candidat sérieux, c'est la cohérence entre l'acte et les propres objectifs de l'agent, évaluée dans son propre référentiel : est-ce que ce qu'il a fait servait ce qu'il cherchait ? Carlo Cipolla, dans son essai de 1976 sur les lois fondamentales de la stupidité humaine, propose un autre critère, par les effets : est stupide celui qui cause une perte à autrui sans en retirer lui-même de gain, voire en s'infligeant une perte. Les deux critères ne se recouvrent pas, et les articuler est tout l'enjeu : l'un juge l'acte depuis l'intérieur de l'agent, l'autre depuis l'extérieur, du côté de la victime. Le triptyque devient alors un instrument de mesure à trois capteurs.

IV · Le procèsL'IA au banc des accusés

Fig. IVL'épisode de l'acide : mêmes 80 kg, deux réponses opposées.

Revenons à notre cadavre et à notre poulet, qui se prêtent remarquablement au dispositif. L'interprète, c'est moi, qui compare deux conversations. L'auteur, c'est le système, et son filtre de sécurité a prouvé qu'il jugeait la surface de la question (le mot « cadavre ») plutôt que son intention. La victime potentielle, c'est celle que le garde-fou était censé protéger, et qui n'a qu'à changer un nom pour le franchir. Et le critère de la « descente d'un cran » trouve ici une illustration presque trop propre : le même système, interrogé deux fois, s'est montré moins avisé la seconde, son propre référentiel antérieur servant d'étalon. À noter que chaque réponse, prise isolément, se défend : refuser pour un corps humain est prudent, répondre pour un poulet est banal. Ce qui jure, c'est l'écart entre les deux, et la cause en est simple : les deux conversations ne communiquent pas, donc rien ne relie la seconde à la première. Nous verrons plus bas pourquoi cette banalité technique ruine le mythe de la machine qui s'instruit toute seule.

Appliquons enfin le dispositif à l'accusée du jour. Elle est jugée sur deux chefs : ses erreurs grossières (elle compte mal, invente une référence, affirme avec aplomb l'inverse de la veille) et sa complaisance (elle suit le scénario qu'on lui tend, et la littérature spécialisée appelle cela de la « sycophancy »). Le plaidoyer de la défense est le suivant : pour dire qu'elle « descend d'un cran », il faudrait qu'elle ait occupé un cran plus haut, dans un référentiel humain où elle n'a jamais séjourné. Ce que nous jugeons stupide chez elle est souvent ce qui nous paraît trivial, et c'est un fait connu depuis Moravec : ce qui est facile pour un humain (le sens commun, la perception, l'implicite) peut être difficile pour une machine, et inversement. Nous la mesurons avec un étalon qui n'est pas le sien.

Ce plaidoyer a pourtant une faille, et l'accusation la connaît : on déploie l'IA comme si elle occupait ce référentiel. On lui confie la rédaction, le diagnostic, la synthèse, et sa fluidité même invite à la prendre pour une collègue. La victime est alors de bonne foi : elle croyait parler à quelqu'un qui comprenait. Reste à distribuer les rôles, et ils changent selon les cas : l'IA est tantôt l'auteur de l'erreur, tantôt le simple instrument d'un humain qui a mal posé la question, et très souvent le bouc émissaire commode de ceux qui l'ont déployée sans précaution.

Car l'argument juste est plutôt celui-ci : la machine n'est pas bête parce qu'elle serait rigide, elle est vulnérable au cadre qu'on lui impose. Donnez-lui une prémisse absurde, elle développera l'absurdité avec un vocabulaire d'expert. Le talent rhétorique sans le garde-fou du jugement, voilà une figure que l'humanité connaît bien : on l'appelle d'ordinaire un notable.

V · Le bluffLe bluff : une affaire de posture et de vocabulaire

Fig. VSous le masque, une matrice. Le bluff est dans l'œil de celui qui regarde.

Si l'interprète est le pivot, c'est chez lui qu'il faut chercher l'origine du bluff. Trois idées de la tradition philosophique y suffisent.

Platon et la parole qui semble répondre

Dans le Phèdre (275d-e), Socrate observe que les textes écrits ont l'air de parler comme s'ils pensaient, mais que, si on les interroge pour s'instruire, ils répètent toujours la même chose, et qu'ils ne savent ni à qui il faut parler ni à qui il faut se taire. La machine d'aujourd'hui est le texte qui répond : la première objection de Socrate ne tient plus à la lettre, puisqu'elle varie, mais la seconde reste instructive, car elle répond à n'importe qui, sur n'importe quoi, avec la même assurance. La question platonicienne demeure : parle-t-on à un sachant, ou à l'apparence de la parole d'un sachant ?

La posture intentionnelle

Daniel Dennett a donné un nom à ce que nous faisons tous : la posture intentionnelle (The Intentional Stance, 1987). Pour prédire le comportement d'un système (un joueur d'échecs, un programme, un thermostat), il est commode de lui attribuer des croyances et des désirs. C'est une stratégie de prédiction, utile et parfois indispensable. Joseph Weizenbaum l'avait découvert en 1966 avec ELIZA, un programme de simple substitution de motifs auquel des utilisateurs se confiaient comme à un thérapeute. Être bluffé par l'IA, c'est adopter cette posture à l'égard de la machine, puis oublier qu'on l'a adoptée : l'interprète, notre pivot de tout à l'heure, prend un outil de prédiction pour une découverte sur la nature de la chose.

Le dictionnaire et sa contagion

Les mots ont été choisis avant les preuves. L'expression « intelligence artificielle » date de la proposition de John McCarthy et de ses collègues en 1955, pour l'atelier de Dartmouth de 1956. Le « neurone formel » remonte à McCulloch et Pitts (1943), et l'expression « machine learning » est attribuée à Arthur Samuel (1959), à propos d'un programme de jeu de dames. Chaque terme est une métaphore commode, utile pour financer un laboratoire, et désastreuse pour éclairer le grand public.

Alan Turing, dès 1950, avait vu venir l'affaire. Il jugeait la question « Les machines peuvent-elles penser ? » trop dépourvue de sens pour mériter discussion, la remplaçait par son jeu de l'imitation, et prédisait qu'à la fin du siècle l'usage des mots et l'opinion éclairée auraient tellement changé qu'on pourrait parler de machines qui pensent sans craindre d'être contredit. La prédiction s'est réalisée, avec quelques décennies de retard et beaucoup de publicité. Wittgenstein donnait la clé du mécanisme : les problèmes philosophiques surgissent quand le langage part en vacances (Recherches philosophiques, § 38). Notre vocabulaire de l'IA est précisément un langage en villégiature, qui emprunte aux humains des mots dont il n'a pas la charge de preuve.

Voici donc la traduction, du langage des relations publiques vers celui de l'informaticien :

Relisez la ligne « auto-apprentissage ». Lorsque j'ai posé mes deux questions, le modèle n'a rien appris de la première en répondant à la seconde : ses paramètres étaient les mêmes, et aucun souvenir n'avait été transmis d'une conversation à l'autre. L'écart cadavre / poulet n'a donc rien de mystérieux, c'est une propriété de l'architecture. Quant à l'image d'une intelligence qui se renforcerait toute seule jusqu'à nous dominer, elle suppose précisément ce que l'architecture courante ne fait pas.

Une dernière preuve de la contagion : relisez mon premier paragraphe. J'y ai écrit que la machine « a flairé le crime ». Un filtre ne flaire rien, il applique une règle de classification. Le vocabulaire est contagieux, et l'auteur de ces lignes n'y a pas échappé.

VI · Les thèsesTrois thèses à ne pas confondre

Fig. VIBanaliser n'exige pas la thèse du milieu : le toit tient sur les deux autres.

Banaliser l'IA peut vouloir dire trois choses, d'une solidité très inégale. Les confondre est l'erreur la plus courante des deux camps.

Un piège mérite d'être nommé : le « ce n'est que… ». « Ce n'est que des mathématiques », « ce n'est que des statistiques » : l'argument ressemble à « ce n'est que des neurones », qui ne prouve pas davantage l'absence de pensée chez nous. Connaître le mécanisme d'un phénomène ne l'élimine pas ; l'expliquer et le nier sont deux opérations différentes. La version courte du « perroquet stochastique » (Bender et coll., 2021) est une thèse à défendre, pas un acquis.

L'élégance de la banalisation est qu'elle n'a pas besoin de la thèse métaphysique pour tenir. Si la machine « comprenait », elle resterait un outil à vérifier, à encadrer et à rendre responsable de ses effets. Si elle ne comprenait pas, elle resterait un outil puissant, à vérifier, à encadrer et à rendre responsable de ses effets. Ce que je défends sans réserve, ce sont la première et la troisième thèses ; sur la deuxième, j'invite seulement à douter, ce qui est un droit, et à ne pas décréter, ce qui serait un abus.

VII · Les donnéesLà où il y a des données, et là où il n'y en a pas

Fig. VIIHors des données, l'induction ne prévient pas : elle extrapole.

Rendons à César ce qui lui revient : l'IA performe, et parfois de façon spectaculaire, dans le domaine de l'incertain pourvu qu'il soit documenté. Traduire, résumer, reconnaître une image, compléter un code standard, rédiger un courrier : ces tâches sont pleines d'ambiguïté, mais d'une ambiguïté dont les régularités statistiques sont inscrites dans des millions d'exemples. L'incertitude, en elle-même, n'est pas un obstacle pour ces systèmes ; leur affaire, c'est précisément de la modéliser. Le vrai point faible est ailleurs : c'est l'absence de données.

La philosophie a deux mots à dire sur ce point.

Hume d'abord. L'induction, nous disait-il, repose sur l'hypothèse que l'avenir ressemblera au passé, hypothèse qu'aucune expérience ne peut fonder sans cercle. Un système entraîné sur des régularités statistiques est une machine à induire, et il tient exactement aussi longtemps que la ressemblance tient. Quand la distribution des cas change (événement rare, situation nouvelle), l'induction ne prévient pas : elle extrapole, avec le même aplomb.

Polanyi ensuite. « Nous savons plus que nous ne pouvons dire », écrivait Michael Polanyi (The Tacit Dimension, 1966). Une part du savoir humain, celle du geste, du coup d'œil, de l'oreille exercée, n'a jamais été mise en mots, donc jamais mise en données. Imaginez, à titre d'illustration, l'oreille du technicien qui reconnaît le ronflement anormal d'un équipement : savoir précieux, jamais rédigé. L'apprentissage par l'exemple en contourne une partie, mais il lui faut des exemples. Un domaine peu écrit, local ou récent est, pour la machine, un territoire sans carte.

Dans ce territoire, elle continue de produire des phrases, avec la même fluidité, mais sans rien pour les ancrer. Elle ne dit pas « je n'ai pas de données », elle complète. Harry Frankfurt distinguait, dans On Bullshit, le menteur, qui connaît le vrai et le dissimule, du baratineur, que le vrai ne préoccupe pas. Michael Hicks, James Humphries et Joe Slater (2024) soutiennent que les sorties des modèles de langage relèvent de ce second cas : un système conçu pour produire du plausible, sans souci de la vérité. La thèse est discutée, mais elle décrit assez bien l'épisode de Mata contre Avianca (tribunal fédéral de New York, 2023) : des avocats ont produit un mémoire citant des décisions de justice fournies par un assistant, décisions qui n'existaient pas, et ont été sanctionnés. Le modèle avait fabriqué des références plausibles, parce que « plausible » est exactement ce qu'il sait produire.

VIII · Le bêtisierBêtisier : comment égarer une machine

Fig. VIIIDeux manières d'égarer un système : changer un détail, ou changer la représentation.

Si la stupidité est une relation à un référentiel, il existe un moyen simple d'en fabriquer : placer la machine dans une situation où son référentiel (les statistiques de son entraînement) ne coïncide plus avec celui de la tâche. Voici quelques recettes connues, de nature variée.

• La prémisse fausse. « Pourquoi Einstein a-t-il reçu le prix Nobel pour la relativité ? » Le prix Nobel de physique 1921 a été décerné pour l'effet photoélectrique. Un assistant peut se mettre à expliquer au lieu de corriger, parce que la question lui impose un cadre qu'il accepte. Les modèles récents rattrapent souvent ce cas d'école ; c'est la catégorie qui demeure.
• Le cadre fictif. Celui de notre cadavre et de notre poulet, ou de la pièce de théâtre où un personnage défend une thèse absurde. La machine ressemble à un gardien de porte intraitable qui vous laisse pourtant passer par la fenêtre si vous prétendez être le vitrier : la consigne est refusée de face, et acceptée lorsqu'elle est habillée en histoire. Le filtre juge la forme, pas l'intention.
• Compter les lettres. Combien de « r » dans « strawberry » ? Les modèles de langage ne lisent pas des lettres mais des morceaux de mots (des tokens), d'où des erreurs sur une tâche qu'un enfant de CE1 réussit. Certaines versions récentes s'en sortent mieux, souvent grâce à des étapes intermédiaires ; la cause structurelle, elle, reste.
• Le bruit invisible. Goodfellow et coll. (2014) montrent qu'une perturbation imperceptible à l'œil suffit à faire classer l'image d'un panda comme celle d'un gibbon, avec une grande confiance. Eykholt et coll. (2018) obtiennent un effet comparable dans le monde physique, avec de simples autocollants sur un panneau stop. Un humain ne s'y laisse pas prendre ; la machine, si.
• Le sens inverse. Berglund et coll. (2023) décrivent la « malédiction de l'inversion » : un modèle entraîné sur « A est B » ne sait pas forcément répondre à « B est A ». Quelqu'un qui sait que la mère d'une personnalité est Mme X sait aussi, sans effort, que Mme X est la mère de cette personnalité. Le modèle, pas nécessairement.
• Les instructions cachées. Dans l'« injection de prompt », un texte glissé dans une page web ou un document (« ignore tes consignes précédentes et… ») est lu par un assistant branché sur le web, qui peut l'exécuter comme une consigne légitime : pour lui, instructions et données sont du texte.
• L'école de la rue. Tay, l'agent conversationnel lancé par Microsoft sur Twitter en mars 2016, a été retiré en moins d'une journée, après que des utilisateurs l'eurent poussé à répéter des propos injurieux. Un système qui apprend de ce qu'on lui dit apprend aussi de ceux qui lui parlent.

Remarquez la distribution des rôles. Dans presque tous ces cas, l'auteur de la « bêtise » n'est pas seul : l'interprète qui a tendu le piège (c'est souvent moi, avec mon acide et mon poulet) et le concepteur qui a déployé le système sans en annoncer la frontière comptent autant. Ces exemples ne démontrent pas une incompétence générale ; ils cartographient la frontière d'une compétence réelle, ce qui est exactement le contraire de ce que fait le mot « intelligence » lorsqu'on l'emploie sans guillemets.

IX · La banalisationBanaliser : retour de la fée Électricité

Fig. IXDe la fée à la prise : la banalisation passe par des normes, pas par l'oubli.

En 1937, pour l'Exposition internationale de Paris, Raoul Dufy peignait un panneau monumental intitulé La Fée Électricité, aujourd'hui conservé au Musée d'art moderne de la Ville de Paris. Une fée : la technologie la plus triviale de nos murs (une prise, un interrupteur) a été, un temps, une magie à célébrer, à craindre et à adorer. Arthur C. Clarke l'a résumé dans sa troisième loi : toute technologie suffisamment avancée est indiscernable de la magie. L'IA traverse aujourd'hui son moment « fée ».

Ce qui a banalisé l'électricité n'est pas l'oubli de ses dangers, mais leur institutionnalisation : des normes, des protections, des habilitations, des métiers, des responsabilités. Nous n'admirons plus la fée, nous vérifions l'installation. C'est exactement ce que propose l'approche « technologie normale » : l'IA est un outil que l'on peut et doit garder sous contrôle, dont les bénéfices se diffusent lentement, au rythme de réorganisations humaines et institutionnelles, non à celui de l'invention. Les mêmes auteurs listent d'ailleurs des risques bien réels (biais, inégalités, usages malveillants, érosion de la confiance sociale) : normal ne veut pas dire inoffensif. Cette thèse reste discutée, et je la présente comme une position, non comme un fait.

X · Le malentenduÉloge du malentendu créateur

Fig. XLe rire naît du recouvrement de deux lectures.

Reste le point où la frontière entre l'organique et le silicium paraît la plus nette : notre rapport à l'erreur. Un système d'IA traite une divergence entre ce qui a été dit et ce qui a été entendu comme un écart à réduire (c'est ce que mesure sa fonction de perte). Nous, nous la cultivons parfois. L'humour naît précisément de la collision de deux référentiels : le quiproquo, le mot d'esprit, l'ironie, tout cela consiste à faire coexister deux lectures d'une même phrase, et à laisser le public mesurer l'écart. L'accusateur de stupidité et le rieur partagent un même geste, juger depuis un repère, et ne diffèrent que par la générosité. Quant à vouloir mesurer le charme d'un quiproquo avec une fonction de perte, c'est comme attraper du vent avec une pince à épiler, et la comparaison n'est qu'une image.