Le vrai, le vraisemblable et l’IA

Last updated on 15 novembre 2024

Une étude récente menée par Open AI indique que, majoritairement, les réponses données par les intelligences artificielles (IA) aux questions qui leur sont posées sont incomplètes, évasives, et, dans une proportion importante, franchement fausses ou incorrectes.

Cette information est surprenante mais elle était prévisible. Rembobinons un peu :

L’image qui figure en tête de cet article n’est pas vraie. Ou plutôt : c’est une vraie image (très belle d’ailleurs, on peut le noter) mais ça n’est pas une vraie photo représentant un événement réel ; c’est la création d’une IA qui a produit cette image à partir d’une consigne textuelle que je lui ai donnée.

Cette création est ex nihilo. L’IA ne cherche pas, dans ses immenses registres, l’image correspondant le mieux à la demande qui lui a été faite (ce que font les ordinateurs traditionnels) ; elle la crée de toutes pièces sur la base des millions de corrélations qu’elle a assimilées et qu’elle assimile chaque jour un peu plus entre des pixels et des mots.

Or l’IA ne sait rien du monde ; elle ne l’a jamais vu : elle ne sait pas ce qu’est réellement une piscine, une nageuse ou un plongeon ; elle ne connaît que les corrélations, correspondances, associations plus ou moins fortes, plus ou moins renforcées par l’entraînement (le processus d’apprentissage des IA), entre des données de natures diverses qui lui ont été fournies ou qu’elle est allée chercher. Elle n’a pas d’accès à la réalité et ne dispose donc d’aucun moyen de vérifier par elle-même la véracité de ses prédictions ou créations, qui ne sont, vues d’elle, que des productions probabilistes, des vraisemblances, le niveau de vraisemblance étant fonction du degré de corrélation existant entre les données. L’IA ne connaît que cela : non pas la vérité mais la vraisemblance.

J’allais écrire que là est la différence radicale entre l’IA et l’intelligence animale, notamment humaine, celle-ci construisant sa représentation du monde à partir de son expérience de la réalité et donc de la vérité ; mais à la réflexion, la différence n’est pas si claire : en effet, plus le champ de nos savoirs s’accroît, plus réduite est la part de nos connaissances dont nous avons une expérience réelle et sensible ; et plus grande celle des faits dont nous n’avons aucune expérience personnelle mais que nous considérons néanmoins, par confiance ou croyance, comme des réalités.

Il n’y a donc pas, au fond, de si grande différence entre le sentiment de vérité que nous éprouvons vis-à-vis de faits et connaissances qui relèvent essentiellement du consensus social, et l’acceptation, par les IA, d’une vraisemblance fondée sur le niveau de corrélation entre des données hétérogènes.

L’étude évoquée en début de papier est « Measuring short-form factuality in large language models« , (arXiv.org, 7 novembre 2024) dont l’objet premier est de présenter Simple QA, un modèle de test qui évalue la capacité des moteurs d’IA à répondre correctement à des questions courtes et factuelles. L’article souligne également que le taux important d’erreur constaté chez les IA ne les empêche pas d’avoir une assez haute confiance en la pertinence de leurs réponses (cette confiance se mesurant au travers d’autres tests, également analysés).

L’image d’illustration a été générée par Midjourney 6.1. Elle fait partie d’une série de quatre images créées à partir du même prompt (cette capacité à avoir plusieurs interprétations du même texte étant en soi fascinante), images dont les trois autres, reproduites ci-dessous, comportent des erreurs grossières. Toutes ont par ailleurs le défaut (et l’intérêt) de ne pas répondre exactement à la consigne qui mentionnait explicitement que l’image de la nageuse plongeant dans la piscine devait saisir celle-ci moment où elle était encore dans les airs.

Je signale enfin que ma requête ne mentionnait en aucune façon l’usage du noir et blanc. Je suppose que celui-ci (ainsi que la recherche manifeste d’une qualité esthétique inspirée par les canons du photojournalisme) est une réaction à la mention, dans mon prompt, d’un appareil photographique professionnel, le Canon EOS 1D.

En bande sonore, une superposition de grincements de péniche ce week-end sur les quais de la Seine, d’un passage de « IBM 1402 Card Read-Punch » tiré  de l’album IBM 1401, A User’s Manual, de Johann Jóhannsson, et de ma lecture.