Les hallucinations d'une IA sont des déclarations fausses d'une IA basées sur des informations correctes. Le résultat est une déclaration plausible qui pourrait être correcte, mais qui ne l'est pas. Il est possible d'expliquer les hallucinations en regardant comment, par exemple, les modèles de langage des IA codent les informations et leur signification.
Introduction
Tout le monde a probablement déjà entendu parler des hallucinations dans le contexte de l'intelligence artificielle.
Les hallucinations sont donc si passionnantes, parce qu'il s'agit de déclarations fausses qui ont le potentiel de plausibles. Ce qui sonne plausible est souvent considéré comme vrai ou correct. C'est exactement là que réside la dangerosité des hallucinations.
Les hallucinations sont des déclarations fausses qui sur un fond de connaissance correcte reposent. Les déclarations fausses qui proviennent d'une mauvaise compréhension ou d'un malentendu en raison d'une question formulée de manière négligente, ne constituent pas des hallucinations.
La base des hallucinations sont les vecteurs sémantiques. Ce que c'est, nous allons le regarder de plus près.
Comment naissent les hallucinations
Un vecteur sémantique est le support d'une signification. Qu'est-ce qu'une signification ? Une signification est une affirmation définie subjectivement. On pourrait aussi dire que chacun définit lui-même sa vérité.
Je fais le monde,
widewide comme je l'aime.
Pippi Longstocking
La vérité est (toujours ?) quelque chose de subjectif. Même les théories physiques comme la théorie de la relativité et la mécanique quantique, qui comptent probablement parmi nos meilleures théories, sont interprétées de manière purement subjective.
L'homme trouve l'importance des objets et des situations grâce à la culture, à l'éducation et à sa propre perception. Le calculateur ("la AI") cherche Signification sur la base de données d'apprentissage, ce qui en soi n'est sans doute rien d'autre.
L'importance est trouvée par optimisation d'une fonction mathématique. De même, l'être humain le fera probablement, mais avec une optimisation qui, chez l'homme, peut également contenir intentionnellement des éléments contraires à son objectif (!?).
L'image suivante montre de manière simplifiée comment la signification de la phrase "Le chien court dans le parc" est encodée dans un modèle d'IA.
La phrase mentionnée ci-dessus a de nombreuses facettes de sens. Elle parle d'un être vivant ("chien"), d'une activité ("courir"), contient une tonalité (ici: émotion neutre) et désigne un lieu ("parc"). En passant: le terme "parc" peut avoir plusieurs significations. Ici, il s'agit de l'espace vert d'une ville. Un autre sens, qui n'est pas visé ici mais qui serait possible, est l'impératif de "parquer".
L'image montre pour simplifier deux dimensions (2D). En réalité, les modèles d'intelligence artificielle travaillent avec plusieurs centaines de dimensions, par exemple 512. Ce nombre élevé de dimensions permet de saisir et de représenter différentes facettes sémantiques d'une déclaration.
L'affirmation "le chien court dans le parc" est vraie. Comment une fausse déclaration peut-elle en découler ?
De nombreux systèmes d'IA produisent des résultats en représentant la signification de l'entrée sous la forme d'un vecteur (ou de vecteurs) et font de même pour les connaissances de base stockées. Maintenant, on peut calculer avec des vecteurs – ceux qui sont doués en mathématiques ou qui se souviennent de temps meilleurs le savent.
L'illustration suivante montre de manière schématique l'addition de deux vecteurs sémantiques.
On voit deux affirmations qui sont toutes deux vraies:
- Albert Einstein a reçu le prix Nobel de physique -> Témoignage vrai
- Albert Einstein a développé la théorie de la relativité -> Déclaration vraie
Si l'on additionne maintenant les vecteurs de ces deux affirmations, on obtient le vecteur représenté en rouge sur l'image, qui représente une fausse affirmation. L'addition des deux flèches, verte et bleue, est illustrée en haut à droite de l'illustration sous forme de matrice. Les lignes en pointillés indiquent également comment la flèche rouge est créée à partir des flèches verte et bleue.
Dans le modèle AI, il est ensuite créé par Recherche d'homologie avec le vecteur de résultat rouge une affirmation qui correspond mieux au vecteur de résultats. De là résulte la fausse déclaration: «Einstein a reçu le prix Nobel pour la théorie de la relativité».
Il est difficile de croire que l'un des génies les plus remarquables de l'histoire de l'humanité n'ait pas reçu de prix Nobel pour l'une des théories les plus remarquables de l'histoire de l'humanité. On pourrait considérer cela comme une impertinence ou comme un signe de la stupidité globale de l'humanité. Après tout, les réalisations suivantes sont basées sur la théorie de la relativité d'Einstein:
- GPS et systèmes de navigation: Sans tenir compte des effets relativistes, les satellites GPS seraient déjà inexact à plusieurs kilomètres après quelques heures. Les horloges sur les satellites tournent plus vite en raison d'une gravitation moindre que sur Terre.
- Accélérateur de particules comme le Grand collisionneur d'hadrons au CERN fonctionnent uniquement parce que les effets relativistes sont pris en compte lors de l'accélération des particules à une vitesse proche de celle de la lumière. Ces installations ont conduit à la découverte du boson de Higgs et de nombreux autres éléments constituants.
- Imagerie médicale utilise la théorie de la relativité dans la tomographie par émission de positrons (PET). Elle utilise des particules d'antimatière dont le comportement avait été prédit par Einstein.
- L'astronomie et la cosmologie ont été révolutionnées. La théorie a permis de prédire et d'observer ensuite les trous noirs, les ondes gravitationnelles et a contribué à comprendre l'expansion de l'univers.
- Calcul quantique profite des concepts relativistes, en particulier pour le développement d'horloges atomiques de haute précision et de détecteurs quantiques.
- Synchronisation de réseaux informatiques et systèmes de trading financiers tiennent compte aujourd'hui des effets relativistes sur les mesures de temps précises à grande distance.
Dans le meilleur des cas, les jurés Nobel étaient alors intellectuellement dépassés et n'avaient pas osé donner leur bénédiction à une théorie potentiellement erronée à leurs yeux.
Retour aux hallucinations:
L'affirmation erronée susmentionnée a donc été obtenue par la combinaison de deux affirmations correctes. C'est aussi pour cette raison qu'elle semble si plausible et qu'elle peut détourner l'attention de la réalité (telle que nous l'avons définie).
Souvent, les réponses des modèles de langage de l'IA sont si attrayantes et structurées qu'elles semblent professionnelles. Cela renforce encore l'impression que la fausse déclaration (hallucination) est correcte.
Les vecteurs peuvent d'ailleurs être convertis à nouveau en texte (ou autres types de données, appelés modalités) grâce à des Incorporations. Celles-ci sont des représentations vectorielles mathématiquement calculées des affirmations.
Causes des hallucinations
Les causes possibles des hallucinations sont multiples. Voici un extrait de quelques possibilités de fausses déclarations.
Interpolation statistique plutôt que connaissances factuelles
Les modèles linguistiques ne stockent pas les informations comme des faits discrets, mais comme des pondérations statistiques entre différents concepts. Lorsque le système répond à une requête, il combine ces pondérations afin de générer la réponse la plus probable. Ce faisant, il peut arriver que le modèle établisse des liens entre des concepts qui n'étaient pas explicitement présents dans les données d'apprentissage.
Il convient de noter que l'existence humaine est entièrement basée sur les statistiques. Certains s'indignent de cette affirmation. Ceux-là devraient se pencher (à un niveau général) sur la physique quantique.
Ces statistiques: sont la base de l'intelligence, et non la raison pour laquelle il n'y aurait pas d'intelligence.
Données de formation incomplètes ou contradictoires
La qualité des données d'entraînement a une influence déterminante sur la tendance aux hallucinations. Si un modèle est entraîné sur des données qui contiennent des inexactitudes, des contradictions ou des lacunes dans les connaissances, ces problèmes peuvent être amplifiés lors de l'application ultérieure. De plus, différentes sources peuvent fournir des informations contradictoires sur le même sujet.
Il n'en va pas autrement chez l'homme.
Confiance sans compréhension
Les systèmes d'IA n'ont pas conscience de leurs propres limites de connaissances. Ils ne peuvent pas faire la différence entre des connaissances sûres et des suppositions et n'expriment pas explicitement les incertitudes. Au lieu de cela, ils génèrent des réponses avec une certitude apparente qui ne correspond pas à la fiabilité réelle de l'information.
Bientôt, les robots fermeront ces frontières de la connaissance. Comme les humains, ils exploreront l'environnement et feront leurs propres expériences environnementales.
Domaines de risque particuliers
Certains domaines sont particulièrement sujets aux hallucinations. Il s'agit notamment d'événements récents survenus après la date de formation, de domaines hautement spécialisés où les informations disponibles publiquement sont limitées, et de domaines où la précision est critique, comme les sujets médicaux ou juridiques.
En ce qui concerne les sciences juridiques, il est peu probable qu'une personne "normale" comprenne ce qui est écrit dans les articles juridiques, les jugements ou dans certaines lois et ordonnances. C'est d'ailleurs intentionnel: les juristes veulent en partie rester entre eux et utilisent donc un "langage de pouvoir". Cette information ne provient pas de l'auteur de cet article, mais d'un juriste.
Résumé
Les hallucinations résultent de la combinaison de connaissances vraies. Elles passent à côté de la vérité. On peut comprendre les hallucinations si l'on considère les vecteurs sémantiques comme porteurs de sens.
Mais de telles hallucinations peuvent également se produire de manière analogue dans les réseaux neuronaux, qui constituent la base de nombreux modèles d'IA actuels. Après tout, un réseau neuronal peut représenter un vecteur, car il est si plastique qu'il peut porter et représenter tout type d'information.
En ce qui concerne le règlement sur l'IA (AI Act), il vaut mieux essayer de limiter les risques d'hallucinations. Il est encore mieux d'éviter les hallucinations.
Plus d'informations sur les hallucinations peuvent être trouvées dans le prochain Sammelband "Risikoanalyse-AI", qui sera publié sous la direction de Prof. Wanderwitz, à lire. Ce billet repose en partie et sous forme nettement réduite sur l'article prévu pour le recueil.
Les hallucinations peuvent être évitées, si l'on s'y prend un peu. Avec ChatGPT, vous n'y arriverez pas, mais avec une intelligence artificielle optimisée pour les entreprises et d'autres organisations, oui. Dans un projet client, nous avons réussi à créer un chatbot fiable pour un domaine complexe. Le chatbot a répondu correctement dans de très nombreux cas. Il savait également quand il devait répondre correctement. Dans les rares cas où il y avait des doutes, l'humain devant l'écran recevait le message que la réponse devait être vérifiée. Dans tous les cas, les sources de la réponse étaient indiquées. Lorsque les réponses étaient considérées comme correctes, le chatbot affichait un sceau de qualité ("nous sommes derrière cette réponse").
My name is Klaus Meffert. I have a doctorate in computer science and have been working professionally and practically with information technology for over 30 years. I also work as an expert in IT & data protection. I achieve my results by looking at technology and law. This seems absolutely essential to me when it comes to digital data protection. My company, IT Logic GmbH, also offers consulting and development of optimized and secure AI solutions.
