KI-Halluzinationen verstehen: Ursachen & Beispiele künstlicher Fiktion

Kategorien: Datenschutz und Künstliche Intelligenz

KI-Halluzinationen sind Falschaussagen einer KI, die auf korrekten Informationen basieren. Das Ergebnis ist eine plausible Aussage, die richtig sein könnte, aber nicht richtig ist. Eine Erklärung für Halluzinationen ist möglich, wenn man sich anschaut, wie beispielsweise KI-Sprachmodelle Informationen und deren Bedeutung kodieren.

Einleitung

Wahrscheinlich hat jeder schon von Halluzinationen im Kontext von Künstlicher Intelligenz gehört.

Halluzinationen sind deshalb so spannend, weil es sich um Falschaussagen handelt, die das Potential haben, plausibel zu klingen. Was plausibel klingt, wird oft als wahr oder richtig aufgefasst. Genau darin liegt die Gefahr von Halluzinationen.

Nicht jede Falschaussage einer KI ist eine Halluzination!

Halluzinationen sind Falschaussagen, die auf korrektem Hintergrundwissen basieren. Falsche Aussagen, die aus falschem Wissen oder aus Missverständnissen aufgrund einer schlampig formulierten Frage hervorgehen, sind keine Halluzinationen.

Die Grundlage für Halluzinationen sind semantische Vektoren. Was das ist, schauen wir uns genauer an.

So entstehen Halluzinationen

Ein semantischer Vektor ist der Träger einer Bedeutung. Was ist eine Bedeutung? Eine Bedeutung ist eine subjektiv definierte Aussage. Man könnte auch sagen: Jeder definiert sich seine Wahrheit selbst.

Ich mach mir die Welt,

widewide wie sie mir gefällt.

Pippi Langstrumpf

Wahrheit ist (immer?) etwas Subjektives. Selbst physikalische Theorien wie die Relativitätstheorie und die Quantenmechanik, die wohl zu unseren besten Theorien zählen, sind rein subjektiv interpretiert.

Der Mensch findet die Bedeutung von Gegenständen und Gegebenheiten durch kulturelle Prägung, Erziehung und eigene Anschauung. Der Computer („die KI“) sucht nach Bedeutung aufgrund von Trainingsdaten, was an sich wohl nichts anderes ist.

Bedeutung wird durch Optimierung einer mathematischen Funktion gefunden. So wird es der Mensch wohl auch tun, nur dass die Optimierung beim Menschen auch absichtlich objektiv (!?) kontraproduktive Elemente enthalten kann.

Das folgende Bild zeigt in vereinfachter Darstellung, wie die Bedeutung des Satzes „Der Hund läuft im Park“ in einem KI-Modell kodiert wird.

Der eben genannte Satz hat zahlreiche Bedeutungs-Facetten. So sagt er etwas über ein Lebewesen aus („Hund“), thematisiert eine Aktivität („laufen“), enthält eine Tonalität (hier: neutrale Emotion) und bezeichnet einen Ort („Park“). Nebenbei: Der Begriff „Park“ kann mehrere Bedeutungen haben. Hier ist der begrünte Bereich in einer Stadt gemeint. Eine andere Bedeutung, die hier nicht gemeint ist, aber möglich wäre, ist der Imperativ von „parken“.

Die Abbildung zeigt der Einfachheit halber nur zwei Dimensionen (2D). In Wirklichkeit arbeiten KI-Modelle mit mehreren hundert Dimensionen, beispielsweise mit 512. Diese hohe Anzahl an Dimensionen dient dazu, die verschiedenen Bedeutungs-Facetten einer Aussage aufgreifen, also repräsentieren zu können.

Die Aussage „Der Hund läuft im Park“ sei wahr. Wie kann daraus eine Falschaussage entstehen?

Viele KI-Systeme erzeugen Ergebnisse, indem sie die Bedeutung der Eingabe als Vektor (oder Vektoren) repräsentieren und dies ebenso für gespeichertes Hintergrundwissen tun. Nun kann man mit Vektoren rechnen – wer fit in Mathematik ist oder sich an bessere Zeiten zurückerinnern kann, wird dies wissen.

Die folgende Abbildung zeigt schematisch die Addition von zwei semantischen Vektoren.

Zu sehen sind zwei Aussagen, die beide wahr sind:

• Albert Einstein erhielt den Nobelpreis für Physik -> Wahre Aussage
• Albert Einstein entwickelte die Relativitätstheorie -> Wahre Aussage

Addiert man nun die Vektoren dieser beiden Aussagen, so entsteht der im Bild rot dargestellte Vektor, der eine Falschaussage repräsentiert. Die Addition der beiden Pfeile, grün und blau, ist rechts oben in der Abbildung in Minaturform verdeutlicht. Auch die gestrichelten Linien deuten an, wie der rote Pfeil aus dem grünen und dem blauen Pfeil entsteht.

Im KI-Modell entsteht durch Ähnlichkeitssuche mit dem roten Ergebnisvektor sodann die Aussage, die am besten dem Ergebnisvektor gerecht wird. Daraus resultiert die falsche Aussage: „Einstein erhielt den Nobelpreis für die Relativitätstheorie“.

Kaum zu glauben, dass eines der herausragendsten Genies der Menschheitsgeschichte für eine der herausragendsten Theorien der Menschheitsgeschichte KEINEN Nobelpreis erhalten hatte. Man könnte das als Unverschämtheit oder auch als Zeichen der globalen Dummheit der Menschheit betrachten. Immerhin basieren folgende Errungenschaften auf der Einsteinschen Relativitätstheorie:

• GPS und Navigationssysteme: Ohne die Berücksichtigung relativistischer Effekte wären GPS-Satelliten bereits nach wenigen Stunden um mehrere Kilometer ungenau. Die Uhren auf den Satelliten laufen aufgrund der geringeren Gravitation schneller als auf der Erde.
• Teilchenbeschleuniger wie der Large Hadron Collider am CERN funktionieren nur, weil relativistische Effekte bei der Beschleunigung von Teilchen auf nahezu Lichtgeschwindigkeit berücksichtigt werden. Diese Anlagen haben zur Entdeckung des Higgs-Bosons und vieler anderer Elementarteilchen geführt.
• Medizinische Bildgebung nutzt die Relativitätstheorie in der Positronen-Emissions-Tomographie (PET). Dabei werden Antimaterie-Teilchen verwendet, deren Verhalten Einstein vorhergesagt hatte.
• Astronomie und Kosmologie wurden revolutioniert. Die Theorie ermöglichte die Vorhersage und spätere Beobachtung von Schwarzen Löchern, Gravitationswellen und half beim Verständnis der Expansion des Universums.
• Quantencomputing profitiert von relativistischen Konzepten, insbesondere bei der Entwicklung hochpräziser Atomuhren und Quantensensoren.
• Synchronisation von Computernetzwerken und Finanzhandelssystemen berücksichtigt heute relativistische Zeiteffekte für präzise Zeitmessungen über große Entfernungen.

Im besten Fall waren damals die Nobel-Juroren intellektuell überfordert und hatten sich nicht getraut, einer in deren Augen möglicherweise falschen Theorie den Segen zu erteilen.

Zurück zu Halluzinationen:

Die oben genannte falsche Aussage kam also durch Kombination von zwei richtigen Aussagen zustande. Auch deshalb klingt sie so plausibel und kann von der Wirklichkeit (wie wir sie definiert haben) ablenken.

Oft kommt hinzu, dass die Antworten von KI-Sprachmodellen derart ansprechend und strukturiert gestaltet sind, dass sie professionell wirken. Das verstärkt den Eindruck noch, die falsche Aussage (Halluzination) sei richtig.

Vektoren können übrigens wieder in Text (oder andere Datenarten, die auch Modalitäten genannt werden) überführt werden. Dafür verwendet man sogenannte Einbettungen. Dies sind mathematisch ermittelte Vektorrepräsentationen von Aussagen.

Ursachen für Halluzinationen

Die möglichen Ursachen für Halluzinationen sind vielfältig. Hier ein Auszug einiger Möglichkeiten für Falschaussagen.

Statistische Interpolation statt faktisches Wissen

Sprachmodelle speichern Informationen nicht als diskrete Fakten, sondern als statistische Gewichtungen zwischen verschiedenen Konzepten. Wenn das System auf eine Anfrage antwortet, kombiniert es diese Gewichtungen, um die wahrscheinlichste Antwort zu generieren. Dabei kann es vorkommen, dass das Modell Verbindungen zwischen Konzepten herstellt, die in den Trainingsdaten nicht explizit vorhanden waren.

Es sei angemerkt, dass die menschliche Existenz vollständig auf Statistik basiert. Manche sind empört über diese Aussage. Diese sollten sich einmal (auf allgemeiner Ebene) mit der Quantenphysik beschäftigen.

These: Statistik ist die Grundlage für Intelligenz, nicht der Grund, warum keine Intelligenz vorläge.

Unvollständige oder widersprüchliche Trainingsdaten

Die Qualität der Trainingsdaten beeinflusst maßgeblich die Neigung zu Halluzinationen. Wenn ein Modell auf Daten trainiert wird, die Ungenauigkeiten, Widersprüche oder Wissenslücken enthalten, können diese Probleme in der späteren Anwendung verstärkt auftreten. Zudem können verschiedene Quellen widersprüchliche Informationen über dasselbe Thema liefern.

Beim Menschen ist es nicht anders.

Konfidenz ohne Verständnis

KI-Systeme haben kein Bewusstsein für ihre eigenen Wissensgrenzen. Sie können nicht zwischen gesichertem Wissen und Vermutungen unterscheiden und äußern Unsicherheiten nicht explizit. Stattdessen generieren sie Antworten mit einer scheinbaren Gewissheit, die nicht der tatsächlichen Zuverlässigkeit der Information entspricht.

Demnächst werden Roboter diese Wissensgrenzen schließen. Sie werden wie Menschen die Umwelt erkunden und ihre eigenen Umwelterfahrungen sammeln.

Kontextlänge

Die Kontextlänge ist die Größe des Kurzzeitgedächtnisses eines KI-Modells. Manche sprechen auch von Tokenbegrenzung. Die Kontextlänge wird in Token gemessen. Token sind vergleichbar mit Silben. Eine Kontextlänge von 8192 würde bedeuten, dass 8192 Token gleichzeitig in das Kurzzeitgedächtnis passen. Nimmt man vereinfacht an, dass ein Wort im Durchschnitt aus 2 Token besteht, dann würden 8192 / 2 = 4096 Wörter gleichzeitig in das Gedächtnis passen.

Ein zu kleines Gedächtnis führt dazu, dass nur wenige Informationen auf einmal verarbeitet werden können. Somit werden womöglich zu wenige Informationen berücksichtigt. Auch das kann ein Grund für Falschaussagen sein. Eine Halluzination wäre das aber nicht, denn Halluzinationen entstehen aus wahren Informationen. Weggelassene Informationen sind etwas anderes.

Ein sehr großes Gedächtnis verliert durchaus auch einmal den Fokus und berücksichtigt unter Umständen relevante Informationen nicht. Auch hieraus können Falschaussagen entstehen, aber auch diese sind dann keine Halluzinationen, weil die vorrangige Ursache für die Falschaussage eine fehlende Information war und nicht die Verknüpfung wahrer Informationen.

In das Praxis hat sich gezeigt: Es ist eine gute Idee, KI dadurch zu optimieren, dass die Menge der Informationen, die gleichzeitig in das Gedächtnis des KI-Modells gegeben wird, nur so groß wie unbedingt nötig zu wählen. Das erhöht die Zuverlässigkeit der Ergebnisse erheblich.

Besondere Risikobereiche

Bestimmte Themenbereiche sind besonders anfällig für Halluzinationen. Dazu gehören aktuelle Ereignisse, die nach dem Trainingsstichtag aufgetreten sind, hochspezialisierte Fachgebiete mit begrenzten öffentlich verfügbaren Informationen, und Bereiche, in denen Präzision kritisch ist, wie medizinische oder rechtliche Themen.