Statistik: Die intelligente Verbindung zwischen KI und dem menschlichen Gehirn

Kategorien: Datenschutz und Künstliche Intelligenz

KI bietet enorme Möglichkeiten und birgt gleichzeitig erhebliche Risiken. Aus beiden Gründen ist KI vielen unheimlich. Daher führen sie an, dass KI nur auf Statistik basiere und nichts mit menschlicher Intelligenz zu tun habe. Dabei wird vergessen, dass unsere gesamte Existenz auf Statistik basiert.

Der Statistik-Faktor unserer Existenz

Zu Sprachmodellen liest man oft, dass diese LLMs nur darauf beruhten, das nächste wahrscheinliche Wort zum zuletzt generierten Wort zu ermitteln und auszugeben. Das wird dann Wort für Wort gemacht. Und so käme das raus, was andere für einen intelligent erstellten Text halten. Statt Worten werden in Wirklichkeit sogenannte Token verarbeitet. Vereinfacht gesagt, sind Token so etwas wie Wortteile oder Silben. Token werden verwendet, um eine Kompression zu bewirken und auch, um längere oder zusammengesetzt Worte semantisch besser erfassen zu können.

Sogar der Hamburgische Datenschutzbeauftragte nutzt dieses Argument, um danach zu sagen, er sei für KI ja gar nicht zuständig. Denn KI verarbeite gar keine personenbezogenen Daten. Dazu fällt einem nur sehr wenig Positives ein. Es entbehrt schlichtweg jeder Grundlage, wie man beweisen kann. Die folgende Aussage reicht vielleicht schon als Gegenbeweis:

Sprachmodelle sagen das wahrscheinlich nächste Wort voraus. Das ist nicht intelligent.

Sprachmodelle sagen das wahrscheinlich nächste Wort passend zum gegebenen Kontext voraus. Das ist intelligent.

Den fett gedruckten Teil beachten viele nicht: er wird meistens nicht erwähnt.

Deutsche Grammatik

Auch der Mensch kann als sogenannter Token-Papagei bezeichnet werden. Der Begriff kam von jemandem, der über technische Details von KI sprach. Derjenige meinte, Sprachmodelle seien nur Token-Papageien. Sie würden also das nachplappern, was sie einmal über Trainingsdaten eingetrichtert bekamen.

Warum ist der Mensch auch ein Token-Papagei? Wenn wir von der deutschen Grammatik sprechen, dann sehen wir als Muttersprachler, dass diese auf Wahrscheinlichkeiten basiert. Wir lernen, welche Worte und Begriffe mit welchen anderen Worten und Begriffen zusammenpassen. Dazu lernen wir Wahrscheinlichkeiten. Nur versteckt unser Gehirn das Prinzip des Sprachelernens so gut vor uns, dass wir nicht bemerken, dass das Grundprinzip der Grammatik sehr einfach ist. Erst seit Aufkommen des Transformer-Ansatzes im Jahr 2017, der eine sehr wichtige Grundlage für die heutige KI ist, wurde es möglich, dass sogar der naive Informatiker das verstehen kann, wenn er will.

Wenn ein Ausländer eine Redewendung aus Unwissen (oder mangelhaftem Gedächtnis) abwandelt und sie in anderer, aber grammatikalisch korrekter Form wiedergibt, dann erkennen wir die Person als Ausländer. Denn wir haben die abweichende Wahrscheinlichkeitsverteilung wahrgenommen.

Radioaktiver Zerfall

Beginnen wir mit einem Zitat von Wikipedia, das wohl jeder Physik so geben würde:

Das bedeutet: Wenn Sie ein Teilchen beobachten, dann wissen Sie nicht, wie lange dieses Teilchen existiert. Oder anders: Sie können nicht wissen, wie lange dieses Teilchen existiert. Sie können es nicht wissen, weil das Wissen einen Verstoß gegen das anerkannte physikalische Weltbild wäre. Die Kenntnis ist also nicht möglich. Bei Interesse nach mehr empfehle ich populärwissenschaftliche Bücher wie die von Werner Heisenberg oder Albert Einstein.

Wie lange dauert es, bis ein radioaktiver Stoff wie Uran, nicht mehr strahlt? Bei Betrachtung eines Teilchens Urans können Sie diese Frage generell nicht beantworten. Für Juristen: Diese Frage kann nicht beantwortet werden, auch nicht "grundsätzlich" nicht. Nochmal: Die Frage, wann ein radioaktiver Stoff nicht mehr radioaktiv ist, kann bei Betrachtung eines Teilchens nicht beantwortet werden.

Die Halbwertszeit ist die Zeit, nach der sich die radioaktive Strahlung eines Stoffs (radioaktives Nuklid) halbiert hat. Wie berechnet man diese Zahl? Jedenfalls gilt: "Der Zeitpunkt der Umwandlung eines einzelnen Atomkerns kann nicht vorhergesagt werden, …" (Quelle: Halbwertszeit/Wikipedia). Die Halbwertszeit wird als "statistischer Mittelwert" (selbe Quelle) ermittelt.

Radioaktiver Zerfall ist ein Zufallsprozess, der auf Statistik basiert.

Quantenphysik

Die Quantenphysik wurde mit der Entdeckung Albert Einsteins im Jahre 1905 bekannt. Er entdeckte, dass Licht nicht als kontinuierlicher Strahl zu verstehen ist, sondern in Form von winzigen Paketen, den Quanten. Dies hier ist kein Physik-Vortrag. Um nicht zu viele Physiker zu erzürnen, sei noch erwähnt, dass es den Welle-Teilchen-Dualismus gibt, der bei Licht anzutreffen ist. Dies mündet in das sogenannte Doppelspalt-Experiment, dem wohl besten Beleg für unsere Unfähigkeit, unsere eigene Existenz wirklich zu begreifen.

Beispielsweise basiert der Laser auf Erkenntnissen, die die Quantenphysik liefert. Auch das GPS, die Basis des Navigationssystems in Ihrem Auto oder auf Ihrem Smartphone, wäre ohne Quantenphysik nicht da. GPS wiederum basiert auf höchstgenauen Atomuhren, die nur deswegen existieren, weil wir deren Prinzip mit Quantenphysik verstehen können.

Auch der Tunnel-Effekt von Flash-Speicher basiert auf Quanrenphysik. Kurzum: Ohne Quantenphysik würde dieser Beitrag hier weder auf einem Computer geschrieben werden, noch würde er auf einer SSD-Festplatte über das Internet zu Ihnen gelangen, noch würden Sie selbst einen (bezahlbaren oder schnellen) Computer besitzen. Über ein Smartphone brauchen wir dann gar nicht erst reden.

Es geht sogar so weit, dass es das perfekte Vakuum nicht geben kann. Denn das würde gegen die Heisenbergsche Unschärferelation verstoßen.

Wenn Sie mehr dazu wissen wollen: Werner Heisenberg, Niels Bohr, Richard Feynmann und Albert Einstein haben verständliche Bücher dazu geschrieben, denen andere grundsätzlich wenig hinzuzufügen haben.

Intelligenz basiert auf einem neuronalen Netz

Selbstverständlich kann Intelligenz auf jede geeignete Weise abgebildet werden. Aber ein neuronales Netz hat sich als besonders effektiv herausgestellt. Es kommt sowohl in Ihrem Gehirn als auch im künstlichen KI-Gehirn zum Einsatz.

Neuronale Netze verarbeitet nur Zahlen, sonst nichts.

In Ihrem Gehirn landen alle Signale in Form analoger Werte, die sich in Strom und Spannung manifestieren. Aktionspotentiale in Neuronen leiten die elektrischen Signale weiter („unsichtbare Verarbeitung").

Irgendwann kommt es zur „Ausgabe“. Ihr Mund bewegt sich deswegen, weil die entsprechenden Muskeln den Zahlen-Befehl über das Rückenmark aus dem Gehirn bekamen. Die Zahlen sind Ströme und Spannungen.

Analoge Signale können in digitale Signale überführt werden. Dabei geht etwas Genauigkeit verloren, weil analoge Signale kontinuierlich sind und digital Signale diskret. Kontinuierlich heißt: Es gibt beispielsweise beliebig viele Zahlen zwischen 0 und 1. Diskret heißt: Es gibt nur eine begrenzte Anzahl an Zahlen zwischen 0 und 1. Wie viele Zahlen dies im digitalen System sind, hängt von der verwendeten Genauigkeit ab. Es ist leicht einzusehen, dass es nicht entscheidend ist, ob zwischen 0 und 1 nun unendlich viele Zahlen liegen oder „nur“ 100.000 Milliarden Zahlen. Der Genauigkeitsverlust bei Überführung von analogen in digitale Signale ist verschwindend gering. Somit können analoge und digitale Systeme diesbezüglich als gleichwertig betrachtet werden, wie auch aktuelle KI-Systeme belegen, die dem Menschen (natürlich mit Ausnahme von Ihnen) oft weit überlegen sind.

Alles ist eine Zahl

Sprachmodelle basieren auf Token. Token werden zu Zahlen. Dazu nutzt man ein Wörterbuch. Das ist so einfach, dass man darüber eigentlich gar nicht reden muss. Hier ein Auszug aus dem öffentlich verfügbaren Wörterbuch von GPT-2:

Das merkwürdige „G“ vor manchen Token ist ein Kennzeichen dafür, dass das jeweilige Token den Anfang eines Wortes bilden muss. Alle Token ohne dieses Kennzeichen dürfen hingegen nicht am Wortanfang stehen. Das Wörterbuch von GPT-2 hat 52.000 Einträge.

Alle Open-Source Sprachmodelle haben ein Wörterbuch dieser Art, welches Sie herunterladen und als Textdatei ansehen können.

Wie sieht es bei Bildern aus? Sie kennen Dall-E oder Midjourney. Das Vorgehen ist wie folgt:

1. Ihr Text (Prompt) wird in Zahlen umgewandelt und in das KI-Modell von DALL-E reingegeben.
2. DALL-E verarbeitet diese Zahlen über ein neuronales Netzwerk, in dem nur mit Zahlen gerechnet wird.
3. Am Ende kommen Zahlen als Ergebnis heraus. Diese Zahlen werden als Bildpunkte interpretiert.

Ein Bildpunkt heißt Pixel. Bei einem RGB-Farbkanal und einer Farbtiefe von 24 Bit hat ein Pixel 3 Bytes: 1 Byte für Rot, ein Byte für Grün und ein Byte für Blau. Jedes Byte kann Werte zwischen 0 und 255 annehmen. Ein Pixel besteht als aus drei Zahlen.

Und was ist mit Sprache, also Audiosignalen? Eine MP3-Datei, oder auch Ihre aufgenommene Stimme, besteht aus Schwingungen („Waveform“). Ihr Gehirn verarbeitet (wahrscheinlich) zwei Kanäle: Ein Kanal ist das linke Ohr, ein anderer das rechte Ohr. Beim Heimkino kennen Sie 5.1 oder ähnliches. Die 5 steht für die 4 Ecklautsprecher und den Center-Speaker. Die 1 steht für die Bassbox. Audiosignale können also, wie Ihre Stereoanlage oder Ihr Handy zeigen, in Zahlen umgewandelt werden.

Alle anderen Signale können ebenfalls in Zahlen umgewandelt werden. Beim Thermometer ist es die Temperatur als Zahlenwert, beim Erdbebensensor ist es die Stärke des Bebens (etwa auf der Richterskala). Andere Signale sind bereits digital. Nehmen Sie als Beispiel eine Excel-Tabelle, die Umsatzzahlen enthält.

Ein Aktor, wie Ihr Mund oder Ihre Hand, wird durch Senden von Zahlen an den Aktor angesteuert. That's it. Wo ist hier die geheime Zutat? Es gibt keine. Dass auch chemische Prozesse involviert sind, ist ein Detail, dass anscheinend nicht notwendig und dem Wesen biologischer Systeme geschuldet ist. Falls Sie es anders sehen, wäre es gut, wenn Sie hierzu ein paar Argumente beisteuern.

Meinungen zur Statistik

Meinungen sind kein echter Beleg. Sie sollen hier nur angegeben werden, damit niemand denkt, die Aussagen in diesem Beitrag wären exklusiv.

Meinungen anderer

Aus einem 30-Minütigen Gespräch mit einem Mitarbeiter von DEEPL im November 2024 ging hervor: Der Mitarbeiter ist Informatiker und versteht die technische Funktionsweise von Sprachmodellen. Sein fachlicher Schwerpunkt ist die Linguistik, was für DEEPL wenig überraschend ist. Er stimmt zu, dass Statistik auch Grundlage menschlicher Intelligenz ist. Er sieht auch, dass Roboter immer mächtiger werden. Dass nicht jeder Informatiker diese Einsichten hat, zeigt das obige Beispiel mit dem Token-Papagei (der Begriff stammt von einem anderen Informatiker, der den Tellerrand möglicherweise noch nicht gefunden hat).

Prof. Dr. Maximilian Wanderwitz ist Professor für Wirtschaftsrecht und das Recht der Informationstechnologie. Er publiziert viel zum Thema KI. Nach seinem Vortrag am 26.11.2024 in Mainz wurde er im Gespräch nach seiner Ansicht gefragt. Herr Wanderwitz bestätigte, dass seine Auffassung auch ist, dass Statistik ein wichtiges Element der menschlichen Intelligenz ist und dass er das analog zur KI sieht.

Ein T-Systems Mitarbeiter, der in seinem Unternehmen in Verantwortung für digitale Systeme steht, bestätige dies am 26.11.2024 ebenfalls: Er sieht Statistik als Element menschlicher Intelligenz genauso wie in der Künstlichen Intelligenz.

Sam Altmann, Mitbegründer von OpenAI sieht die Mächtigkeit von KI als so groß an, dass KI den Menschen weit übertrumpfen wird. "Weit" bedeutet hier "unvorstellbar weit". Intelligenz mit etwas anderem als mit Intelligenz zu übertrumpfen erscheint schwer vorstellbar.

Definition von (Künstlicher) Intelligenz

Seit längerem wird folgende Definition von Künstlicher Intelligenz vorgeschlagen:

Was ein künstliches System ist, können Sie selbst festlegen. Es ist unwichtig. Anders sehen es die 27 Mitgliedsstaaten der EU im Durchschnitt. Dieser Durchschnitt wird demokratischer Prozess genannt. Die EU sieht eine Maschine als Voraussetzung für KI. Diee Einschränkung ist unnötig und arrogant. Es hat sich auch beim Diesel herausgestellt, dass er umweltfreundlich sein kann. Dies vorher auszuschließen, war unnötig und falsch.

Was ist nun Intelligenz? Dasselbe, nur dass Intelligenz nicht (zwingend) künstlich ist. Man erhält somit folgende Definition:

Die Definition von Intelligenz ist identisch der Definition von KI, mit Ausnahme des Adjektivs "künstlich".

Ihre Ansicht

Sind Sie der Meinung, KI basiere „nur“ auf Statistik und sei deshalb kein intelligentes System? Dann wäre es schön zu erfahren, auf welchem Prinzip, wenn nicht Statistik, die menschliche Intelligenz basiert. Gerne wird Ihre Definition von KI oder Intelligenz berücksichtigt, sofern Sie eine andere haben, als oben genannt, und diese besser finden. Weiterhin wäre es gut zu erfahren, wo das Argument ist, wenn jemand sagt: "KI basiert auf Statistik". Richtig, aber wo ist der Punkt?

Fazit

Statistik ist die Grundlage unserer Existenz. Die beste Theorie, die wir haben, ist wohl die Quantentheorie. Sie beschreibt unsere Wirklichkeit in einer extrem präzisen Weise. Wer die Quantenphysik anzweifelt, verleugnet seine eigene Existenz.

Weil einfach ganz einfach eben einfach ist. Wir müssen uns von der Annahme lösen, dass unglaubliche Mechanismen wie das, was wir Intelligenz nennen, auf komplizierten Prinzipien beruhen muss. Dass ein System nicht kompliziert genug ist, ist kein Argument dafür, dass dieses System nicht leistungsfähig sein könne.

Intelligenz ist in ihrem Wesen sehr einfach. Sie basiert (typischerweise) auf einem neuronalen Netz, das Zahlen verarbeitet und anhand von Beispielen lernt. Beispiele sind Paare von Ist (Eingabe) und Soll (Ausgabe), oder auch nur "Ist"-Paare (etwa deutsche Texte), die als richtig angesehen werden.

Richtig ist, dass die deutsche Sprache (und auch sehr viele andere Sprachen weltweit) auf Statistik basiert. Nun ist es so, dass Text in Zahlen überführbar ist. Das gleiche gilt für Bilder, Sprache und sonstige Sensorwerte. Neuronale Netze rechnen immer nur mit Zahlen. Es gibt in Ihrem Gehirn keinen Text, keinen Ton und kein Bild, sondern nur Zahlen.

Richtig ist auch, dass wir (auch Sie) beispielsweise die deutsche Sprache und Grammatik durch Beispiele lernen. Genau wie KI. Dazu wird ein Mechanismus verwendet, der Aufmerksamkeit heißt. In der KI heißt er "Attention". Es geht allerdings wohl auch ohne Attention, wie aktuelle technische Ansätze zeigen. Es ist auch egal, wie Intelligenz entsteht, denn wie so oft gibt es nicht nur einen Weg zum Erreichen eines Ziels.

KI-Systeme lernen üblicherweise (noch) aus Daten, die vom Menschen zugeführt wurden. Eine große Quelle ist das Internet. Roboter lernen jedoch wie der Mensch, wenn sie ein KI-Gehirn mit sich tragen. Sie können aus Beispielen aus der erfahrenenen Umwelt lernen. Diese Roboter gibt es bereits. Es ist keine Theorie, sondern Wirklichkeit. Demnächst werden Haushaltsroboter und sonstige robotische Alltagshelfer für einige tausend Euro erhältlich sein.

Der Gedanke, Künstliche Intelligenz sei etwas qualitativ anderes als Intelligenz beim Menschen, führt an der Realität vorbei. Selbst wenn KI eine sehr gute Simulation von Intelligenz wäre: Was macht das für einen Unterschied?

Nutzen Sie KI als leistungsfähigen Mitarbeiter in Ihrem Unternehmen. Die Anwendungsfälle sind vielfältig! Am besten funktioniert KI für konkrete Anwendungsfälle.

Update: Europäisches Sprachmodell Teuken

Kaum zu glauben, aber wahr. Das europäische Sprachmodell namens Teuken wurde gerade erst veröffentlicht (26.11.2024).

Erste Tests sind sehr vielversprechend. Am praktischen Besipiel wird gezeigt, was Teuken kann. Dazu wurde der erste Teil dieses Beitrags in das Teuken-LLM hereingegeben und sollte zusammengefasst werden. Die Aufgabe war eine Zusammenfassung in 3 Sätzen. Hier das Ergebnis:

Satz 1: Sprachmodelle wie GPT-3 basieren darauf, das wahrscheinlichste Wort zum bisher erzeugten Wort zu bestimmen und auszusprechen.
Satz 2: Token sind eine Möglichkeit, längere Wörter oder Sätze komprimierter darzustellen. Sie können auch semantisch komplexere Informationen darstellen.
Satz 3: Das Argument, dass KI keine personenbezogenen Daten verarbeitet, ist falsch und zeigt ein grundlegendes Verständnisproblem von KI auf.
Satz 4: Der Mensch kann als "Token-Papagei" bezeichnet werden, da er das Wiederholen dessen, was ihm beigebracht wurde, in Trainingsdaten, demonstriert.
Satz 5: Die deutsche Grammatik basiert auf Wahrscheinlichkeiten. Dies ist für den Menschen intuitiv und wird beim Erlernen der Sprache unbewusst verwendet.
Satz 6: Der Transformator-Ansatz war ein Durchbruch bei der KI, wodurch selbst Laien die Grundlagen der Sprachverarbeitung verstehen konnten.

Im Text werden verschiedene Aspekte des Sprachmodells GPT-3 sowie der deutschen Grammatik erläutert.

>>> das waren 6 sätze. ich will eine zusammenfassung in 3 sätzen
Stimmt, hier die zusammengefasste Version:

1. Sprachmodelle wie GPT-3 verwenden Token anstelle von Wörtern.
2. Der Mensch kann als "Token-Papagei" bezeichnet werden, da er das Wiederholen dessen, was ihm beigebracht wurde, in Trainingsdaten demonstriert.
3. Die deutische Grammatik basiert auf Wahrscheinlichkeiten und ist ein Grundprozeß des Spracherwerbs für Menschen, der jedoch oft unbewusst stattfindet.

Zuerst hat Teuken 6 statt 3 Sätze geliefert. Diese 6 Sätze waren aber sehr gut. Die Nachfrage an Teuken, doch bitte eine Zusammenfassung in 3 Sätzen zu liefern, wurde dann auch erfüllt. Das Ergebnis kann sich sehen lassen, auch wenn ein kleiner Schreibfehler enthalten ist.

Was auffällt: Teuken stellt "Satz 1", "Satz 2" usw. vor die generierten Sätze. Andere KI-Modelle haben das nach eigenen Beobachtungen bisher nicht getan.

Verwendet wurde Teuken-7B-instruct-commercial-v0.4 von openGPT-X. Daher die Lizenzangabe:

Lizenzangabe (Teuken commercial):

Copyright 2024 openGPT-X

Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at

   http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License.