gekennzeichnet.
Wenn Sie mit ChatGPT, Claude oder einem anderen KI-Chatbot sprechen, entsteht schnell der Eindruck: Da denkt jemand mit. Die Antworten wirken klug, manchmal sogar einfühlsam. Doch was passiert technisch wirklich, wenn eine KI eine Antwort formuliert? Wie funktionieren Sprachmodelle.
Der Grundgedanke: Ein Sprachmodell ist keine Datenbank
Ein weit verbreitetes Missverständnis ist, dass eine KI wie eine riesige Bibliothek funktioniert, in der Fakten gespeichert sind und bei Bedarf herausgesucht werden. Das ist falsch. Ein Sprachmodell (englisch: Large Language Model, kurz LLM) hat kein Nachschlagewerk im Kopf, aus dem es Antworten zitiert.
Stattdessen ist ein Sprachmodell im Kern eine hoch entwickelte Vorhersage-Maschine. Seine einzige eigentliche Aufgabe lautet: Welches Wort (oder genauer: welches Textstück) folgt mit der höchsten Wahrscheinlichkeit auf das, was bisher geschrieben wurde? Alles, was wie Wissen, Argumentation oder Kreativität aussieht, entsteht aus diesem einen Prinzip, angewendet in gigantischem Maßstab.
Jedoch ist damit nicht gemeint, dass KI nicht intelligent sei: Vielmehr arbeitet KI analog zum menschlichen Gehirn und ist in der Lage, aus präsentierten Beispielen selbständig Regeln abzuleiten.
Wie „denkt“ eine KI eigentlich?
Ein Sprachmodell sagt Wort für Wort das Wahrscheinlichste voraus. Kein Nachschlagewerk, kein Bewusstsein: Statistik über Sprache, im riesigen Maßstab.
Viele Artikel in PDF-Form · Kompakte Kernaussagen für Beiträge · Offline-KI · Freikontingent+ für Website-Checks
KI-Beratung, KI-Lösungen
Leistungsangebot:
- Erstberatung inkl. Machbarkeitsaussagen
- Schulungen und Workshops für Führungskräfte, Berufsgeheimnisträger, Angestellte, Entwickler
- KI-Lösungen mit und ohne ChatGPT/Azure. Cloud oder eigener KI-Server
Mein Name ist Klaus Meffert. Ich bin promovierter Informatiker und beschäftige mich seit über 30 Jahren professionell und praxisbezogen mit Informationstechnologie. In IT & Datenschutz bin ich auch als Sachverständiger tätig. Ich stehe für pragmatische Lösungen mit Mehrwert. Meine Firma, die IT Logic GmbH, berät Kunden und bietet Webseiten-Checks sowie optimierte & sichere Lösungen an (mit und ohne KI).
Danke Herr Dr. Meffert,
dieser Text hat mir so manches Auge geöffnet 😉
Was mich ein wenig bedenklich stimmt, ist die Abhängigkeit der Antwort von der Güte der Trainingsdaten. Wenn ich die Trainingsdaten nicht selbst vorgegeben habe, dann habe ich keine Kontrolle über gewisse "Neigungen" in der Antwort, die ich somit auch nicht erahnen – und bestenfalls berücksichtigen kann.
Noch eine Verständnisfrage zu dem Beispielsatz mit der Katze: Würde die Voraussage Auch "rückwärts" funktionieren? Wenn ich bei diesem Satz bleibe und ihn ändere zu "Die Katze jagt die Maus weil sie lecker ist." Hier würde sich das "sie" auf die (leckere) Maus beziehen. Das den Bezug ändernde Wort steht jedoch erst nach dem zu interpretierenden "sie". Würde die beschriebene Arbeitsweise der Voraussage dies entsprechend "verstehen"?
Zur Güte der Trainingsdaten: ja, so ist. Wie beim Menschen. Wenn ein Kind im falschen Umfeld aufwächst, dann kommt nichts Gutes dabei raus.
Zu Ihrer Verständnisfrage: Ja, ein Sprachmodell würde das wohl verstehen, denn es ergibt sich aus den vielen Milliarden (bei KI mittlerweile Billionen) Trainingsdaten (das kann ich so sagen, weil KI hier mittlerweil intelligenter als ein Mensch ist und ich selbst die Vorhersage richtig hätte machen können – also kann KI sie erst recht richtig machen).