Künstliche Intelligenz: Deutsche Texte in KI-Sprachmodellen

Kategorien: Datenschutz und Künstliche Intelligenz

Dokumentensuchmaschinen, Chatbots, Sprachassistenten, Frage-Antwort-Systeme: Sie alle können auch für die weltweit untergeordnete deutsche Sprache fit gemacht werden. Exakte Antworten liefert ChatGPT nicht. Zuverlässige KI-Sprachmodelle für die deutsche Sprache sind trotz einiger Kleinigkeiten wie der Gender-Sprache möglich.

Einleitung

Der Einsatz von KI im Unternehmen unterscheidet sich fundamental von der privaten Nutzung von ChatGPT, Microsoft Bing, Google Bard oder sonstigen Systemen von Datenkraken.

Unternehmen geben ihre Daten samt Geschäftsgeheimnissen, Patentschriften, Mitarbeiterdaten, Kundendaten, Verträge oder sonstige vertrauliche Daten oft nur ungern an ChatGPT weiter. Andererseits müssen zukünftig mehr Daten an andere bereitgestellt werden. Das besagt der Data Governance Act (DGA) der EU, der aufgrund seines Verordnungscharakters im September 2023 in Kraft trat.

Zusätzlich sind die Anforderungen an korrekte Antworten eines Chatbots oder sonstigen KI-Sprachsystems deutlich höher als im privaten Bereich. Das gilt jedenfalls außerhalb des kreativen Bereichs. Die Königsklasse sind juristische Fragestellungen, die hochmoderne, aber allgemein gehaltene Systeme wie ChatGPT und die Bing-KI von Microsoft nicht gut beantworten können (Begründung: siehe Link eben). Auch Verwaltungen, die den Dienst am Bürger tun, sollten nicht auf unzuverlässige Chatbots, zu denen auch ChatGPT gehört, zurückgreifen.

Selbst die angebliche und erst jüngst veröffentlichte Autokorrekturfunktion von Google Bard funktioniert nicht richtig, wie ein Praxistext mit genauerem Hinsehen zeigte.

Unnötig erschwert wird es KI-Sprachmodellen, indem in Trainingsdaten die Grammatik manchmal aufgrund einer Gender-Sprache verwässert wird. Zudem sorgt der Gender-Doppelpunkt dafür, dass ganze Sätze in Texten durchaus nicht mehr erkannt werden.

Deutsch ist im weltweiten Vergleich eine stiefmütterlich behandelte Sprache (siehe Abbildung unten). Mächtige Sprachmodelle, die sich auf das Englische fokussieren, verstehen nur deshalb Deutsch, weil diese Sprache als Abfallprodukt in Form einer emergenten Eigenschaft quasi ungewollt mit angeeignet wurde.

Vorteile eigener Sprachmodelle

Ein Sprachmodell kann auf folgende Arten gewonnen werden:

• Erstellen von Grunde auf. Dies bedarf üblicherweise einiger hunderttausend GPU-Stunden Rechenzeit (GPU = Grafikkartenprozessor), ist also von vielen Firmen nicht leistbar.
• Wiederverwenden offener Sprachmodelle, die durch Fein-Tuning geprägt werden: anspruchsvoller, aber beherrschbarer Standardweg.
• Wiederverwenden offener Sprachmodelle, die „nur“ im Prompt eigene Dokumente als Kontext eingefüttert bekommen.

Die ersten beiden Möglichkeiten haben, in unterschiedlicher Art und Weise, die Möglichkeit, eine Gender-Sprache aufzunehmen. Das Fein-Tuning wird allerdings Probleme damit haben, die nicht ganz wegzugendern sind.

Die dritte Möglichkeit, das Wiederverwenden offener Sprachmodelle, ist die technisch einfachste und oft funktionierende. Sie kommt mit Gender-Sprache grundsätzlich überhaupt nicht klar. Dies ist eine technische Aussage und keine politische.

Ein eigenes deutsches Sprachmodell ist nicht nur möglich, sondern hat auch viele Vorteile. Unter anderem sind die Vorteile:

• Die deutsche Sprache steht im Vordergrund. Wir leben in Deutschland und nicht in Spanien. Anglizismen kann ein deutsches Sprachmodell auch verstehen.
• Der Ballast von zig anderen Sprachen muss nicht mitgeschleppt werden. Gut für die Hardware-Anforderungen (Grafikkarte!) und die Betriebsgeschwindigkeit.
• Hochwertige Inhalte können genutzt werden anstatt Datenschrott (= allgemein verfügbares Material, welches nicht vorselektiert wurde).
• Fokussierung auf ein Fachgebiet (oder auch mehrere).
• Optimale Nutzerführung mit Sensibilisierung für die Ergebnisse, anstatt so zu tun, als wäre jede Antwort richtig (siehe ChatGPT oder Bing).
• Geringere bzw. fixe Kosten: Ein unternehmenseigenes KI-System basiert im Wesentlichen auf Anschaffungs- oder Mietkosten für einen KI-Server. Eine häufige Nutzung ändert daran nichts. Die Kosten bleiben gleich niedrig. Ganz anders Cloud-Lösungen wie ChatGPT. Das Befragen eines Dokuments wird bei häufiger Nutzung schnell teuer. Wer die Chatbot-API von OpenAI nutzt, sollte besser keine Rekursion oder Endlosschleife reinprogrammieren, da ansonsten das Budget in Minuten und ohne Nutzen verbraten ist. Das kann bei einem eigenen System nicht passieren.

Der nächste Abschnitt behandelt Trainingsdaten für deutsche KI-Sprachmodelle, weil diese das Fundament für die Künstliche Sprachintelligenz legen. Daraus leiten sich auch gleich mehrere Vorschläge für Behörden und sonstige staatliche Stellen ab, die Künstliche Intelligenz in Deutschlandgeschwindigkeit ermöglichen könnten.

Trainingsdaten für deutsche KI-Sprachassistenten

Trainingsdaten sind das, was der Erziehung eines Kindes durch seine Eltern gleichkommt. Für Sprachmodelle werden deutsche Texte benötigt. Woher diese Texte nehmen, wenn nicht stehlen?

Das Internet bietet eine ganze Fülle von deutschen Texten. Auch Unternehmen haben in ihrem Intranet zahlreiche Dokumente, die als Quell des Wissens geeignet sind.

PDF statt HTML

Der Bundesgerichtshof (BGH) veröffentlicht seine Urteile anscheinend nur in PDF-Form. Die gemeinnützige Plattform openjur nimmt diese PDFs und extrahiert daraus (manuell?) den Text. Danach stellt openjur die Urteile kostenfrei online zur Verfügung. Auch der Bundesanzeiger veröffentlicht viele Dokumente nur in PDF-Form.

Analog verhält es sich mit einigen anderen wichtigen öffentlichen Quellen, die für KI-Modelle interessant sein können. Beispielsweise veröffentlichen viele Aufsichtsbehörden ihre Tätigkeitsberichte oder Leitfäden nur in PDF-Form.

Die Abbildung zeigt einen Ausschnitt aus einem offiziellen und öffentlichen PDF-Dokument einer deutschen Datenschutzbehörde. Nicht nur, dass zwei Spalten den Textimport an sich schon komplizierter machen. Die zwei Spalten werden zusätzlich durch eine Zwischenüberschrift segmentiert. Was für den Menschen optisch leicht erfassbar ist, ist für eine Vorstufe der KI ein Problem. Fast alles ist lösbar, aber mit welchem Aufwand und wie zuverlässig? Warum nicht Rohdaten bereitstellen, oder wenigstens (auch oder nur) Formate, die einspaltig sind? Beispiele sind HTML oder Rohtext. HTML kann als menschenlesbare Webseite ausgeprägt sein, die auch eine Maschine gut lesen kann, was als Scraping bezeichnet wird.

Das Gegenteil der Leichten Sprache vermeiden

Aus rein logischer und technischer Sicht ist Gendern das Gegenteil einer einfachen Sprache („Leichte Sprache“). Hier ein Beispiel aus einem Dokument einer deutschen Datenschutzbehörde:

• „Mitarbeiter:innen“ statt „Mitarbeiter“

In anderen Dokumenten derselben Behörde findet sich hingegen:

• „Mitarbeiter*innen“

Diese Formulierungen sind weder konsistent noch „leicht“. Hinzu kommt, dass von der Gender-Sprache anscheinend nur die Texte betroffen sind, die von Suchmaschinen oder Chatbots als Ausgabe geliefert werden.

Die Frage ist, ob jeder Nutzer ein KI-Modell mit Gender-Sprache befragt oder es vielleicht kein einziger ist. Auch Künstliche Intelligenz kann keine Wunder vollbringen. Ebenso wenig ist jeder Mensch ein Genie. Die meisten Menschen in Deutschland können nicht einmal ein Rad an einem Auto wechseln.

Noch komplizierter wird es aus technischer Sicht, weil vor KI-Verarbeitung gar nicht klar ist, wie eine Normalisierung von Begriffen, die durch das Gendern verunstaltet wurden, stattfinden soll. Hier zwei beispielhafte Satzauszüge mit dazugehörigem normalisiertem Hauptwort:

• … von Mitarbeiter:innen … –> Mitarbeitern
• … durch Mitarbeiter:innen … –> Mitarbeiter

Wie zu sehen ist, wird aus zwei Wortformen plötzlich eine, indem die Grammatik durch das Gendern unkenntlich gemacht wird. Der Mensch kann hier folgen, denn er ist bereits eine Intelligenz (nicht immer, aber gelegentlich). Ein Computer, der sich in der Vorverarbeitung von Texten befindet, die für das Training eines KI-Sprachmodells verwendet werden sollen, kann diese Unschärfe nicht zuverlässig auflösen. Jedenfalls bedarf es vieler Einzelfallbetrachtungen, bis das Gesamtergebnis weitgehend passt.

Folgende Formulierung ist schwierig maschinell zu verarbeiten, weil die Grammatik hier komplett untergeht. Wahrscheinlich habe auch viele Menschen Probleme, diese Sprache zu verstehen.

• ein:e Mitbürger:in

Wer es noch komplizierter mag, verwendet statt dem Gender-Doppelpunkt das Gender-Sternchen:

• ein*e Mitbürger*in

KI-Modelle basieren auf viele Millionen, meist aber Milliarden Datensätzen. Bei großen Sprachmodellen handelt es sich bei einem Datensatz um einen Textabschnitt. Da KI-Modelle aufgrund vieler Beispiele lernen, bedarf es bei Verwendung der Gender-Sprache zahlreicher weiterer Beispiele. Das Grundproblem wird also unnötig verkompliziert.

Unabhängig davon leidet, wie oben dargestellt, die Grammatik. Aus Schärfe wird Unschärfe. Wer sich ein bisschen mit KI-Modellen auskennt, weiß, wie wichtig saubere Eingabedaten sind. Mehr Fallunterscheidungen und mehr Unschärfe sind an sich beherrschbar, bedürfen aber mehr Aufwand. Der Aufwand für das Trainieren oder Feintrainieren von KI-Modellen ist an sich schon hoch und von vielen kaum leistbar.

Eine interessante Frage wäre, ob Verfechter der Gender-Sprache diese auch in Suchfeldern von Suchmaschinen oder als Prompt in KI-Modellen eingeben. Konsequenterweise müsste ein Verfechter der Gender-Sprache dies tun. Spätestens jetzt weiß derjenige oder diejenige, dass Suchmaschinen und KI-Modelle auch aus Nutzereingaben lernen. Wenn Nutzer aber immer nur eine althergebrachte, gängige Sprache nutzen und nicht die gegenderte Version, dann wird die Anwendung leider (oder zum Glück?) die Gender-Sprache nicht ausreichend gut beherrschen.

Hier geht es um die reine Argumentation, Gendern zugunsten von KI abzuschaffen. Dennoch eine Anmerkung. Mich erreichte im Vorfeld ein Kommentar, der besagt: „'Die Sprache gehört dem Volk' – Bundestagsresolution vom 26.3.1998“. Hierzu sei erwähnt, dass die Mehrheit der Deutschen gegen die Gender-Sprache ist. Sofern der demokratische Mehrheitsentscheid respektiert wird, ist die Entscheidung des Volkes damit gefallen. Ein weiterer Kommentar besagte, dass eine befragte KI antwortete, sie verstehe die Gender-Sprache. Wahrscheinlich war das ChatGPT, ein System, das sowohl andauernd Gefälligkeitsantworten gibt, als auch oft falsch antwortet, als auch grundsätzlich ungeeignet ist, für spezifische Aufgaben im Unternehmen exakte Ergebnisse zu liefern.

Vorschläge für eine bessere Datenqualität

Die folgenden Empfehlungen richten sich sowohl an Unternehmen als auch an öffentliche Stellen. Insbesondere letztere haben es in der Hand, Informationen von allgemeinem Interesse in einem digital einfach zu verarbeitenden Format bereitzustellen.

Öffentlich bereitgestellte Dokumente sollten in einem Rohtextformat bereitgestellt werden. Üblicherweise wird eine höhere Stufe, nämlich HTML verwendet. Nur ein PDF bereitzustellen, sorgt oft für Probleme mit der maschinellen Verarbeitbarkeit. PDFs mit mehr als einer Spalte für den Fließtext sind noch problematischer. Wer ein PDF bereitstellen möchte, stellt idealerweise ein leichter verarbeitbares Dokumentenformat bereit. Auch sehbehinderte Menschen, die einen Screen Reader nutzen wollen oder müssen, kommen mit einfachen Dokumenten als PDF besser zurecht.

Ein Dokumentenindex erleichtert das Auffinden von vorhandenen Dokumenten und erspart das Crawling oder Scraping. Beim Crawling werden Webseiten automatisiert abgegrast. Das macht dem Abgraser nicht nur mehr Mühe. Auch der Server des Abgegrasten leidet darunter, weil mehr und vor allem unnötiger Datenverkehr zustande kommt.

Die Gender-Sprache ist aus technischer Sicht eine Katastrophe. Mehr gibt es hierzu aus technischer Sicht nicht zu sagen. Wer allgemein verständliche Texte bereitstellen möchte, sollte auf die Gender-Form verzichten. Auch viele Menschen können einige Gender-Formulieren nicht so leicht verstehen wie die gewöhnliche Sprache. Inklusion geht anders als durch Verkomplizieren. Die sogenannte Leichte Sprache scheint jedenfalls nicht nur vom Gendern Abstand zu nehmen, sondern weitere Vereinfachungen einzuführen.

Wer gendert, sollte dies aus rein logischer Sicht und aus Eigennutz ab sofort besonders konsequent tun. Konsequent bedeutet, in jedem Satz, mindestens aber auch in Suchanfragen oder Prompts. Niemand kann dazu gezwungen werden, darf sich dann aber nicht wundern, wenn ein Chatbot oder eine Suchmaschine nicht in Gender-Sprache antwortet.

Fazit

Rein technisch verunreinigt die Gender-Sprache Trainingsdaten für KI-Sprachmodelle bzw. macht das Training schwieriger, weil mehr Eingabedaten erforderlich sind. Rein sprachlich verkompliziert sie einige Sätze, vor allem, wenn unbestimmte Artikel vor dem Hauptwort auch noch gegendert werden. Das sorgt für Exklusion von Lesern, die sowieso Probleme haben, Texte zu verstehen, die über Bierzeltniveau geschrieben sind.

An dieser Stelle ist KEINE Gender-Diskussion erwünscht. Hier geht es um rein funktionale Betrachtungen.

Wer im KI-Zeitalter Dokumente bereitstellen will, sei es für die Öffentlichkeit oder für interne KI-Systeme, sollte aus technischen Gründen von der Gender-Sprache absehen, oder alle Trainingsdaten duplizieren und die Duplikate mit gegenderten Formen versehen.

Wer die Gender-Sprache toll findet, sollte sie überall im Internet verwendet, auch wenn dann mehr Eintipparbeit notwendig ist. Ansonsten wird nämlich das durch die Eingaben gefütterte KI-Sprachmodell immer affiner für die bisher verwendete Sprache, die ohne Gender-Sternchen o. ä. auskommt.