ChatGPT im Business: Die Gefahren falscher Antworten

Kategorien: Datenschutz und Künstliche Intelligenz

Weil ChatGPT erstmals die Menschheit durch unglaubliche Ergebnisse erstaunte, meinen viele, diesen Chatbot für alles und jeden verwenden zu müssen. Was im privaten Bereich harmlos erscheint, führt im Geschäftsleben zu Problemen, die schnell justitiabel werden können.

Einleitung

Zuletzt tat eine deutsche Firma kund, dass sie eine KI-Lösung für die Interpretation juristischer Texte anbietet. Auslöser war ein Beitrag auf Dr. DSGVO zu Künstlicher Intelligenz für die Analyse juristischer Texte.

Die KI-Anwendung der genannten Firma ist noch im Beta-Stadium. Der Verdacht liegt nahe, dass auf die Schnelle ein Prototyp gebaut wurde, um den Markt für derartige Anwendungen erkunden zu können. An keinem Punkt wurde erwähnt, welches Sprachmodell im Hintergrund verwendet wird. Untersuchungen legen nahe, dass es sich um ChatGPT handelt.

Dieser Beitrag entstand zusammen mit Vortrag vom 05.09.2023 beim IT Klub Mainz & Rheinhessen im Gutenberg Digital Hub in Mainz.

Siehe weiter unten für Impression.

Die Antworten des KI-Systems waren gut, aber nicht weltbewegend. Auf juristische Fragen wurden halbwegs plausible Antworten mitsamt Quellen geliefert. Die Antworten wären aber nicht ausreichend gewesen, um eine juristische Auseinandersetzung für sich entscheiden zu können. Wahrscheinlich hätten die Ergebnisse sogar direkt zur Niederlage geführt.

Dass ChatGPT-3 von der KI-Anwendung der deutschen Firma verwendet wurde, konnte festgestellt werden, indem der Chatbot diesbezüglich um Auskunft gebeten wurde. Die Antwort der KI war: „Ja, ich basiere auf einem Modell namens GPT-3, das von OpenAI entwickelt wurde. […].“

Was ist so problematisch an ChatGPT? Die Frage könnte auch für Microsoft Copilot gestellt werden. Ein einfacher Test beweist, dass Copilot selbst mit simplen Aufgaben überfordert ist.

Motivation

Chatbots greifen üblicherweise auf eine eingeforene Wissensbasis zurück. Hier ein Beispiel zu einer Anwendung der obigen deutschen Firma, die offenbar ChatGPT im Hintergrund einsetzt:

Der Chatbot kennt also ein Urteil nicht, welches existiert und durch einen eindeutigen Identifikator und somit (für einen Juristen) eindeutig identifiziert ist. Der Chatbot hätte dem Nutzer lieber mitteilen sollen, wo die Grenzen des Chatbots liegen anstatt so zu tun, als ob es das gesuchte Urteil nicht gibt.

Um ChatGPT nutzen zu können, braucht lediglich die OpenAI-Schnittstelle (API) verwendet zu werden. Weil die Nutzung dieser API so einfach ist, fühlen sich anscheinend viele berufen, dies zu tun. Damit nimmt das Ungemach seinen Lauf, wie man am Beispiel eben sehen kann.

So einfach geht es, ChatGPT aus einem eigenen Programm heraus zu nutzen (Achtung: Die Daten fließen alle zu OpenAI/ChatGPT, lediglich der folgende Programmcode liegt lokal beim Programmierer):

import openai
openai.api_key = "XYZ" #Ihr kostenpflichtiger OpenAI API-Schlüssel
completion = openai.ChatCompletion()

def frage_chatgpt(frage):
    chat_log = [{
        'role': 'system',
        'content': 'Du bist ein hilfreicher Assistent',
    }]
    chat_log.append({'role': 'user', 'content': frage})
    response = completion.create(model='gpt-3.5-turbo', messages=chat_log)
    antwort= response.choices[0]['message']['content']
    return antwort

print(frage_chatgpt("Was ist die Antwort auf alle Fragen?"))

Das kann wirklich jeder. Jedenfalls bekommen es so viele Nichtprogrammierer hin, diesen Code zu erstellen und auszuführen, wie es Menschen gibt, die keine Kfz-Meister sind und einen Reifen an ihrem Auto wechseln können. Wie im Code angedeutet, kostet der Spaß spätestens nach Überschreiten eines Testkontingents pro Aufruf Geld. Die Antwortzeit könnte auch schneller sein (das ist Meckern auf hohem Niveau, um die Illusion mancher zu dämpfen, ChatGPT könne alles).

Ein weiteres Beispiel für eine Falschaussage, die von ChatGPT generiert wird:

Hier meine Feststellung, die auch in meine eigene KI einfließen kann, nicht aber in ChatGPT: Cookies sind keine Textdateien, sondern Datensätze. ChatGPT wird also bis auf Weiteres immer falsch antworten.

Zur Erinnerung: ChatGPT ist ein extrem weit entwickeltes Sprachmodell, das seinesgleichen sucht.

Leider basiert ChatGPT auf so vielen Millionen oder Milliarden Dokumenten, dass zu viel ungenaues Allgemeinwissen und zu wenig exaktes Spezialwissen Einzug in das künstliche Gehirn erhalten hat.

Die Bing-Suche von Microsoft ist ebenfalls KI-getrieben. Microsoft hatte sich kürzlich finanziell an OpenAI beteiligt, um vom ChatGPT-Hype zu profitieren. Vor allem dann, wenn auf recht einfach formulierte Suchanfragen die Bing-KI zum Zuge kommt, werden die Ergebnisse schnell falsch oder skurril. Umgekehrt liegen die Ergebnisse oft im positiven Erwartungsbereich, wenn Bing auf konventionelle Weise sucht. Konventionell gelingt es oft am besten, zu guten Treffern zu kommen. Der Unterschied ist, dass Antworten aus den Suchergebnissen „nur“ zitiert, nicht aber abstrahiert, also in eigenen Worten der KI wiedergegeben werden.

Lieber eine richtige, zitierte Antwort als eine falsche Antwort in eigenen Worten.

Die bessere Lösung

Eine bessere Lösung gibt öfters richtige Antworten und gibt dem Anwender die Chance, möglicherweise ungenaue oder falsche Antworten besser zu erkennen, um sie kritisch prüfen zu können. Ob eine Antwort ungenau oder falsch sein kann, kann mit einer unternehmenseigenen KI gut ermittelt werden, ganz anders als bei Verwendung der Black Box namens ChatGPT.

Der Anwendungsfall für unternehmenseigene KI-Systeme ist immer dann gegeben, wenn exakte Antworten benötigt oder auch, wenn oft eigene Dokumente durchsucht werden sollen. ChatGPT versagt hier entweder oder ist im besten Fall zu teuer, da OpenAI nach Nutzungsvolumen abgerechnet.

Sich von Dritten abhängig zu machen, erscheint auch nicht unbedingt als beste Strategie. Wir kennen das aus den letzten Jahren. Als Beispiele seien Systeme und Plattformen von Google, Microsoft, Meta oder Apple genannt.

Zur Datenrichtigkeit, die im Beitragstitel genannt ist: Die Pflicht, personenbezogene Daten korrekt vorzuhalten bzw. zu verarbeiten, ergibt sich etwa aus Art. 18 Abs. 1 DSGVO. Ist die Richtigkeit solcher Daten umstritten oder deren Verarbeitung nicht oder nicht mehr legitimiert, kann eine betroffene Person eine Einschränkung der Verarbeitung verlangen.

Aber auch für Daten, die keinen Personenbezug haben, ist deren Richtigkeit oft fundamental. Nimmt ein Anwalt etwa die Antwort eines Chatbots in seinen Schriftsatz auf, dann wäre es besser, wenn das, was dort geschrieben steht, korrekt ist und einer Prüfung standhält.

Auch bei Forschungsvorhaben oder in Patentschriften wäre es fatal, wenn falsche Anweisungen oder falsche Erkenntnisse in die Arbeit einfließen würden. Rechtlich riskant ist zudem der Transfer von kritischen Daten hin zu Dritten. Kritisch können Daten sein, wenn sie beispielsweise

• geheim,
• urheberrechtlich geschützt,
• personenbezogen oder
• vertraulich

sind.

Faktenwissen einimpfen

Die Zuverlässigkeit einer textverarbeitenden KI lässt sich erheblich verbessern, indem wichtige Fakten in das elektronische Gehirn explizit hineingedrückt werden. Dies wird oft auch als Grounding bezeichnet. Microsoft nutzt dies angeblich für seine Suchmaschine Bing, scheitert aber damit, wie zahlreiche Beispiele zeigen. Richtig ausgeführt, hilft Grounding dabei, weit verbreitete Falschinformationen zu eliminieren.

Nachdem die unternehmenseigene KI auf Vordermann gebracht wurde, liefert sie auch bessere Antworten als ChatGPT, und zwar für das Wissen, was relevant ist. Wer Goethe war, soll unser eigenes KI-System nicht wissen müssen. Dieses unnötige Zusatzwissen belastet ein KI-Modell nur und führt zu Falschaussagen, mindestens aber zu weniger Leistungsfähigkeit („die KI sieht den Wald vor lauter Bäumen nicht mehr“) oder langsameren Antworten.

Hier ein Beispiel für eine Antwort, die aus dem Dr. DSGVO Wissensbestand generiert wurde und qualitativ deutlich besser (und vor allem richtig ist) als die Ergebnisse von Microsoft Bing und ChatGPT:

Durchsuchbares Unternehmenswissen zeichnet sich dadurch aus, dass es meist halbwegs überschaubar ist, in Form von Dokumenten vorliegt und deren Aussagen a priori als richtig (oder richtiger als externe Quellen) angesehen werden. Eine eigene KI-Suchmaschine für Unternehmenswissen hat gleich mehrere Vorteile.

Zum ersten ist die eigene Unternehmens-KI autark und nicht auf Dritte angewiesen. Die Frage nach einer Datenschutzfolgenabschätzung (DSFA) etwa stellt sich hier kaum oder gar nicht. Geheime oder vertrauliche Daten sind in eigenen Systemen gut aufgehoben.

Zum zweiten kann eine autarke Unternehmens-KI an eigene Bedürfnisse angepasst werden. Wenn Sie sich das Programmbeispiel oben ansehen, fallen Ihnen vielleicht folgende Dinge auf:

1. Mit Python können KI-Systeme in wenigen Zeilen Code errichtet werden.
2. Die Komplexität befindet sich nicht im Programm, sondern im KI-Modell, das nur einmal errichtet werden muss.
3. Ein kleiner Schritt reicht, um viel zu bewegen.

Wirtschaftliche Anwendungen mit erheblichem Mehrwert sind so möglich. Eigene KI-Systeme sind sogar oft kostengünstiger als die Nutzung der ChatGPT-Schnittstelle, mal abgesehen von den genannten Nachteilen bei Nutzung eines Drittsystems.

Fazit

Künstliche Intelligenz wird, wohl aufgrund der berechtigten Begeisterung für die neuen Möglichkeiten, von vielen überschätzt oder falsch eingeschätzt. Allgemeine Intelligenzen wie ChatGPT sind genau hierfür geeignet: Um allgemeine Anfragen zu beantworten, und zwar ohne Anspruch auf Zuverlässigkeit oder gar Korrektheit. Das wird alleine an der Benutzerführung solcher Systeme erkennbar, die keinerlei Hinweise enthalten, dass die Ergebnisse sorgfältig geprüft werden sollten oder auch mal eine falsche Antwort dabei sein könnte.

Unternehmen, die eine KI einsetzen möchten, müssen zuerst eine Frage klären: Wofür soll diese KI genau eingesetzt werden? Kann diese Frage nicht beantwortet werden, dann steht wohl eines fest. Dieses Unternehmen benötigt entweder kein KI-System oder weiß noch nicht, wofür.

Die private Nutzung von ChatGPT und ähnlichen Systemen ist sicher spannend, aber etwas völlig anderes als die Nutzung von Chatbots oder KI-Systemen allgemein im Unternehmen.

Hat ein Unternehmen ein Problem, welches mithilfe einer KI gelöst werden kann, dann lohnt sich eine Prüfung, ob dieses Problem mit einem unternehmenseigenen KI-System gelöst werden kann.