KI-Systeme und AI Act: Transparenz und Korrektheit sicherstellen

Kategorien: Datenschutz und Künstliche Intelligenz

KI-Systeme liefern unvorhersehbare Ergebnisse. Das Problem lässt sich für KI-Systeme mit allgemeinem Verwendungszweck (ChatGPT) nicht lösen, wohl aber für unternehmenseigene KI-Systeme mit speziellem Verwendungszweck. Eine Transparenzpflicht kann alleine schon aus der DSGVO abgeleitet werden. Betreiber und Anbieter von KI-Systemen müssen zusätzliche Pflichten aus der KI-Verordnung (AI Act) erfüllen.

Einleitung

Wie kann man ein KI-System transparent machen? Diese Frage lässt sich für allgemeine KI-Systeme so beantworten: Gar nicht. Denn diese Allgemeinsysteme, zu denen auch ChatGPT zählt, arbeiten auf Basis von neuronalen Netzwerken. Wie dieses Netzwerk funktioniert, ist an sich bekannt. Würde man eine Formel aufschreiben, die das Netzwerk beschreibt, würde niemand sie verstehen, geschweige denn ordentlich lesen können.

Die DSGVO schreibt in Artikel 5 die Pflicht zur Transparenz bei der Verarbeitung personenbezogener Daten vor. Diese gilt somit für alle KI-Systeme, in denen personenbezogene Daten verarbeitet werden. Dies sind alle Systeme, in die beim Training oder bei der Nutzereingabe (oft über einen Prompt) personenbezogene Daten eingeflossen sind. Das ist eine Tatsache, die (nur?) der Hamburgische Datenschutzbeauftragte in gefährlicher Weise negiert.

In Art. 5 Abs. 1 lit. d DSGVO ist gefordert, dass Daten sachlich richtig, also korrekt sein müssen. Dies gilt für alle personenbezogenen Daten in KI-Systemen. Spätestens zum Zeitpunkt der Inferenz, also wenn ein KI-System eine Ausgabe erzeugt, sollte diese Rechtsvorschrift erfüllt sein.

Die KI-Verordnung (AI Act) wiederum definiert Pflichten, die insbesondere Anbieter von KI-Systemen einzuhalten haben. Besondere Pflichten werden für Hochrisiko-KI auferlegt. Diese Art von System dürfte in der Praxis der Ausnahmefall sein.

Die meisten Firmen, die KI-Systeme einsetzen, sind Betreiber. Für Betreiber gelten weit weniger Pflichten als für Anbieter. Betreiber ist man als Unternehmen oder Organisation laut Art. 3 Nr. 4 KI-VO, wenn man „ein KI-System in eigener Verantwortung verwendet.“ Alles, was darüber hinaus geht, fällt unter den Anbieter-Begriff (Art. 3 Nr. 3 KI-VO).

Eine Idee für die Erhöhung der Transparenz und Dokumentiertheit von KI-Systemen kam dem Autor beim Zusammentreffen der KI-Expertengruppe des Landesdatenschutzbeauftragten Niedersachsen, der der Autor angehört. Zudem hat der Autor früher ein Buch zu testgetriebener Software-Entwicklung veröffentlicht.

Transparenz ist einerseits eine Außendarstellung von KI-Ergebnissen. Fast noch wichtiger ist aber die Transparenz nach innen, also für den Betreiber einer KI: Wie arbeitet die KI? Welche Ergebnisse produziert sie?

Nachweis der Korrektheit von KI-Ausgaben

Generell kann nicht vollständig sichergestellt werden, dass eine KI nur korrekte Ausgaben tätigt. Man kann sich dem aber annähern. Bevor ein Vorschlag hierzu gemacht wird, sei ein Beispiel vom sehr guten DEEPL-Übersetzer (aus Deutschland!) gegeben, der selbst KI verwendet und sich, genau wie jedes andere KI-System, auch mal irrt:

DEEPL sollte einen Text übersetzen, der eine Angabe für einen Geldbetrag enthält. DEEPL übersetzte 1.050,00 € so, dass die Euro-Angabe durch eine Pfund-Angabe ersetzt wurde. Das ist offensichtlich falsch. Für alle, die es selbst ausprobieren wollen: Es kommt auf den Gesamttext an! Dieser wurde im obigen Screenshot teils unkenntlich gemacht, weil es sich um halbwegs sensible Information handelte. Sie werden wohl ein richtiges Ergebnis bekommen, wenn Sie nur den letzten Satz in DEEPL eingeben. Aber wenn der Vorspanntext anders ist, kann der Fehler zustande kommen. Alleine daran sieht man, wie intransparent KI-Systeme arbeiten.

Fehler können also nicht vermieden werden. Wie kann man dennoch seiner Pflicht zur Transparenz nachkommen und die Korrektheit von KI-Ausgaben so gut sicherstellen wie möglich?

Die Antwort lautet: Durch Testfälle.

Testfälle sind Paare von Ist-Eingaben und Soll-Ausgaben. Ein Testfall besteht aus einer Ist-Eingabe und einer als gut akzeptierter Ist-Ausgabe. Die KI-Verordnung (KI-VO) hat dies anscheinend sogar mitbedacht:

Denn Art. 3 Nr. 53 der KI-VO definiert den Begriff „Plan für einen Test unter Realbedingungen“ als "ein Dokument, in dem die Ziele, die Methodik, der geografische, bevölkerungsbezogene und zeitliche Umfang, die Überwachung, die Organisation und die Durchführung eines Tests unter Realbedingungen beschrieben werden“.

Die Nr. 56 desselben Artikels definiert KI-Kompetenz als "die Fähigkeiten, die Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen dieser Verordnung ermöglichen, KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden.“

Mit Hilfe von Testfällen können Betreiber (und erst recht Anbieter) sich der Chancen und Risiken der von ihnen betriebenen oder angebotenen KI besser gewahr werden.

Auch können die in Nr. 60 des Art. 3 KI-VO genannten Deepfakes so eingehegt werden. Hier geht es um einen "durch KI erzeugten oder manipulierten Bild-, Ton- oder Videoinhalt, der wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt und einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde". Bei Bildmodellen würde man sicherstellen, dass Eingaben, die auf reale Personen abzielen und diese ins negative Licht rücken sollen, bestmöglich erkannt und unterbunden werden. Jedenfalls kann mit Hilfe von Testfällen bereits dokumentiert werden, wo (noch) die Schwächen des KI-Systems liegen.

Die in Art. 6 (4) KI-VO genannte Pflicht für Anbieter von nicht hochriskanten KI-Systemen, das eigene System zu bewerten, kann ebenfalls über Testfälle stattfinden.

Das in Art. 9 (1) KI-VO genannte Risikomanagementsystem lässt sich mit Hilfe von Testfällen sehr gut unterfüttern.

Zahlreiche weitere Vorschriften im AI Act erlegen Anbietern und Betreibern von KI-Systemen Pflichten auf, die durch dokumentierte Testfälle bedient werden können. Hierzu gehören:

• Art. 11 (1) KI-VO: technische Dokumentation eines Hochrisiko-KI-Systems
• Art. 17 KI-VO: Qualitätsmanagement
• Art. 53 KI-VO insgesamt: Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck
• Artt. 91 und 101 KI-VO können negative Konsequenzen für KI-Anbieter bedeuten, wenn deren Dokumentation nicht ausreichend erscheint.
• Art. 4 KI-VO nötigt auch Betreiber, dafür zu sorgen, dass deren Mitarbeiter eine ausreichende KI-Kompetenz vorweisen können.

Beispiele für Testfälle

Wie sieht ein Testfall aus? Hier ein Beispiel für ein Sprachmodell, das Fragen beantworten soll:

Bereits an diesen beiden Testfällen alleine wird deutlich, dass es keine gute Idee ist, einen universellen Chatbot betreiben zu wollen. Niemand wird hinreichend viele Testfälle schreiben können, um alle Fragen der Welt abprüfen, also qualitätssichern, zu können.

Daher sollte ein KI-System auf einen Anwendungsfall oder eine Fachdomäne zugeschnitten sein. Dies erleichtert nicht nur die Erfüllung der Pflichten aus der KI-VO, sondern verbessert auch die Qualität der Ergebnisse. Die Qualität von spezialisierten Chatbots, etwa für das Bauwesen, ist deutlich besser als es mit ChatGPT jemand möglich sein wird.

Die Anzahl der Testfälle sollte angemessen hoch sein. Nach und nach können weitere Testfälle hinzugefügt werden. Insbesondere, wenn eine KI-Antwort auf eine Nutzerfrage nicht zufriedenstellend war, empfiehlt es sich, hierfür einen Testfall aufzunehmen. Der Testfall dient dann mindestens als Dokumentation, am besten aber als Grundlage, um eine Optimierung des KI-Systems vorzunehmen und mit dem Testfall den Erfolg der Optimierung zu pürfen.

Beim Aufbau eines Wissenssystem (als eines von vielen möglichen KI-Systemen) gibt es einen Trick, um die Ergebnisqualität deutlich zu steigern. Der sogenannte RAG-Ansatz führt jedenfalls nur bedingt zum Erfolg und zur Spitze. Was es damit auf sich hat, wird in einem späteren Beitrag beschrieben,

Wie können Testfälle durchlaufen werden?

Nachdem Testfälle aufgestellt wurden, müssen Sie durchlaufen werden. Das bedeutet konkret:

1. Das definierte "Ist" aus einem Testfall wird der KI als Eingabe präsentiert.
2. Die KI antwortet.
3. Die KI-Antwort wird mit dem "Soll" aus dem Testfall abgeglichen.

Für den Abgleich der KI-Ausgabe mit dem erwarteten Optimum aus dem Testfall gibt es mehrere Möglichkeiten:

1. KI-Analyse mit semantischem Ähnlichkeitsvergleich
2. KI-Analyse über ein Sprachmodell (oder über mehrere!)
3. Konventionelle Analyse (Beispiel: "Nein" im Soll und "Ja" in der KI-Ausgabe widersprechen sich)
4. Mischung aus allen Methoden (zu empfehlen)

Die in Fall zwei genannte Alternative, mehrere Sprachmodelle gleichzeitig für die Analyse der Testergebnisse zu verwenden, funktioniert mit Open-Source Modellen sehr gut. Die Kosten sind immer gleich, nämlich null (plus fixe Betriebskosten für den Server). Würde man ChatGPT verwenden, wären die Kosten auf Dauer recht hoch.

Mit diesen Analysemethoden können Testfälle zu einem großen Teil automatisiert analysiert werden. Der Mensch prüft dann das Ergebnis und kann ein Fazit in die Dokumentation reinschreiben.

Fazit

Die Funktionsweise von KI-Systemen kann mit Hilfe von Testfällen dokumentiert und somit transparent gemacht werden. Zur Transparenz gehört natürlich noch eine Angabe über die Architektur des KI-Systems dazu. Diese kann leicht angefertigt werden, wenn man die KI selbst betreibt. Im Falle von Drittsystemen wie ChatGPT muss man auf die Angaben des Anbieters (OpenAI o.ä.) hoffen.

Mit Testfällen kann ferner die Korrektheit von KI-Ausgaben überprüft und verbessert werden.

Testfälle haben also mehrere Vorteile und einen großen Nutzen. Sie sind oft schnell erstellt. Mit KI-Unterstützung können Testfälle sogar automatisiert abgeleitet werden. Der menschliche Testfallersteller erhält so eine sehr gute Vorlage für Testfälle und kann diese mit einem Bruchteil des sonst nötigen manuellen Aufwands festzurren.