Datenschutzfolgenabschätzung für Künstliche Intelligenz und andere digitale Dienste

Kategorien: Datenschutz, Empfehlungen und Künstliche Intelligenz

Die Datenschutzfolgenabschätzung (DSFA) ist in der DS-GVO für bestimmte Arten der Datenverarbeitung vorgeschrieben und soll helfen, Risiken zu erkennen und zu minimieren. Gilt sie auch für Systeme, die Künstliche Intelligenz nutzen? Ein Überblick mit Empfehlungen.

Podcast zum Thema

Die Risikoabschätzung für maschinelles Lernen und Künstliche Intelligenz in Folge #29 des Datenschutz Deluxe Podcasts:

Einleitung

Der Art. 35 DSGVO führt den Begriff der Datenschutz-Folgenabschätzung ein und beschreibt, wann eine solche aufzustellen ist. In Absatz 1 ist dort erwähnt, dass die Vorschrift insbesondere für neue Technologien gilt. Künstliche Intelligenz ist so eine Technologie.

Muss nun für jedes System des maschinellen Lernens eine DSFA angestellt werden? Maschinelles Lernen kann auch als neue Technologie angesehen werden. Denn die revolutionären Ansätze wie Transformer oder leistungsfähige vortrainierte KI-Modelle, aber auch das Neuaufleben von LSTM (Long Short-Term Memory, Erfindung aus Deutschland) sind sicher in Kombination oder teils auch für sich genommen neuartig.

Die genannte Rechtsvorschrift stellt auf Art, Umfang, Umstände und der Zwecke der Verarbeitung von personenbezogenen Daten ab. Bei digitalen Diensten dürfte das Kriterium bezüglich des Umfangs der Datenverarbeitung regelmäßig als erfüllt angesehen werden.

Weil eine Datenschutzfolgenabschätzung nicht für alle Datenverarbeitungen anzustellen ist, ist der Aufwand für die Arbeiten, die auch außerhalb einer DSFA zu erbringen sind, nicht der DSFA zuzurechnen.

Beispiele für solche Arbeiten: Pflichtinformationen, Absicherung der Systeme, Schulungen.

Eine vollständige DSFA ist gemäß Art. 35 Abs. 1 DSGVO erforderlich, sofern die Datenverarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat. Welche Datenverarbeitungen stattfinden, muss im Rahmen der Pflichtinformationen gemäß Art. 13 DSGVO oder Art. 14 DSGVO sowieso bekannt sein.

Laut Art. 35 Abs. 2 DSGVO holt der Verantwortliche bei der Durchführung einer Datenschutz-Folgenabschätzung den Rat des Datenschutzbeauftragten ein. Dieser Punkt ist allerdings für die Frage nach der DSFA irrelevant, wie man alleine schon daran erkennt, dass im genannten Absatz 2 auch steht, dass der DSBs nur hinzuzuziehen ist, sofern ein solcher benannt wurde (vgl. hierzu als Spezialfall den § 38 BDSG).

Gemäß Vorgabe aus Art. 35 Abs. 4 stellen Aufsichtsbehörden eine Liste von Verarbeitungstätigkeiten zusammen, die für eine DSFA relevant sind. Die Liste der DSK gibt Beispiele und nennt etwa den Kundensupport mittels künstlicher Intelligenz.

Die Datenschutzfolgenabschätzung

Zunächst gilt die DSGVO nur für personenbezogene Daten. Zugriffe auf Endgeräte, wie sie im lex specialis (§ 25 TDDDG, bis zum 14.05.2024 hieß es TTDSG) geregelt sind, sind üblicherweise nicht Kerngegenstand von KI-Anwendungen und können hier außen vor gelassen werden.

Alle anderen als potentiell personenbezogene Daten sind also für eine DSFA irrelevant. In diesem Zusammenhang sei erwähnt, dass ein nichtpersonenbezogener Datenpunkt auch dann personenbezogen ist, wenn er mit einem personenbezogenen Datenpunkt zusammen auftritt und die Kenntnis über beide Datenpunkte gleichzeitig beim selben Verantwortlichen vorliegt. Siehe hierzu das Beispiel der Cookies, die wegen ihres Kontakts mit der IP-Adresse als personenbezogen anzusehen sind.

Wie bereits genannt, handelt es sich bei KI-Systemen um neue Technologien. Es muss also laut Rechtsvorschrift genauer hingesehen werden. Das ergibt auch Sinn, denn wenn etwas Neues eingeführt wird, gab es zuvor ja keine Beschäftigung mit der Frage, ob eine DSFA anzustellen ist oder nicht.

In Art. 35 Abs. 3 DSGVO sind Fälle genannt, in denen eine DSFA anzustellen ist. Diese Fälle sind in Kürze:

1. Systematische und umfassende Bewertung persönlicher Aspekte natürlicher Personen inklusive Profiling.
2. Umfangreiche Verarbeitung besonderer Kategorien personenbezogener Daten (politische Meinungen, Gesundheitsdaten etc.), siehe Art. 9 Abs. 1 DSGVO.
3. Systematische umfangreiche Überwachung öffentlich zugänglicher Bereiche.

Für Systeme jeder Art ist eine DSFA vorzunehmen, sofern einer dieser Fälle gegeben ist und die anderen Bedingungen zutreffen, zu denen das Risiko für betroffene Personen gehört.. Nehmen wir das Beispiel der Videokonferenz-Software Zoom. Zoom schreibt in seinen Nutzungsbedingungen (gültig ab 07.08.2023, Stand: 10.08.2023):

Sie erklären sich damit einverstanden, dass Zoom auf die vom Dienst generierten Daten zu jedem beliebigen Zweck zugreift, sie nutzt, erhebt, erstellt, verändert, verteilt, verarbeitet, weitergibt, pflegt und speichert, soweit dies nach geltendem Recht zulässig ist, einschließlich zum Zweck der Produkt- und Dienstentwicklung, des Marketings, der Analysen, der Qualitätssicherung, des maschinellen Lernens oder der künstlichen Intelligenz (einschließlich zum Zweck der Schulung und Abstimmung von Algorithmen und Modellen) …

Auszug aus den Nutzungsbedingungen von Zoom, Fettdruck von mir.

Wie zu lesen ist, dürfen alle Daten aus Videokonferenzen, die mit Zoom abgehalten werden, von Zoom für quasi beliebige Zwecke in quasi beliebiger Weise verwendet werden. Die Videobilder von Videokonferenzteilnehmern sind damit ebenso umfasst wie die gesprochenen Worte oder Transkripte dieser Worte. Auch die Weitergabe oder Weiternutzung der Transkripte und der anderen Daten ist laut diesen Bedingungen für Zoom erlaubt. Zoom hatte auf öffentlichen Druck hin nachträglich eine Ergänzung vorgenommen, die in Aussicht stellt, dass Kundendaten erst nach Einwilligung für das KI-Training verwendet werden. Dennoch behält Zoom sich das Nutzen der Kundendaten auch ohne Einwilligung für zahlreiche andere Zwecke inklusive Marketing und maschinelles Lernen vor! Siehe auch Kommentare am Ende des Beitrags.

Zoom erwähnt in den Bedingungen auch Anwendungen der Künstlichen Intelligenz. Ob diese eingeschlossen sind oder nicht, spielt hier aber wohl für die Frage nach einer DSFA keine Rolle.

Hier sind von den drei oben genannten Fällen des Art. 35 Abs. 3 DSGVO die Fälle 1 und 2 erfasst. Offensichtlich können in Videokonferenzen auch persönliche Aspekte kundgetan oder besprochen werden. Man denke nur an die Zeitplanung und eventuell anstehende Urlaube, die Betreuung der Kinder oder gesundheitliche Probleme. Damit ist auch Fall 2 eröffnet.

Offenbar verarbeitet Zoom Daten sehr umfangreich und auch systematisch. Die systematische Verarbeitung kann wohl bei allen digitalen Verarbeitungen zunächst unterstellt werden, bis das Gegenteil plausibel gemacht wurde. Um dies plausibel tun zu können, bedürfte es aber wahrscheinlich einer DSFA.

Da Zoom ein Anbieter von außerhalb Europas ist, müssten alle Datenempfänger und deren Länder ermittelt werden. Dies muss sowieso passieren und ist kein spezielles Thema einer DSFA. Für jedes Land ist dann zu prüfen, ob die Rechte und Freiheiten von Personen dort gemäß DSGVO gewährleistet sind. Auch dies ist kein spezielles Thema der DSFA. Wenn aber schon diese Angaben sowieso alle vorliegen und als Länder nicht nur Deutschland oder welche aus Europa herauskommen, dann sollten diese Länder auch gewürdigt werden. Es erscheint entweder sehr wenig Aufwand, eine DSFA für einzelne Länder aufzustellen, oder eben viel Aufwand. Wenig Aufwand erspart die Diskussion um eine DSFA, da die Diskussion länger dauert als das Aufschreiben. Viel Aufwand rechtfertigt geradewegs eine DSFA, denn wo viele Fragen offen sind, muss eine Datenschutzfolgenabschätzung wohl als angemessen angesehen werden.

Systeme Künstlicher Intelligenz können die Rechte und Freiheiten von Personen besonders berühren. Dies ist wegen Art. 35 Abs. 1 DSGVO relevant. Wie ChatGPT zeigt, können Ausgaben der KI auf Nutzerfragen hin zu einer hohen Glaubwürdigkeit führen. Der Nutzer sieht das Ergebnis und ist oft begeistert von der sprachlichen Qualität und den Schlussfolgerungen der KI. Das führt auch dazu, dass unwahre oder falsche Ergebnisse als bare Münze angesehen werden.

Generative KI-Systeme, die personenbezogene Daten verarbeiten und nicht mindestens pseudonymisieren, sind also besonders sensibel zu handhaben. Hier erscheint mir eine DSFA immer angebracht zu sein. Selbst für die als sinnvoll angesehenen Forschungszwecke ist eine DSFA vorzunehmen. Was wäre, wenn aus dem Ergebnis herauskommt, welche Personen eine bestimmte Krankheit hatten oder haben? Ist der Personenkreis, der die Ergebnisse sehr klein und sehr vertrauenswürdig, müsste dies schriftlich festgehalten werden, wozu wiederum eine DSFA der richtige Platz ist.

Systeme, die bei der Entscheidung bezüglich der Eignung einer Person unterstützen sollen, sind ebenfalls besonders zu betrachten. Dieser Prozess des Profilings beeinflusst immerhin Lebensläufe. Er kann nicht ohne weitere Absicherung stattfinden. Teil dieser Absicherung ist eine DSFA. Ob ein solches System nun eine KI ist oder nicht, spielt keine oder eine nur untergeordnete Rolle.

Empfehlungen

Am besten ist eine DSFA, wenn sie nicht notwendig ist. Um eine DSFA zu vermeiden, sollten nur datenschutzfreundliche Systeme eingesetzt werden. Für diese kann dann aber auch schnell eine DSFA aufgestellt werden. Statt lange über die Notwendigkeit von etwas zu diskutieren, kann dieses Etwas auch einfach schnell aufgeschrieben werden.

KI-Systeme im Speziellen sollten von unglaubwürdigen Dritten nicht eingesetzt werden, wenn personenbezogene Daten oder andere sensible Daten wie eigene Patente, Geschäftsgeheimnisse oder sonstige vertrauliche Daten betroffen sind. Unglaubwürdig erscheint mir beispielsweise OpenAI mit ChatGPT. Was mit den Daten dort passiert, weiß niemand so genau. Auch Microsoft und Google sind für mich keine glaubwürdigen Dritten. Sie nutzen Daten jeder Art für alle möglichen eigenen Zwecke.

Wie unternehmenseigene KI-Systeme aufgebaut werden können, habe ich beispielsweise hier beschrieben:

• Dokumentensuche mit KI
• Unternehmenseigene KI-Systeme
• Typische Anwendungsfälle für lokale KI-Systeme

Wenn eine DSFA für einen Anbieter mehrerer eingesetzter Dienste aufzustellen ist, könnte eine Dokumentenhierarchie verwendet werden. Dies legt auch Art. 35 Abs. 1 letzter Satz DSGVO nahe.

1. Master-Dokument: Allgemeine Bewertungen zum Anbieter und dessen Unterauftragsverarbeitern.
2. Detail-Dokument pro Dienst: Verweist auf das Master-Dokument und bewertet dienstspezifische Details.

Eine DSFA kann zunächst in einer sehr groben Form aufgestellt werden, die sehr wenig Aufwand bedeuten kann. Ein Beispiel ist weiter unten genannt. Wenn diese Kurz-DSFA Anlass zur weiteren Untersuchung gibt, wäre mehr Aufwand aufzuwenden.

Für ein KI-System wie ChatGPT könnte eine DSFA wie folgt ablaufen. In Kürze ist das bewährte Bewertungsschema auf Zahlenbasis genannt. Die Zahlen werden hier nicht näher begründet und sind nur als beispielhaft anzusehen.

Beispiel: Risikoabwägung für ChatGPT für die Dokumentensuche

Die Annahme für das Beispiel ist, dass von einem Unternehmen Mitarbeiterdaten in ChatGPT reingegeben werden. Dies findet in Form eines Dokuments statt, gegen das Fragen gestellt werden, die ChatGPT beantworten soll. Dies wird auch als Question Answering Task oder spezifischer als Ask You Document Task bezeichnet. Das Dokument wird vorher automatisiert pseudonymisiert. Dabei können natürlich Fehler auftreten, die hier im Beispiel gewürdigt werden.

Die folgende Risikobetrachtung ist ein Teil einer vollständigen DSFA. Eine vollwertige DSFA ist dann notwendig, wenn das Risiko für betroffene Personen nicht gering bzw. hoch genug ist. In Wikipedia ist der notwendige Inhalt einer DSFA wie folgt gegeben (hier leicht gekürzt dargestellt und mit Anmerkungen am Ende jedes Punktes versehen):

• systematische Beschreibung der geplanten Verarbeitungsvorgänge und der Zwecke der Verarbeitung. → Sollte über Art. 12 DSGVO bereits bekannt sein.
• Bewertung der Notwendigkeit und Verhältnismäßigkeit der Verarbeitungsvorgänge in Bezug auf den Zweck. → Teilweise über die hier beispielhaft genannte Risikobetrachtung gegeben, teilweise auch (zwangsweise) bekannt aus Art. 12 DSGVO.
• Bewertung der Risiken für die Rechte und Freiheiten der betroffenen Personen. → Siehe genannte Risikoabwägung als Teil einer vollständigen DSFA.
• Abhilfemaßnahmen bei höherem Risiko. → Sofern das ermittelte Risiko nicht gering ist, müsste hierzu weiter ausgeführt werden.

Fangen wir mit der Entdeckenswahrscheinlichkeit an. Das ist die Wahrscheinlichkeit, mit der jemand bemerkt, dass ein Datenschutzvorfall stattfand. Ich wähle als Skala die Zahlen von 1 bis 10, wobei 1 die günstigste (also größte) Entdeckenswahrscheinlichkeit ist. Wenn die Mitarbeiter entsprechend geschult sind, werden sie einen Vorfall schnell erkennen und wohl auch oft melden (außer, jemand findet ChatGPT ganz toll und möchte es nicht anschwärzen). Ich wähle also den Wert 4. Immerhin kann nicht jedem Output eines ChatBots angesehen werden, ob er personenbezogene Daten enthält. Vor allem personenbeziehbare Daten sind nicht immer so leicht zu erkennen. Auch können größere Textausgaben dazu führen, dass nicht alles gelesen, sondern blind per Copy & Paste in einen öffentlichen Bericht übernommen wird.

Die Eintrittswahrscheinlichkeit ist die Wahrscheinlichkeit, mit der ein Datenschutzvorfall stattfindet. Der Wert 1 stellt den günstigsten Fall dar, also sehr selten oder vielleicht nie auftretende Datenschutzvorfälle. Dass ein Vorfall eintritt, erscheint im Beispiel-Szenario sehr wahrscheinlich. Immerhin könnten täglich hunderte von Dokumenten durchsucht werden. Die automatisierte Pseudonymisierungsfunktion kann nicht perfekt arbeiten. Ich wähle also den Wert 8.

Die Schwere des Ereignisses gibt an, wie sehr ein Datenschutzvorfall in die Rechte und Freiheiten von Personen eingreift. Sie ist im Beispiel abhängig davon, um welche Art von Mitarbeiterinformationen es sich handelt. Wenn es um Arbeitszeitausfälle geht, deren Wissen oft mit Gesundheitsdaten gleichgesetzt werden könnte, dann wäre die Schwere wohl mit dem Wert 8 nicht zu niedrig bemessen. Aber auch die Leistungsbeurteilung von Mitarbeitern würde einen solchen Wert wohl rechtfertigen. Viel schlimmer, aus Sicht der Mitarbeiter, geht es wohl kaum.

Multipliziert man Entdeckenswahrscheinlichkeit, Eintrittswahrscheinlichkeit und Schwere des Ereignisses ergibt sich ein Wert zwischen 1 und 1000. Der Wert 1 käme zustande, wenn alle drei Kriterien jeweils mit dem günstigsten Wert 1 bewertet worden wären. Der Wert 1000 ist das Ergebnis von 10 x 10 x 10, dem schlimmsten vorstellbaren Szenario.

Im Beispiel ergibt sich ein Wert von 4 x 8 x 8 = 256 im Rahmen einer Risikoabwägung. Nun muss jeder Verantwortliche selbst überlegen, ab welchem Schwellenwert besondere Maßnahmen beschrieben werden, um das Ereignis angemessen gut und schnell bearbeiten zu können. Eine solche Maßnahme könnte das mindestens zwischenzeitliche Verbot sein, ChatGPT weiterzunutzen oder uneingeschränkt zu nutzen.

Ich sehe den Wert 200 oder vielleicht auch 250 als Schwellenwert an, ab dem über das Formulieren von Notfallplänen bzw. Abhilfemaßnahmen nachgedacht werden sollte.

Das Aufstellen einer Risikoabwägung führt jedenfalls bei ChatGPT für den Anwendungsfall „Durchsuchen von Unternehmensdokumenten, die Mitarbeiterdaten enthalten können“ dazu, dass ChatGPT als nicht brauchbar für diesen Anwendungsfall anzusehen ist. Die Datenempfänger sind nämlich nicht nur Personen im Unternehmen oder eventuell auch in der Öffentlichkeit, sondern auch OpenAI, Microsoft und alle Unterauftragsverarbeiter.

Eine DSFA sollte also mindestens auf Ebene der Multiplikation dreier Zahlen als Risikoabwägung durchgeführt werden. Wenn ein Schwellwert überschritten wird, sollte über weitere Untersuchungen nachgedacht werden. Ein schlechter Wert spricht dann allerdings oft auch gegen den Einsatz eines Systems. Das macht die DSFA dann hinfällig, die für die Entscheidungsfindung einen guten Dienst geleistet hat.

Eine Risikoabwägung wiederum kann schematisch erfolgen. Für viele Dienste können große Teile der Abwägung gleichartig oder ähnlich erfolgen, mit möglicherweise anderen Werten für die Risikokriterien. Der Aufwand hierfür erscheint mir meistens nicht besonders hoch oder sogar sehr niedrig.

Fazit

Wie umfangreich eine DSFA gestaltet wird, hängt von der Höhe des Risikos eines Systems für betroffene Personen ab. Für KI-Systeme Dritter sehe ich die Risikoabwägung als Teil einer DSFA als immer notwendig an. Für eigene KI-Systeme kann durch Multiplikation von drei Zahlen schnell herausgefunden werden, ob die Betrachtung auszuweiten ist oder nicht. Anzunehmenderweise sind die meisten unternehmenseigenen KI-Systeme unkritisch, sofern sie nicht gerade der Beurteilung von Mitarbeitern, Gesundheitsdaten o. ä. dienen. Weitere rechtliche Betrachtungen außerhalb einer DSFA nicht natürlich immer notwendig. So muss die Herkunft und Art der Eingabedaten geklärt sein und ebenso die Rechtsgrundlage für die Datenverarbeitung.

Ob eine DSFA vom Datenschutzbeauftragten oder vom Verantwortlichen durchgeführt wird, ist zweitrangig, wenngleich in der Praxis vor allem für die DSBs relevant.

Eine vollwertige DSFA erfordert als Zusatzarbeit „nur“ das Erdenken von Abhilfemaßnahmen und Notfallplänen. Alle anderen notwendigen Inhalte sind durch Art. 12 DSGVO und eine immer sinnvolle, oft schnell erledigte Risikoabwägung sowieso schon gegeben,

Die Frage nach einer Datenschutzfolgeabschätzung stellt sich jedenfalls dann weniger, wenn eigene oder datenfreundliche Systeme Dritter eingesetzt werden und das Risiko schnell als gering eingestuft werden kann. Bei eigenen Systemen, insbesondere bei unternehmenseigenen KI-Systemen, stellt sich die Frage nach den Datenflüssen und Datenempfängern nicht. Sie sind bekannt und können beliebig limitiert werden.

Bei Drittdiensten der üblichen Verdächtigen, wie Microsoft, Google oder Zoom, könnte pro Anbieter insgesamt eine DSFA verwendet werden, die ggf. „nur“ um Details pro spezifisch eingesetztem Dienst oder Plugin ergänzt wird.

Eine DSFA verringert das Risiko aber nicht, wegen der rechtswidrigen Verwendung von Diensten oder Plugins eine Beschwerde, Abmahnung oder Klage zu kassieren. Mit datenschutzfreundlichen Systemen kann eine Menge Arbeit erspart und die Rechtssicherheit erheblich erhöht werden. Man muss oft nur wollen. Alternativen gibt es für viele Anwendungsfälle zuhauf.

Zum Schluss, ein paar wichtige Aspekte zusammengefasst:

• Eine Risikobewertung ist immer sinnvoll und oft sowieso als notwendig anzusehen.
• Pflichtinformationen aus Art. 12 DSGVO müssen sowieso vorliegen. Ob sie nun für die DSFA oder aufgrund von Betroffenenrechten erstellt werden, ist zweitrangig. Der Aufwand für die Pflichtinformationen kann deswegen jedenfalls nicht der DSFA zugerechnet werden.
• Allgemeine Gewährleistungen, die Verantwortliche aus Art. 5 DSGVO zu errichten haben, sind unabhängig von einer DSFA. Sie müssen sowieso für alle möglichen Datenverarbeitungen erbracht werden. Beispiel: Sicheres Passwort für einen ChatGPT-Zugang. Eine allgemeine Passwortrichtlinie sollte im Unternehmen sowieso vorhanden sein.
• Spezifische Gewährleistungen pro Dienst sind auch allgemein zu erbringen und haben nichts mit einer DSFA zu tun. Begründung: Weniger risikobehaftete Dienste erfordern keine DSFA. Dennoch sollte für diese eine Gewährleistung, etwa für die Sicherheit der Verarbeitung, vorhanden sein.