Drücke „Enter”, um zum Inhalt zu springen.
Hinweis zu diesem Datenschutz-Blog:
Anscheinend verwenden Sie einen Werbeblocker wie uBlock Origin oder Ghostery, oder einen Browser, der bestimmte Dienste blockiert.
Leider wird dadurch auch der Dienst von VG Wort blockiert. Online-Autoren haben einen gesetzlichen Anspruch auf eine Vergütung, wenn ihre Beiträge oft genug aufgerufen wurden. Um dies zu messen, muss vom Autor ein Dienst der VG Wort eingebunden werden. Ohne diesen Dienst geht der gesetzliche Anspruch für den Autor verloren.

Ich wäre Ihnen sehr verbunden, wenn Sie sich bei der VG Wort darüber beschweren, dass deren Dienst anscheinend so ausgeprägt ist, dass er von manchen als blockierungswürdig eingestuft wird. Dies führt ggf. dazu, dass ich Beiträge kostenpflichtig gestalten muss.

Durch Klick auf folgenden Button wird eine Mailvorlage geladen, die Sie inhaltlich gerne anpassen und an die VG Wort abschicken können.

Nachricht an VG WortMailtext anzeigen

Betreff: Datenschutzprobleme mit dem VG Wort Dienst(METIS)
Guten Tag,

als Besucher des Datenschutz-Blogs Dr. DSGVO ist mir aufgefallen, dass der VG Wort Dienst durch datenschutzfreundliche Browser (Brave, Mullvad...) sowie Werbeblocker (uBlock, Ghostery...) blockiert wird.
Damit gehen dem Autor der Online-Texte Einnahmen verloren, die ihm aber gesetzlich zustehen.

Bitte beheben Sie dieses Problem!

Diese Nachricht wurde von mir persönlich abgeschickt und lediglich aus einer Vorlage generiert.
Wenn der Klick auf den Button keine Mail öffnet, schreiben Sie bitte eine Mail an info@vgwort.de und weisen darauf hin, dass der VG Wort Dienst von datenschutzfreundlichen Browser blockiert wird und dass Online Autoren daher die gesetzlich garantierten Einnahmen verloren gehen.
Vielen Dank,

Ihr Klaus Meffert - Dr. DSGVO Datenschutz-Blog.

PS: Wenn Sie meine Beiträge oder meinen Online Website-Check gut finden, freue ich mich auch über Ihre Spende.
Ausprobieren Online Webseiten-Check sofort das Ergebnis sehen
Externe Links sind mit dem Symbol Externer Link Symbol gekennzeichnet. Datenschutzinfo

Unsichere KI-Lösung nele.ai wirbt mit Sicherheit und wurde für KI-Award nominiert

11
Dr. DSGVO Newsletter erkannt: Erweiterte Funktionen verfügbar
Artikel als PDF · Mehr Inhalte & kompakte Kernaussagen · Webseiten-Checks · Offline-KI Live
Standardansicht: Dr. DSGVO Newsletter nicht erkannt. Erweiterte Funktionen nur für Abonnenten:
Artikel als PDF · Mehr Inhalte & kompakte Kernaussagen · Webseiten-Checks · Offline-KI Live
📄 Artikel als PDF (nur für Newsletter-Abonnenten)
🔒 Premium-Funktion
Der aktuelle Beitrag kann in PDF-Form angesehen und heruntergeladen werden

📊 Download freischalten
Der Download ist nur für Abonnenten des Dr. DSGVO-Newsletters möglich

nele.ai behauptet, eine sichere KI-Lösung für Unternehmen zu bieten, um ChatGPT zu nutzen. Dieses Werbeversprechen entpuppt sich bereits nach wenigen Tests nachweislich als unhaltbar. Angeblich werden personenbezogene Daten erkannt, vor dem Schicken des Prompts an ChatGPT ausgefiltert und nach dem Erhalt der ChatGPT-Antwort wieder eingesetzt. Das ist unzutreffend und somit reines Wunschdenken.

Vorab

Die zuverlässige automatisierte Erkennung von personenbezogenen Daten ist grundsätzlich nicht möglich.

Mehr Informationen dazu finden Sie hier:

Einleitung

Auf seiner Webseite schreibt nele.ai direkt am Anfang (und auch im Seitentitel, der im Browser-Tab sichtbar ist):

Screenshot eines oberen Teils der Webseite nele.ai (Stand: 18.10.2023).

nele.ai behauptet, ChatGPT rechtssicher in Unternehmen einsetzen und den Datenschutz gewährleisten zu können. Ebenso sagt nele.ai, es böte sichere Künstliche Intelligenz für Unternehmen. Dies soll dadurch stattfinden, dass Daten von nele.ai automatisiert anonymisiert werden, bevor sie zu ChatGPT oder anderen Chatbots geschickt werden. Diese Aussage wollen wir prüfen und deren Falschheit mit Fakten und Beweisen demonstrieren.

Weiterhin behauptet nele.ai, dass personenbezogene Daten (von nele.ai) gefiltert werden. nele.ai garantiert sogar die Einhaltung der Anforderungen für Berufsgeheimnisträger.

Aussage auf der Startseite der Webseite nele.ai (Stand: 11.10.2023).

Das klingt schon ziemlich selbstbewusst. Hoffentlich stimmt das auch.

Dass die Aussage falsch ist, sollte jedem bekannt sein, der ein bisschen Ahnung von Datenschutz hat. Denn personenbezogene Daten können per se nicht zuverlässig als solche erkannt werden. In Art. 4 Nr. 1 DSGVO steht die Definition dieser Daten.

Hier ein paar Beispiele für personenbezogene Daten, zu denen auch personenbeziehbare Daten gehören. Personenbeziehbare Daten sind Daten, die indirekt auf eine Person hinweisen.

  • Name einer Person.
  • Adresse einer Person (ohne Name).
  • Straßenangabe zu einer Person (ohne Hausnummer) + Ortsangabe (sofern nur eine Person in der Straße wohnt).
  • Telefonnummer oder Handynummer einer Person.
  • KfZ-Kennzeichen eines Autos, das auf eine Person zugelassen ist.
  • GPS-Standort plus Zeitpunkt eines Smartphones, dessen SIM-Karte auf eine Person registriert ist.
  • IP-Adresse eines Internet-Anschlusses einer Person (vgl. EuGH- und BGH-Urteile „Breyer“).
  • Aussage über eine Person aus einer bekannte Gruppe von Personen, die die Person von den anderen Personen unterscheidbar macht: „In der Gruppe 47110815 hat die Person mit den roten Haaren Krebs“. Anderswo (öffentlich erreichbare, bekannte Webseite) steht dann, wer die Teilnehmer der Gruppe 47110815 sind.
  • Aussage: „Der Autor des Buches 'Per Anhalter durch die Galaxis' leidet unter <beliebige Krankheit>“.

Wie bereits erkennbar ist, kann es beliebig kompliziert werden, personenbezogene Daten zu identifizieren. Als personenbezogen sind Daten anzusehen, sofern sie direkt oder unter Zuhilfenahme Dritter mit objektiv zur Verfügung stehenden Möglichkeiten unter erreichbarem Aufwand, auf eine Person zurückgeführt werden können. Genauer steht es in den o.g. Breyer-Urteilen.

Aber nele.ai versagt schon viel früher als bei komplizierten Fällen, wie gleich gezeigt wird. Übrigens:

Mehrere Forscher hatten einen Ansatz für Schweizer Gerichtsentscheidungen entwickelt, der hilft, Daten zu anonymisieren. Weil Forscher ehrlich sind und kein aggressives Marketing wie nele betreiben, ist der Ansatz der Forscher nur zur Unterstützung gedacht und nicht als sichere Lösung. Außerdem zielt er ausschließlich darauf ab, sogenannte Named Entities, also benannte Entitäten zu erkennen und auszufiltern. Aber selbst dieses Teilproblem kann nicht vollständig gelöst werden. Dies bestätigte mir einer der Forscher, Joel Niklaus, auf meine Nachfrage. Die reine Logik hätte allerdings bereits als Antwort ausgereicht.

Selbst ChatGPT-4 versagt kolossal bei der automatisierten Anonymisierung von Daten.

Siehe u.g. Studie.

Laut einer Studie von Joel Niklaus und zwei Kollegen gelingt es selbst in einem abgegrenzten Kontext wie den Gerichtsentscheidungen eines obersten schweizerischen Gerichts nicht, personenbezogene Daten erfolgreich zu anonymisieren. Und dies sogar, obwohl die schweizerische Präsidentenkonferenz konkrete Vorgaben zur Anonymisierung gemacht hat (Link seit 11.05.2025 nicht mehr verfügbar). Vielmehr besteht immer eine erhebliche Unsicherheit, die manuelle Nacharbeiten erforderlich macht.

Sogar für offensichtlich anonymisierte Gerichtsurteilen können nachträglich Personendaten und andere Daten reidentifiziert werden. Mithilfe von Drittquellen können Daten verknüpft und rekonstruiert werden. Dies wird im Paper "Re-Identifizierung in Gerichtsurteilen mit Simap Daten" beschrieben. Verfahrensbeteiligte können demnach mit einer Wahrscheinlichkeit von über 80% reidentifiziert werden.

Selbst das wohl höchstentwickelte Sprachmodell, ChatGPT-4, kommt auf eine magere Quote von 5 Erfolgen bei 7 Fällen (also 2 von 7 Fehler, was über 25% Fehlerquote entspricht). Interessant ist die Beobachtung der Forscher: „GPT-4 performed even better, correctly identifying 5 out of 7, with the full name for one example. Interestingly, the two cases which were easiest for us humans to identify were not identified by either model.“. Das heißt, dass die zwei fehlgeschlagenen Anonymisierungsversuche von ChatGPT-4 genau die waren, die für den Menschen am leichtesten zu vollziehen gewesen wären.

Zuverlässig anonymisieren geht: Jedes Wort der Eingabe wird einfach verfremdet. Der Sinngehalt wäre dann aber fragwürdig.
Ansonsten muss für eine sinnvolle Anonymisierung jeder personenbezogene Datenwert zunächst als solcher erkannt werden, was zuverlässig nicht möglich ist.

Begründungen: Siehe Beitrag.

Forscher der ETH Zürich haben plastisch gezeigt, dass selbst aus unverfänglichen Angaben oder der Nutzung bestimmter Begriffe eine Deanonymisierung möglich ist. Ein Online Quiz zeigt, wie versteckte Informationen as Sprachmodellen gezogen werden können.

Wer jetzt immer noch glaubt, dass das automatisierte Erkennung von personenbezogenen Daten (als notwendige Vorstufe der Anonymisierung) zuverlässig möglich ist, sollte einmal in sich gehen, andere Tabletten nehmen oder wahlweise weiterlesen.

Unabhängig vom Datenschutz geht es um viele andere sensible Daten, die nele.ai gar nicht fokussiert. Hat da jemand was vergessen? Immerhin hat die US-Luftwaffe, eine Organisation aus demselben Land wie der Anbieter von ChatGPT, bis auf Weiteres verboten, ChatGPT einzusetzen. Das Risiko der Datenaggregation durch ChatGPT sei zu hoch, sagt die US-Luftwaffe. Hier ist nicht von personenbezogenen Daten, sondern von Daten die Rede. Sicher hat Ihr Unternehmen keine Daten, sodass Sie sich ganz und gar auf personenbezogene Irgendwas konzentrieren können (Ironie Ende).

Nun zum Beweis, warum nele.ai ein Versager ist. Nebenbei sei noch erwähnt, dass die Webseite von nele.ai aus meiner Sicht als nicht besonders datenschutzfreundlich angesehen werden kann. Oder wie würden Sie den Einsatz von Google Analytics ohne Einwilligungsabfrage bewerten?

Beweis der Unbrauchbarkeit von nele.ai

nele.ai behauptet (Stand: 13.10.2023, Webseite neie.ai, Startseite): „Zusätzlich filtern wir personenbezogene Daten aus Ihren Eingaben heraus, bevor Sie temporär durch die KI bearbeitet werden.“ (das "Sie" ist auf der Webseite groß geschrieben, ist aber wohl in kleingeschriebener Weise gemeint). Diese Aussage ist falsch, laut UWG wohl rechtswidrig, mindestens aber irreführend und womöglich auch eine Lüge (falls die Tatbestände für eine Lüge vorliegen, die über eine unwahrheitsgemäße Aussage hinausgehen).

nele.ai stellt eine Eingabemaske für Prompts zur Verfügung. Ein Prompt ist eine Frage, die Sie an ChatGPT oder eine andere KI stellen. Die KI soll dann die Antwort geben. nele.ai schickt nun den Prompt nicht anderswo hin, sondern versucht, den Prompt bzw. die Angaben darin zu anonymisieren. Dies findet in Ihrem Browser statt. Das wäre nicht schlecht, wenn es funktionieren würde. Andererseits kann aufgrund dieser Tatsache bewiesen werden, dass nele.ai ein Versager und keine Lösung ist, weil sich Datentransfers, die von nele.ai zu ChatGPT stattfinden, nachweisen lassen.

Für einen Test kann also wie folgt vorgegangen werden, um direkt zu sehen, welche Daten nele.ai anonymisieren kann und welche nicht:

  1. Aufruf des nele.ai Kundenbereichs, in dem Prompts eingegeben werden können.
  2. Eingabe eines Prompts, der personenbezogene Daten enthält.
  3. Ansicht des Netzwerkprotokolls im Browser, das zeigt, welche Daten von nele.ai anderswo hingeschickt werden (dazu Taste F12 im Firefox drücken und Karteireiter "Netzwerkanalyse" öffnen).
  4. Raussuchen des Requests (Datentransfers), der den Prompt enthält.
  5. Vergleich des Prompts im Datentransfer von nele.ai an ChatGPT mit eigener Eingabe in nele.ai
  6. Bei nicht vorhandenen Unterschieden fand keine Anonymisierung statt.
  7. Alternativ kann anhand der Antwort des Chatbots erkannt werden, ob dem Chatbot die Originaldaten fü seine Antwort vorlagen. Hierzu finden Sie weiter unten Beispiele.

Gängige deutsche Vornamen können anhand einer Datenbank leicht erkannt werden. Dies kann sicher jeder Entwickler in wenigen Minuten programmieren. Doch wie sieht es mit Namen von Personen aus, die die Unverschämtheit besitzen, einen Namen zu führen, der nicht in der Datenbank von nele.ai vorhanden ist? Sicher sind das nur zwei Personen, die als Einsiedler auf einer einsamen Insel leben und deren Daten niemand kennt. Oder es sind Menschen mit einem Namen, der nicht der deutschen Norm entspricht. Wo wir gerade in einem Zeitalter des Genders, der freien Geschlechterwahl und Antidiskriminierung leben, scheint nele.ai genau das Gegenteil zu bewirken, indem ausländische Namen besonders schlecht oder gar nicht anonymisiert werden.

Hier ein Beispiel, das verdeutlicht, dass nele.ai wenigstens einfache Fälle bearbeiten kann, die auch jeder Entwickler in kürzester Zeit erschöpfend lösen könnte:

  • Eingabe in nele.ai: Max Mustermann → das existiert nur in Ihrem Browser
  • nele.ai macht daraus: Max001 Mustermann002 → das wird von nele.ai an ChatGPT geschickt

Das Beispiel sowie weitere Tests zeigen, dass nele.ai aus jedem Vornamen den Pseudonamen „Max001“ macht und jedem Nachnamen den Nachnamen Mustermann002. Doch wollen wir uns mit diesen Kleinigkeiten nicht weiter aufhalten. Aus „Hermann Müller“ als Prompteingabe, macht nele.ai jedenfalls auch „Max001 Mustermann002“.

Nur zum Verständnis: Damit ein KI-Sprachmodell wie ChatGPT gute und am besten auch richtige Antworten produzieren kann, müssen die (angeblich anonymisierten) Prompt-Daten natürlich qualitativ und strukturell gleich den Originaldaten Ihres Prompts sein. Ansonsten kann man das Frage-Antwort-Spiel mit der KI auch gleich sein lassen. Wenn Sie fragen, was Hypodontie ist, kann die korrekte Antwort nur erfolgen, wenn der Chatbot diese Krankheitsbezeichnung auch als Eingabe erhält.

Nun ein repräsentativer Fall, der bereits zeigt, dass nele.ai ein KI-Versager ist:

  • Eingabe in nele.ai: Mein Name ist Pietr Mieroslav Radschinsky Rottweiler → das existiert nur in Ihrem Browser
  • nele.ai macht daraus: Mein Name ist Pietr Mieroslav Radschinsky Rottweiler → das wird von nele.ai an ChatGPT geschickt

Wie zu sehen ist, erkannte nele.ai diesen Namen nicht und hat diese personenbezogene Angabe nicht anonymisiert. Auch der Ortsname wurde nicht anonymisiert (sofern es ein Ortsname und kein Namensbestandteil ist). Den Beweis zeigt die Netzwerkanalyse im Browser (Taste F12):

Netzwerkprotokoll für die nele.ai Browseranwendung, die für jede Eingabe zeigt, welche Daten an ChatGPT weitergegeben wurden und dass GPT-3.5-turbo als KI-Sprachmodell zum Einsatz kommt. Dieses Modell ist Closed-Source und wird von OpenAI selbst gehostet.

Der Screenshot wurde aus einem Beweisvideo, welches angefertigt wurde, angefertigt. Daher ist die Aufnahme etwas verschwommen.

Ein weiterer Beweis ist die Tatsache, dass der Name in der Antwort wiederholt wird.

Antwort von ChatGPT mit den personenbezogenen Originaldaten, die ChatGPT zuvor von nele.ai erhalten hat.

Im Gegensatz dazu werden nämlich erfolgreich anonymisierte Daten in der Antwort in (angeblich) anonymisierter Form wiedergegeben:

Hier hat die Anonymisierung (sofern es eine ist) ausnahmsweise mal funktioniert.

nele.ai hat das eigene Werbeversprechen also nicht eingehalten. Das könnte man als wissentliche oder unwissentliche Falschaussage bezeichnen. Wissentlich würde wohl auf eine Lüge hinauslaufen, sofern ein Vorsatz oder eine Absicht vorliegt (ich bin kein Jurist). Unwissentlich würde wohl bedeuten, dass der Anbieter von nele.ai keine Ahnung von Datenschutz und/oder Sicherheit hat und auch die Testimonials von nele.ai, inklusive Herrn Schwenke, entweder keine tiefere Kenntnis von personenbezogene Daten und/oder Sicherheit haben oder einfach an ein Wunder glauben oder andere Gründe für ihre selbstbewussten Aussagen vorliegen, die den Anschein erwecken sollen, als könne nele.ai personenbezogene Daten zuverlässig anonymisieren. Immerhin schreibt Herr Schwenke selbst, dass ChatGPT an sich ein Datenschutzproblem ist:

Aussage von Dr. Thomas Schwenke zu nele.ai auf LinkedIn (Stand: ca. 18.09.2023). In seinem Beitrag, zu dem er diesen Kommentar schrieb, schreibt er: " ChatGPT kann man nicht datenschutzkonform nutzen? Doch. In diesem Beitrag erläutere ich wie und warum ich die Lösung meiner Mandantin, nele.ai, besonders empfehle, die eigenen Funktionen von ChatGPT dagegen für unzureichend halte"

Leider wird von Herrn Schwenke eine unsichere "Lösung" auch noch empfohlen, anstatt die Fakten anzuerkennen. Weiterhin stellt er sein Testimonial für die Startseite von nele.ai zur Verfügung und trifft fragwürdige Werbeaussagen für den Anbieter (Stand: 18.10.2023).

Sollten die Daten hingegen bei ChatGPT als sicher angesehen werden, würde es nele.ai gar nicht bedürfen. Man könnte dann auch direkt ChatGPT einsetzen.

Die Berechtigung von nele.ai ist so oder so fraglich: Entweder ist ChatGPT sicher und nele.ai somit unnötig. Oder ChatGPT ist unsicher und wird durch nele.ai nicht sicher.

Sicherheit bedeutet das Vorhandensein von Zuverlässigkeit, siehe Beitrag.

Entweder ist also ChatGPT unsicher und nele.ai somit keine sichere Lösung. Oder ChatGPT ist sicher und nele.ai wäre somit unnötig. Gerne programmiert Ihnen jemand eine Prompteingabe-Anwendung für die Kommunikation mit ChatGPT, die Sie auf Ihrem Server laufen lassen können, sofern es Ihnen nur hierum geht. Der Zeitaufwand ist dank Standardbibliotheken minimal. ChatGPT bietet allerdings eine solche Anwendung bereits an, die sogar mehr kann als nele.ai, nämlich auch Bilder und anderes verarbeiten.

Nun ein anderes Beispiel, um die Nutzlosigkeit von nele.ai hinsichtlich der Erfüllung des Aspekts Sicherheit bzw. Datenschutz zu zeigen. Wir kopieren die E-Mail-Adresse aus einem Impressum:

  • Eingabe in nele.ai: xyz<at>abc.de → das existiert nur in Ihrem Browser
  • nele.ai macht daraus: xyz<at>abc.de → das wird von nele.ai an ChatGPT geschickt

Wie zu sehen, wurde statt des @-Zeichens die beliebte Zeichenfolge <at> verwendet, die oft genutzt wird, um es Spam-Bots etwas schwerer zu machen.

Leider hat nele.ai hier bereits versagt. Was zeigt das: nele.ai basiert anscheinend auf einfachsten Erkennungsregeln, um für einen Datenwert zu entscheiden, ob er personenbezogen sein könnte oder nicht. Das führt einerseits dazu, dass nele.ai nicht besonders leistungsfähig ist. Jede neue, nötige Erkennungsregeln, die fehlt, muss nachträglich einprogrammiert werden. Bis dahin sind fehlende Anonymisierungen die Folge. Nach der neuen Erkennungsregel ist nur eine Lücke von sehr vielen geschlossen. In fünf Jahren hat nele.ai vielleicht 95% aller Lücken geschlossen. Dann gibt es aber sicher bessere Produkte bzw. vielleicht schon gar kein ChatGPT mehr, sondern einen europäischen, datenschutzkonformen Chatbot, für den nele.ai gänzlich irrelevant wäre.

Es folgt ein weiteres Beispiel, das zeigt, dass nele.ai wirklich nur auf einfachsten Erkennungsregeln basiert. Wir geben eine IP-Adresse ein. Dummerweise haben wir uns minimal vertippt. Statt des Punkts am Ende haben wir ein Komma getippt. Punkt und Komma liegen auf Standard-PC-Tastaturen übrigens direkt nebeneinander.

  • Eingabe in nele.ai: 10.17.144,1 → das existiert nur in Ihrem Browser
  • nele.ai macht daraus: 10.17.144,1 → das wird von nele.ai an ChatGPT geschickt

Das gleiche Ergebnis kam beim Test heraus, als ein ganzer Satz eingetippt wurde: "Meine IP-Adresse lautet 10.17.144,1. Übrigens wurden etwas andere Werte beim Test verwendet als in diesem Beitrag geschrieben. Der Test fand mit einem Zeugen auf dessen Account statt. Vom Test wurde ein Video angefertigt. Derjenige hat selbst auch Tests durchgeführt, die laut seiner Aussage zu Ergebnissen kamen, die mit den hier beschriebenen qualitativ übereinstimmen.

Wir haben darauf geachtet, das gängige Format von IP-Adressen, E-Mail-Adressen usw. einzuhalten und fiktive Werte verwendet, die echt sein könnten. So konnten wir auch ausländische Sozialversicherungsnummern oder IBANs (Bankkontoangaben) erfolgreich an der Anonymisierungsfunktion von nele.ai vorbeischleusen: nele.ai hat also auch hier versagt.

Bei den Tests haben wir viele Angaben sowohl als einzige Angabe in den Prompt gegeben als auch eingebettet in einen realistischen deutschen Satz. Jedesmal war das Ergebnis gleich schlecht. Die Anonymisierung fand nicht statt, wenn minimal von der Norm oder gut bekannten Namen abgewichen wurde.

Personenbezogene Daten, ja selbst Namen von Personen, können an sich schon nicht zuverlässig von einer Automatik erkannt und somit auch nicht zuverlässig anonymisiert werden.

Logisch und technisch ergründbarer Fakt, siehe auch anderen Beitrag.

KfZ-Kennzeichen sind personenbezogene Daten, wenn das Kennzeichen zu einem Fahrzeug passt, welches auf eine Person zugelassen wurde oder von einer Person gehalten wird oder oft auch, wenn es von einer Person gefahren wird. Hier die Probleme, die nele.ai mit KfZ-Kennzeichen hat:

Screenshot aus dem Beweisvideo: Oberfläche von nele.ai mit Fragen und Antworten.

Im Netzwerkprotokoll des Browsers, in dem nele.ai aufgerufen wurde, ist zu erkennen, dass dieser personenbezogene Datenwert, nämlich das KfZ-Kennzeichen DA-SI 234 von nele.ai an ChatGPT weitergegeben wurde:

Screenshot aus dem Beweisvideo: Netzwerkprotokoll der Datentransfers von nele.ai an ChatGPT.

Aber auch einfache Schreibfehler reichen, um den angeblichen Datenschutzfilter von nele.ai zum Zusammensturz zu bringen:

  • Eingabe in nele.ai: Mein KfZ-Kennzeichen lautet AB-CD-123 → das existiert nur in Ihrem Browser
  • nele.ai macht daraus: Mein KfZ-Kennzeichen lautet AB-CD-123 → das wird von nele.ai an ChatGPT geschickt

Im Kennzeichen wurde ein Bindestrich anstelle eines Leerzeichens verwendet. Zu sehen ist, dass nele.ai selbst durch kleinste Abweichungen verwirrt wird. Jeder Mensch kann es besser.

Auf bestimmte Anfragen antwortet ChatGPT, dass die Frage wegen Datenschutzbedenken nicht beantwortet werden kann. ChatGPT antwortet dann mit:

Gelegentliche Antwortverweigerung durch den Chatbot, den man auch ohne nele.ai aufrufen kann, um diese Antwort zu erhalten.

nele.ai leitet dieses Antwort einfach nur weiter, wie es aussieht. Mit ChatGPT alleine hätte man also wohl die gleiche Antwort erhalten.

Dass nele.ai Ihre Eingaben an ChatGPT schickt, hat die KI, die nele.ai anbindet, jedenfalls selbst bestätigt.

Bestätigung in der Browser-Oberfläche von nele.ai, dass die Antworten von ChatGPT gegeben werden und die Prompts somit (oft unverändert und somit personenbezogene Daten enthaltend) an ChatGPT geschickt werden.

Dass ChatGPT Ihre Eingaben von nele.ai oft in nicht anonymisierter Form und somit als personenbezogene Daten erhält, zeigt dieser Test, für den die Mailadresse (fiktiv) aus einem Impressum herauskopiert wurde. Oft werden Mailadressen im Impressum in einer Form wie der folgenden angegeben:

Eingabe in nele.ai:

meine mail lautet pietr(at)radschinsky.de und ich leide an Hypodontie, was ist das?

nele.ai lässt ChatGPT wie folgt antworten:

Vielen Dank für die Bereitstellung Ihrer E-Mail-Adresse. Hypodontie bezieht sich auf das Fehlen eines oder mehrerer Zähne. Es ist eine zahnmedizinische Erkrankung, bei der weniger Zähne als normalerweise im Gebiss vorhanden sind. Dieser Zustand kann angeboren sein oder durch bestimmte genetische Faktoren, Umwelteinflüsse oder Krankheiten verursacht werden. […] Wenn Sie an Hypodontie leiden, ist es ratsam, einen Zahnarzt aufzusuchen, der Ihnen weitere Informationen und geeignete Behandlungsmöglichkeiten anbieten kann, um Ihr Gebiss zu verbessern und die Funktion und Ästhetik Ihrer Zähne zu optimieren.

Wir sind uns wahrscheinlich alle einig, dass ein Chatbot einen Begriff wie Hypodontie nur dann genauer erklären kann, wenn dem Chatbot zuvor die Frage nach genau diesem Begriff zugeschickt wurde. Auch bestätigt der Chatbot, die Mailadresse erhalten zu haben.

Screenshot aus dem Beweisvideo: Netzwerkprotokoll der Datentransfers von nele.ai an ChatGPT.

Im Netzwerkprotokoll im Browser ist zudem erkennbar, dass nele.ai die oben genannte Eingaben unverändert an den Chatbot namens ChatGPT in Version GPT-3.5-turbo schickt.

nele.ai suggeriert weiterhin, dass sogar Geheimnisse hinsichtlich § 203 StGB geschützt sind:

Quelle: https://www.nele.ai/datensicherheit (Stand: 11.10.2023).

Das ist wirklich erstaunlich, denn Geheimnisse sind subjektiv. Wie kann eine KI wissen, was ein Geheimnis ist? Wie kann ein Mensch wissen, ob etwas ein Geheimnis ist, wenn es nicht sein eigenes Geheimnis ist oder jemand anders sein oder ihr Geheimnis als solches deklariert?

Deklarieren Sie Geheimnisse am besten deutlich sichtbar als solche, damit eine Künstliche Intelligenz Ihr Geheimnis erkennt und schützen kann.

Ironie.

Die Liste der Unzulänglichkeiten ließe sich durch weitere Tests nahezu endlos fortsetzen. Leider fallen viele auf Marketing-Versprechen rein. Leider werden sogar angeblich Datenschutzexperten eingespannt, die noch mehr Magnetismus für Bullshit aufbauen sollen. Leider lassen sich manche Menschen besonders dann nicht von harten Tatsachen überzeugen, wenn ihr Wunschdenken das Gegenteil widerspiegelt.

Nicht in jeder Hinsicht ganz ernst gemeint: Es wird Zeit, dass die dumme Menschheit von einer etwas weniger dummen KI abgelöst wird (ernst gemeint war mindestens die erste Hälfte des Satzes).

Fazit

Personenbezogene Daten können generell nicht zuverlässig erkannt werden. Selbst eine hohe Zuverlässigkeit ist nicht möglich. Dazu müssten nämlich alle Arten von sensiblen Informationen erkannt werden. Was schon für medizinische Bezeichnungen kaum gelingt, kann für personenbeziehbare Angaben, die über mehrere Sätze oder gar öffentliche Quellen verteilt sind, schon gar nicht effektiv gelingen.

Eine angeblich sichere Lösung, die nicht sicher ist, hat keinen Nutzen, sondern einen Nachteil: gefühlte Sicherheit verleitet zu unvorsichtigem Handeln.

Mein Fazit.

Schade, dass selbst angebliche Datenschutzexperten ihren Namen für nele.ai hergeben und auf der Webseite des Anbieters behaupten: „nele.ai ermöglicht den datenschutzkonformen Einsatz von generativer KI.“ Diese Aussage halte ich für völlig falsch, unhaltbar und unerfüllbar. Es scheint eine Marketing-getriebene Aussage zu sein, die Realitäten und Tatsachen ignoriert.

Wie schwer es ist, Menschen zu überzeugen, von Ihrem Wunschdenken zugunsten von Fakten abzurücken, zeigt ein Fall eines Testimonials auf der nele-Webseite. Derjenige ist Hauptgeschäftsführer der IHK Gießen-Friedberg. Er antwortete mir immerhin schnell und ausführlich. Meine Hinweise, dass "nele" nicht funktioniert und nicht funktionieren kann, verstand er nicht. Vielmehr glaubte er fest daran, dass nele.ai das Wunder vollbringen kann, das niemand (jedenfalls kein Programm) vollbringen kann.

nele.ai basiert auf einfachsten, unrobusten Filterregelen, die unzuverlässig und unvollständig sind. nele.ai erkennt den Kontext einer Frage nicht.
Die Werbeaussagen von nele.ai erscheinen unhaltbar und sind womöglich rechtswidrig.

Siehe Beitrag.

Nehmen Sie Abstand von nele.ai, wenn Sie den Schutz der Daten anderer ernst nehmen und deren Daten nicht zu ChatGPT hinschicken wollen. Ihre eigenen Daten können Sie auch gleich direkt zu ChatGPT schicken. Dafür brauchen Sie nele.ai nicht. Und selbst wenn Sie nele.ai nutzen, wissen Sie nicht, ob wirklich alle sensiblen oder vermeintlich unsensiblen Angaben wirklich anonymisiert werden. nele.ai gibt übrigens im Kleingedruckten zu, dass es nicht sicher ist: „Es sollte jedoch beachtet werden, dass dieser Filter, obwohl er einen verbesserten Schutz bietet, eine vollständige Anonymisierung in allen Szenarien nicht gewährleisten kann.“ Diese Aussage scheint eine Untertreibung zu sein, denn in sehr vielen Szenarien funktioniert nele.ai nicht, wie in diesem Beitrag zahlreich demonstriert.

Kernaussagen dieses Beitrags

Die KI-Lösung nele.ai verspricht sichere Datenverarbeitung, aber das ist falsch. Personendaten können nicht zuverlässig erkannt und entfernt werden, wie von nele.ai behauptet.

Selbst hochentwickelte Sprachmodelle können personenbezogene Daten nicht zuverlässig anonymisieren.

Das Programm nele.ai kann selbst Personennamen nicht richtig anonymisieren.

nele.ai kann persönliche Daten nicht zuverlässig erkennen und anonymisieren, da es auf einfachen Regeln basiert und bei Abweichungen von der Norm versagt.

Über diese Kernaussagen

KI-Beratung, KI-Lösungen

Umfassende Beratung (fachlich, rechtlich, technisch):

Leistungsangebot:

  • Erstberatung inkl. Machbarkeitsaussagen
  • Schulungen und Workshops für Führungskräfte, Berufsgeheimnisträger, Angestellte, Entwickler
  • KI-Lösungen mit und ohne ChatGPT/Azure. Cloud oder eigener KI-Server

Ihre Anfrage

Oder Mail an ki@dr-dsgvo.de

Wer schreibt hier?
Mein Name ist Klaus Meffert. Ich bin promovierter Informatiker und beschäftige mich seit über 30 Jahren professionell und praxisbezogen mit Informationstechnologie. In IT & Datenschutz bin ich auch als Sachverständiger tätig. Ich stehe für pragmatische Lösungen mit Mehrwert. Meine Firma, die IT Logic GmbH, berät Kunden und bietet Webseiten-Checks sowie optimierte & sichere KI-Lösungen an.
Bitte nutzen Sie bei Verwendung meiner Ergebnisse die Quellenangabe oder verlinken Sie gut wahrnehmbar auf diesen Artikel:
Einen Kurzlink oder eine Bestätigung für Ihre Quellenangabe erhalten Sie kurzfristig auf Anfrage. Ein Teilen oder Verteilen dieses Beitrags ist natürlich ohne weiteres möglich und gewünscht.

Kommentare von Lesern

Die Kommentare drücken die Meinungen der jeweiligen Kommentargeber aus
  1. Harald M. Müller

    … und sogar wenn's gehen würde, wär's "für die Katz'", wie wir in Österreich sagen: https://gizmodo.com/chatgpt-llm-infers-identifying-traits-in-anonymous-text-1850934318

    Kleinigkeit, weil Sie auf das großgeschriebene "Sie" von nele.ai bei "…Daten…bevor Sie temporär…" eingehen: Da ist die Klein/Großschreibung kitzlig – im Text oben sollte bei "…Als personenbezogen sind Daten anzusehen, sofern Sie direkt…" sowie bei "…wenn Ihr Wunschdenken das Gegenteil widerspiegelt…" jeweils klein geschrieben werden.

    H.M.

    • Dr. DSGVO

      Besten Dank für den sehr guten Verweis auf den Beitrag zu ChatGPT und auch danke für die weiteren Hinweise (Korrekturen sind vorgenommen).

  2. Dennis

    Reichen die Verträge die der Anbieter mit OpenAi & Co. hat nicht aus, um Datenschutz zu gewährleisten? Wofür wird dieser "Filter" überhaut benötigt?

    • Dr. DSGVO

      Die Frage ist gut, aber für diesen Beitrag nicht relevant, denn
      a) entweder ist ChatGPT per se "sicher" und nele.ai wird gar nicht benötigt,
      ODER
      b) ChatGPT ist "unsicher" und wird auch durch nele.ai nicht sicher.

      Was Ihre Frage angeht:
      Dazu muss man sich die Verträge von OpenAI ansehen. Allerdings sieht ein prominenter Befürworter von nele.ai ChatGPT als unsicher an (siehe Beitrag). Ob er das tut, weil er nele helfen will (und vielleicht Geld dafür bekommt) oder weil er es wirklich so sieht, ist eine andere Frage.

      Wenn Sie einen Link auf den Vertragstext haben, den OpenAI anbietet, senden Sie mir diesen bitte zu. Ich gebe Ihnen dann meine Rückmeldung.

  3. Anonym

    Sehr interessante und bedenkliche Sache… Anonymisierung wird ja leider auch als Beruhigungsmittel für den "Europäischen Gesundheitsdatenraum" (EHDS) und die Weiterleitung von Gesundheitsdaten aus der elektronischen/digitalen Gesundheitsakte angeführt. Bei einem "KI Startup" wäre es mir schon fast egal, weil die Benutzung freiwillig ist und ein Nischenthema. Wenn jetzt aber millionenfache Personenprofile durch das Netz der Gesundheitsdatenmaschinerie gejagt werden, und Einzelpersonen teil gar kein recht mehr haben, dies abzulehnen, wird es kritisch. Hier würde ich dann auch eine Missachtung der staatlichen Schutzpflicht sehen, welche ja vor nicht zu langer zeit regelmäßig ins Feld geführt wurde — und zwar den den selben Leuten die jetzt verkünden, mit Anonymisierung könne man Menschen vor dem Gesundheitsdatenraum schützen.

  4. Anonym

    ist das stand heute immer noch so mit nele

    • Dr. DSGVO

      Es gibt generell KEINE Lösung, die zuverlässig personenbezogene Daten erkennen kann. Somit kann auch KEINE "Lösung" diese Daten zuverlässig automatisiert anonymisieren.
      So sehr Sie es sich wünschen: Die Lösung gibt es nicht.

  5. joednemesis

    Ich verstehe den von Ihnen geführten Beweis nicht.

    Wenn ich in meinem Webbrowser auf nele.ai arbeite ist eigentlich völlig klar, dass personenbezogene Daten bis zu deren Server übertragen werden. Wie sollte das auch in meinem Webbrowser raus gefiltert werden?

    Die Behauptung von nele.ai ist ja dass deren Server die Daten nicht an chatgpt weiter geben und wie will ich in meinem Webbrowser die Kommunikation zwischen deren Server und dem chatgpt-Server sehen?

    • Dr. DSGVO

      Ganz einfach: Man konnte (kann?) in der Entwicklerkonsole des Browsers nachvollziehen, welche Daten nele an OpenAI schickt. Denn anscheinend wollte man die Daten nicht zu sich selbst (zu nele) schicken und von dort dann zu OpenAI (und den ganzen Weg zurück zum Browser des Nutzers). Stattdessen hat man die Datenkommunikation direkt im Browser des Nutzers stattfinden lassen.

  6. Matthias R.

    Mich würde interessieren, ob die angesprochenen Defizite der Anwendung aktuell noch bestehen?
    Welche heute in Unternehmen eingesetzten KI – Anwendungen wurden noch untersucht?
    Gibt es aus Ihrer Sich verwendbare Alternativen für Unternehmen, die den DSGVO-Anforderungen gerecht werden?

    Wenn nicht, hat sich Europa mit der DSGVO von dieser Entwicklung abgeklemmt? Welche Lösungsmöglichkeiten sehen Sie?

    • Dr. DSGVO

      Es gibt KEINE Möglichkeit, Daten zuverlässig zu anonymisieren. Damit das funktionieren kann, muss man einen sehr konkreten Anwendungsfall haben und eine Anwendung sehr konkret auf diesen einen Fall hin entwickeln.

      Noch einmal in Kürze:
      Eine zuverlässige Möglichkeit der automatisierten Anonymisierung von (jedweden) Daten gibt es nicht.

      Lösungen:
      * KI lokal betreiben (somit keine Datenempfänger, außer den explizit gewwünschten Datenempfängern)
      * Datenminimierung
      * Anwendungsfallbezogen Daten anonymisieren
      * Zwecke der Verarbeitung prüfen. Falls Zweck den Interessen betroffener Personen nicht entgegensteht, kann das berechtigte Interesse greifen (außer bei Behörden), ansonsten Einwilligung oder Vertrag als Rechtsgrundlage prüfen

Schreiben Sie einen Kommentar

Ihre Mail-Adresse wird nicht veröffentlicht.

Künstliche Intelligenz: Deutsche Texte in KI-Sprachmodellen