AI-systemen en AI-wet: zorgen voor transparantie en correctheid

AI-systemen leveren onvoorspelbare resultaten op. Het probleem kan niet worden opgelost voor AI-systemen met een algemeen doel (ChatGPT), maar wel voor bedrijfseigen AI-systemen met een specifiek doel. Alleen al uit de GDPR kan een transparantieverplichting worden afgeleid. Exploitanten en aanbieders van AI-systemen moeten voldoen aan aanvullende verplichtingen onder de AI-wet.

Inleiding

Hoe kun je een AI-systeem transparant maken? Het antwoord op deze vraag voor algemene AI-systemen is: helemaal niet. Dit komt omdat deze algemene systemen, inclusief ChatGPT, werken op basis van neurale netwerken. Hoe dit netwerk werkt is bekend. Als je een formule zou opschrijven die het netwerk beschrijft, zou niemand het begrijpen, laat staan het goed kunnen lezen.

De GDPR schrijft in Artikel 5 de plicht tot transparantie bij het verwerken van persoonsgegevens voor. Deze geldt dus voor alle AI-systeem, waarin persoonsgegevens worden verwerkt. Dit zijn alle systemen, in welke tijdens het trainingsproces of bij de gebruikersingang (vaak via een prompt) persoonsgegevens zijn binnengekomen. Dat is een feit, die (alleen?) door de Hamburgse gegevensbeschermingsbeambte in gevaarlijke wijze wordt ontkend.

In art. 5, §1, lid d GDPR wordt geëist dat gegevens inhoudelijk correct zijn, dus juist moeten zijn. Dit geldt voor alle persoonsgegevens in AI-systeem. Ten minste op het moment van inferentie, dus wanneer een AI-systeem een uitvoeringsresultaat produceert, moet deze wet- en regelgeving worden nagekomen.

De AI-Verordening (AI Act) definieert verplichtingen, die vooral leveranciers van AI-systemen moeten nakomen. Bijzondere verplichtingen worden opgelegd voor hoogrisicokunstmatige intelligentie. Deze soort systeem zal in de praktijk een uitzondering zijn.

De meeste bedrijven die AI-systeem gebruiken, zijn exploitanten. Voor exploitanten gelden veel minder verplichtingen dan voor leveranciers. Exploitant is men als onderneming of organisatie volgens art. 3 Nr. 4 AI-VO, wanneer men „een AI-systeem in eigen verantwoordelijkheid gebruikt.” Alles wat daarbovenuit gaat, valt onder de leverancier-begrip (art. 3 Nr. 3 AI-VO).

Een idee voor het vergroten van de transparantie en documentatie van AI-systemen kwam bij de auteur op tijdens een bijeenkomst van de AI-expertgroep van de Staatscommissie voor gegevensbescherming van Nedersaksen, waarvan de auteur lid is. De auteur heeft eerder ook een boek gepubliceerd over testgestuurde softwareontwikkeling.

Aan de ene kant is transparantie een externe presentatie van AI-resultaten. Maar interne transparantie, d.w.z. voor de operator van een AI, is bijna nog belangrijker: Hoe werkt de AI? Welke resultaten levert het op?

Bewijs van de juistheid van AI-outputs

In het algemeen is het niet mogelijk om volledig te garanderen dat een AI alleen correct uitgeeft. Het is echter wel mogelijk om in de buurt te komen. Voordat er een suggestie in dit verband wordt gedaan, wordt er een voorbeeld gegeven door de zeer goede DEEPL vertaler (uit Duitsland!), die zelf AI gebruikt en, net als elk ander AI systeem, soms fouten maakt:

DEEPL werd gevraagd een tekst met een geldbedrag te vertalen. DEEPL vertaalde €1.050,00 op zo'n manier dat het bedrag in euro's werd vervangen door een bedrag in ponden. Dit is duidelijk fout. Voor iedereen die het zelf wil uitproberen: Het hangt af van de totale tekst! Dit is gedeeltelijk verborgen in de bovenstaande schermafbeelding omdat het semi-gevoelige informatie what. Je krijgt waarschijnlijk een correct resultaat als je alleen de laatste zin in DEEPL invoert. Maar als de preambule tekst anders is, kan de fout optreden. Dit alleen al laat zien hoe niet-transparante AI-systemen werken.

Fouten kunnen dus niet worden vermeden. Hoe kun je toch aan je transparantieverplichting voldoen en de juistheid van AI-uitvoer zoveel mogelijk garanderen?

De antwoord is: Door testgevallen.

Testgevallen zijn paren van werkelijke invoer en beoogde uitvoer. Een testgeval bestaat uit een werkelijke invoer en een werkelijke uitvoer die als goed wordt geaccepteerd. De AI-regeling (AI-VO) heeft hier blijkbaar zelfs rekening mee gehouden:

Art. 3 nr. 53 van de AI-verordening definieert de term "plan voor een praktijktest" als "een document waarin de doelstellingen, methodologie, geografische, populatie- en temporele reikwijdte, monitoring, organisatie en uitvoering van een praktijktest worden beschreven".

De nr. 56 van hetzelfde artikel definieert AI-Kompetentie als "de vaardigheden, kennis en inzicht die aanbieders, beheerders en betrokkenen mogelijk maken om AI-systemen op een deskundige manier toe te passen en zich bewust te zijn van de kansen en risico's van AI en mogelijke schade die ze kunnen veroorzaken

Met behulp van testcases kunnen operators (en nog meer providers) zich meer bewust worden van de kansen en risico's van de AI die ze exploiteren of aanbieden.

Auch kunnen de in artikel 3, lid 60 van de AI-VO genoemde Deepfakes zo geïnjecteerd worden. Hier gaat het om een "door AI gegenereerde of gemanipuleerde beeld-, geluids- of videomateriaal dat op echte personen, objecten, plaatsen, instellingen of gebeurtenissen lijkt en waarbij een persoon foute informatie over iemand krijgt". Bij beeldmodellen zou men erop toezien dat invoer die gericht is op reële personen en deze in het nadeel wilde stellen, zo goed mogelijk herkend en tegengehouden worden. In elk geval kan met behulp van testgevallen al gedocumenteerd worden waar (nog) de zwakke plekken van het AI-systeem liggen.

De verplichting voor aanbieders van AI-systemen zonder hoog risico om hun eigen systeem te beoordelen, zoals bepaald in artikel 6, lid 4, van de AI-verordening, kan ook via testcases plaatsvinden.

Het risicobeheersysteem waarnaar wordt verwezen in artikel 9, lid 1, van de AI-verordening kan zeer goed worden onderbouwd met behulp van testcases.

Talrijke andere bepalingen in de AI-wet leggen verplichtingen op aan aanbieders en exploitanten van AI-systemen die kunnen worden ondersteund door gedocumenteerde testcases. Deze omvatten: