AI-systemen en AI-wet: zorgen voor transparantie en correctheid

AI-systemen leveren onvoorspelbare resultaten op. Het probleem kan niet worden opgelost voor AI-systemen met een algemeen doel (ChatGPT), maar wel voor bedrijfseigen AI-systemen met een specifiek doel. Alleen al uit de GDPR kan een transparantieverplichting worden afgeleid. Exploitanten en aanbieders van AI-systemen moeten voldoen aan aanvullende verplichtingen onder de AI-wet.

Inleiding

Hoe kun je een AI-systeem transparant maken? Het antwoord op deze vraag voor algemene AI-systemen is: helemaal niet. Dit komt omdat deze algemene systemen, inclusief ChatGPT, werken op basis van neurale netwerken. Hoe dit netwerk werkt is bekend. Als je een formule zou opschrijven die het netwerk beschrijft, zou niemand het begrijpen, laat staan het goed kunnen lezen.

De GDPR schrijft in Artikel 5 de plicht tot transparantie bij het verwerken van persoonsgegevens voor. Deze geldt dus voor alle AI-systeem, waarin persoonsgegevens worden verwerkt. Dit zijn alle systemen, in welke tijdens het trainingsproces of bij de gebruikersingang (vaak via een prompt) persoonsgegevens zijn binnengekomen. Dat is een feit, die (alleen?) door de Hamburgse gegevensbeschermingsbeambte in gevaarlijke wijze wordt ontkend.

In art. 5, §1, lid d GDPR wordt geëist dat gegevens inhoudelijk correct zijn, dus juist moeten zijn. Dit geldt voor alle persoonsgegevens in AI-systeem. Ten minste op het moment van inferentie, dus wanneer een AI-systeem een uitvoeringsresultaat produceert, moet deze wet- en regelgeving worden nagekomen.

De AI-Verordening (AI Act) definieert verplichtingen, die vooral leveranciers van AI-systemen moeten nakomen. Bijzondere verplichtingen worden opgelegd voor hoogrisicokunstmatige intelligentie. Deze soort systeem zal in de praktijk een uitzondering zijn.

De meeste bedrijven die AI-systeem gebruiken, zijn exploitanten. Voor exploitanten gelden veel minder verplichtingen dan voor leveranciers. Exploitant is men als onderneming of organisatie volgens art. 3 Nr. 4 AI-VO, wanneer men „een AI-systeem in eigen verantwoordelijkheid gebruikt.” Alles wat daarbovenuit gaat, valt onder de leverancier-begrip (art. 3 Nr. 3 AI-VO).

Een idee voor het vergroten van de transparantie en documentatie van AI-systemen kwam bij de auteur op tijdens een bijeenkomst van de AI-expertgroep van de Staatscommissie voor gegevensbescherming van Nedersaksen, waarvan de auteur lid is. De auteur heeft eerder ook een boek gepubliceerd over testgestuurde softwareontwikkeling.

Aan de ene kant is transparantie een externe presentatie van AI-resultaten. Maar interne transparantie, d.w.z. voor de operator van een AI, is bijna nog belangrijker: Hoe werkt de AI? Welke resultaten levert het op?

Bewijs van de juistheid van AI-outputs

In het algemeen is het niet mogelijk om volledig te garanderen dat een AI alleen correct uitgeeft. Het is echter wel mogelijk om in de buurt te komen. Voordat er een suggestie in dit verband wordt gedaan, wordt er een voorbeeld gegeven door de zeer goede DEEPL vertaler (uit Duitsland!), die zelf AI gebruikt en, net als elk ander AI systeem, soms fouten maakt:

DEEPL werd gevraagd een tekst met een geldbedrag te vertalen. DEEPL vertaalde €1.050,00 op zo'n manier dat het bedrag in euro's werd vervangen door een bedrag in ponden. Dit is duidelijk fout. Voor iedereen die het zelf wil uitproberen: Het hangt af van de totale tekst! Dit is gedeeltelijk verborgen in de bovenstaande schermafbeelding omdat het semi-gevoelige informatie what. Je krijgt waarschijnlijk een correct resultaat als je alleen de laatste zin in DEEPL invoert. Maar als de preambule tekst anders is, kan de fout optreden. Dit alleen al laat zien hoe niet-transparante AI-systemen werken.

Fouten kunnen dus niet worden vermeden. Hoe kun je toch aan je transparantieverplichting voldoen en de juistheid van AI-uitvoer zoveel mogelijk garanderen?

De antwoord is: Door testgevallen.

Testgevallen zijn paren van werkelijke invoer en beoogde uitvoer. Een testgeval bestaat uit een werkelijke invoer en een werkelijke uitvoer die als goed wordt geaccepteerd. De AI-regeling (AI-VO) heeft hier blijkbaar zelfs rekening mee gehouden:

Art. 3 nr. 53 van de AI-verordening definieert de term "plan voor een praktijktest" als "een document waarin de doelstellingen, methodologie, geografische, populatie- en temporele reikwijdte, monitoring, organisatie en uitvoering van een praktijktest worden beschreven".

De nr. 56 van hetzelfde artikel definieert AI-Kompetentie als "de vaardigheden, kennis en inzicht die aanbieders, beheerders en betrokkenen mogelijk maken om AI-systemen op een deskundige manier toe te passen en zich bewust te zijn van de kansen en risico's van AI en mogelijke schade die ze kunnen veroorzaken

Met behulp van testcases kunnen operators (en nog meer providers) zich meer bewust worden van de kansen en risico's van de AI die ze exploiteren of aanbieden.

Auch kunnen de in artikel 3, lid 60 van de AI-VO genoemde Deepfakes zo geïnjecteerd worden. Hier gaat het om een "door AI gegenereerde of gemanipuleerde beeld-, geluids- of videomateriaal dat op echte personen, objecten, plaatsen, instellingen of gebeurtenissen lijkt en waarbij een persoon foute informatie over iemand krijgt". Bij beeldmodellen zou men erop toezien dat invoer die gericht is op reële personen en deze in het nadeel wilde stellen, zo goed mogelijk herkend en tegengehouden worden. In elk geval kan met behulp van testgevallen al gedocumenteerd worden waar (nog) de zwakke plekken van het AI-systeem liggen.

De verplichting voor aanbieders van AI-systemen zonder hoog risico om hun eigen systeem te beoordelen, zoals bepaald in artikel 6, lid 4, van de AI-verordening, kan ook via testcases plaatsvinden.

Het risicobeheersysteem waarnaar wordt verwezen in artikel 9, lid 1, van de AI-verordening kan zeer goed worden onderbouwd met behulp van testcases.

Talrijke andere bepalingen in de AI-wet leggen verplichtingen op aan aanbieders en exploitanten van AI-systemen die kunnen worden ondersteund door gedocumenteerde testcases. Deze omvatten:

• Art. 11 (1) AI-verordening: technische documentatie van een AI-systeem met hoog risico
• Art. 17 AI-VO: Kwaliteitsmanagement
• Art. 53 AI-verordening als geheel: verplichtingen voor verstrekkers van AI-modellen voor algemene doeleinden
• Art. 91 en 101 van de AI-verordening kunnen negatieve gevolgen hebben voor AI-aanbieders als hun documentatie niet voldoende blijkt te zijn.
• Op grond van artikel 4 van de AI-verordening moeten exploitanten er ook voor zorgen dat hun werknemers over voldoende AI-expertise beschikken.

Voorbeelden van testgevallen

Hoe ziet een testcase eruit? Hier is een voorbeeld van een taalmodel dat is ontworpen om vragen te beantwoorden:

Deze twee testgevallen alleen al maken duidelijk dat het geen goed idee is om een universele chatbot te willen gebruiken. Niemand zal genoeg testgevallen kunnen schrijven om alle vragen in de wereld te testen, d.w.z. om kwaliteit te garanderen.

Een AI-systeem moet daarom worden aangepast aan een use case of specialistisch domein. Dit maakt het niet alleen gemakkelijker om te voldoen aan de verplichtingen die voortvloeien uit de AI-verordening, maar verbetert ook de kwaliteit van de resultaten. De kwaliteit van gespecialiseerde chatbots, bijvoorbeeld voor de bouwsector, is aanzienlijk beter dan wie dan ook zal kunnen bereiken met ChatGPT.

Het aantal testgevallen moet redelijk hoog zijn. Geleidelijk kunnen extra testgevallen worden toegevoegd. In het bijzonder als een antwoord van de AI op een vraag van een gebruiker niet bevredigend what, is het raadzaam om hiervoor een testcase op te nemen. De testcase dient dan op zijn minst als documentatie, maar bij voorkeur als basis om het AI-systeem te optimaliseren en de testcase te gebruiken om het succes van de optimalisatie te controleren.

Bij het bouwen van een kennissysteem (als een van de vele mogelijke AI-systemen) is er een truc om de kwaliteit van de resultaten aanzienlijk te verhogen. De zogenaamde RAG-aanpak leidt slechts tot beperkt succes en naar de top. Wat dit precies inhoudt, wordt in een later artikel beschreven,

Hoe kunnen testgevallen worden doorlopen?

Zodra testgevallen zijn opgesteld, moeten ze worden doorlopen. Concreet betekent dit:

1. De gedefinieerde "werkelijke" uit een testcase wordt als invoer aan de AI gepresenteerd.
2. De AI antwoordt.
3. De AI-respons wordt vergeleken met het "doel" uit de testcase.

Er zijn verschillende opties om de AI-uitvoer te vergelijken met het verwachte optimum van de testcase:

1. AI-analyse met vergelijking van semantische overeenkomsten
2. AI-analyse via een taalmodel (of meerdere!)
3. Conventionele analyse (voorbeeld: "Nee" in het doel en "Ja" in de AI-uitvoer spreken elkaar tegen)
4. Mengsel van alle methoden (aanbevolen)

Het in case twee genoemde alternatief om verschillende taalmodellen tegelijkertijd te gebruiken om de testresultaten te analyseren werkt heel goed met open source modellen. De kosten zijn altijd hetzelfde, namelijk nul (plus vaste bedrijfskosten voor de server). Als ChatGPT zou worden gebruikt, zouden de kosten op de lange termijn vrij hoog zijn.

Met deze analysemethoden kunnen testgevallen grotendeels automatisch worden geanalyseerd. De mens controleert dan het resultaat en kan een conclusie in de documentatie schrijven.

Conclusie

De functionaliteit van AI-systemen kan worden gedocumenteerd met behulp van testgevallen en zo transparant worden gemaakt. Transparantie omvat natuurlijk ook informatie over de architectuur van het AI-systeem. Dit kan eenvoudig worden gedaan als je de AI zelf bedient. In het geval van systemen van derden, zoals ChatGPT, moet je vertrouwen op de informatie van de aanbieder (OpenAI of vergelijkbaar).

Testgevallen kunnen ook worden gebruikt om de juistheid van AI-uitvoer te controleren en te verbeteren.

Testgevallen hebben daarom verschillende voordelen en grote voordelen. Ze worden vaak snel gemaakt. Met AI-ondersteuning kunnen testgevallen zelfs automatisch worden afgeleid. De menselijke maker van testcases krijgt zo een zeer goed sjabloon voor testcases en kan ze oplossen met een fractie van de handmatige inspanning die anders nodig zou zijn.