Terwijl onnauwkeurigheden in de dagelijkse taal worden geaccepteerd of vaak niet van belang zijn, is een nauwkeurig begrip van de betekenis van een uitspraak voor juristen fundamenteel. Juridische teksten kunnen met een AI worden geanalyseerd. Kan dit met generieke AI-systemen als ChatGPT voldoende goed lukken? Welke alternatieven zijn er?
Actualisatie Mei 2024
Een bruikbaar toepassingsgeval is de samenvatting van juridische teksten. Kies je tussen formeel of burgerfreundelijk taalgebruik, tot "straattaal". Met eigen AI-taalmodellen die op eigen servers draaien, werd dit concreet gerealiseerd voor Hessische wetten en de GDPR.
Resultaat voor de regelgevingstekst van de AVG. ([1])
Motivatie
De zoekmachine Bing van Microsoft maakt gebruik van een taalmodel uit de collectie van OpenAI. Microsoft is onlangs een samenwerking aangegaan met OpenAI. De Bing-zoekopdracht antwoordt met vals berichten, hoewel het op beste hardware en software kan terugvallen. De reden daarvoor is waarschijnlijk dat Bing universeel moet zijn en niet specifiek op uw bedrijf afgestemd is.
Het geavanceerde taalmodel van Microsoft Bing antwoordt op een eerste vraag en de semantisch gelijke en bijna identieke tweede vraag met elk een tegenovergestelde en in beide gevallen onjuiste antwoord.
Zie het volgende voorbeeld. De antwoord op Bing is in elk geval snel beschikbaar, geen echte troost.
Hier een voorbeeld van het mislukken van de geavanceerde, ongespecialiseerde taalmodel van Bing. De vraag is geschikt om door een deskundige te worden beantwoord in een rechtszaak. Ikzelf had dit toevallig al gedaan.
Vraag: kan aan de hand van de IP-adres de locatie van een server worden bepaald?
Antwoord van Bing (Datum: 31.08.2023): Yes. Btw zijn ook recentere versies van Bing of Copilot niet in staat om betrouwbaar te antwoorden.
Deze antwoord is onjuist. Een IP-adres is niet geschikt om betrouwbaar de locatie van een server te bepalen. Integendeel, kan de toewijzing van het IP-adres aan een server op elk moment veranderen. Om duidelijkheid te scheppen: hier gaat het om servers, niet om internetverbindingen van particuliere computers!
Nu wordt dezelfde vraag aan Bing gesteld. Maar één woord wordt uitgewisseld, namelijk "aan de hand" door "met behulp van".
De vraag luidt nu: kan met behulp van de IP-adres het locatie van een server worden bepaald?
De antwoord zou hetzelfde moeten zijn, maar dat is het niet (in de letterlijke zin van het woord, want Bing antwoordt met "nee").
Deze antwoord is ook fout, want de reden die wordt gegeven na het antwoord "niet" is ook fout. Met een rechterlijk vonnis kan vaak niet worden vastgesteld welke IP-adres een server op een bepaald moment X what toegewezen. Want daarvoor zou Google bijvoorbeeld, als voorbeeld van een bedrijf dat duizenden servers heeft, moeten registreren welk IP-adres per server op elk moment is gebruikt. Of dit gebeurt is niet te achterhalen. In ieder geval lijkt het onwaarschijnlijk. Omdat er zware belastingverdelingen zijn, is het netwerk van grote bedrijven erg dynamisch. Bovendien geeft Bing een reden die in delen niet op de vraag aansluit. Ook "niet" als antwoord past niet bij de reden.
Inleiding
Bij het gebruik van derde systemen zoals die van Microsoft of OpenAI komt naast de kwaliteit van de resultaten ook de vraag naar de rechtmatigheid aan bod. Onlangs werd er bijvoorbeeld een aanklacht tegen openJur ingesteld, omdat deze een reeds gepubliceerd vonnis op hun eigen website ook publiceerden. Omdat onterecht in het vonnis de volledige naam van een persoon what genoemd. Het invoeren van dergelijke gegevens of bedrijfsgeheimen of andere vertrouwelijke gegevens in een chatbot verhoogt de rechtszekerheid in ieder geval niet.
Gegevensvriendelijke kunstmatige intelligentiesystemen verhogen niet alleen de rechtszekerheid aanzienlijk, maar vaak ook de kwaliteit van de resultaten.
Bedoeld zijn zelfvoorzienende AI-systeem[s].
Onder juristen is al vaak gedebatteerd over de mate waarin kunstmatige intelligentie kan helpen om vonnissen sneller te kunnen lezen. Hiervoor is bijvoorbeeld de NLP-opgave van het samenvatten van tekst geschikt. NLP staat voor "Natural Language Processing" en probeert de betekenis van natuurlijke taal te begrijpen. NLP-anslagen bestaan al lang.
Nieuw is dat met krachtige taalmodellen (LLM = Large Language Model) nu zelf complexe teksten in nog nooit bereikte kwaliteit verwerkt kunnen worden. Daarmee lukt het bijvoorbeeld, een vraag-antwoord-assistent voor deze blog te programmeren. De resultaten zijn verbijsterend. Alleen moet er ingegrepen worden om misleidende uitspraken te voorkomen. Vaak zijn de zogenaamde hallucinaties verantwoordelijk voor ongewenste resultaten.
Hallucinaties ontstaan doordat het algemeenweten van een taalmodel wordt overvleid door specifiek weten uit de context . De context zijn bijvoorbeeld alle bijdragen op Dr. GDPR. Een taalmodel leert namelijk niet alleen de grammatica van een taal zoals het Nederlands, maar neemt ook feitenweten aan. Hierbij kunnen foutieve feiten worden opgenomen. Een goed voorbeeld is de breed verspreide, maar grondfouteuze uitspraak dat cookies tekstbestanden zijn.
In het volgende wordt uitgelegd wat de moeilijkheden zijn bij het analyseren en computertypisch begrijpen van juridische teksten. Deze moeilijkheden gelden voor alle soorten teksten, maar vooral in het rechtelijke domein is een uiterste nauwkeurigheid vereist.
Na dato wordt de vraag besproken of algemene AI-systeem zoals ChatGPT geschikt zouden kunnen zijn om juridische teksten correct te verwerken.
Hoe worden teksten door een AI verwerkt?
Voordat we die specifieke processen van AI betreden, moet duidelijk worden hoe teksten in het algemeen verwerkt worden. Reeds lang what de taak van tekstverwerking door machines een doelstelling om de betekenis te begrijpen.
Am voorbeeld van EuGV-rechtspraak wordt de complexiteit van het probleem mooi duidelijk. De EuGV biedt de mogelijkheid om online toegang te krijgen tot de reeds gepubliceerde uitspraken. Voor het voorbeeld wordt een willekeurig vonnis gebruikt.
Een uitspraak van het Europees Hof van Justitie is een HTML-pagina. HTML bevat naast zuivere tekst ook layout-instructies zoals vetgedrukte tekst, alinea's, koppeninstructies, automatische nummeringen e.d.
Een zuiver tekst uit de uitspraak zou bijvoorbeeld deze zin zijn: „Na § 5a, tweede lid DRiG zijn onderwerp van het universitaire studie – waarvan minstens twee jaar in Duitsland doorgebracht moeten zijn – verplichte vakken en thematische gebieden met keuzemogelijkheden
Dit zin bevat duidelijk geen Speciale tekens, waarover een mens na zou denken. Technisch gezien is al het teken na het „§“-symbool een Sonderzeichen. Het gaat niet om een leesteken in de technische zin, maar om een teken dat eruitziet als een leesteken.
Een ander voorbeeld uit een vonnis (ditmaal AG Bonn) voor een zin die geen is:
Waarom is dit belangrijk? Om dit te begrijpen, is het begrip van de processen van tekstverwerking door een AI belangrijk. In wezen zijn de volgende stappen nodig omdat een AI teksten kan verwerken en bijvoorbeeld vragen daarop beantwoorden kan:
- Tekst invoegen (hier: EU-rechtbank uitspraak in HTML-formaat, mogelijk ook PDF-documenten en andere bestandsformaten).
- Tekst uit Rohtekst halen.
- Tekst in handige hapjes opdelen, die in de geheugen van een AI-model passen. De beste AI-modellen hadden tot voor kort nog 1024 tekens geheugencapaciteit voor de invoer. Tegenwoordig is deze capaciteit vervevierd. Het hier besproken voorbeeldvonnis heeft ongeveer 44000 tekens.
- Gebruikersinput ontvangen, bijvoorbeeld een vraag, en omzetten naar reeksen van getallen die door een AI-model kunnen worden begrepen.
- De afzonderlijke hapjes uit stap 3 met de gebruikersinvoer uit stap 4 vergelijken en een antwoord formuleren.
Vragen over een specifiek document (hier: EU-rechtbank uitspraak) worden beantwoord door een AI, waarbij eerst het beste citaat (of enkele weinige) wordt gevonden dat op de vraag van toepassing is en vervolgens de antwoord uit dit citaat wordt gehaald.
Een document wordt verwerkt door het eerst te verdelen in handige hapjes. Een hapje eindigt bij een zinsuiteinde.
Gelukjes kunnen overlappen, dus individuele zinnen met elkaar delen.
De fundamenteel kleinste zinvolle semantische eenheid is een zin. Daarom wordt in stap 3 de tekst opgesplitst in zinnen. Het zou heel onplezierig zijn als een zin werd gehalveerd en daarmee in twee verschillende informatiefragmenten terecht kwam.
Zinnen in teksten identificeren
Hoe hieronder wordt weergegeven, zou een AI moeten weten uit welke zinnen een tekst bestaat. Zonder kennis van de afzonderlijke, schoon van elkaar gescheiden zinnen ontstaat doorgaans semantische verval. Bovendien worden AI-modellen voor bepaalde taken zoals het samenvatten van tekst of ook voor het algemene tekstverstand door voorbeelden getraind. Daarvoor worden zinnen respectievelijk uitspraken als voorbeelden gegeven en de door de mens als trainer bedachte ideale antwoord meegegeven.
Wat is een zin? Deze vraag kan niet eenvoudig beantwoord worden. Gewoonlijk eindigt een zin met een zinspunt. Vaak ook niet. Daarnaast komt nog dat het zinspunt vaak ook een nietzinpunt is. In afkortingen wordt de punt namelijk als afkortingsteken gebruikt. Het wordt moeilijk, wanneer een afkorting aan het einde van een zin staat en het afkortingsteken en het zinspunt in één teken zijn verenigd.
Een voorbeeld van een zin uit een EuGH-uitspraak, waar de meeste mensen het niet halen om hem tot aan het einde te lezen of waarvan de betekenis bij het eerste lezen correct wordt begrepen:
In de rechtszaak C-358/08 betreffende een prejudiciële vraag krachtens artikel 234 EG, ingediend door het House of Lords (Verenigd Koninkrijk) met beslissing van 11 juni 2008, ontvangen bij het Hof op 5 augustus 2008, in de zaak Aventis Pasteur SA: tegen OB: geeft HET HOF (Grote Kamer) onder medewerking van de voorzitter V. Skouris, de kamerpresidenten A. Tizzano, J. N. Cunha Rodrigues, K. Lenaerts (rapporteur) en E. Levits, alsmede de rechters C. W. A. Timmermans, A. Rosas, A. Borg Barthet, M. Ilešič, J. Malenovský, U. Lõhmus, A. Ó Caoimh en J.-J. Kasel, advocaat-generaal: V. Trstenjak, secretaris: L. Hewlett, hoofdverwulfsraadster, op grond van het schriftelijk procedé en na de mondelinge behandeling van 30 juni 2009, met inachtneming van de verklaringen – van Aventis Pasteur SA, vertegenwoordigd door G. Leggatt, QC, bijgestaan door P. Popat, Barrister, – van OB, vertegenwoordigd door S. Maskrey, QC, bijgestaan door H. Preston, Barrister, De Europese Commissie, vertegenwoordigd door G. Wilms als gemachtigde, na gehoord te hebben de conclusies van het Advocaat-generaal in de zitting van 8 september 2009 volgt dit vonnis:
Uittreksel uit een EuG-uitspraak over de zaak C‑358/08. De weergave is hier ingekort. Het beeldschermbeeld van deze zin in originele opmaak vereist een gevoelde DIN A4-pagina.
Dat een zin zonder zinspunt kan eindigen, maar de mens daar geen problemen mee heeft, ligt bij EG-uitspraken aan het gebruikte markup (HTML-code). Hier een voorbeeld (uitzondering uit een willekeurig EG-uitspraak):
Na het woord "uitspraak" staat evenmin een puntkomma dan na het woord "redenen voor de uitspraak". Anderzijds wordt gebruik gemaakt van cijfering met een punt, dat alleen als teken van de cijfering dient en niet om een zin af te sluiten.
Als men de HTML-code voor het net getoonde tekst bekijkt, vindt men het volgende:
De woorden „Uitspraak“ en „Reden tot beslissing“ zijn door layout-instructies op verschillende regels geplaatst. De HTML-tag "<p>" zorgt voor een alinea (p = Paragraph) en de HTML-tag "<h2>" voor een hoofdlijn van niveau 2 (h = Headline). Dit is in ieder geval een breed gebruikte conventie. Want HTML-tags kunnen op elke website vrijwel onbeperkt worden aangepast.
Door twee kleine wijzigingen aan het layout van de HTML-pagina ontstaat deze weergave, die altijd dezelfde broncode heeft als net getoond is. Alleen de layout-instructies (CSS-instructies) voor de tags "<p>" en "<h2>" zijn hier voor demonstratie lichtjes aangepast:
Een mens kan met weinig moeite nog steeds ontdekken welke begrippen en zinnen welk plaats hebben in de chronologie. Voor een computer is dit echter bijna onmogelijk. Men zou al een browser moeten simuleren en dan de tekst eruit knippen. Maar daarbij gaan dan ook informatie verloren als men de oorspronkelijke tekst wil behouden. Of het zijn weer onbruikbare informatie omdat men de markup-code ontvangt, die men al eerder had.
Tussenconclusie:
Het extraheren van ongeformateerd tekst uit geformateerd tekst is een grote uitdaging die nog niet voldoende opgelost is. Geformateerd tekst is elk soort document dat niet als ongeformateerd tekst beschikbaar is. Dus is het de normaalste zaak dat Voorbereiding van een voorhanden tekst veel moeite oplevert.
Afkortingen, opsommingen en dergelijke
In dit voorbeeld heeft een opsomming al toegebracht dat een onnozele algoritme, die het einde van de zin aan een punt herkent, faalt. De opgave "1. Hier staat de 1e lijstitem." zou leiden tot de volgende drie zinnen:
- "1."
- "Hier staat de 1."
- "Luistervoorkeer.
Het is duidelijk nonsens. Het is alleen maar duidelijk voor de mens. Omdat we allemaal verwende gebruikers van computersystemen zijn, protesteren we vaak heftig tegen deze machinefouten. Maar dat verandert niets aan het feit dat computerprogramma's deze problemen hebben.
Zulke eenvoudige combinaties zijn goed te beheersen, dan echter niet betrouwbaar.
Hoe ziet het er uit met deze volledig fictieve zin? "De eis van heer X. gaat op in artikel 3, lid 4 van de GDPR." Om de zin met een AI op een logische manier te kunnen interpreteren, moeten de afkortingen 'lid' en 'artikel' bekend zijn. Eveneens moet "X" als afkorting voor een naam (binnen het kader van pseudonimisering) begrepen kunnen worden.
Dit kleine probleem bij de voorverwerking van teksten voordat deze in een AI-model worden gestopt, zorgt ervoor dat er onjuiste antwoorden ontstaan. Een voorbeeld is al aan het begin van dit artikel gegeven.
Wat betekent dit voor generieke AI-modellen zoals ChatGPT?
Grondleggende textverwerkingen kan de motor van ChatGPT voldoende goed doen. In ieder geval zou dat moeten gelden voor standaardformaten en algemene onderwerpen. Voor juridische teksten zoals de uitspraken van het Europees Hof van Justitie is dat echter niet genoeg. Terwijl veel mensen weten wat de afkorting „.Abs.“ betekent, wordt het bij „ABl.“ al dunner, omdat dan bijvoorbeeld ook gegevensbeschermingsbeambten als experts die geen juristen zijn vaak geen diepgaand inzicht hebben. Ikzelf moest ten minste bij „Slg.“ nog navragen wat de betekenis is. Nu weet mijn AI-systeem ook dat het Europees Hof van Justitie-uitspraken kunnen invoeren en verwerken (meer daarover later).
Algemene taalmodellen voor kunstmatige intelligentie splitsen zinnen dus noodgedwongen verkeerd op. Dat mag over vijf of zestig jaar anders zijn, maar nu is het zo. Ook het verwerken van specifiek HTML-code kan beter worden gedaan door een specifieke conventionele programmeertaal dan door elke algemene kunstmatige intelligentie.
Mijn autonome, zelfontwikkelde en datavriendelijke AI-systeem kan juridische teksten beter begrijpen dan ChatGPT.
Volgens mijn tests met uitspraken van het Europees Hof en juridische vraagstukken,
Domeinspecifieke kennis beheersen algemene AI-systeemen zoals ChatGPT evenmin erg goed. De hallucinaties blijven uit. In dat kader zij opgemerkt, dat het invoeren van eigen documenten in ChatGPT in het betaalde model de kosten duidelijk verhoogt (althans per aanvraag slechts met een kleine hoeveelheid), omdat elk invoerdocument over zijn omvang (Token) wordt afgerekend.
Andere aspecten kunnen hier niet worden uitgebreid, spelen echter eveneens een rol en vergroten het probleem bij gebruik van algemene AI-systemen. Ter illustratie:
- Synoniem;
- Duitse taal (de meeste LLM's zijn voornamelijk getraind op Engels, Chinees e.d.);
- Contextkennis (voorbeeld: "ondertekeningen" aan het einde van een arrest van het Hof van Justitie is geen semantisch relevant element);
- TF-IDF-analyse voor het voorverwerken van tekst voor FAQ-systemen.
De blind enthousiasme van velen zal binnenkort worden afgelost door een gedeeltelijke teleurstelling, ook al doen moderne AI-systemen verbazingwekkende dingen. Ook al zijn de huidige prestaties in het tekstverstaan duidelijk beter dan twee jaar geleden, zijn ze nog niet voldoende betrouwbaar om als solide basis voor een professionele werkzaamheid te kunnen worden genomen.
Try Offline-AI now
Optimizable and with full data control. Economical even in continuous operation.
Fully-controlled data center, no third-parties.
Specifieke problemen kunnen het beste specifiek opgelost worden. Niets is om niets. Wie gelooft dat een AI alles kan, zal zich heel snel weer op de Bodem van de feiten terugvinden. Op dit moment verwerk ik ongeveer 25.000 uitspraken van het Europees Hof van Justitie, om deze dieper te analyseren en goed doorzoekbaar te maken. In het kader hiervan komen talrijke speciale optimalisaties in beeld, die de kwaliteit van de gegevens aanzienlijk verbeteren. Zoals men zegt: GIGO (Rubbish In – Rubbish Out) of zelfs SISO (vraag een AI als je er zelf niet op komt. Het beste dan ook meteen na "Slg." vragen, mocht je tot de meerderheid van mensen behoren die deze afkorting niet kennen.)
De beste alternatief voor ChatGPT
De uit mijn oogpunt beste alternatief voor ChatGPT, die betrouwbaardere resultaten kan behalen en vooral datavriendelijk is, ziet bijvoorbeeld zo uit:
- Selectie van een geschikt taalmodel dat Duits zeer goed begrijpt.
- Optimale voorverwerking van de gegeven documenten door gebruik te maken van algemene bibliotheken, die concreet worden gebruikt en geconfigureerd.
- Voorbereiding van de vraag van de gebruiker (prompt) om bijvoorbeeld synonieme vragen en schrijffouten te kunnen herkennen.
- Het fine-tunen van het lokale taalmodel om hallucinaties te voorkomen.
- Slimme zoekopdracht in de kennisbasis om de beste resultaten te bereiken.
- Combintegratie van intelligente zoekopdrachten met een conventionele, ook intelligente zoekopdracht.
- Gebruikersvriendelijke en adequaat weergegeven resultaten om de gebruiker te leiden, zodat hij of zij niet stopt met nadenken.
- Keuze van geschikte hardware, ofwel in eigen huis of gehuurd bij een Duitse provider.
Alle deze punten zijn opgelost. Dit leidt ertoe dat de moeite om een oplossing in uw bedrijf te introduceren gering is. Economische oplossingen met hoge waarde zijn zo mogelijk. De intelligente zoekmachine (vectorzochmachine) plus de conventionele zoekmachine (N-grammen, TF-IDF, Soundex, Edit Distance etc.) zijn voor deze blog al gerealiseerd en vullen uit praktische overwegingen de WordPress-zoekmachine aan. WordPress vindt bij schrijffouten en complexere zoekopdrachten zoals "Wat zijn IP-adressen?" (hier opzettelijk verkeerd geschreven) geen resultaat, maar mijn zoekmachine wel. De zoekmachine draait op een supergoedkope server van een Duitse provider en kan nog uitgebreid worden, bijvoorbeeld tot een vraag-antwoord-systeem met abstractieve resultaten. Abstractief betekent dat de antwoorden in eigen woorden plaatsvinden en niet als citaat (dat zou extractief zijn).
Conclusie
Precisie kan alleen worden bereikt door concrete optimalisatie voor een specifieke toepassing. Bij systemen kunstmatige intelligentie gedraagt het zich niet anders dan bij de mens. Een specialist kan op zijn vakgebied meer presteren dan Albert Einstein, die goede resultaten kan behalen op een vakgebied waarop hij nog geen diepe kennis heeft.
Een investering aan het begin biedt veel vrijheden en vervulde wensen. Al na korte tijd betaalt zich dat uit. Kwaliteit heeft haar prijs. Geen kwaliteit heeft een hogere prijs. Omdat een slechte oplossing tegenover een goede over de tijd steeds weer even wat geld kost, is ze middellijk duurder en langdurig veel duurder.
Het is altijd zo: de eenvoudigste weg is bijna altijd een matige en vaak een slechte keuze. Als het om betrouwbaarheid gaat, kan een algemene chatbot niet serieus in aanmerking komen. Specialiseerde systemen zijn daarentegen betrouwbaar. De reis naar Mars is niet meer noodzakelijk om zo'n systeem te hebben. Integendeel, slechts een reis naar de buurt in Duitsland is nodig om het letterlijk te beschrijven.
My name is Klaus Meffert. I have a doctorate in computer science and have been working professionally and practically with information technology for over 30 years. I also work as an expert in IT & data protection. I achieve my results by looking at technology and law. This seems absolutely essential to me when it comes to digital data protection. My company, IT Logic GmbH, also offers consulting and development of optimized and secure AI solutions.
