Intelligenza artificiale per l'interpretazione di testi giuridici

Mentre nella lingua quotidiana si accettano imprecisioni o spesso sono irrilevanti, per i giuristi è fondamentale un preciso comprensione del significato di una dichiarazione. I testi giuridici possono essere analizzati con l'aiuto di una IA. Può questo essere fatto con sistemi di IA generici come ChatGPT? Quali sono le alternative?

Aggiornamento Maggio 2024

Un'applicazione sensata è la sintesi di testi giuridici. A scelta tra una lingua formale o più accessibile al cittadino, si può arrivare alla "lingua della strada". Con propri modelli linguistici basati su intelligenza artificiale, che girano sui propri server di intelligenza artificiale, ciò è stato realizzato concretamente per le leggi dell'Hessen e per la GDPR.

Risultato per il testo della normativa della GDPR.

Motivazione

La motosearch Bing di Microsoft utilizza un modello linguistico del catalogo di OpenAI. Microsoft ha recentemente stretto una partnership con OpenAI. La ricerca di Bing risponde con affermazioni false, nonostante possa contare su hardware e software di alta qualità. Il motivo è probabilmente che Bing deve essere utilizzabile in modo universale e non specificamente adattato al vostro business.

Ecco un esempio di come fallisce il modello linguistico avanzato, non specializzato di Bing. La domanda è adatta per essere risposta da un esperto in tribunale. Io stesso l'avevo già fatto casualmente.

Domanda: è possibile determinare la posizione di un server dall'indirizzo IP?

Risposta di Bing (data: 31.08.2023): Sì. Per inciso, anche le ultime versioni di Bing o Copilot non sono in grado di rispondere con affidabilità.

Questa risposta è falsa. Un indirizzo IP non è adatto per determinare con sicurezza la posizione di un server. Invece, l'assegnazione dell'indirizzo IP a un server può cambiare in qualsiasi momento. Per chiarire: si tratta di server e non di connessioni internet da PC privati!

Ora viene posta la stessa domanda a Bing. Tuttavia, viene scambiato un solo termine, cioè "in base" con "con l'aiuto".

La domanda è ora: è possibile determinare la posizione di un server dall'indirizzo IP? [original: "anhand" invece di "mithilfe"

La risposta dovrebbe essere la stessa, ma non lo è (nel senso più vero del termine, perché Bing risponde con "no").

Anche questa risposta è falsa, perché la motivazione data dopo "no" è anche falsa. Anche con un decreto giudiziario spesso non si può determinare quale indirizzo IP era associato a un server in un momento X. Perché ciò dovrebbe essere possibile, prendendo Google come esempio di un gestore di migliaia di server, Google dovrebbe registrare l'indirizzo IP per ogni server in ogni momento. Se questo avviene non è chiaro. In ogni caso sembra improbabile. A causa delle massicce distribuzioni di carico il rete dei server dei grandi gestori è altamente dinamica. Inoltre Bing fornisce una motivazione che in parte non si riferisce alla domanda. Inoltre "no" come risposta breve non corrisponde alla motivazione.

Introduzione

Utilizzando sistemi terzi come quelli di Microsoft o OpenAI si pone sempre la questione della legittimità, oltre alla qualità dei risultati. Di recente, ad esempio, è stata intentata una denuncia contro openJur, perché avevano pubblicato un giudizio già pubblicato sulla loro stessa pagina web, che conteneva il nome completo di una persona. In tal modo, inserire dati come questi o segreti commerciali o altri dati riservati in un chatbot non aumenta affatto la sicurezza legale.

Tra gli avvocati è spesso stato discusso in che misura l'intelligenza artificiale possa aiutare a rilevare le sentenze più velocemente. Per questo scopo, ad esempio, si presta la task NLP della riassunzione di testi. NLP sta per "Processing Language Naturale" e cerca di catturare il significato del linguaggio naturale. Esistono già da tempo approcci NLP.

Nuovo è che con i potenti modelli linguistici (LLM = Large Language Model) ora si possono elaborare anche testi complessi in una qualità mai raggiunta prima. Ciò consente, ad esempio, di programmare un assistente per domande e risposte per questo blog. I risultati sono sorprendenti. Tuttavia, per evitare dichiarazioni false, è necessario intervenire nel sistema. Spesso le cosiddette allucinazioni sono responsabili di risultati non desiderati.

Le allucinazioni si verificano quando il conoscenza generale di un modello linguistico viene sovrapposta a un sapere specifico dal contesto superato. Il contesto sono ad esempio tutti i contributi su Dr. GDPR. Un modello linguistico impara infatti non solo la grammatica di una lingua come il tedesco, ma si appropria anche del conoscenza dei fatti. In questo processo possono essere assunte informazioni false. Un buon esempio è l'affermazione molto diffusa, ma fondamentalmente falsa, che Cookies siano file di testo.

Nelle prossime righe verrò spiegato quali sono le difficoltà nell'analizzare e nel comprendere con macchine i testi giuridici. Queste difficoltà si applicano a tutti i tipi di testi, ma in particolare nel campo giuridico è richiesta una precisione massima.

Dopo di che si discute la questione se i sistemi di intelligenza artificiale generalizzati come ChatGPT possano essere adatti per elaborare testi giuridici in modo ordinato.

Come vengono elaborati i testi da una IA?

Prima di addentrarci nei processi specifici della IA, è necessario chiarire come vengono trattati i testi in generale. Anche da tempo la sfida della trattazione dei testi mediante macchine mirava a catturare il significato.

Con l'esempio di sentenze del Tribunale di giustizia dell'Unione europea, si può vedere bene la complessità del problema. Il Tribunale di giustizia dell'Unione europea offre la possibilità di accedere online alle sentenze già pubblicate. Per l'esempio viene preso un qualsiasi verdetto.

Una sentenza del Tribunale di Giustizia dell'Unione Europea è una pagina HTML. L'HTML contiene accanto al testo puro anche istruzioni per la disposizione come stampa in grassetto, interlinee, istruzioni per le intestazioni, numerazione automatica ecc.

Un testo puro dall'ordinanza sarebbe ad esempio questa frase: "Secondo l'art. 5a, comma 2, DRiG, oggetto dello studio universitario – da cui almeno due anni devono essere trascorsi in Germania – sono i corsi obbligatori e le aree di concentrazione con opzioni di scelta

Questo periodo non contiene caratteri speciali, su cui un essere umano rifletterebbe. Tecnicamente, già il carattere dopo il simbolo "§" è un carattere speciale. Non si tratta di uno spazio vuoto nel senso tecnico del termine, ma di un carattere che assomiglia a uno spazio vuoto.

Un altro esempio da un giudizio (questa volta AG Bonn) per una frase che non è tale:

Perché è importante? Per capire questo, è importante comprendere il processo di elaborazione del testo da parte di un'intelligenza artificiale. In sostanza, sono necessari i seguenti passaggi perché un'intelligenza artificiale possa elaborare testi e rispondere a domande ad esempio:

1. Caricare il testo (qui: sentenza del Tribunale di giustizia dell'Unione europea in formato HTML, potrebbero essere anche documenti PDF e altri formati di file).
2. Estrarre il testo da Rohte.
3. Testo in piccoli bocconi suddiviso, che si adattano allo spazio di archiviazione di un modello AI. I migliori modelli AI avevano fino a poco tempo fa solo 1024 caratteri Spazio di archiviazione per l'input. Nel frattempo questa capacità è aumentata quattro volte. L'esempio di sentenza considerato ha circa 44000 caratteri.
4. Raccogliere l'input dell'utente, ad esempio una domanda, e convertirla in serie numeriche che un modello di intelligenza artificiale può comprendere.
5. Confronta i singoli pezzetti del passo 3 con l'input dell'utente del passo 4 e formula una risposta.

Le domande relative a un documento specifico (in questo caso: una sentenza della Corte di Giustizia dell'Unione Europea) vengono risposte da un'intelligenza artificiale, che inizialmente individua il miglior "boccone" di testo (o alcuni pochi) relativo alla domanda e poi estrae la risposta da quel boccone.

La unità semantica più piccola e sensata è una frase. Per questo motivo, nel passaggio precedente, il testo viene suddiviso in frasi. Sarebbe molto sgradevole se una frase venisse divisa a metà e quindi finisse in due pezzi di informazione diversi.

Identificare le frasi nei testi

Come mostrato, una AI dovrebbe sapere da quali frasi un testo è composto. Senza conoscenza delle singole frasi, separate l'una dall'altra, si verifica di solito semantico decadimento. Inoltre, i modelli di AI vengono addestrati per determinate attività come la sintesi dei testi o il comprensione generale del testo attraverso esempi. Per questo scopo vengono forniti frasi o affermazioni come esempi e viene fornita l'ideale risposta immaginata dall'uomo, addestratore.

Che cosa è una frase? Questa domanda non può essere risolta facilmente. Di solito, una frase si conclude con un segno di punteggiatura. Ma spesso anche no. Inoltre, il segno di punteggiatura può anche essere un segno di puntazione. Nelle abbreviazioni viene utilizzato il punto come segnale di abbreviazione. Si complica quando una abbreviazione si trova alla fine di una frase e il segnale di abbreviazione e il segno di punteggiatura sono uniti in un solo carattere.

Un esempio di una frase tratta da un giudizio della Corte di Giustizia dell'Unione Europea, che la maggior parte delle persone non riesce a leggere fino alla fine o a comprendere correttamente il suo significato al primo tentativo:

Nella causa giuridica C-358/08 concernente un'istanza di pronuncia pregiudiziale ai sensi dell'articolo 234 CE, presentata dal House of Lords (Regno Unito) con sentenza del 11 giugno 2008, pervenuta al Tribunale il 5 agosto 2008, nel procedimento Aventis Pasteur SA contro OB: emette IL TRIBUNALE DELLA FUNZIONE PUBBLICA (Grande Camera) in collaborazione con il Presidente V. Skouris, i Presidenti di Camera A. Tizzano, J. N. Cunha Rodrigues, K. Lenaerts (relatore) e E. Levits, nonché i giudici C. W. A. Timmermans, A. Rosas, A. Borg Barthet, M. Ilešič, J. Malenovský, U. Lõhmus, A. Ó Caoimh e J.-J. Kasel, Generalprocuratrice: V. Trstenjak, Cancelliere: L. Hewlett, Presidente dell'Ufficio Centrale, in base al procedimento scritto e alla udienza orale del 30 giugno 2009, tenendo conto delle dichiarazioni – della Aventis Pasteur SA, rappresentata da G. Leggatt, QC, assistito da P. Popat, avvocato, – di OB, rappresentato da S. Maskrey, QC, assistito da H. Preston, avvocato, La Corte di giustizia delle Comunità europee, composta da C.W.A. Kruger presidente e da M. Lohse, A. Rosas, J.N. Skouris, P.J. Kagame, M. Ilešič, A. Ó Caoimh, N.J. van den Eijk, R. Silva de Lapuerta, G. Arestis, J. Malenovský, S. Bot, U. Lõhmus, A. Arabadjiev, P. Lindholm, T. von Danwitz, président, A. Ó Caoimh, N.J. van den Eijk, R. Silva de Lapuerta, G. Arestis, J. Malenovský, S. Bot, U. Lõhmus, A. Arabadjiev, P. Lindholm, T. von Danwitz, presidente, A. Ó Caoimh, N.J. van den Eijk, R. Silva de Lapuerta, G. Arestis, J. Malenovský, S. Bot, U. Lõhmus, A. Arabadjiev, P. Lindholm, T. von Danwitz, presidente, A. Ó Caoimh, N.J. van den Eijk, R. Silva de Lapuerta, G. Arestis, J. Malenovský, S. Bot, U. Lõhmus, A. Arabadjiev, P. Lindholm, T. von Danwitz, presidente, A. Ó Caoimh, N.J. van den Eijk, R. Silva de Lapuerta, G. Arestis, J. Malenovský, S. Bot, U. Lõhmus, A. Arabadjiev, P. Lindholm, T. von Danwitz, presidente, A. Ó Caoimh, N.J. van den Eijk, R. Silva de Lapuerta, G. Arestis, J. Malenovský, S. Bot, U. Lõhmus, A. Arabadjiev, P. Lindholm, T. von Danwitz, presidente, A. Ó Caoimh, N.J. van den Eijk, R. Silva de Lapuerta, G. Arestis, J. Malenovský, S. Bot, U. Lõhmus, A. Arabadjiev, P. Lindholm, T. von Danwitz, presidente, A. Ó Caoimh, N.J. van den Eijk, R. Silva de Lapuerta, G. Arestis, J. Malenovský, S. Bot, U. Lõhmus, A. Arabadjiev, P. Lindholm, T. von Danwitz, presidente, A. Ó Caoimh, N.J. van den Eijk, R. Silva de Lapuerta, G. Arestis, J. Malenovský, S. Bot, U. Lõhmus, A. Arabadjiev, P. Lindholm, T. von Danwitz, presidente, A. Ó Caoimh, N.J. van den Eijk, R. Silva de Lapuerta, G. Arestis, J. Malenovský, S. Bot, U. Lõhmus, A. Arabadjiev, P. Lindholm, T. von Danwitz, presidente, A. Ó Caoimh, N.J. van den Eijk, R. Silva de Lapuerta, G. Arestis, J. Malenovský, S. Bot, U. Lõhmus, A. Arabadjiev, P. Lindholm, T. von Dan:

Un estratto da un giudizio della Corte di Giustizia dell'Unione Europea relativo al caso C-358/08. La rappresentazione è qui compressa. Lo schermo di questo periodo in formato originale richiede una pagina DIN A4 sentita.

Il fatto che un enunciato possa finire senza punti di sospensione, ma l'uomo non abbia problemi con questo, si trova negli atti del giudice europeo (sentenze) nel codice utilizzato (codice HTML). Ecco un esempio (estratto da una sentenza casuale del giudice europeo):

Dopo la parola "sentenza" non c'è neanche un punto finale come dopo la parola "motivi di decisione". D'altra parte, il sistema di numerazione utilizza un punto che serve solo per identificare la numerazione e non per indicare la fine della frase.

Se si guarda il codice HTML del testo appena mostrato, si trova questo:

Le parole "Urteil" e "Entscheidungsgründe" sono posizionate in righe diverse grazie a istruzioni di layout. Il tag HTML "<p>" crea un paragrafo (p = Paragraph) mentre il tag HTML "<h2>" crea una testata del livello 2 (h = Headline). Questo è almeno una convenzione molto diffusa. Infatti i tag HTML possono essere modificati in qualsiasi modo da ogni sito web.

Con due piccole modifiche al layout della pagina HTML si ottiene la seguente visione, che ha sempre lo stesso codice sorgente di quanto sopra mostrato. Le istruzioni di layout (istruzioni CSS) per le etichette "<p>" e "<h2>" sono state solo minimamente modificate per la dimostrazione:

Un uomo potrebbe facilmente scoprire con poco sforzo quali concetti e frasi hanno quale posto nella cronologia. Per un computer è invece quasi impossibile. Bisogna simulare un browser e poi tagliare il testo, ma in questo modo si perderebbero informazioni se si ottiene il testo originale o si otterrebbero nuovamente informazioni inutilizzabili perché si ottiene il codice di markup che già si aveva.

Riepilogo intermedio:

L'estrazione di testo brutto da un testo formattato rappresenta una grande sfida, che non è stata risolta in modo soddisfacente. Un testo formattato è ogni tipo di documento che non si presenta come testo brutto. Quindi è il caso normale che la pre-elaborazione di un testo esistente comporti grandi sforzi.

Sigle, elenchi e simili

Nell'esempio appena citato, un elenco ha già portato a fallire un algoritmo ingenuo che riconosce la fine di una frase in un punto specifico. L'indicazione "1. Ecco il primo elemento della lista." porterebbe ai seguenti tre punti:

1. "1."
2. "Ecco il primo."
3. "Punto di ascolto.

Evidentemente è assurdo. Evidentemente lo è solo per l'uomo. Perché siamo tutti utenti troppo abituati ai sistemi informatici, ci indigniamo spesso per tali insufficienze meccaniche. Ma questo non cambia il fatto che i programmi di computer hanno questi problemi.

Queste semplici combinazioni sono facilmente gestibili, ma non affidabili.

Come si comporta questo frase completamente fittizia? "La richiesta del signor X va a cadere nel paragrafo 3 dell'articolo 4 GDPR." Per interpretare la frase in modo sensato con un'intelligenza artificiale, le abbreviazioni "par." e "art." dovrebbero essere note. Lo stesso vale per "X" come abbreviazione del nome (o pseudonimizzazione del nome).

Questo problema durante la pre-elaborazione dei testi prima che vengano inseriti in un modello di intelligenza artificiale, porta a risposte false. Un esempio è stato dato all'inizio del contributo.

Che cosa significa questo per modelli di intelligenza artificiale generali come ChatGPT?

Le pre-elaborazioni di testo fondamentali possono essere gestite con sicurezza dal motore di ChatGPT. In ogni caso, ciò dovrebbe valere per i formati standard e per argomenti generali. Tuttavia, non è sufficiente per i testi giuridici come le sentenze della Corte di Giustizia dell'Unione Europea. Mentre molte persone sanno cosa significhi l'abbreviazione ".Abs.", diventa più difficile con "ABl.". Ad esempio, anche i responsabili della protezione dei dati possono essere considerati esperti che non sono giuristi e spesso non hanno un profondo conoscenza. Io stesso ho dovuto cercare di capire il significato di "Slg." almeno una volta. Ora anche il mio sistema AI sa cosa significa, in quanto può leggere e elaborare le sentenze della Corte di Giustizia dell'Unione Europea (ne parlerò presto).

Sistemi di linguaggio generale per l'intelligenza artificiale dividono quindi inevabilmente le frasi in modo sbagliato. Potrebbe essere diverso tra cinque o dieci anni, ma attualmente è così. Anche il trattamento di codice HTML specifico può essere fatto meglio da un programma convenzionale specifico che da qualsiasi intelligenza artificiale generale.

Conoscenza specifica di dominio non è gestita molto bene anche dalle generali piattaforme AI come ChatGPT, che non producono allucinazioni. In questo contesto si deve notare che l'inserimento di propri documenti in ChatGPT nel modello a pagamento aumenta significativamente i costi (anche se solo per una piccola quantità per richiesta), perché ogni documento di input viene addebitato in base al suo contenuto (Token).

Altri aspetti non possono essere approfonditi qui, ma giocano ugualmente un ruolo e aggravano il problema quando si utilizzano sistemi di intelligenza artificiale generali. In sintesi:

• Sinonimo;
• Lingua tedesca (la maggior parte degli LLM è principalmente addestrata in inglese, cinese ecc.);
• Conoscenza di contesto (ad esempio "Firme" alla fine di una sentenza del Tribunale di giustizia dell'Unione europea non è un elemento semanticamente rilevante);
• Analisi TF-IDF per la pre-elaborazione di testi per sistemi FAQ.

La cieca entusiasmazione di molti sarà presto sostituita da una delusa soddisfazione, anche se i moderni sistemi di intelligenza artificiale fanno cose incredibili. Anche se alcune delle conquiste attuali nel riconoscimento del testo sono nettamente migliori rispetto a due anni fa, non sono abbastanza affidabili da poterle considerare come una base solida per un lavoro professionale.

Try Offline-AI now

Optimizable and with full data control. Economical even in continuous operation.
Fully-controlled data center, no third-parties.

Try now

I problemi specifici vengono risolti meglio in modo specifico. Nulla è gratuito. Chi crede che una IA possa fare tutto, presto si ritroverà sulla terra dei fatti. Attualmente sto elaborando circa 25.000 sentenze della Corte di Giustizia dell'Unione Europea per analizzarle più a fondo e renderle più facilmente consultabili. In questo contesto intervengono numerose ottimizzazioni specifiche che migliorano notevolmente la qualità dei dati. Come si dice così bene: GIGO (Garbage In – Garbage Out) o addirittura SISO (chiedete a un'IA, se non ci riuscite da soli). La cosa migliore è chiedere poi anche "Slg." (se siete tra la maggioranza delle persone che non conoscono questa abbreviazione)

La migliore alternativa a ChatGPT

La migliore alternativa a ChatGPT, in base alla mia visione, che può ottenere risultati più affidabili e soprattutto più amichevoli con i dati, ad esempio, si presenta così:

• Scegliere un modello linguistico adatto che capisce molto bene il tedesco.
• Pre-elaborazione ottimale dei documenti forniti mediante l'utilizzo di librerie generali da utilizzare e configurare in modo specifico.
• Preparazione della domanda dell'utente (prompt) per poter ad esempio riconoscere domande sinonime e errori di scrittura.
• Aggiornamento del modello linguistico locale per evitare allucinazioni.
• Ricerca intelligente nella base di conoscenza per ottenere i migliori risultati.
• Combinazione della ricerca intelligente con una ricerca convenzionale, anche intelligente.
• Rappresentazione utente-friendly e adeguata dei risultati, per guidare l'utente in modo che non smetta di pensare.
• Scegliere un'adeguata hardware, sia in casa che noleggiato da un fornitore tedesco.

Tutti questi punti sono risolti. Ciò comporta un basso sforzo per l'introduzione di una soluzione nel vostro azienda. Le soluzioni economiche con alto valore aggiunto sono così possibili. La ricerca intelligente (motore di ricerca a vettori) più la ricerca convenzionale (N-Grammi, TF*IDF, Soundex, Distacco Edit etc.) sono già state realizzate per questo blog e completano in modo pragmatico la ricerca WordPress. WordPress non trova risultati con errori di scrittura e ricerche più complesse come "Cosa sono gli indirizzi IP?" (qui scritto intenzionalmente male). La mia ricerca, invece, lo fa. La ricerca si esegue su un server molto economico di un fornitore tedesco e può essere ulteriormente sviluppata, ad esempio per creare un sistema domanda-risposta con risultati astratti. Astratto significa che le risposte sono fornite in proprie parole e non come citazione (che sarebbe estrattiva). ([1])

Conclusione

L'esattezza può essere prodotta solo attraverso un'ottimizzazione concreta per un caso di applicazione specifico. Nelle reti di intelligenza artificiale, la situazione non è diversa da quella dell'uomo. Un esperto può fare molto meglio nel suo campo rispetto ad Albert Einstein, che può ottenere risultati buoni in un campo con cui non si è ancora a fondo occupato.

Un investimento all'inizio consente molti gradi di libertà e soddisfa i desideri. Già dopo poco tempo si rivela utile. La qualità ha il suo prezzo. Nessuna qualità ha un prezzo più alto. Poiché una cattiva soluzione rispetto a una buona, nel corso del tempo costa sempre un po' di denaro in più, è a medio termine più costosa e a lungo termine molto più costosa.

Come sempre vale: il modo più semplice non è quasi mai la scelta migliore, a meno di attività evidenti come respirare ecc. Quando si tratta di affidabilità, un chatbot generico non può essere preso sul serio. I sistemi specializzati possono invece essere affidabili. La spedizione su Marte non è più necessaria per avere un sistema del genere. Basta una breve gita in Germania, per descriverlo in modo figurato.