Intelligence artificielle pour l'interprétation de textes juridiques

Tandis que dans la langue courante, les imprecisions sont acceptées ou souvent sans importance, un compréhension précise du sens d'une déclaration est fondamentale pour les juristes. Les textes juridiques peuvent être analysés avec une intelligence artificielle. Peut-on obtenir des résultats satisfaisants en utilisant des systèmes génériques de l'intelligence artificielle comme ChatGPT ? Quelles sont les alternatives possibles ?

Mise à jour mai 2024

Un exemple d'utilisation pertinente est la résumé de textes juridiques. Choisissez une langue formelle ou accessible au grand public pour vous rendre à "la langue de la rue". Avec des modèles de langage AI propres, qui tournent sur leurs propres serveurs AI, cela a été concrètement réalisé pour les lois hessoises et pour le RGPD.

Résultat pour le texte réglementaire de la RGPD.

La motivation

La moteur de recherche Bing de Microsoft utilise un modèle linguistique issu du catalogue d'OpenAI. Microsoft a récemment conclu une alliance avec OpenAI. La recherche Bing répond par des affirmations fausses, bien qu'elle puisse compter sur le meilleur matériel et le meilleur logiciel. C'est probablement parce que Bing doit être universellement utilisable et n'est pas spécifiquement conçue pour votre entreprise.

Voici un exemple de l'échec du modèle de langage avancé mais non spécialisé de Bing. La question est appropriée pour être répondu par un expert en justice, et j'ai moi-même déjà fait cela par hasard.

Question: peut-on déterminer l'emplacement d'un serveur en fonction de son adresse IP ?

Réponse de Bing (au 31.08.2023): Oui. D'ailleurs, les versions plus récentes de Bing ou Copilot ne sont pas non plus en mesure de répondre de manière fiable.

Cette réponse est fausse. Une adresse IP n'est pas adaptée pour déterminer avec certitude l'emplacement d'un serveur. En effet, la mise en correspondance de l'adresse IP avec un serveur peut changer à tout moment. Pour clarifier: il s'agit ici de serveurs et non d'accès Internet privés !

La même question est ensuite posée à Bing. Cependant, un seul mot est remplacé, à savoir «en fonction» par «avec l'aide».

La question est maintenant: peut-on déterminer l'emplacement d'un serveur à l'aide de son adresse IP ?

La réponse devrait être la même, mais ce n'est pas le cas (au sens propre, puisque Bing répond par "non").

Cette réponse est également fausse, car la justification donnée après la réponse courte «non» est également fausse. Même avec un arrêté judiciaire, il est souvent impossible de déterminer quelle adresse IP était associée à un serveur à un moment X. Car pour cela, nous devrions supposer que Google, en tant qu'exemple d'un opérateur de centaines de milliers de serveurs, enregistre l'adresse IP par serveur à chaque instant. Si c'est le cas, il est impossible de le savoir. En tout cas, cela paraît peu probable. En raison des importantes redistributions de charge, le réseau de serveurs d'un grand opérateur est hautement dynamique. De plus, Bing donne une justification qui ne correspond pas en partie à la question. Et «non» comme réponse courte ne correspond pas à la justification.

Introduction

Lorsque l'on utilise des systèmes tiers comme ceux de Microsoft ou OpenAI, il faut se poser non seulement la question de la qualité des résultats, mais aussi celle de leur légalité. Il y a eu récemment une accusation contre openJur, car ils ont publié sur leur propre site un arrêt déjà publié, qui mentionnait le nom complet d'une personne. En effet, on avait oublié que l'arrêt contenait des informations sensibles. Mettre de tels données ou secrets commerciaux dans un chatbot n'améliore en tout cas pas la sécurité juridique.

Chez les juristes, on a déjà discuté à plusieurs reprises de la mesure dans laquelle l'intelligence artificielle peut aider à prendre connaissance des jugements plus rapidement. Par exemple, le problème NLP du résumé de texte s'y prête bien. NLP signifie "traitement automatique des langues" et tente d'assimiler le sens de la langue naturelle. Les approches NLP existent depuis longtemps.

C'est nouveau que des modèles de langage puissants (LLM = Large Language Model) permettent désormais la traitement de textes complexes avec une qualité jamais atteinte auparavant. Cela permet par exemple, de programmer un assistant question-réponse pour ce blog. Les résultats sont étonnants. Mais il faut intervenir dans le système pour éviter les faux-émises. Souvent, les surnommées hallucinations sont responsables des résultats indésirables.

Les hallucinations sont causées par le fait que la connaissance générale d'un modèle de langage est surchargée par un savoir spécifique du contexte . Le contexte, par exemple, sont tous les contributions sur Dr. RGPD. Un modèle de langage apprend en effet non seulement la grammaire d'une langue comme l'allemand, mais il s'adapte également à des faits. Lors de ce processus, des faits faux peuvent être acquis. Un bon exemple est la déclaration largement répandue, mais fondamentalement fausse, selon laquelle les cookies sont des fichiers texte.

Dans la suite, il est expliqué ce qui rend difficile l'analyse et le traitement automatique de textes juridiques. Ces difficultés s'appliquent à tous les types de textes, mais dans le domaine juridique, une précision maximale est requise.

Après cela, la question est discutée de savoir si les systèmes d'intelligence artificielle généraux comme ChatGPT peuvent être appropriés pour traiter des textes juridiques en ordre.

Comment sont traitées les textes par une intelligence artificielle ?

Avant de plonger plus profondément dans les processus spécifiques à l'intelligence artificielle, il faut clarifier comment les textes sont traités en général. La tâche consistant à traiter des textes par machines existait déjà depuis longtemps, avec pour objectif d'assimiler leur signification.

L'exemple des arrêts de la Cour de justice de l'Union européenne montre bien la complexité du problème. La Cour donne la possibilité d'accéder en ligne aux arrêts déjà publiés. Pour l'exemple, on prend un arrêt au hasard.

Une décision du Tribunal de justice de l'Union européenne est une page HTML. HTML contient en plus de texte pur des instructions de mise en page comme gras, paragraphes, instructions de titre, numérotation automatique etc.

Un texte pur tiré de la décision serait par exemple cette phrase: «Conformément à l'article 5a, alinéa 2 du DRiG, les matières d'étude universitaire – dont au moins deux ans doivent avoir été passés en Allemagne – sont des matières obligatoires et des domaines de spécialisation avec des possibilités de choix.»

Ce paragraphe ne contient manifestement aucun caractère spécial, dont un être humain aurait besoin de se souvenir. Techniquement, le caractère qui suit le symbole «§» est déjà un caractère spécial. Il s'agit d'un caractère qui ressemble à un espace, mais ce n'est pas un espace au sens technique du terme.

Un autre exemple tiré d'une décision (cette fois-ci AG Bonn) pour une phrase qui n'est pas une phrase:

Pourquoi est-ce important ? Pour comprendre cela, il faut que la compréhension du processus de traitement de texte par une IA soit importante. En substance, les étapes suivantes sont nécessaires pour que l'IA puisse traiter des textes et répondre à des questions à leur sujet:

1. Lire un texte (ici: arrêt de la Cour de justice des Communautés européennes au format HTML, il serait également possible d'avoir des documents PDF et autres formats de fichiers).
2. Extraire le texte de Rohte.
3. Diviser le texte en petits morceaux qui entrent dans la mémoire d'un modèle de IA. Les meilleurs modèles de IA disposaient jusqu'à présent encore de 1024 caractères de capacité de stockage pour l'entrée. Cela a désormais été multiplié par quatre. L'exemple jugement considéré ici a environ 44000 caractères.
4. Recevoir une entrée utilisateur, par exemple une question, et la convertir en séries numériques que le modèle de IA peut comprendre.
5. Comparer les éléments individuels de l'étape 3 avec la saisie utilisateur de l'étape 4 et formuler une réponse.

Des questions à un document spécifique (ici: une décision du Tribunal de justice de l'Union européenne) sont répondues par une intelligence artificielle en élevant d'abord le meilleur texte pertinent (ou quelques-uns) à la question et puis en extrayant la réponse de ce texte.

La plus petite unité sémantique sensée est une phrase. C'est pourquoi, dans l'étape précédente, le texte a été découpé en phrases. Il serait très laid si une phrase était coupée en deux et ainsi divisée en deux morceaux d'informations différents.

Extractions de phrases dans des textes

Comme indiqué, une intelligence artificielle devrait connaître à partir de quels phrases un texte est composé. Sans connaissance des phrases individuelles, séparées les unes des autres, il se produit généralement un déclin sémantique. De plus, les modèles d'intelligence artificielle sont entraînés pour certaines tâches comme la rédaction de résumé ou le compréhension général du texte à l'aide d'exemples. Pour cela, des phrases ou des affirmations sont données en exemple et la réponse idéale imaginée par l'humain qui a entraîné est donnée avec.

Qu'est-ce qu'un sentence ? Cette question ne peut pas être répondu simplement. Généralement, une phrase se termine par un signe de ponctuation. Mais souvent aussi non. On ajoute que le signe de ponctuation est souvent également un signe d'abréviation. Il devient difficile quand une abréviation se trouve à la fin d'une phrase et que le signe d'abréviation et le signe de ponctuation sont confondus en un seul caractère.

Un exemple de phrase tirée d'une décision du Tribunal de justice des Communautés européennes, que la plupart des gens ne parviennent pas à lire jusqu'à la fin ou à comprendre correctement son sens lorsqu'ils le lisent pour la première fois:

Dans l'affaire juridique C-358/08 concernant une demande préalable en vertu de l'article 234 CE, déposée par la Chambre des Lords (Royaume-Uni) avec décision du 11 juin 2008, reçue au greffe le 5 août 2008, dans l'affaire Aventis Pasteur SA: contre OB: le JUGE EUROPÉEN DE DROIT (Grand Chambre) assisté par le Président V. Skouris, les Présidents de la Cour A. Tizzano et J. N. Cunha Rodrigues, K. Lenaerts (rapporteur), E. Levits ainsi que les juges C. W. A. Timmermans, A. Rosas, A. Borg Barthet, M. Ilešič, J. Malenovský, U. Lõhmus, A. Ó Caoimh et J.-J. Kasel, Avocat Général: V. Trstenjak, Greffier: L. Hewlett, Présidente de la Haute Administration, sur le recours écrit et l'audience orale du 30 juin 2009, en considérant les déclarations – de Aventis Pasteur SA, représentée par G. Leggatt, QC, assisté de P. Popat, Barrister, – d'OB, représentée par S. Maskrey, QC, assistée de H. Preston, Barrister, La Commission européenne, représentée par M. G. Wilms en tant que mandataire, après audition des conclusions du procureur général dans la séance du 8 septembre 2009, a rendu le jugement suivant:

Extrait d'une décision du Tribunal de l'Union européenne concernant l'affaire C-358/08. La représentation est ici résumée. L'affichage de cette phrase sur un écran nécessite une page DIN A4.

Que un énoncé puisse se terminer sans signe de ponctuation, et que l'homme n'y ait pas de problème, c'est dû au markup utilisé par le juge (code HTML). Voici un exemple (extrait d'un arrêt arbitraire du juge):

Après le mot "jugement", il n'y a pas non plus de point d'interrogation, tout comme après les "motifs de la décision". D'un autre côté, la numérotation utilise un point qui sert uniquement à indiquer la numérotation et non pour marquer la fin d'une phrase.

Si on regarde le code HTML du texte qui vient d'être montré, on trouve cela:

Les mots "jugement" et "motifs de décision" sont placés dans des lignes différentes par des instructions de mise en page. Le tag HTML "<p>" assure un paragraphe (p = Paragraph) et le tag HTML "<h2>" une entête du niveau 2 (h = Headline). C'est d'ailleurs une convention largement répandue. Car les tags HTML peuvent être adaptés à n'importe quelle page Web.

En effectuant deux petites modifications au layout de la page HTML, on obtient la vue suivante, qui a toujours le même code source que celui précédemment montré. Les instructions de mise en forme (instructions CSS) pour les balises "<p>" et "<h2>" ont été minimalement modifiées ici à des fins de démonstration:

Un homme pourrait facilement retrouver les mots et les phrases qui occupent une place dans la chronologie. Mais pour un ordinateur, c'est quasi impossible. Il faudrait simuler un navigateur et puis couper le texte. Mais alors on perd des informations si on garde le texte brut ou bien on a des informations inutiles car on garde le code de mise en forme que l'on avait déjà avant.

Synthèse intermédiaire:

L'extraction de texte brut à partir d'un texte formaté est une grande difficulté qui n'a pas été résolue de manière satisfaisante. Un texte formaté est tout type de document qui ne se présente pas sous forme de texte brut. Ainsi, il s'agit la plupart du temps d'une prétraitement difficile à effectuer à partir d'un texte existant.

Abréviations, listes et ainsi de suite

Dans l'exemple précédent, une liste a déjà conduit à l'échec d'un algorithme naïf qui reconnaît la fin de phrase en un point. L'indication "1. Voici le premier élément de la liste." conduirait aux trois phrases suivantes:

1. "1."
2. "Voici le premier."
3. "Point d'écoute.

C'est évidemment de la folie. C'est évidemment de la folie pour l'homme. Puisque nous sommes tous des utilisateurs gâtés de systèmes informatiques, nous nous indignons souvent contre ces insuffisances mécaniques. Mais cela ne change rien au fait que les programmes informatiques ont ces problèmes.

De telles simples combinaisons sont bien maîtrisées, mais alors pas fiables.

Quel est le sens de ce texte fictif ? "La demande du M. X. est traitée dans l'article 3, paragraphe 4 du RGPD." Pour que la phrase puisse être interprétée de manière significative avec une intelligence artificielle, les abréviations "art." et "par." doivent être connues. De même, "X" doit être compris comme une abréviation d'un nom (ou un pseudonyme).

Ce problème mineur lors de la prétraitement des textes avant qu'ils soient injectés dans un modèle d'intelligence artificielle, donne lieu à des réponses fausses. Un exemple a été donné au début du billet.

Qu'est-ce que cela signifie pour les modèles de IA génériques comme ChatGPT ?

Les traitements de texte basiques peuvent être effectués par le moteur de ChatGPT avec suffisamment d'efficacité. En tout cas, cela devrait s'appliquer aux formats standards et à des sujets généraux. Cependant, pour les textes juridiques comme les arrêts du Tribunal de justice de l'Union européenne, cela ne suffit pas. Alors que beaucoup de personnes savent ce que signifie l'abréviation «.Abs.», il devient plus rarement compris avec «ABl.», car même des experts en protection des données qui ne sont pas juristes ont souvent un peu d'information superficielle. Moi-même, j'ai dû chercher à comprendre la signification de «Slg.» au moins une fois. Et maintenant, mon système AI sait également que les arrêts du Tribunal de justice de l'Union européenne peuvent être lus et traités (plus sur cela bientôt).

Les systèmes de langage de l'intelligence artificielle généralisée divisent donc nécessairement les phrases de manière erronée. Cela peut être différent dans cinq ou dix ans, mais actuellement, c'est ainsi. Le traitement de code HTML spécifique peut également être mieux effectué par un programme conventionnel spécifique que par toute intelligence artificielle générale.

Connaissances spécifiques à une domaine ne sont pas maîtrisées avec précision par les systèmes de IA généraux comme ChatGPT, qui ne fonctionnent pas très bien dans ce sens. Les hallucinations restent inexistantes. Dans ce contexte, il convient de noter que l'importation de documents propres à ChatGPT dans le modèle payant augmente considérablement les coûts (même si chaque demande ne coûte qu'un petit montant), car chaque document d'entrée est facturé en fonction de son volume (token).

D'autres aspects ne peuvent pas être approfondis ici, mais ils jouent également un rôle et aggrèvent le problème lors de l'utilisation de systèmes d'intelligence artificielle généraux. En voici quelques-uns:

• Synonyme;
• Langue allemande (la plupart des LLM sont principalement entraînés en anglais, chinois, etc.);
• Connaissances de contexte (exemples: "signatures" à la fin d'une décision du Tribunal de justice des Communautés européennes n'est pas un élément pertinent sémantiquement);
• Analyse TF-IDF pour la prétraitance de texte dans les systèmes de questions fréquentes (FAQ).

La bévue enthousiaste de beaucoup sera bientôt remplacée par une déception partielle, même si les systèmes modernes d'intelligence artificielle accomplissent des choses incroyables. Même si certaines réalisations actuelles dans la compréhension du texte sont nettement meilleures qu'il y a deux ans, elles ne sont pas suffisamment fiables pour être prises en compte comme base solide pour un travail professionnel.

Try Offline-AI now

Optimizable and with full data control. Economical even in continuous operation.
Fully-controlled data center, no third-parties.

Try now

Des problèmes spécifiques peuvent être résolus de manière la plus efficace en étant traités de manière spécifique. Rien ne se fait gratuitement. Qui croit que l'intelligence artificielle peut tout faire, celui-là reviendra très vite sur le sol des faits. Actuellement, j'analyse et je rends accessibles à la recherche environ 25 000 arrêts du Tribunal de justice de l'Union européenne. Dans ce cadre, plusieurs optimisations spécifiques sont mises en œuvre pour améliorer considérablement la qualité des données. Comme on dit si bien: GIGO (Garbage In – Garbage Out) ou encore SISO (demandez à une intelligence artificielle si vous ne savez pas vous y prendre). Demandez plutôt "Slg." si vous faites partie de la majorité des gens qui ignorent cette abréviation

La meilleure alternative à ChatGPT

L'alternative la plus efficace à ChatGPT, qui peut produire des résultats encore plus fiables et surtout plus compatibles avec les données, ressemble par exemple à ceci:

• Sélection d'un modèle de langage approprié qui comprend très bien l'allemand.
• Traitement optimal des documents fournis en utilisant des bibliothèques générales qui sont concrètement utilisées et configurées.
• Préparation de la question du client (prompt) pour par exemple reconnaître les questions synonymes et les erreurs d'écriture.
• Entraîner le modèle de langage local pour éviter les hallucinations.
• Recherche intelligente dans la base de connaissances pour obtenir les meilleurs résultats.
• Combinaison de la recherche intelligente avec une recherche conventionnelle, également intelligente.
• Présentation agréable et appropriée des résultats pour guider l'utilisateur afin qu'il ne s'arrête pas de réfléchir.
• Sélection d'une hardware appropriée, soit dans son propre domicile ou louée auprès d'un fournisseur allemand.

Tous ces points sont résolus. Cela entraîne un faible coût pour l'introduction d'une solution dans votre entreprise. Des solutions économiques avec un fort rendement sont ainsi possibles. La recherche intelligente (machine de recherche vectorielle) plus la recherche conventionnelle (N-Grammes, TF*IDF, Soundex, Distance d'édition etc.) ont déjà été réalisées pour ce blog et complètent par des raisons purement pragmatiques la recherche WordPress. WordPress ne trouve aucun résultat avec des erreurs d'écriture et des recherches plus complexes comme "Qu'est-ce qu'un adresse IP?" (écrite intentionnellement incorrectement) tandis que ma recherche y arrive déjà. La recherche fonctionne sur un serveur très abordable d'un fournisseur allemand et peut être développée davantage, par exemple pour créer un système de questions-réponses avec des résultats abstraits. Abstrait signifie que les réponses sont formulées en propres mots et non comme citation (ce qui serait extrait). ([1])

Résumé

L'exactitude ne peut être produite que par une optimisation concrète pour un cas d'utilisation donné. Il n'en va pas autrement avec les systèmes d'intelligence artificielle que dans le cas de l'être humain. Un spécialiste peut effectuer mieux sur son domaine que Albert Einstein, qui peut obtenir des résultats satisfaisants sur un domaine dont il ne s'est pas encore approfondi.

Un investissement au début permet de nombreux degrés de liberté et satisfait les désirs. Bientôt, cela se paie déjà. La qualité a son prix. Aucune qualité n'a un prix plus élevé. Puisque une mauvaise solution coûte toujours un peu d'argent par rapport à une bonne solution au fil du temps, elle est à long terme beaucoup plus chère.

Comme toujours, la solution la plus simple n'est pas toujours la meilleure: à l'exception d'activités évidentes comme respirer etc., elle est souvent une mauvaise option. Lorsqu'il s'agit de fiabilité, un chatbot général ne peut pas être sérieusement considéré. Cependant, des systèmes spécialisés peuvent être fiables. La traversée de Mars n'est plus nécessaire pour avoir un tel système. Au contraire, il suffit d'une petite balade dans les environs en Allemagne pour l'avoir, pour le dire en termes figurés.