Sztuczna inteligencja dla interpretacji tekstów prawnych

Podczas gdy w języku potocznym nieprawidłowości są akceptowane lub często mają niewielkie znaczenie, dla prawników precyzyjne zrozumienie znaczenia danego zdania jest fundamentalne. Teksty prawne mogą być analizowane przy pomocy AI. Czy można to osiągnąć za pomocą ogólnych systemów AI takich jak ChatGPT? Jakie są alternatywy?

Aktualizacja maj 2024

Przykładowe zastosowanie jest przeglądanie tekstów prawnych. Zamiast formalnej, można wybrać bardziej dostępną wersję języka, tzw. "język ulicy". Za pomocą własnych modeli języka AI, które działają na własnych serwerach AI, to zostało zrealizowane dla prawa hesskiego i RODO.

Wynik dla tekstu rozporządzenia RODO.

Motywacja

Szukająca maszyna Bing od Microsoft wykorzystuje model językowy z oferty OpenAI. Microsoft niedawno zawarł umowę partnerską z OpenAI. Szukanie w Bing odpowiada na pytania fałszywymi odpowiedziami, pomimo tego, że korzysta z najlepszej sprzętowej i programowej aparatury. Powód jest prawdopodobnie taki, że Bing ma być uniwersalna i nie specjalizuje się w poszukiwaniu informacji dla konkretnego przedsiębiorstwa.

Oto przykład na nieudane działanie zaawansowanego, niespecjalizowanego modelu języka w Bing. Pytanie jest odpowiednie do udzielenia przez eksperta w sądzie. Yes sam przypadkiem już to zrobiłem.

Czy można ustalić lokalizację serwera na podstawie jego adresu IP?

Odpowiedź z Bing (stan na 31.08.2023): Tak. Warto dodać, że nowsze wersje Bing lub Copilot nie są w stanie odpowiedzieć wiarygodnie.

Ta odpowiedź jest nieprawidłowa. Adres IP nie jest odpowiedni do wiarygodnego ustalenia lokalizacji serwera. Zamiast tego, przyporządkowanie adresu IP do serwera może się zmienić w każdej chwili. W celu wyjaśnienia: tutaj mowa o serwerach, a nie o prywatnych komputerach z dostępem do Internetu!

Teraz ta sama pytanie zostaje postawiona do Binga. Jednakże w jednym słowie dokonuje się zamiana, mianowicie "anhand" na "mithilfe".

Czy za pomocą adresu IP można ustalić lokalizację serwera?

Odpowiedź powinna być taka sama, ale nie jest (w najszczerszym sensie słowa, ponieważ Bing odpowiada na "nie").

Ta odpowiedź jest również nieprawidłowa, ponieważ podana wraz z odpowiedzią "nie" wyjaśnienie jest również nieprawidłowe. Nawet z orzeczeniem sądowym często nie można ustalić, która adres IP serwera była przypisana do niego w momencie X. Ponieważ aby to było możliwe, np. przykładem byłoby Google jako operator setki tysięcy serwerów, musiałby on protokolować adres IP każdego serwera dla każdego momentu czasu. Czy tak się dzieje nie jest w stanie zrozumieć. W każdym razie wydaje się to mało prawdopodobne. Z powodu masowych rozkładów obciążenia sieci serwerów dużych operatorów jest dynamiczna. Ponadto Bing podaje wyjaśnienie, które w części nie dotyczy pytania. A także odpowiedź "nie" nie pasuje do wyjaśnienia.

Wprowadzenie

Podczas korzystania z systemów trzecich, takich jak te od Microsofta lub OpenAI, pojawia się nie tylko kwestia jakości wyników, ale także prawidłowość ich użycia. Ostatnio np. została wniesiona przeciwko openJur, ponieważ opublikowało ono na swojej stronie internetowej już opublikowane orzeczenie sądowe, w którym został wymieniony pełny imię i nazwisko jednej osoby. Wprowadzenie do chatbota danych osobowych lub innych poufnych informacji nie zwiększa natomiast prawidłowości ich użycia.

Podczas dyskusji wśród prawników często poruszano temat, w jaki sposób może pomóc sztuczna inteligencja w szybszym przeglądaniu orzeczeń. Przykładowo, zadanie NLP dotyczące automatycznej streszczenia tekstu jest odpowiednie do tego celu. NLP to skrót od "Natural Language Processing", czyli próba zrozumienia znaczenia języka naturalnego. Metody NLP istnieją już długo.

Nowością jest, że dzięki mocy modeli językowych (LLM = Large Language Model) można teraz efektywnie przetwarzać skomplikowane teksty w dotychczas nieosiągalnej jakości. Dzięki temu udało się np. stworzyć asystenta pytań i odpowiedzi dla tego bloga. Wyniki są zaskakujące. Jednakże, aby uniknąć fałszywych informacji, trzeba interweniować w system. Często to tzw. halucynacje są odpowiedzialne za niepożądane wyniki.

Hallucynacje powstają z tego, że wiedza ogólna modelu językowego jest przez nadzorowaną wiedzę specyficzną z kontekstu. Kontekstem są np. wszystkie wpisy na Dr. RODO. Model językowy uczy się bowiem nie tylko gramatyki języka, takiego jak niemiecki, ale także zdobywa wiedzę faktograficzną. W trakcie tego procesu mogą być przyjęte fałszywe informacje. Dobrym przykładem jest powszechnie rozpowszechniona, lecz całkowicie fałszywa stwierdzenie, że pliki cookie są to .

W poniższym fragmencie wyjaślono, czego dotyczą trudności związane z analizą i maszynowym odczytywaniem tekstów prawnych. Te trudności dotyczą wszystkich rodzajów tekstów, lecz w dziedzinie prawa wymaga się szczególnie wysokiej dokładności.

Po tym zostanie omawiana kwestia, czy ogólne systemy AI jak ChatGPT mogą być odpowiednie do przetwarzania prawnych tekstów.

Jak są przetwarzane teksty przez AI?

Przed tym, jak wejdziemy głębiej w procesy specyficzne dla AI, musimy wyjaśnić, jak są przetwarzane teksty. Już od dawna istniała zadania związane z przetwarzaniem tekstu przez maszyny, z celem zrozumienia jego znaczenia.

Przykładem może być orzeczenie Trybunału Sprawiedliwości Unii Europejskiej. Trybunał umożliwia dostęp do wszystkich dotychczas opublikowanych orzeczeń online. W tym przykładzie można wybrać dowolne orzeczenie.

Wyrok Trybunału Sprawiedliwości Unii Europejskiej jest stroną HTML. HTML zawiera oprócz czystego tekstu także instrukcji układu takich jak pogrubienie, wyróżnienia, instrukcje nagłówków, automatyczne numerowanie itp.

Przykładowy tekst oryginalny z orzeczenia brzmiałby na przykład: „Zgodnie z § 5a ust. 2 DRiG przedmiotem studiów uniwersyteckich – których minimum dwa lata muszą być spędzone w Niemczech – są przedmioty obowiązkowe i obszary specjalizacji z możliwością wyboru.”

Ten zdanie nie zawiera Znaki specjalne, o których by się mógł zastanowić człowiek. Z technicznego punktu widzenia już znak po „§“ jest Sonderzeichenem. Nie chodzi tu o białe przestrzeń w sensie technicznym, lecz o znak, który wygląda jak biała przestrzeń.

Inny przykład z orzeczenia sądu (tym razem AG Bonn) dla zdania, które nie jest zdaniem:

Dlaczego jest to ważne? Aby to zrozumieć, istotne jest zrozumienie procesu przetwarzania tekstu przez AI. W zasadzie następujące kroki są wymagane, aby AI mogła przetwarzać teksty i na przykład odpowiadać na pytania:

1. Wczytaj tekst (tutaj: orzeczenie Trybunału Sprawiedliwości Unii Europejskiej w formacie HTML, możliwe są również pliki PDF i inne formaty plików).
2. Wyekstrakować tekst z Rohtextu.
3. Tekst podzielić na małe kawałki, które pasują do pamięci modelu AI. Najlepsze modele AI miały dotąd jeszcze 1024 znaki pojemność pamięci wejściowej. W międzyczasie ta pojemność wzrosła czterokrotnie. Przykładowy wyrok, który jest przedmiotem rozważań, ma około 44000 znaków.
4. Odbieranie danych użytkownika, np. pytania i ich przekształcenie na ciągi liczbowe, które mogą być zrozumiałe dla modelu AI.
5. Porównaj poszczególne szczątki z kroku 3 z wprowadzoną przez użytkownika odpowiedzią z kroku 4 i sformułuj odpowiedź.

Pytania dotyczące określonego dokumentu (tutaj: orzeczenie Trybunału Sprawiedliwości Unii Europejskiej) są odpowiadane przez AI, wskazując najpierw najlepsze fragmenty tekstu (lub kilka) dotyczące pytania i następnie wyodrębniając odpowiedź z tego fragmentu.

Najmniejsza sensowna jednostka semantyczna jest zdanie. Dlatego w kroku 3, o którym mowa wyżej, tekst został rozdzielony na zdania. Byłoby nieestetycznie, gdyby zdanie zostało podzielone na dwie części i tym samym przekształcone w dwa różne fragmenty informacji.

Znajdź zdania w tekstach

Jak pokazano powyżej, powinna być w stanie zrozumieć, z jakich zdań składa się tekst. Bez znajomości poszczególnych, oddzielnych od siebie zdań, powstaje semantyczny upadek. Ponadto modele AI są szkolone na określone zadania, takie jak spójne zapisanie tekstu lub ogólne zrozumienie tekstu przy pomocy przykładów. Dla tego celu podawane są zdania lub oświadczenia jako przykłady i razem z nimi podawana jest odpowiedź idealna, która została wymyślona przez człowieka jako trenera.

Co to jest zdanie? Ta pytania nie może być odpowiedzią prosta. Zwykle zdanie kończy się znakiem przestankowym. Czasami jednak nie. Dodatkowo, znak przestankowy często jest również znakiem niezdania. W skrótach używa się kropki jako oznaczenia skrótu. Trudne staje się to, gdy skrót stoi na końcu zdania i znak oznaczający skrót oraz znak przestankowy są w jednym znaku łączone.

Przykład zdania z orzeczenia Trybunału Sprawiedliwości Unii Europejskiej, którego większość ludzi nie potrafi czytać do końca lub odczytywać jego znaczenia po raz pierwszy poprawnie:

W sprawie prawnym C-358/08 dotyczącym pytania prejudycjalnego zgodnie z art. 234 EG, skierowanego przez House of Lords (Zjednoczone Królestwo) w dniu 11 czerwca 2008 r., przyjętego do rozpatrzenia przez Trybunał w dniu 5 sierpnia 2008 r., w sprawie Aventis Pasteur SA przeciwko OB: wydaje TRYBUNAŁ (Wielka Izba) z udziałem Prezesa V. Skourisa, Przewodniczącego A. Tizzano, J. N. Cunha Rodrigues, K. Lenaerts (sprawozdawca), E. Levits oraz sędziów C. W. A. Timmermans, A. Rosas, A. Borg Barthet, M. Ilešič, J. Malenovský, U. Lõhmus, A. Ó Caoimh i J.-J. Kasel, Generalna Prokuratora: V. Trstenjak, Kancelar: L. Hewlett, Prezes Głównego Urzędu, na mocy procedury pisemnej i po rozpatrzeniu sprawy w dniu 30 czerwca 2009 r., uwzględniając wyjaśnienia – Aventis Pasteur SA, reprezentowana przez G. Leggatt, QC, z pomocą P. Popata, Barristera, – OB, reprezentowanego przez S. Maskrey, QC, z pomocą H. Preston, Barristera, Komisji Europejskiej, reprezentowanej przez G. Wilmsa jako pełnomocnika, po przeprowadzeniu rozprawy i przyjęciu postanowień Generalnego Prokuratora w dniu 8 września 2009 r., orzeka się następującym wyrokiem:

Wyrysowanie z orzeczenia Trybunału Sprawiedliwości Unii Europejskiej dotyczącego sprawy C-358/08. Przedstawienie jest tu skrócone. Wizja ekranowa tego zdania w formacie oryginalnym wymagałaby papieru A4 o rozmiarze około jednej strony.

Jeśli zdanie może zakończyć się bez znaku przecinka, człowiek nie ma problemu z tym, ale w orzeczeniach Trybunału Sprawiedliwości Unii Europejskiej to wynika z użytego markup (HTML). Przykład:

Po słowie "sąd" nie stoi ani jednego znaku przestankowego, tak samo jak po słowie "przyczyny orzeczenia". Z drugiej strony numeracja używa kropki, która służy tylko jako oznaczenie numeracji, a nie kończy zdania.

Jeśli sięgniesz po kod HTML tego właśnie tekstu, znajdziesz następujące rzeczy:

Słowa „sąd” i „przyczyny decyzji” są umieszczone w różnych wierszach za sprawą instrukcji układu. Tag HTML <p> zapewnia nowy akapit (p = Paragraf), a tag HTML <h2> zapewnia nagłówek drugiego poziomu (h = Nagłówek). Jest to przynajmniej szeroko przyjęta konwencja. Bo tags HTML mogą być dowolnie dostosowane przez każdą stronę internetową.

Poprzez dwie małe zmiany w układzie strony HTML powstaje następująca widownia, która zawsze posiada ten sam kod źródłowy jak wyżej pokazano. Zmienione jedynie są instrukcje układu (instrukcje CSS) dla tagów "<p>" i "<h2>" zostały minimalnie zmienione:

Ktoś mógłby z łatwością ustalić, które słowa i zdania mają miejsce w chronologii. Jednak dla komputera jest to niemal nie możliwe. Musiałoby się wykonać symulację przeglądarki i następnie skopiować tekst. Ale przy tym mogłyby zostać utracone informacje, jeśli otrzymałoby się oryginalny tekst. Albo są były nieprzydatne informacje, ponieważ otrzymuje się kod markup, który miałoby się już wcześniej.

Podsumowanie:

Ekstrakcja tekstu prostego z formatowanego tekstu jest dużym wyzwaniem, które sam w sobie nie zostało zadowalająco rozwiązane. Tekst formatowany to każdy rodzaj dokumentu, który nie występuje jako tekst prosty. Zatem jest to normalne, że przygotowanie przedmiotowego tekstu sprawia wiele trudności.

Skróty, wyliczenia i takie rzeczy

W przykładzie tym sama lista spowodowała, że prosty algorytm, który rozpoznaje koniec zdania, zawodzi. Wskazanie "1. Tutaj jest pierwszy punkt listy." prowadziłoby do następnych trzech zdań:

1. "1."
2. "Tu jest pierwszy."
3. "Punkt słuchowy.

Jasne, że to nonsens. Jasne, ale tylko dla ludzi. Bo wszyscy jesteśmy wygłupionymi użytkownikami systemów komputerowych, często gniewamy się na takie mechaniczne niedogodności. Ale niczego to nie zmienia, że programy komputerowe mają te same problemy.

Takie proste konfiguracje są dobrze sterowane, ale nie są niezawodne.

Jak wygląda ten całkiem fikcyjny zdanie? "Wymagania pana X. są rozstrzygane w art. 4 RODO, § 3." Aby zdanie mogło być zrozumiałe dla AI, powinno znaczenie skrótów "art." i "§" być znane. Tak samo powinien być rozumiany jako skróty imienia (lub pseudonimizacja nazwiska).

Ten problem z przetwarzania tekstów przed ich wprowadzeniem do modelu AI powoduje błędne odpowiedzi. Przykład został podany na początku tego wpisu.

Co to oznacza dla ogólnodostępnych modeli AI, takich jak ChatGPT?

Podstawowe przetwarzanie tekstu może być wykonywane przez silnik ChatGPT w wystarczającej mierze dobrze. W każdym razie powinno to dotyczyć standardowych formatów i ogólnych tematów. Dla tekstów prawnych, takich jak orzeczenia Trybunału Sprawiedliwości Unii Europejskiej, nie wystarcza to jednak. Podczas gdy wielu ludzi wie, co oznacza skrót „.Abs.”, w przypadku „ABl.” jest to już mniej powszechne, ponieważ np. inspektorzy ochrony danych jako eksperci, którzy nie są prawnikami, często nie posiadają głębszego wiedza. Yes sam musiał przeszukać informacje, aby dowiedzieć się, co znaczy „Slg.”. Teraz również moje system AI wie, jak czytać i przetwarzać orzeczenia Trybunału Sprawiedliwości Unii Europejskiej (więcej na ten temat za chwilę).

Zoiste systemy językowe AI rozdzielają więc zdania nieprawidłowo. Może być inaczej za pięć lub kilkadziesiąt lat, ale obecnie tak jest. Również przetwarzanie specyficznego kodu HTML może zostać wykonane lepiej przez konwencjonalny program niż przez każdą ogólną AI.

Wiedza specyficzna dla domeny nie jest zbyt dobrze znana ogólnym systemom AI, takim jak ChatGPT. Hallucynacje nie występują. W tym kontekście należy zauważyć, że wprowadzanie własnych dokumentów do ChatGPT w wersji płatnej modelu znacznie zwiększa koszty (choć tylko o mały kwota za każdą prośbę), ponieważ każdy dokument wejściowy jest rozliczany według jego wielkości (Token).

Inne aspekty nie mogą być tutaj rozciągnięte, ale odgrywają tak samo ważną rolę i powiększają problem przy użyciu ogólnych systemów AI. Słownikowo można wymienić:

• Synonimy;
• Język niemiecki (większość LLMs jest głównie szkolona w języku angielskim, chińskim itd.);
• Wiedza kontekstowa (przykład: "podpis" na końcu orzeczenia Trybunału Sprawiedliwości Unii Europejskiej nie jest elementem semantycznie istotnym);
• Analiza TF-IDF w celu prewielokrotnienia tekstów dla systemów FAQ.

Niewidoma ekscytacja wielu zostanie wkrótce zastąpiona częściowym rozczarowaniem, nawet jeśli współczesne systemy AI osiągają niezwykłe rzeczy. Choć niektóre obecne osiągnięcia w zakresie odczytu tekstu są znacznie lepsze niż dwa lata temu, to jednak nie są wystarczająco niezawodne, aby można było je uznać za solidną podstawę do pracy zawodowej.

Try Offline-AI now

Optimizable and with full data control. Economical even in continuous operation.
Fully-controlled data center, no third-parties.

Try now

Specyficzne problemy najlepiej rozwiązuje się specyficznym sposobem. Nic nie jest bezpłatnie. Kto wierzy, że AI może wszystko, ten szybko wróci na Betonowe Podłoże. Obecnie przetwarzam około 25 000 orzeczeń Trybunału Sprawiedliwości Unii Europejskiej, aby je głębiej zanalizować i ułatwić im poszukiwanie. W trakcie tego procesu pojawiają się liczne specyficzne optymalizacje, które znacznie poprawiają jakość danych. Jak mówi się: GIGO (Garbage In – Garbage Out) lub SISO (pytaj AI, jeśli nie możesz samodzielnie na to odpowiedzieć). Najlepiej wtedy również zapytaj o "Slg." (jeśli należysz do większości ludzi, którzy tej abrykatury nie znają)

Najlepsza alternatywa dla ChatGPT

Najlepsza alternatywa dla ChatGPT, która może osiągnąć bardziej niezawodne wyniki i przede wszystkim jest przyjazna danych, wygląda na przykład tak:

• Wybór odpowiedniego modelu językowego, który niemiecki bardzo dobrze rozumie.
• Optymalne przygotowanie dostarczonych dokumentów za pomocą ogólnodostępnych bibliotek, które są w conkretnych przypadkach wykorzystywane i konfigurowane.
• Przygotowanie pytania użytkownika (promptu) w celu np. rozpoznawania pytań synonimicznych i błędów pisarskich.
• Szkolenie modelu językowego lokalnego, aby uniknąć halucynacji.
• Sztuczna inteligencja w wyszukiwaniu w bazie wiedzy, aby uzyskać najlepsze wyniki.
• Złączenie wyszukiwania inteligentnego z konwencjonalnym, również inteligentnym wyszukiwaniem.
• Przyjazna i adekwatna prezentacja wyników, aby użytkownik nie przestał myśleć.
• Wybór odpowiedniej sprzętowej, albo w swoim domu lub wynajęty od niemieckiego dostawcy.

Wszystkie te punkty są rozwiązane. To prowadzi do tego, że koszt wprowadzenia rozwiązania w Twoim przedsiębiorstwie jest niski. Ekonomiczne rozwiązania z wysokim zyskiem są możliwe. Inteligentna wyszukiwarka (maszyna wektorowa) plus konwencjonalna wyszukiwarka (N-Gramy, TF*IDF, Soundex, Edit Distance itp.) zostały już zrealizowane w tym blogu i uzupełniają z powodów praktycznych wyszukiwarkę WordPress. WordPress nie znajduje wyników przy błędach pisowni i bardziej skomplikowanych wyszukiwaniach, takich jak "Co to są adresami IP?" (tutaj celowo źle napisane), ale moja wyszukiwarka już znajduje. Wyszukiwarka działa na super taniem serwerze niemieckiego dostawcy i może być dalej rozwijana, np. do systemu pytań i odpowiedzi z abstrakcyjnymi wynikami. Abstrakcyjnie oznacza to, że odpowiedzi są udzielane w własnych słowach i nie jako cytaty (co byłoby ekstraktorycznie). ([1])

Wynik

Dokładność może być osiągnięta tylko przez konkretną optymalizację dla danego przypadku zastosowania. W systemach sztucznej inteligencji zachowuje się tak samo jak u ludzi. Specjalista może wykonać więcej na swoim specjalistycznym polu niż Albert Einstein, który może osiągnąć dobre wyniki w dziedzinie, z którą nie był jeszcze głębiej zajęty.

Inwestowanie od samego początku daje wiele swobody i spełnionych marzeń. Już po krótkim czasie zaczyna się to opłacać. Jakość ma swoją cenę. Nie ma jakości, która by miała wyższą cenę. Ponieważ złe rozwiązanie w porównaniu do dobrego kosztuje przez dłuższy okres coraz więcej pieniędzy, jest ono średnio- i długoterminowo droższe.

Zawsze tak jest: najłatwiejszy sposób nie zawsze jest dobry, chyba że chodzi o oczywiste działania jak oddychanie itp. Gdy mowa jest o wiarygodności, to ogólny chatbot nie może być poważnie rozważany. Systemy specjalizowane mogą być wiarygodne. Nie ma już potrzeby podróży na Marsa, aby mieć takie systemy. Wystarczy bowiem jedynie podróż do pobliskiej okolicy w Niemczech, by to opisać w sposób bardziej przypominający rzeczywistość.