Inteligencia artificial para la interpretación de textos jurídicos

Mientras en el lenguaje cotidiano se aceptan inexactitudes o son a menudo irrelevantes, para los juristas un entendimiento preciso del significado de una afirmación es fundamental. Los textos jurídicos pueden ser analizados con inteligencia artificial. ¿Puede lograrse esto con sistemas generales de IA como ChatGPT? ¿Qué alternativas existen?

Actualización Mayo 2024

Un caso de aplicación razonable es la síntesis de textos jurídicos. De manera opcional, en un lenguaje formal o amigable para el ciudadano se puede llegar a la "lengua de la calle". Con modelos de idioma propio de Inteligencia Artificial que corren en servidores propios de IA, esto se ha llevado a cabo específicamente para las leyes del estado de Hesse y para la RGPD.

Resultado para el texto de la normativa de la RGPD.

Motivación

La búsqueda de Bing de Microsoft utiliza un modelo de lenguaje del catálogo de OpenAI. Microsoft ha establecido recientemente una alianza con OpenAI. La búsqueda de Bing responde con afirmaciones falsas, a pesar de que puede acceder a la mejor hardware y software. El motivo es probablemente que Bing debe ser universalmente accesible y no específicamente adaptada a su empresa.

Aquí un ejemplo del fracaso del modelo de lenguaje avanzado y no especializado de Bing. La pregunta es adecuada para ser respondida por un experto en tribunal. Yo mismo la había hecho de manera casual ya.

¿Puede determinarse el lugar de un servidor a través de la dirección IP?

Respuesta de Bing (a 31/08/2023): Sí. Por cierto, incluso las versiones más recientes de Bing o Copilot no son capaces de responder de forma fiable.

Esta respuesta es incorrecta. Una dirección IP no es adecuada para determinar con precisión la ubicación de un servidor. Por el contrario, la asignación de una dirección IP a un servidor puede cambiar en cualquier momento. Para aclarar: se trata de servidores y no de conexiones a Internet de ordenadores personales!

Ahora se le hace la misma pregunta a Bing. Sin embargo, se cambia una sola palabra, a saber "en base" por "con el auxilio".

La pregunta es ahora: ¿pueden determinarse los lugares de servidores mediante la dirección IP?

La respuesta debería ser la misma, pero no lo es (en el sentido más estricto de la palabra, ya que Bing responde con "no").

También esta respuesta es incorrecta, porque la justificación dada después de la respuesta corta "no" también es incorrecta. Incluso con un fallo judicial se puede a menudo no determinar qué dirección IP estaba asignada a un servidor en un momento X. Porque para eso, tomemos Google como ejemplo de un proveedor de cientos de miles de servidores, Google tendría que registrar la dirección IP por cada servidor en cada momento. Si esto sucede, es incomprensible. En cualquier caso, parece poco probable. Debido a las grandes distribuciones de carga, la red de servidores de los grandes proveedores es altamente dinámica. Además, Bing proporciona una justificación que no se ajusta en parte a la pregunta. Además, "no" como respuesta corta no se ajusta a la justificación.

Introducción

Al utilizar sistemas terceros como los de Microsoft o OpenAI, siempre se plantea la cuestión de la legalidad además de la calidad de los resultados. Recientemente hubo una acusación contra openJur, porque habían publicado un fallo ya publicado en su propia página web. Porque erróneamente había incluido el nombre completo de una persona en el fallo. Meter datos como esos o secretos comerciales o otros datos confidenciales en un chatbot, por lo menos no aumenta la seguridad jurídica.

Se ha discutido entre juristas en varias ocasiones sobre en qué medida la Inteligencia Artificial puede ayudar a leer sentencias más rápidamente. Por ejemplo, la tarea de procesamiento del lenguaje natural (NLP) de resumen de textos se presta para ello. NLP significa "Procesamiento de Lenguaje Natural" y trata de capturar el significado del lenguaje natural. Los enfoques de NLP existen desde hace mucho tiempo.

Nueva es la capacidad de procesar textos complejos en una calidad nunca antes alcanzada con modelos de lenguaje potentes (LLM = Large Language Model). De esta manera, por ejemplo, se puede programar un asistente de preguntas y respuestas para este blog. Los resultados son sorprendentes. Sin embargo, es necesario intervenir en el sistema para evitar afirmaciones falsas. A menudo las llamadas alucinaciones son responsables de los resultados no deseados.

Las alucinaciones surgen porque el conocimiento general de un modelo lingüístico se superpone a un conocimiento específico del contexto . El contexto son, por ejemplo, todos los contributos en Dr. DSGVO. Un modelo lingüístico aprende no solo la gramática de una lengua como el alemán, sino que también adquiere conocimientos sobre hechos. En este proceso pueden ser incorporados hechos falsos. Un buen ejemplo es la afirmación muy extendida pero fundamentalmente falsa de que Cookies son textos archivos.

A continuación se explican las dificultades al analizar y comprender mecánicamente los textos jurídicos. Estas dificultades son aplicables a todos tipos de textos, pero en el ámbito legal es necesario una precisión máxima.

Después de eso se discute la pregunta de si los sistemas de inteligencia artificial en general como ChatGPT pueden ser adecuados para procesar textos jurídicos de manera ordenada.

¿Cómo se procesan los textos por una IA?

Antes de sumergirnos en los procesos específicos de la Inteligencia Artificial, hay que aclarar cómo se procesan los textos en general. Ya desde hace tiempo, el objetivo de la procesamiento de texto por máquinas era capturar su significado.

Por ejemplo, en los juicios del Tribunal de Justicia de la Unión Europea , se muestra claramente la complejidad del problema. El Tribunal de Justicia da la posibilidad de acceder a los juicios publicados anteriormente en línea. Para el ejemplo, se toma un [juicio arbitrario](https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?uri=CELEX:62008CJ0345&qid=1693473655909). ([1]) ([2])

Ein EuGH-Urteil is eine HTML-Seite. HTML enthält neben reinen Text auch Layout-Anweisungen wie Fettdruck, Absätze, Überschriftenanweisungen, automatische Nummerierungen etc.

Un texto puro del fallo sería por ejemplo esta oración: "Según el artículo 5a, apartado 2 de la Ley de Derechos de Propiedad Intelectual (DRiG), los contenidos del estudio universitario -de los cuales se deben haber pasado al menos dos años en Alemania- son materias obligatorias y áreas de especialización con opciones de elección

Este enunciado obviamente no contiene caracteres especiales, sobre los que un ser humano podría reflexionar. Técnicamente, ya el carácter después del símbolo „§“ es un caracter especial. No se trata de un espacio vacío en sentido técnico, sino de un carácter que se asemeja a un espacio vacío.

Un ejemplo más de un juicio (esta vez AG Bonn) para una oración que no es tal:

¿Por qué es importante esto? Para entenderlo, es necesario comprender el proceso de procesamiento de texto por parte de una IA. En resumen, se requieren los siguientes pasos para que una IA pueda procesar textos y responder preguntas sobre ellos:

1. Leer texto (aquí: sentencia del TJUE en formato HTML, también podrían ser documentos PDF y otros formatos de archivo).
2. Extraer texto de Rohte.
3. Dividir el texto en pequeños trozos que caben en el almacenamiento de un modelo de IA. Los mejores modelos de IA tenían hasta ahora solo 1024 caracteres de capacidad de almacenamiento para la entrada. Mientras tanto, esta capacidad se ha cuadruplicado. El ejemplo de sentencia aquí considerada tiene aproximadamente 44000 caracteres.
4. Recibir entrada del usuario, por ejemplo, una pregunta, y convertirla en series numéricas que un modelo de IA puede entender.
5. Comparar los detalles individuales de la etapa 3 con la entrada del usuario de la etapa 4 y formular una respuesta.

Se formulan preguntas sobre un documento específico (en este caso, una sentencia del Tribunal de Justicia de la Unión Europea) y se responden mediante inteligencia artificial, seleccionando primero el resumen más adecuado (o algunos pocos) relacionado con la pregunta y luego extrayendo la respuesta de ese resumen.

La unidad semántica más pequeña y significativa es una oración. Por eso, en el paso mencionado anteriormente 3, se divide el texto en oraciones. Sería muy feo si una oración fuera dividida en dos mitades y así terminara en dos fragmentos de información diferentes.

Identificar oraciones en textos

Como se muestra a continuación, una inteligencia artificial debería saber de qué oraciones consta un texto. Sin conocimiento de las oraciones individuales, separadas entre sí, suele producirse semántico caos. Además, los modelos de IA para ciertas tareas como la resumen de textos o el entendimiento general del texto se entrenan con ejemplos. Para ello se dan oraciones o afirmaciones como ejemplos y se proporciona la respuesta ideal que imaginó el humano como instructor.

¿Qué es una oración? Esta pregunta no puede responderse de manera simple. Normalmente, una oración termina con un signo de puntuación. A menudo también no lo hace. Además, el signo de puntuación a menudo también es un signo de punto final que no es una oración. En abreviaturas se utiliza el punto como signo de abreviatura. Se vuelve difícil cuando una abreviatura está al final de una oración y el signo de abreviatura y el signo de puntuación están unidos en un solo símbolo.

Un ejemplo de una oración de un fallo del Tribunal de Justicia de la Unión Europea, en el que la mayoría de las personas no logran leerla hasta el final o comprender su significado correctamente al primer intento:

En el asunto jurídico C-358/08 relativo a una solicitud de decisión prejudicial previa conforme al artículo 234 CE, presentada por la House of Lords (Reino Unido) con resolución del 11 de junio de 2008, recibida en el Tribunal de Justicia el 5 de agosto de 2008, en el procedimiento Aventis Pasteur SA contra OB: emite EL TRIBUNAL DE JUSTICIA (Gran Sala) con la participación del Presidente V. Skouris, los presidentes de sala A. Tizzano, J. N. Cunha Rodrigues, K. Lenaerts (relator), y E. Levits, así como los jueces C. W. A. Timmermans, A. Rosas, A. Borg Barthet, M. Ilešič, J. Malenovský, U. Lõhmus, A. Ó Caoimh y J.-J. Kasel, Abogada General: V. Trstenjak, Secretario: L. Hewlett, Presidenta del Alto Comité, en procedimiento escrito y tras la audiencia oral de 30 de junio de 2009, teniendo en cuenta las declaraciones – de Aventis Pasteur SA, representada por G. Leggatt, QC, asistida por P. Popat, Barrister, – de OB, representado por S. Maskrey, QC, asistido por H. Preston, Barrister, La Comisión Europea, representada por G. Wilms como apoderado, después de la deliberación de los informes finales del Fiscal General en sesión el 8 de septiembre de 2009, dicta lo siguiente:

Extracto de una sentencia del TJUE sobre el asunto C-358/08. La representación aquí es comprimida. La visión de pantalla de este párrafo en formato original requiere una página DIN A4 aparente.

Que un enunciado sin signos de puntuación final puede terminar, pero la persona no tiene problema con eso, se debe a que los jueces del Tribunal de Justicia de la Unión Europea utilizan marcado (código HTML). Aquí hay un ejemplo (extracto de una sentencia arbitraria del TJUE):

Después de la palabra "sentencia" tampoco hay un punto final como después de la palabra "motivos de decisión". Por otro lado, el numerado utiliza un punto que sirve solo como indicador del numerado, pero no para un punto final.

Si se mira el código HTML del texto que acaba de mostrarse, se encuentra lo siguiente:

Las palabras "sentencia" y "motivos de decisión" están colocadas en diferentes líneas mediante instrucciones de diseño. El etiqueta HTML "<p>" garantiza un párrafo (p = Paragraph) y la etiqueta HTML "<h2>" una cabecera del nivel 2 (h = Headline). Esto es al menos una convención muy extendida. Porque las etiquetas HTML pueden ser adaptadas libremente por cualquier página web.

A través de dos pequeñas modificaciones en la disposición de la página HTML se produce la siguiente visión, que siempre tiene el mismo código fuente como se mostró antes. Sólo las instrucciones de disposición (instrucciones CSS) para los tags "<p>" y "<h2>" han sido mínimamente modificadas aquí a modo de demostración:

Un hombre podría encontrar con facilidad cuáles son los términos y frases que ocupan un lugar en la cronología. Sin embargo, para un ordenador es prácticamente imposible. Se necesitaría simular un navegador y luego sacar el texto de él. Pero al hacerlo se perderían información si se obtiene el texto original o se obtendrían datos inútiles porque se obtendría el código del marcado que ya se tenía antes.

Resumen intermedio:

La extracción de texto bruto a partir de texto formateado es una gran desafío que no se ha resuelto satisfactoriamente. El texto formateado es cualquier tipo de documento que no esté en formato de texto bruto. Por lo tanto, es el caso normal que la preprocesamiento de un texto existente suponga grandes dificultades.

Siglas, enumeraciones y similares

En el ejemplo mismo, una enumeración ya ha llevado a que un algoritmo ingenuo, que identifica el final de la oración en un punto, fracase. La indicación "1. Aquí está el primer punto de la lista." conduciría a los siguientes tres párrafos:

1. "1."
2. "Aquí está el 1."
3. "Punto de escucha.

Obviamente esto es una tontería. Obviamente solo lo es para el ser humano. Porque todos somos usuarios acostumbrados a los sistemas de computadoras, nos quejamos mucho por estas limitaciones mecánicas. Pero eso no cambia el hecho de que los programas de computadora tienen estos problemas.

Tales de configuraciones simples son bien manejables, pero entonces no fiables.

¿Cómo está este enunciado ficticio? "La petición del Sr. X se abroga en el Artículo 3 del artículo 4 de la DS-GVO." Para que un enunciado con inteligencia artificial pueda interpretarlo de manera significativa, las abreviaturas "Art." y "Abs." deben ser conocidas. Lo mismo debe entenderse como una abreviatura para un nombre (o pseudonimización del nombre).

Este problema en la preprocesamiento de textos antes de introducirlos en un modelo de Inteligencia Artificial, provoca respuestas falsas. Un ejemplo se dio al principio del artículo.

¿Qué significa esto para modelos de inteligencia artificial genérica como ChatGPT?

Procesamientos de texto básicos pueden ser realizados por el motor de ChatGPT con suficiente eficacia. En cualquier caso, esto debería aplicarse a formatos estándar y temas generales. Sin embargo, para textos jurídicos como las sentencias del Tribunal de Justicia de la Unión Europea no es suficiente. Mientras que muchas personas saben lo que significa la abreviatura ".Abs.", se vuelve más escasa con "ABl.". Por ejemplo, incluso los responsables de protección de datos suelen carecer de un conocimiento profundo en este ámbito, ya que no son juristas. Yo mismo tuve que buscar qué significaba "Slg." al menos una vez. Ahora también lo sabe mi sistema AI, que puede leer y procesar las sentencias del Tribunal de Justicia de la Unión Europea (más sobre esto pronto).

Los sistemas de lenguaje de inteligencia artificial en general dividen por tanto las oraciones de manera inevitablemente falsa. Esto puede ser diferente en cinco o cincuenta años, pero actualmente es así. También el procesamiento de código HTML específico puede realizarse mejor con un programa convencional específico que con cualquier IA general.

Conocimiento específico de dominio tampoco lo dominan bien los sistemas de inteligencia artificial en general como ChatGPT. Las alucinaciones no se producen. En este contexto, es importante destacar que introducir documentos propios en ChatGPT en el modelo de pago aumenta significativamente el costo (aunque solo por una pequeña cantidad por solicitud), ya que cada documento de entrada se factura según su tamaño (Token).

Otros aspectos no pueden ser profundizados aquí, pero juegan igualmente un papel y agrandan el problema al utilizar sistemas de inteligencia artificial general. A modo de recordatorio se mencionan:

• Sinónimo;
• Idioma alemán (la mayoría de los LLMs están principalmente entrenados en inglés, chino, etc.);
• Conocimiento de contexto (Ejemplo: "Firmas" al final de una sentencia del TJUE no es un elemento semánticamente relevante);
• Análisis TF-IDF para la preprocesamiento de texto en sistemas de preguntas frecuentes.

La entusiasta ceguera de muchos pronto será reemplazada por una decepción parcial, a pesar de que los sistemas de inteligencia artificial moderna logran cosas asombrosas. Aunque algunas conquistas actuales en el reconocimiento de texto son claramente mejores que hace dos años, no son lo suficientemente fiables como para poder considerarlas una base sólida para un trabajo profesional.

Try Offline-AI now

Optimizable and with full data control. Economical even in continuous operation.
Fully-controlled data center, no third-parties.

Try now

Los problemas específicos se resuelven mejor de manera específica. Nada es gratuito. Quien cree que una inteligencia artificial puede hacer todo, pronto regresará a la realidad. Actualmente estoy procesando aproximadamente 25.000 sentencias del Tribunal de Justicia de la Unión Europea para analizarlas más a fondo y hacerlas más fácilmente accesibles. En el proceso surgen numerosas optimizaciones específicas que mejoran significativamente la calidad de los datos. Como se dice tan hermosamente: GIGO (Basura en – Basura fuera) o incluso SISO (pregunte a una inteligencia artificial si no puede llegar a la solución por sí mismo). Lo mejor es preguntar entonces también "Slg." si pertenece al grupo de personas que desconoce esta abreviatura

La mejor alternativa a ChatGPT

La mejor alternativa a ChatGPT desde mi punto de vista, que puede obtener resultados más fiables y sobre todo es amigable con los datos, se ve así:

• Selección de un modelo de lenguaje adecuado que entiende muy bien el alemán.
• Procesamiento óptimo de los documentos dados mediante el uso de bibliotecas generales que se utilizan y configuran específicamente.
• Preparación de la pregunta del usuario (prompt) para poder identificar, por ejemplo, preguntas sinónimas y errores de escritura.
• Entrenar el modelo de lenguaje local para evitar alucinaciones.
• Búsqueda inteligente en la base de conocimientos para obtener los mejores resultados.
• Combinación de la búsqueda inteligente con una búsqueda convencional, también inteligente.
• Representación amigable y adecuada de los resultados para guiar al usuario a que no deje de pensar.
• Selección de hardware adecuado, ya sea en casa propia o alquilado a un proveedor alemán.

Todos estos puntos están resueltos. Esto conduce a que el esfuerzo para implementar una solución en su empresa sea bajo. Las soluciones económicas con un alto beneficio son posibles de esta manera. La búsqueda inteligente (máquina de búsqueda de vectores) más la búsqueda convencional (N-gramas, TF*IDF, Soundex, Distancia de edición, etc.) ya han sido realizadas para este blog y complementan por razones puramente pragmáticas la búsqueda de WordPress. WordPress no encuentra coincidencias con errores de escritura y búsquedas más complejas como "[¿Qué son direcciones IP?](https://dr-dsgvo.de/?s=was+sind+ip-aderssen%3F)" (escrito intencionalmente mal), pero mi búsqueda sí lo hace. La búsqueda se ejecuta en un servidor muy económico de un proveedor alemán y puede seguir ampliándose, por ejemplo, para convertirse en un sistema pregunta-respuesta con resultados abstractos. Abstracto significa que las respuestas se producen en sus propias palabras y no como citas (lo cual sería extractivo). ([1]) ([2])

Conclusión

La exactitud solo puede ser generada a través de una optimización concreta para un caso de aplicación dado. Al igual que en el caso del hombre, no es diferente en sistemas de Inteligencia Artificial. Un especialista puede realizar más en su campo específico que Albert Einstein, quien puede lograr buenos resultados en un campo en el que no se ha ocupado profundamente hasta ahora.

Invertir al principio permite muchos grados de libertad y satisfacer deseos cumplidos. Ya después de poco tiempo, eso se paga. La calidad tiene su precio. Ninguna calidad tiene un precio más alto. Porque una mala solución frente a una buena siempre cuesta un poco de dinero con el tiempo, es más cara a medio plazo y mucho más cara a largo plazo.

Como siempre vale la pena recordar: El camino más sencillo no suele ser casi nunca una elección moderada y a menudo una mala opción. Cuando se trata de fiabilidad, un chatbot general no puede ser tomado en serio. Sin embargo, los sistemas especializados pueden ser fiables. La travesía al planeta Marte ya no es necesaria para tener uno de estos sistemas. Más bien, solo es necesario una breve excursión a la cercanía en Alemania para describirlo de manera figurativa.