Investigadores de la Universidad de Pekín presentan ChatLaw un modelo de lenguaje legal de código abierto de gran tamaño con bases de conocimientos externas integradas.

Investigadores de la Universidad de Pekín presentan ChatLaw, un modelo de lenguaje legal de código abierto con bases de conocimientos externas integradas.

Gracias al crecimiento y desarrollo continuo de la inteligencia artificial, los modelos de lenguaje a gran escala están ampliamente disponibles. Modelos como ChatGPT, GPT4, LLaMA, Falcon, Vicuna y ChatGLM han mostrado un rendimiento excepcional en diversas tareas tradicionales, abriendo un mundo de oportunidades para la profesión legal. Sin embargo, reunir datos confiables, actuales y de alta calidad es esencial para crear modelos de lenguaje de gran tamaño. Por lo tanto, la creación de modelos de lenguaje legal de código abierto que sean efectivos y eficientes se ha vuelto crucial.

El desarrollo de modelos a gran escala en inteligencia artificial ha impactado en varias industrias, incluyendo la salud, la educación y las finanzas: BloombergGPT, FinGPT, Huatuo y ChatMed; estos modelos han demostrado ser útiles y efectivos para abordar problemas desafiantes y producir datos perspicaces. Por otro lado, el ámbito del derecho requiere una investigación exhaustiva y la creación de un modelo legal único debido a su relevancia intrínseca y la necesidad de precisión. La ley es crucial para la formación de comunidades, la regulación de las relaciones interpersonales y la garantía de la justicia. Los profesionales legales dependen de información precisa y actualizada para tomar decisiones sabias, comprender la ley y ofrecer asesoramiento legal.

Las sutilezas de la terminología legal, las interpretaciones complicadas y la naturaleza dinámica del derecho plantean problemas especiales que requieren soluciones especializadas. Incluso con el modelo más avanzado, como GPT4, a menudo se produce un fenómeno de alucinación y resultados increíbles en cuanto a dificultades legales. Las personas suelen pensar que mejorar un modelo con experiencia relevante en el campo proporcionaría resultados positivos. Sin embargo, el primer LLM legal (LawGPT) aún tiene muchas alucinaciones y resultados inexactos, por lo que este no es el caso. Al principio, comprendieron la demanda de un LLM legal en chino. Sin embargo, en ese momento no había modelos chinos comercialmente accesibles que fueran más grandes que los 13 mil millones de parámetros. Combinando datos de entrenamiento de fuentes como MOSS y ampliando el léxico chino, se mejoró la base de OpenLLAMA, un modelo económicamente viable. Esto permitió a los investigadores de la Universidad de Pekín construir un modelo fundamental del idioma chino al que luego agregaron datos específicos del campo legal para entrenar ChatLaw, su modelo legal.

A continuación se presentan las principales contribuciones del artículo:

1. Un método exitoso para reducir las alucinaciones: presentan un método para reducir las alucinaciones mediante la mejora del procedimiento de entrenamiento del modelo e incluyendo cuatro módulos durante la inferencia: “consulta”, “referencia”, “auto-sugerencia” y “respuesta”. Las alucinaciones son menos frecuentes porque los modelos y las bases de conocimientos verticales se integran a través del módulo de referencia, que incorpora conocimientos específicos del dominio en el modelo y utiliza datos confiables de la base de conocimientos.

2. Se ha entrenado un modelo que extrae palabras características legales del lenguaje cotidiano de los usuarios. Se basa en el LLM. Con la ayuda de este modelo, que reconoce términos con significado legal, las situaciones legales dentro de la entrada de los usuarios pueden identificarse y analizarse rápidamente y de manera efectiva.

3. Se ha entrenado un modelo que mide la similitud entre el lenguaje común de los usuarios y un conjunto de datos de 930,000 textos relevantes de casos judiciales utilizando BERT. Esto permite construir una base de datos vectorial para recuperar rápidamente escritos con un contexto legal similar, lo que permite una investigación y citación adicionales.

4. Desarrollo de un conjunto de datos de evaluación de exámenes legales en chino: crean un conjunto de datos para evaluar la experiencia legal de los hablantes chinos. También crean un sistema de puntuación de arena ELO para determinar qué tan bien se desempeñan diferentes modelos en pruebas legales de opción múltiple.

También señalaron que un solo LLM legal de propósito general solo puede funcionar bien en esta área en algunos trabajos. Como resultado, desarrollaron varios modelos para diversas situaciones, incluyendo preguntas de opción múltiple, extracción de palabras clave y respuestas a preguntas. Utilizando la técnica HuggingGPT, utilizaron un gran LLM como controlador para gestionar la selección e implementación de estos modelos. Basándose en la solicitud de cada usuario, este modelo controlador elige dinámicamente el modelo específico a activar, asegurando que se utilice el mejor modelo para la tarea.

We will continue to update Zepes; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

Inteligencia Artificial

Una introducción práctica a los LLMs

Este es el primer artículo de una serie sobre el uso de Modelos de Lenguaje Grande (LLMs) en la práctica. Aquí daré u...

Inteligencia Artificial

Lanzando un gato entre las palomas? Aumentando la computación humana con modelos de lenguaje grandes

Siempre me ha fascinado la etimología. Más a menudo que no, hay una historia intrigante detrás de cómo las palabras y...

Inteligencia Artificial

Real AI gana el proyecto para construir el modelo de lenguaje abierto de Europa de inteligencia artificial

Durante la Conferencia de Ciencia de Datos 2023 en Belgrado, el jueves 23 de noviembre, se anunció que Real AI ganó e...

Inteligencia Artificial

¿Desvelando el poder de Meta's Llama 2 ¿Un salto adelante en la IA generativa?

Este artículo explora los detalles técnicos e implicaciones del recientemente lanzado Llama 2 de Meta, un modelo de l...

Inteligencia Artificial

Investigadores de UC San Diego presentan TD-MPC2 Revolucionando el aprendizaje de refuerzo basado en modelos en diversos dominios

Los Modelos de Lenguaje Grandes (LLMs) están constantemente mejorando, gracias a los avances en Inteligencia Artifici...

Inteligencia Artificial

¿Podemos generar imágenes humanas hiperrealistas? Este artículo de IA presenta HyperHuman un avance en modelos de texto a imagen

La computación cuántica se elogia a menudo por su potencial para revolucionar la resolución de problemas, especialmen...