La inteligencia artificial ahora puede ser más astuta que la mayoría de los graduados de la facultad de derecho en el examen de la barra, el extenuante examen de dos días que los aspirantes a abogados deben aprobar para ejercer la abogacía en los Estados Unidos, según un nuevo estudio publicado el miércoles.
GPT-4, el modelo de inteligencia artificial actualizado lanzado esta semana por la empresa OpenAI respaldada por Microsoft, obtuvo 297 en el examen de la barra en un juicio realizado por dos profesores de derecho y empleados de la firma de tecnología legal Casetext.
Los investigadores encontraron que esto coloca a GPT-4 en el percentil 90 de los examinados reales y es suficiente para que sean aceptados para ejercer la abogacía en la mayoría de los estados.
El examen de la barra evalúa el conocimiento y el razonamiento e incluye ensayos y pruebas de rendimiento que pretenden simular el trabajo legal, así como preguntas de opción múltiple.
“Los modelos de lenguaje extenso pueden cumplir con el estándar aplicado a los abogados humanos en casi todas las jurisdicciones de los Estados Unidos al abordar tareas complejas que requieren un conocimiento legal profundo, comprensión de lectura y capacidad de escritura”, escribieron los autores.
Hace menos de cuatro meses, dos de los mismos investigadores concluyeron que el modelo de lenguaje grande anterior de OpenAI, ChatGPT, no superó una prueba de barra, lo que destaca la rapidez con la que está mejorando la tecnología.
El GPT-4 más nuevo obtuvo casi el 76 por ciento de las preguntas de opción múltiple en el examen de la barra, frente al 50 por ciento en ChatGPT, superando al examinado humano promedio en más del 7 por ciento.
La Conferencia Nacional de Exámenes de Abogados, que diseña la sección de opción múltiple, dijo en un comunicado el miércoles que los abogados tienen habilidades únicas adquiridas a través de la educación y la experiencia que “ninguna IA puede igualar actualmente”.
El coautor del estudio, Daniel Martin Katz, profesor de la Facultad de Derecho de Chicago-Kent, dijo en una entrevista que estaba muy sorprendido por la capacidad de GPT-4 para producir respuestas en gran medida relevantes y coherentes a partir de ensayos y evaluaciones comparativas.
“Escuché a mucha gente decir: ‘Bueno, es posible que obtenga opciones múltiples’, pero nunca obtendrá los ensayos”, dijo Katz.
La IA también se ha desempeñado bien en otras pruebas estandarizadas, incluidos el SAT y el GRE, pero el examen sindical ha recibido más atención. OpenAI promocionó el grado de éxito cuando anunció su último modelo el martes.
El instructor del examen de la barra, Sean Silverman, atribuyó el énfasis en el examen de la barra a su dificultad ampliamente reconocida. La tasa de aprobación por primera vez este año en el examen de licencia de abogados fue del 78% entre los examinados que pasaron tres años en la facultad de derecho.
La gente puede estar menos impresionada al saber que una IA puede pasar una prueba diseñada para estudiantes de secundaria, como el SAT, “en lugar de la prueba para convertirse en abogado”, dijo Silverman.
© Thomson Reuters 2023