Medimos nuestra IA jurídica en público

Exactitud de las respuestas a preguntas sobre legislación

El asistente responde a 100 preguntas sobre legislación — 25 para cada uno de estos países: Noruega, Suecia, Dinamarca y Alemania — mediante la misma cadena de respuesta que el producto: búsqueda en las colecciones legislativas oficiales, el modelo de respuesta y la comprobación de citas que se ejecuta tras cada respuesta fundamentada. Cada pregunta está redactada en el idioma de su jurisdicción, tal como la plantearía un abogado, y nunca nombra la ley aplicable.

Cada respuesta se descompone en afirmaciones jurídicas. Una afirmación que cita una fuente se contrasta con el texto de esa fuente; una afirmación jurídica sin cita cuenta como no fundamentada. Unos controles deterministas detectan citas que no remiten a ninguna fuente recuperada, que remiten a una ley ajena al corpus o a un artículo que no existe en la ley citada. Cada pregunta tiene además puntos obligatorios — plazos, importes y requisitos extraídos del texto legal — que un comparador de patrones fijo busca en la respuesta.

Última ejecución 28 sept 2026 · Compilación 37f924ff6 · Modelos claude-haiku-4-5-20251001, claude-opus-4-8, claude-sonnet-4-6

Una ejecución hasta ahora — la tendencia aparecerá tras la siguiente.

Las preguntas se muestran en el idioma en que se formularon: son los datos de origen del benchmark.

Descargar resultados por pregunta (JSON)Cada respuesta, afirmación, veredicto y fuente, sin editar.

Evaluación externa: recuperación de resoluciones judiciales alemanas (GerDaLIR)

Todos los demás temas de esta página evalúan tareas que escribimos nosotros, con respuestas que elegimos nosotros. Este no. GerDaLIR es un conjunto de datos público de recuperación jurídica alemana, construido por un tercero a partir de Open Legal Data: una consulta es un pasaje de una resolución que cita otra resolución, con la cita enmascarada, y la resolución citada es la referencia.

Cada tarea hace la misma llamada que la pestaña «Rett» de un expediente para un asunto alemán, con el pasaje enmascarado como consulta, y se supera cuando una resolución citada está entre los 10 primeros resultados: la clasificación del propio producto, cuotas por tipo de fuente incluidas, no un techo de recuperación pura.

Muestra: 150 de las 309 consultas del conjunto de prueba cuyas resoluciones citadas están todas en nuestro corpus de tribunales federales (de 12298 consultas de prueba), extraídas con una semilla fija. Cada tarea enlaza con la fuente pública, así que puede comprobarse.

Conjunto de datos y licencia (MIT)Cómo se extrajo la muestra

0 de 153 resoluciones citadas tienen vectores en nuestro índice

Ninguna resolución alemana tenía vectores en esta ejecución, así que la recuperación fue búsqueda por palabras clave más reordenación por LLM. Cuando se incrusten, el cambio se verá en la tendencia de arriba.

Sin reordenación por LLM (solo el orden de fusión de la búsqueda): 1 % (IC 95 % 0–4 %) · con ella: 2 % · 150 tareas evaluadas en ambas pasadas

Evaluación externa: recuperación de normas legales alemanas (GerLeRB)

GerLeRB es una evaluación pública sobre la legislación federal alemana, construida por un tercero: 367 preguntas jurídicas, cada una emparejada con el único párrafo legal que la responde, entre 90 798 párrafos de gesetze-im-internet.de, la fuente desde la que se sincroniza nuestro corpus de leyes alemanas. Las preguntas se generaron con GPT‑4.1 a partir de contextos de resoluciones judiciales y luego fueron verificadas por juristas. Nadie en Attorly escribió una pregunta ni eligió una respuesta de referencia. Solo derecho alemán: no dice nada sobre los ordenamientos nórdicos.

Cada tarea hace la misma llamada que la pestaña «Rett» de un expediente para un asunto alemán, con la pregunta como consulta, y se supera cuando la ley de referencia está entre los 5 primeros resultados: la clasificación del propio producto, cuotas por tipo de fuente incluidas. Una valoración más estricta registra si el resultado de esa ley también señaló el párrafo de referencia.

Cada una de las 367 preguntas es una tarea (367 en este conjunto), sin muestreo. Cada referencia enlaza con el párrafo en gesetze-im-internet.de, así que puede comprobarse.

Conjunto de datos y licencia (CC BY 4.0)Cómo se construyó el conjunto de tareas

Ningún resultado de esta ejecución llevaba marcador de párrafo, así que la valoración a nivel de párrafo no está disponible; se mantiene la valoración a nivel de ley de arriba.

Sin reordenación por LLM (solo el orden de fusión de la búsqueda): 41 % (IC 95 % 35–47 %) · con ella: 45 % · 248 tareas evaluadas en ambas pasadas

Citas de fuentes del asistente

Mide si las citas de fuentes del asistente se mantienen en el derecho pertinente: para cada pregunta, las primeras fuentes se evalúan frente a una lista de leyes claramente ajenas a la materia. Citar p. ej. derecho laboral marítimo en un despido ordinario cuenta como ruido.

Sin el filtro de relevancia (primeros resultados sin filtrar): 40 % (IC 95 % 17–69 %) · con él: 50 % · 10 tareas evaluadas en ambas pasadas

Descargar resultados (JSON)

Precisión de la comprobación de fuentes

Tras cada respuesta con fuentes, el asistente contrasta cada cita con el texto de la fuente a la que apunta y la marca como verificada, parcialmente respaldada o sin respaldo. Este benchmark mide al propio verificador con pares etiquetados de una afirmación y un extracto literal de ley con respuesta conocida.

La mitad de los pares son casi aciertos: la ley correcta pero el plazo, importe o parte equivocados – el caso que un verificador permisivo deja pasar. Una aceptación falsa, una afirmación sin respaldo marcada como verificada, es la cifra que importa; un rechazo falso solo cuesta al lector una segunda comprobación.

Descargar resultados (JSON)

Redlining con playbooks

Cada tarea proporciona a nuestro motor de redlining un contrato y un playbook de escalas de posiciones, tal como lo haría un despacho. El motor evalúa cada término y propone cambios; comprobamos cada resultado frente a respuestas de referencia redactadas con la norma aplicable a la vista.

Las tareas abarcan contratos de trabajo, NDA y condiciones SaaS en Noruega, Suecia, Dinamarca y Alemania. Los contratos son sintéticos y se redactan internamente, por lo que no se utiliza material de clientes. Cada ejecución usa el prompt de producción, y las comprobaciones se evalúan automáticamente, sin que un modelo juzgue a otro modelo.

Descargar resultados (JSON)

El estudio independiente VLAIR informa de una referencia de abogados del 79,7 % en sus propias tareas de redlining. Ese conjunto de tareas es privado y distinto del nuestro, por lo que la cifra sirve de contexto, no de comparación directa.