Medimos a nossa IA jurídica em público

Exatidão das respostas a questões legislativas

O assistente responde a 100 questões legislativas — 25 para cada um destes países: Noruega, Suécia, Dinamarca e Alemanha — através da mesma cadeia de resposta do produto: pesquisa nas coletâneas legislativas oficiais, o modelo de resposta e a verificação de citações executada após cada resposta fundamentada. Cada questão está redigida na língua da respetiva jurisdição, como um advogado a formularia, e nunca indica a lei aplicável.

Cada resposta é decomposta em afirmações jurídicas. Uma afirmação que cita uma fonte é confrontada com o texto dessa fonte; uma afirmação jurídica sem citação conta como não fundamentada. Controlos determinísticos detetam citações que não remetem para nenhuma fonte recuperada, que remetem para uma lei fora do corpus ou para um artigo que não existe na lei citada. Cada questão tem ainda pontos obrigatórios — prazos, montantes e requisitos retirados do texto legal — que um comparador de padrões fixo procura na resposta.

Última execução 28 de set. de 2026 · Compilação 37f924ff6 · Modelos claude-haiku-4-5-20251001, claude-opus-4-8, claude-sonnet-4-6

Uma execução até agora — a tendência aparece após a próxima.

As questões são apresentadas na língua em que foram colocadas — são os dados de origem do benchmark.

Descarregar resultados por questão (JSON)Cada resposta, afirmação, veredicto e fonte, sem edição.

Avaliação externa: recuperação de decisões judiciais alemãs (GerDaLIR)

Todos os outros temas desta página avaliam tarefas que nós escrevemos, com respostas que nós escolhemos. Este não. O GerDaLIR é um conjunto de dados público de recuperação jurídica alemã, construído por terceiros a partir do Open Legal Data: uma consulta é uma passagem de uma decisão que cita outra decisão, com a citação mascarada, e a decisão citada é a referência.

Cada tarefa faz a mesma chamada que o separador «Rett» de um processo faz para um caso alemão, com a passagem mascarada como consulta, e passa quando uma decisão citada está entre os 10 primeiros resultados — a ordenação do próprio produto, quotas por tipo de fonte incluídas, não um teto de recuperação pura.

Amostra: 150 das 309 consultas do conjunto de teste cujas decisões citadas o nosso corpus de tribunais federais contém na totalidade (de 12298 consultas de teste), extraídas com uma semente fixa. Cada tarefa liga à fonte pública, pelo que pode ser verificada.

Conjunto de dados e licença (MIT)Como a amostra foi extraída

0 de 153 decisões citadas têm vetores no nosso índice

Nenhuma decisão alemã tinha vetores nesta execução, pelo que a recuperação foi pesquisa por palavras-chave mais reordenação por LLM. Quando forem incorporadas, a mudança aparecerá na tendência acima.

Sem reordenação por LLM (apenas a ordem de fusão da pesquisa): 1 % (IC 95 % 0–4 %) · com ela: 2 % · 150 tarefas avaliadas em ambas as passagens

Avaliação externa: recuperação de normas legais alemãs (GerLeRB)

O GerLeRB é uma avaliação pública sobre a legislação federal alemã, construída por terceiros: 367 perguntas jurídicas, cada uma associada ao único parágrafo legal que a responde, entre 90 798 parágrafos de gesetze-im-internet.de — a fonte a partir da qual o nosso corpus de leis alemãs é sincronizado. As perguntas foram geradas com GPT‑4.1 a partir de contextos de decisões judiciais e depois verificadas por juristas. Ninguém na Attorly escreveu uma pergunta nem escolheu uma referência. Apenas direito alemão: nada diz sobre os ordenamentos nórdicos.

Cada tarefa faz a mesma chamada que o separador «Rett» de um processo faz para um caso alemão, com a pergunta como consulta, e passa quando a lei de referência está entre os 5 primeiros resultados — a ordenação do próprio produto, quotas por tipo de fonte incluídas. Uma avaliação mais rigorosa regista se o resultado dessa lei também indicou o parágrafo de referência.

Cada uma das 367 perguntas é uma tarefa (367 neste conjunto) — sem amostragem. Cada referência liga ao parágrafo em gesetze-im-internet.de, pelo que pode ser verificada.

Conjunto de dados e licença (CC BY 4.0)Como o conjunto de tarefas foi construído

Nenhum resultado desta execução tinha marcador de parágrafo, pelo que a avaliação ao nível do parágrafo não está disponível; mantém-se a avaliação ao nível da lei acima.

Sem reordenação por LLM (apenas a ordem de fusão da pesquisa): 41 % (IC 95 % 35–47 %) · com ela: 45 % · 248 tarefas avaliadas em ambas as passagens

Citações de fontes do assistente

Mede se as citações de fontes do assistente se mantêm no direito pertinente: para cada pergunta, as primeiras fontes são avaliadas face a uma lista de leis claramente alheias à matéria. Citar p. ex. direito do trabalho marítimo num despedimento comum conta como ruído.

Sem o filtro de relevância (primeiros resultados sem filtro): 40 % (IC 95 % 17–69 %) · com ele: 50 % · 10 tarefas avaliadas em ambas as passagens

Descarregar resultados (JSON)

Precisão da verificação de fontes

Após cada resposta com fontes, o assistente confronta cada citação com o texto da fonte para que aponta e marca-a como verificada, parcialmente sustentada ou não sustentada. Este benchmark mede o próprio verificador em pares rotulados de uma afirmação e um excerto literal de lei com resposta conhecida.

Metade dos pares são quase-acertos: a lei certa, mas o prazo, o montante ou a parte errados – o caso que um verificador permissivo deixa passar. Uma aceitação falsa, uma afirmação não sustentada marcada como verificada, é o número que importa; uma rejeição falsa custa ao leitor apenas uma segunda verificação.

Descarregar resultados (JSON)

Redlining com playbooks

Cada tarefa fornece ao nosso motor de redlining um contrato e um playbook de escalas de posições, tal como faria um escritório. O motor avalia cada termo e propõe alterações; verificamos cada resultado face a respostas de referência redigidas com a lei aplicável ao lado.

As tarefas abrangem contratos de trabalho, NDA e termos SaaS na Noruega, Suécia, Dinamarca e Alemanha. Os contratos são sintéticos e redigidos internamente, pelo que não é utilizado material de clientes. Cada execução utiliza o prompt de produção e as verificações são avaliadas automaticamente, sem que um modelo avalie outro modelo.

Descarregar resultados (JSON)

O estudo independente VLAIR indica uma referência de 79,7% para advogados nas suas próprias tarefas de redlining. Esse conjunto de tarefas é privado e diferente do nosso, pelo que o valor serve de contexto e não de comparação direta.