Nous mesurons notre IA juridique publiquement

Exactitude des réponses aux questions de législation

L’assistant répond à 100 questions de législation — 25 pour chacun des pays suivants : Norvège, Suède, Danemark et Allemagne — par la même chaîne de réponse que dans le produit : recherche dans les recueils législatifs officiels, modèle de réponse et contrôle des citations exécuté après chaque réponse sourcée. Chaque question est rédigée dans la langue de la juridiction, comme un avocat la formulerait, et ne nomme jamais la loi applicable.

Chaque réponse est décomposée en affirmations juridiques. Une affirmation qui cite une source est vérifiée par rapport au texte de cette source ; une affirmation juridique sans citation est comptée comme non étayée. Des contrôles déterministes détectent les citations qui ne renvoient à aucune source récupérée, qui renvoient à une loi hors du corpus ou à un article qui n’existe pas dans la loi citée. Chaque question comporte aussi des points obligatoires — délais, montants et conditions tirés du texte de loi — qu’un filtre de motifs fixe recherche dans la réponse.

Dernière exécution 28 sept. 2026 · Build 37f924ff6 · Modèles claude-haiku-4-5-20251001, claude-opus-4-8, claude-sonnet-4-6

Une seule exécution pour l’instant — la tendance apparaîtra après la prochaine.

Les questions sont affichées dans la langue dans laquelle elles ont été posées — ce sont les données sources du benchmark.

Télécharger les résultats par question (JSON)Chaque réponse, affirmation, verdict et source, sans retouche.

Benchmark externe : recherche de décisions de justice allemandes (GerDaLIR)

Tous les autres sujets de cette page notent des tâches que nous avons écrites, avec des réponses que nous avons choisies. Pas celui-ci. GerDaLIR est un jeu de données public de recherche juridique allemande, construit par un tiers à partir d’Open Legal Data : une requête est un passage d’une décision qui en cite une autre, la citation elle-même étant masquée, et la décision citée est la référence.

Chaque tâche effectue l’appel que fait l’onglet « Rett » d’un dossier pour une affaire allemande, avec le passage masqué comme requête, et réussit lorsqu’une décision citée figure parmi les 10 premiers résultats — le classement du produit lui-même, quotas par type de source compris, et non un plafond de recherche pure.

Échantillon : 150 des 309 requêtes du jeu de test dont notre corpus des juridictions fédérales contient toutes les décisions citées (sur 12298 requêtes de test), tirées avec une graine fixe. Chaque tâche renvoie à la source publique et peut donc être vérifiée.

Jeu de données et licence (MIT)Comment l’échantillon a été tiré

0 des 153 décisions citées ont des vecteurs dans notre index

Aucune décision allemande n’avait de vecteurs lors de cette exécution : la recherche était une recherche par mots-clés suivie du reclassement par LLM. Une fois les décisions vectorisées, le changement apparaîtra dans la tendance ci-dessus.

Sans reclassement par LLM (ordre de fusion de la recherche seul) : 1 % (IC 95 % 0–4 %) · avec : 2 % · 150 tâches notées dans les deux passes

Benchmark externe : recherche de dispositions légales allemandes (GerLeRB)

GerLeRB est un benchmark public sur la législation fédérale allemande, construit par un tiers : 367 questions juridiques, chacune associée au seul paragraphe de loi qui y répond, parmi 90 798 paragraphes de gesetze-im-internet.de — la source dont notre corpus de lois allemandes est synchronisé. Les questions ont été générées avec GPT‑4.1 à partir de contextes de décisions de justice, puis vérifiées par des juristes. Personne chez Attorly n’a écrit une question ni choisi une réponse de référence. Droit allemand uniquement : il ne dit rien des droits nordiques.

Chaque tâche effectue l’appel que fait l’onglet « Rett » d’un dossier pour une affaire allemande, avec la question comme requête, et réussit lorsque la loi de référence figure parmi les 5 premiers résultats — le classement du produit lui-même, quotas par type de source compris. Une note plus stricte relève si le résultat pour cette loi désignait aussi le paragraphe de référence.

Chacune des 367 questions est une tâche (367 dans ce jeu) — aucun échantillonnage. Chaque référence renvoie au paragraphe sur gesetze-im-internet.de et peut donc être vérifiée.

Jeu de données et licence (CC BY 4.0)Comment le jeu de tâches a été construit

Aucun résultat de cette exécution ne portait de marqueur de paragraphe ; la note au niveau du paragraphe n’est donc pas disponible, la note au niveau de la loi ci-dessus s’applique.

Sans reclassement par LLM (ordre de fusion de la recherche seul) : 41 % (IC 95 % 35–47 %) · avec : 45 % · 248 tâches notées dans les deux passes

Citations de sources de l’assistant

Mesure si les citations de sources de l’assistant restent dans le droit pertinent : pour chaque question, les premières sources sont évaluées face à une liste de lois clairement hors sujet. Citer p. ex. le droit du travail maritime pour un licenciement ordinaire compte comme du bruit.

Sans filtre de pertinence (premiers résultats non filtrés) : 40 % (IC 95 % 17–69 %) · avec : 50 % · 10 tâches notées dans les deux passes

Télécharger les résultats (JSON)

Précision du contrôle des sources

Après chaque réponse sourcée, l’assistant confronte chaque citation au texte de la source visée et la marque comme vérifiée, partiellement étayée ou non étayée. Ce benchmark mesure ce contrôleur lui-même sur des paires étiquetées d’une affirmation et d’un extrait de loi textuel dont la réponse est connue.

La moitié des paires sont des quasi-correspondances : la bonne loi, mais un mauvais délai, montant ou partie – le cas qu’un contrôleur laxiste laisse passer. Une fausse acceptation, une affirmation non étayée marquée vérifiée, est le chiffre qui compte ; un faux rejet ne coûte au lecteur qu’une double vérification.

Télécharger les résultats (JSON)

Redlining par playbook

Chaque tâche fournit à notre moteur de redlining un contrat et un playbook d'échelles de positions, comme le ferait un cabinet. Le moteur évalue chaque point et propose des modifications ; nous vérifions chaque résultat au regard de réponses de référence rédigées avec le texte de loi applicable sous les yeux.

Les tâches portent sur des contrats de travail, des NDA et des conditions SaaS en Norvège, en Suède, au Danemark et en Allemagne. Les contrats sont synthétiques et rédigés en interne, de sorte qu'aucun document client n'est utilisé. Chaque exécution utilise le prompt de production, et les contrôles sont évalués automatiquement, sans qu'un modèle juge un autre modèle.

Télécharger les résultats (JSON)

L'étude indépendante VLAIR fait état d'un niveau de référence des avocats de 79,7 % sur ses propres tâches de redlining. Ce jeu de tâches est privé et différent du nôtre ; ce chiffre sert donc de contexte et non de comparaison directe.