Wij meten onze juridische AI in het openbaar

Antwoordnauwkeurigheid bij wetsvragen

De assistent beantwoordt 100 wetsvragen — telkens 25 voor Noorwegen, Zweden, Denemarken en Duitsland — via dezelfde antwoordketen als in het product: zoeken in de officiële wettenverzamelingen, het antwoordmodel en de broncontrole die na elk onderbouwd antwoord draait. Elke vraag is geschreven in de taal van de jurisdictie, zoals een advocaat haar zou stellen, en noemt nooit de toepasselijke wet.

Elk antwoord wordt opgesplitst in juridische beweringen. Een bewering met bronvermelding wordt getoetst aan de tekst van die bron; een juridische bewering zonder bronvermelding telt als ononderbouwd. Deterministische controles vangen bronvermeldingen op die naar geen enkele opgehaalde bron verwijzen, naar een wet buiten het corpus, of naar een artikel dat in de aangehaalde wet niet bestaat. Elke vraag heeft daarnaast verplichte punten — termijnen, bedragen en voorwaarden uit de wettekst — waarnaar een vaste patroonvergelijking in het antwoord zoekt.

Laatst uitgevoerd 28 sep 2026 · Build 37f924ff6 · Modellen claude-haiku-4-5-20251001, claude-opus-4-8, claude-sonnet-4-6

Tot nu toe één run — de trend verschijnt na de volgende.

Vragen worden getoond in de taal waarin ze zijn gesteld — ze zijn de brongegevens van de benchmark.

Resultaten per vraag downloaden (JSON)Elk antwoord, elke bewering, elk oordeel en elke bron, onbewerkt.

Externe benchmark: het terugvinden van Duitse rechterlijke uitspraken (GerDaLIR)

Elk ander onderwerp op deze pagina beoordeelt taken die wij zelf schreven, met een antwoordsleutel die wij zelf kozen. Dit onderwerp niet. GerDaLIR is een openbare Duitse dataset voor juridische informatievinding, door een derde gebouwd uit Open Legal Data: een zoekvraag is een passage uit een uitspraak die naar een andere uitspraak verwijst, met de verwijzing zelf gemaskeerd, en de aangehaalde uitspraak is de sleutel.

Elke taak doet dezelfde aanroep als het dossiertabblad “Rett” voor een Duitse zaak, met de gemaskeerde passage als zoekvraag, en slaagt wanneer een aangehaalde uitspraak bij de eerste 10 resultaten zit — de eigen rangschikking van het product, brontypequota inbegrepen, geen zuiver terugvindplafond.

Steekproef: 150 van de 309 testvragen waarvan ons corpus van federale rechters elke aangehaalde uitspraak bevat (van 12298 testvragen), getrokken met een vast seed. Elke taak linkt naar de openbare bron en is zo te controleren.

Dataset en licentie (MIT)Hoe de steekproef is getrokken

0 van 153 aangehaalde uitspraken hebben vectoren in onze opslag

Geen van de Duitse uitspraken had vectoren in deze run, dus het terugvinden was trefwoordzoeken plus LLM-herrangschikking. Zodra ze zijn ingebed, is de verandering te zien in de trend hierboven.

Zonder LLM-herrangschikking (alleen de fusievolgorde van de zoekopdracht): 1% (95% BI 0–4%) · met: 2% · 150 taken in beide runs beoordeeld

Externe benchmark: het terugvinden van Duitse wetsbepalingen (GerLeRB)

GerLeRB is een openbare benchmark over Duitse federale wetgeving, gebouwd door een derde: 367 juridische vragen, elk gekoppeld aan de ene wetsparagraaf die haar beantwoordt, uit 90.798 paragrafen op gesetze-im-internet.de — de bron waaruit ons Duitse wettencorpus wordt gesynchroniseerd. De vragen zijn met GPT‑4.1 gegenereerd uit context van rechterlijke uitspraken en daarna door juristen geverifieerd. Niemand bij Attorly schreef een vraag of koos een antwoordsleutel. Alleen Duits recht: over de Noordse rechtsstelsels zegt het niets.

Elke taak doet dezelfde aanroep als het dossiertabblad “Rett” voor een Duitse zaak, met de vraag als zoekvraag, en slaagt wanneer de sleutelwet bij de eerste 5 resultaten zit — de eigen rangschikking van het product, brontypequota inbegrepen. Een strengere beoordeling noteert of het resultaat voor die wet ook de sleutelparagraaf noemde.

Elk van de 367 vragen is een taak (367 in deze set) — geen steekproef. Elke sleutel linkt naar de paragraaf op gesetze-im-internet.de en is zo te controleren.

Dataset en licentie (CC BY 4.0)Hoe de takenset is gebouwd

Geen resultaat in deze run droeg een paragraafmarkering, dus de beoordeling op paragraafniveau is niet beschikbaar; de beoordeling op wetsniveau hierboven geldt.

Zonder LLM-herrangschikking (alleen de fusievolgorde van de zoekopdracht): 41% (95% BI 35–47%) · met: 45% · 248 taken in beide runs beoordeeld

Bronvermeldingen van de assistent

Meet of de bronvermeldingen van de assistent bij het relevante recht blijven: per vraag worden de bovenste bronnen beoordeeld tegen een lijst van duidelijk niet ter zake doende wetten. Het aanhalen van bijv. maritiem arbeidsrecht bij een gewoon ontslag telt als ruis.

Zonder relevantiefilter (topresultaten ongefilterd): 40% (95% BI 17–69%) · met: 50% · 10 taken in beide runs beoordeeld

Resultaten downloaden (JSON)

Nauwkeurigheid van de broncontrole

Na elk onderbouwd antwoord toetst de assistent elke bronvermelding aan de tekst van de bron waarnaar ze verwijst en markeert ze als geverifieerd, gedeeltelijk onderbouwd of niet onderbouwd. Deze benchmark meet de controleur zelf op gelabelde paren van een bewering en een letterlijk wetsfragment met een bekend antwoord.

De helft van de paren zijn bijna-treffers: de juiste wet, maar de verkeerde termijn, het verkeerde bedrag of de verkeerde partij – het geval dat een milde controleur doorlaat. Een onterechte goedkeuring, een niet-onderbouwde bewering als geverifieerd gemarkeerd, is het getal dat telt; een onterechte afwijzing kost de lezer alleen een extra controle.

Resultaten downloaden (JSON)

Redlining met playbooks

Elke taak geeft onze redlining-engine een contract en een playbook met positieladders, zoals een advocatenkantoor dat zou doen. De engine beoordeelt elk onderwerp en stelt wijzigingen voor; wij toetsen elke uitkomst aan modelantwoorden die zijn opgesteld met de toepasselijke wet ernaast.

De taken omvatten arbeidsovereenkomsten, NDA's en SaaS-voorwaarden in Noorwegen, Zweden, Denemarken en Duitsland. De contracten zijn synthetisch en intern geschreven, zodat er geen cliëntmateriaal wordt gebruikt. Elke run gebruikt de productieprompt en de controles worden automatisch beoordeeld, zonder dat een model een ander model beoordeelt.

Resultaten downloaden (JSON)

Het onafhankelijke VLAIR-onderzoek rapporteert een referentiescore voor advocaten van 79,7% op zijn eigen redlining-taken. Die takenset is niet openbaar en verschilt van de onze, dus het cijfer dient als context, niet als rechtstreekse vergelijking.