Vi måler vores juridiske AI i fuld åbenhed

Svarpræcision på lovspørgsmål

Assistenten besvarer 100 lovspørgsmål — 25 hver for Norge, Sverige, Danmark og Tyskland — gennem den samme svarkæde som i produktet: søgning i de officielle lovsamlinger, svarmodellen og kildekontrollen, der kører efter hvert kildebelagt svar. Hvert spørgsmål er skrevet på jurisdiktionens eget sprog, sådan som en advokat ville formulere det, og nævner aldrig den lov, der regulerer forholdet.

Hvert svar opdeles i retlige påstande. En påstand med kildehenvisning kontrolleres mod teksten i kilden; en retlig påstand uden henvisning regnes som udokumenteret. Deterministiske kontroller fanger henvisninger, der ikke peger på nogen hentet kilde, der peger på en lov uden for korpusset, eller som angiver en paragraf, der ikke findes i den citerede lov. Hvert spørgsmål har desuden obligatoriske punkter — frister, beløb og betingelser hentet fra lovteksten — som et fast mønstertjek leder efter i svaret.

Senest kørt 28. sep. 2026 · Build 37f924ff6 · Modeller claude-haiku-4-5-20251001, claude-opus-4-8, claude-sonnet-4-6

Én kørsel indtil videre — tendensen vises efter den næste.

Spørgsmålene vises på det sprog, de blev stillet på — de er målingens kildedata.

Download resultater pr. spørgsmål (JSON)Alle svar, påstande, bedømmelser og kilder, uredigeret.

Ekstern måling: genfinding af tyske retsafgørelser (GerDaLIR)

Alle andre emner på denne side bedømmer opgaver, vi selv har skrevet, med facit vi selv har valgt. Det gør dette ikke. GerDaLIR er et offentligt tysk datasæt til juridisk genfinding, bygget af en tredjepart ud fra Open Legal Data: en forespørgsel er et afsnit fra en retsafgørelse, der henviser til en anden afgørelse, med selve henvisningen maskeret, og den henviste afgørelse er facit.

Hver opgave foretager det samme kald, som sagsfanen ”Rett” foretager for en tysk sag, med det maskerede afsnit som forespørgsel, og bestås, når en henvist afgørelse er blandt de første 10 resultater — produktets egen rangering, kildetypekvoter medregnet, ikke et rent genfindingsloft.

Udvalg: 150 af de 309 forespørgsler i testsættet, hvor vores korpus over føderale domstole rummer alle de henviste afgørelser (af 12298 testforespørgsler), trukket med fast frø. Hver opgave linker til den offentlige kilde, så den kan efterprøves.

Datasæt og licens (MIT)Sådan blev udvalget trukket

0 af 153 henviste afgørelser har vektorer i vores lager

Ingen af de tyske afgørelser havde vektorer i denne kørsel, så genfindingen var nøgleordssøgning plus LLM-omrangering. Når de indekseres, vil ændringen vise sig i tendensen ovenfor.

Uden LLM-omrangering (kun søgningens fusionsrækkefølge): 1 % (95 % KI 0–4 %) · med: 2 % · 150 opgaver bedømt i begge kørsler

Ekstern måling: genfinding af tyske lovbestemmelser (GerLeRB)

GerLeRB er en offentlig måling over tysk føderal lovgivning, bygget af en tredjepart: 367 juridiske spørgsmål, hvert knyttet til den ene lovparagraf, der besvarer det, blandt 90.798 paragraffer på gesetze-im-internet.de — kilden vores tyske lovkorpus synkroniseres fra. Spørgsmålene blev genereret med GPT‑4.1 ud fra domskontekster og derefter verificeret af jurister. Ingen hos Attorly har skrevet et spørgsmål eller valgt et facit. Kun tysk ret: den siger intet om de nordiske lande.

Hver opgave foretager det samme kald, som sagsfanen ”Rett” foretager for en tysk sag, med spørgsmålet som forespørgsel, og bestås, når facitloven er blandt de første 5 resultater — produktets egen rangering, kildetypekvoter medregnet. En strengere bedømmelse noterer, om resultatet for den lov også pegede på facitparagraffen.

Hvert af de 367 spørgsmål er en opgave (367 i dette sæt) — intet udvalg. Hvert facit linker til paragraffen på gesetze-im-internet.de, så det kan efterprøves.

Datasæt og licens (CC BY 4.0)Sådan blev opgavesættet bygget

Intet resultat i denne kørsel havde paragrafmarkør, så bedømmelsen på paragrafniveau er ikke tilgængelig; bedømmelsen på lovniveau ovenfor gælder.

Uden LLM-omrangering (kun søgningens fusionsrækkefølge): 41 % (95 % KI 35–47 %) · med: 45 % · 248 opgaver bedømt i begge kørsler

Kildehenvisninger i assistenten

Måler om assistentens kildehenvisninger holder sig til relevant ret: for hvert spørgsmål bedømmes de øverste kilder mod en liste over klart uvedkommende love. En henvisning til f.eks. søfartslovgivning i en almindelig opsigelsessag tælles som støj.

Uden relevansfilteret (topresultater ufiltrerede): 40 % (95 % KI 17–69 %) · med: 50 % · 10 opgaver bedømt i begge kørsler

Download resultater (JSON)

Nøjagtighed i kildekontrollen

Efter hvert kildebelagt svar kontrollerer assistenten hver kildehenvisning mod teksten i den kilde, den peger på, og markerer den som bekræftet, delvist understøttet eller ikke understøttet. Denne måling tester selve kontrollen på mærkede par af en påstand og et ordret lovuddrag med kendt facit.

Halvdelen af parrene er nær-træf: den rigtige lov, men forkert frist, beløb eller part – det tilfælde en slap kontrol lader passere. En fejlgodkendelse, en ikke-understøttet påstand markeret som bekræftet, er det tal der betyder noget; en fejlafvisning koster kun læseren et ekstra tjek.

Download resultater (JSON)

Redlining med playbook

Hver opgave giver vores redlining-motor en kontrakt og en playbook med positionsstiger, sådan som et advokatfirma ville gøre det. Motoren vurderer hvert vilkår og foreslår ændringer; vi kontrollerer hvert resultat mod facitsvar, der er skrevet med den gældende lov ved siden af.

Opgaverne dækker ansættelseskontrakter, NDA'er og SaaS-vilkår i Norge, Sverige, Danmark og Tyskland. Kontrakterne er syntetiske og skrevet internt, så der ikke bruges klientmateriale. Hver kørsel bruger produktionsprompten, og kontrollerne vurderes automatisk, uden at en model bedømmer en anden model.

Download resultater (JSON)

Den uafhængige VLAIR-undersøgelse rapporterer et advokatniveau på 79,7 % på sine egne redlining-opgaver. Det opgavesæt er ikke offentligt og adskiller sig fra vores, så tallet er kontekst og ikke en direkte sammenligning.