Vi måler vår juridiske AI i full åpenhet

Svarpresisjon på lovspørsmål

Assistenten besvarer 100 lovspørsmål — 25 hver for Norge, Sverige, Danmark og Tyskland — gjennom den samme svarkjeden som i produktet: søk i de offisielle lovsamlingene, svarmodellen og kildekontrollen som kjører etter hvert kildebelagt svar. Hvert spørsmål er skrevet på jurisdiksjonens eget språk, slik en advokat ville formulert det, og nevner aldri loven som regulerer forholdet.

Hvert svar deles opp i rettslige påstander. En påstand med kildehenvisning kontrolleres mot teksten i kilden; en rettslig påstand uten henvisning regnes som udokumentert. Deterministiske kontroller fanger opp henvisninger som ikke peker på noen hentet kilde, som peker på en lov utenfor korpuset, eller som viser til en paragraf som ikke finnes i den siterte loven. Hvert spørsmål har i tillegg obligatoriske punkter — frister, beløp og vilkår hentet fra lovteksten — som en fast mønstersjekk leter etter i svaret.

Sist kjørt 28. sep. 2026 · Bygg 37f924ff6 · Modeller claude-haiku-4-5-20251001, claude-opus-4-8, claude-sonnet-4-6

Én kjøring så langt — trenden vises etter den neste.

Spørsmålene vises på språket de ble stilt på — de er målingens kildedata.

Last ned resultater per spørsmål (JSON)Alle svar, påstander, vurderinger og kilder, uredigert.

Ekstern måling: gjenfinning av tyske rettsavgjørelser (GerDaLIR)

Alle de andre emnene på denne siden vurderer oppgaver vi selv har skrevet, med fasit vi selv har valgt. Dette gjør ikke det. GerDaLIR er et offentlig tysk datasett for juridisk gjenfinning, laget av en tredjepart fra Open Legal Data: en spørring er et avsnitt fra en rettsavgjørelse som henviser til en annen avgjørelse, med selve henvisningen maskert, og den henviste avgjørelsen er fasit.

Hver oppgave gjør det samme kallet som saksfanen «Rett» gjør for en tysk sak, med det maskerte avsnittet som spørring, og bestås når en henvist avgjørelse er blant de første 10 treffene — produktets egen rangering, med kildetypekvoter, ikke et rent gjenfinningstak.

Utvalg: 150 av de 309 spørringene i testsettet der korpuset vårt over føderale domstoler har alle de henviste avgjørelsene (av 12298 testspørringer), trukket med fast frø. Hver oppgave lenker til den offentlige kilden, så den kan etterprøves.

Datasett og lisens (MIT)Slik ble utvalget trukket

0 av 153 henviste avgjørelser har vektorer i lageret vårt

Ingen av de tyske avgjørelsene hadde vektorer i denne kjøringen, så gjenfinningen var nøkkelordsøk pluss LLM-omrangering. Når de blir indeksert, vil endringen vises i trenden over.

Uten LLM-omrangering (bare søkets fusjonsrekkefølge): 1 % (95 % KI 0–4 %) · med: 2 % · 150 oppgaver vurdert i begge kjøringer

Ekstern måling: gjenfinning av tyske lovbestemmelser (GerLeRB)

GerLeRB er en offentlig måling over tysk føderal lovgivning, laget av en tredjepart: 367 juridiske spørsmål, hvert knyttet til den ene lovparagrafen som besvarer det, blant 90 798 paragrafer på gesetze-im-internet.de — kilden vårt tyske lovkorpus synkroniseres fra. Spørsmålene ble generert med GPT‑4.1 fra domskontekster og deretter verifisert av jurister. Ingen hos Attorly har skrevet et spørsmål eller valgt en fasit. Bare tysk rett: den sier ingenting om de nordiske landene.

Hver oppgave gjør det samme kallet som saksfanen «Rett» gjør for en tysk sak, med spørsmålet som spørring, og bestås når fasit-loven er blant de første 5 treffene — produktets egen rangering, med kildetypekvoter. En strengere vurdering registrerer om treffet for den loven også pekte på fasit-paragrafen.

Hvert av de 367 spørsmålene er en oppgave (367 i dette settet) — ingen utvalg. Hver fasit lenker til paragrafen på gesetze-im-internet.de, så den kan etterprøves.

Datasett og lisens (CC BY 4.0)Slik ble oppgavesettet bygget

Ingen treff i denne kjøringen hadde paragrafmarkør, så vurderingen på paragrafnivå er ikke tilgjengelig; vurderingen på lovnivå over gjelder.

Uten LLM-omrangering (bare søkets fusjonsrekkefølge): 41 % (95 % KI 35–47 %) · med: 45 % · 248 oppgaver vurdert i begge kjøringer

Kildehenvisninger i assistenten

Måler om assistentens kildehenvisninger holder seg til relevant rett: for hvert spørsmål vurderes de øverste kildene mot en liste over klart utenforliggende lover. En henvisning til f.eks. sjøfartslovgivning i en ordinær oppsigelsessak telles som støy.

Uten relevansfilteret (topptreff ufiltrert): 40 % (95 % KI 17–69 %) · med: 50 % · 10 oppgaver vurdert i begge kjøringer

Last ned resultater (JSON)

Nøyaktighet i kildekontrollen

Etter hvert kildebelagte svar kontrollerer assistenten hver kildehenvisning mot teksten i kilden den peker på, og merker den som bekreftet, delvis støttet eller ikke støttet. Denne målingen tester selve kontrollen på merkede par av en påstand og et ordrett lovutdrag med kjent fasit.

Halvparten av parene er nesten-treff: riktig lov, men feil frist, beløp eller part – tilfellet en slapp kontroll slipper gjennom. En feilgodkjenning, en ustøttet påstand merket som bekreftet, er tallet som betyr noe; en feilavvisning koster bare leseren en ekstra sjekk.

Last ned resultater (JSON)

Rødmarkering med playbook

Hver oppgave gir rødmarkeringsmotoren vår en kontrakt og en playbook med posisjonsstiger, slik et advokatfirma ville gjort. Motoren vurderer hvert vilkår og foreslår endringer; vi kontrollerer hvert resultat mot fasitsvar skrevet med den gjeldende loven ved siden av.

Oppgavene dekker arbeidsavtaler, NDA-er og SaaS-vilkår i Norge, Sverige, Danmark og Tyskland. Kontraktene er syntetiske og skrevet internt, slik at ikke noe klientmateriale brukes. Hver kjøring bruker produksjonsprompten, og kontrollene vurderes automatisk uten at en modell bedømmer en annen modell.

Last ned resultater (JSON)

Den uavhengige VLAIR-studien rapporterer et advokatnivå på 79,7 % på sine egne rødmarkeringsoppgaver. Det oppgavesettet er ikke offentlig og skiller seg fra vårt, så tallet er ment som kontekst, ikke som en direkte sammenligning.