Kort svar
I siste kjøring 21. oktober 2026 fant Attorlys juridiske research alle lovene som regulerer forholdet i 36 av 37 vurderte oppgaver (97 %, 95 % KI 86–100 %) i Norge, Sverige, Danmark og Tyskland. Målingen har kjørt 116 ganger siden 4. august 2026. Den er en intern test av lovgjenfinning, ikke av rettspraksis eller utkast.
Resultater per jurisdiksjon
| Jurisdiksjon | Vurderte oppgaver | Bestått | Andel bestått | 95 % KI |
|---|---|---|---|---|
| Norge | 11 | 11 | 100 % | 74–100 % |
| Sverige | 9 | 8 | 89 % | 57–98 % |
| Danmark | 9 | 9 | 100 % | 70–100 % |
| Tyskland | 8 | 8 | 100 % | 68–100 % |
| Alle fire | 37 | 36 | 97 % | 86–100 % |
Med 8 til 11 vurderte oppgaver per jurisdiksjon flytter én oppgave et lands andel med 9 til 13 prosentpoeng. To andeler med overlappende intervaller er ikke målbart forskjellige.
Utvalg og tidsrom
| Punkt | Verdi |
|---|---|
| Oppgaver i settet | 37 |
| Vurdert i siste kjøring | 37 |
| Hoppet over i siste kjøring | 0 |
| Første publiserte kjøring | 4. august 2026 |
| Siste kjøring | 21. oktober 2026 |
| Publiserte kjøringer | 116 |
| Målt versjon | f6cb895e2 |
| Modeller som besvarte kjøringen | claude-haiku-4-5-20251001 |
Målingen kjøres automatisk hver natt på versjonen som er i drift, høyst én gang i døgnet. Hver kjøring publiseres uredigert, også når resultatet er dårlig.
Hva som regnes som bestått
- Styrende rett dukker opp: hver lov som regulerer forholdet, finnes blant de gjenfunne kildene.
- Støy holdes ute: kjente lover som ser relevante ut, men ikke er det, dukker ikke opp.
- Rangeringsdisiplin: for utvalgte oppgaver ligger den styrende loven øverst i resultatene.
Slik fungerer målingen
Hver oppgave beskriver et rettslig forhold slik en klient eller advokat ville gjort, på jurisdiksjonens eget språk, og sendes gjennom det samme kildeforslagskallet som produktet bruker. Spørringen navngir aldri den styrende loven, fordi det ville gjort gjenfinningen triviell.
Hver lov en oppgave forventer, ble kontrollert mot det offisielle korpuset før oppgaven ble lagt til, så et feilresultat måler gjenfinning og ikke en manglende lov. Korpusene er Lovdata (Norge), Riksdagen (Sverige), Retsinformation (Danmark) og Gesetze im Internet (Tyskland).
En oppgave hoppes over, og regnes aldri som feilet, når vektorlageret ikke svarer eller språkmodelltrinnet falt tilbake underveis, fordi kjøringen da målte en annen løsning. Hver andel vises med et 95 % Wilson-konfidensintervall.
Begrensninger
- Intern: Attorly har skrevet oppgavene og vurderingsreglene. Det er ikke en uavhengig evaluering.
- Lite utvalg: noen titalls oppgaver totalt, så sammenlign intervaller fremfor enkelttall.
- Bare lover: den sier ingenting om rettspraksis, kontraktsgjennomgang, utkast eller spørsmål utenfor de fire korpusene.
- Fire jurisdiksjoner: Finland, EU og de andre landene Attorly dekker, er ikke med i dette settet.
- Ikke sammenlignbar: ingen andre juridiske AI-verktøy har kjørt disse oppgavene, så andelen er ikke en rangering mot konkurrenter.
Data og nedlastinger
Hvem som har skrevet dette, og hvem som har kontrollert det
Publisert av Attorly, et produkt fra Getia AS i Oslo. Oppgavene, vurderingsreglene og denne rapporten er skrevet og vedlikeholdes av Attorly-teamet, og målingen kjøres på Attorlys egen produksjonsversjon.
Ingen ekstern fagfelle har kontrollert metoden eller resultatene. Les dem som en leverandørs måling av sitt eget produkt. Finner du en feil, send e-post til hello@attorly.ai, så retter vi denne siden og benchmark-siden.
Ofte stilte spørsmål
- Er dette en uavhengig evaluering?
- Nei. Attorly har skrevet oppgavene og vurderingsreglene og publiserer hver kjøring, også feilene, slik at du kan kontrollere arbeidet.
- Kan jeg sammenligne andelen med andre juridiske AI-verktøy?
- Ikke direkte. Andre verktøy har ikke kjørt disse oppgavene. Bruk den til å se hvordan Attorly utvikler seg over tid og per land.
- Hvor ofte oppdateres den?
- Hver natt på versjonen i drift, høyst én gang i døgnet. Siden viser alltid siste kjøring.