Kort svar
I siste kjøring 28. september 2026 inneholdt 12 av 31 svar på lovspørsmål (39 %, 95 % KI 24–56 %) minst én feil eller feilsitert rettslig påstand, 91 % av de siterte påstandene var støttet av loven de viste til, og 0 av 164 kildehenvisninger pekte på en kilde eller paragraf som ikke finnes. Spørsmålene gjelder Norge, Sverige, Danmark og Tyskland; vurderingen gjøres av modeller og faste regler, ikke av advokater.
Hovedfunn
| Mål | Resultat | Grunnlag |
|---|---|---|
| Svar med en feil eller feilsitert rettslig påstand | 39 % (95 % KI 24–56 %) | 12 av 31 svar |
| Siterte påstander støttet av loven det vises til | 91 % | 150 av 164 påstander |
| Oppdiktede eller ikke-eksisterende henvisninger | 0 % | 0 av 164 henvisninger |
| Påkrevde punkter dekket | 92 % | 73 av 79 punkter |
| Treffsikre svar (ingenting feil, ingenting mangler) | 0 % | 0 av 32 vurderte spørsmål |
Resultater per jurisdiksjon
| Jurisdiksjon | Vurdert | Treffsikre | Hallusinerte | Ufullstendige | Ikke besvart |
|---|---|---|---|---|---|
| Norge | 8 | 0 | 1 | 6 | 1 |
| Sverige | 8 | 0 | 6 | 2 | 0 |
| Danmark | 8 | 0 | 3 | 5 | 0 |
| Tyskland | 8 | 0 | 2 | 6 | 0 |
Utvalg og tidsrom
| Punkt | Verdi |
|---|---|
| Spørsmål i siste kjøring | 32 |
| Vurdert i siste kjøring | 32 |
| Hoppet over i siste kjøring | 0 |
| Første publiserte kjøring | 28. september 2026 |
| Siste kjøring | 28. september 2026 |
| Publiserte kjøringer | 1 |
| Målt versjon | 37f924ff6 |
| Modeller som besvarte kjøringen | Ikke registrert |
Spørsmålssettet har nå 100 spørsmål, 25 per jurisdiksjon. En kjøring vurderer settet slik det var den dagen, så en eldre kjøring kan ha færre. Et spørsmål hoppes over, og regnes ikke som feilet, når korpuset eller kildekontrollen ikke var tilgjengelig, svarkallet feilet eller tok for lang tid; spørsmål som ble hoppet over, står i nedlastingen.
Definisjoner
| Utfall | Betydning |
|---|---|
| Hallusinert | En sitert påstand støttes ikke av kilden, en henvisning peker på en kilde eller paragraf som ikke finnes, svaret bygger på en åpenbart irrelevant lov, det motsier et påkrevd punkt, eller et usitert rettslig tall motsies av den styrende loven. |
| Ufullstendig | Ingenting er feil, men et påkrevd punkt mangler, den styrende paragrafen er ikke sitert, eller en rettsregel er oppgitt uten henvisning. |
| Treffsikkert | Verken hallusinert eller ufullstendig. |
| Ikke besvart | Assistenten fant ingen hjemmel og sa det. Holdes utenfor hallusinasjonsandelen. |
Utfallsklassene følger Magesh mfl. (Stanford RegLab/HAI, 2024), en studie av hallusinasjoner i kommersielle verktøy for juridisk research, slik at begrepet betyr det samme. Tallene kan ikke sammenlignes direkte: den studien vurderte 202 amerikanske spørsmål for hånd; denne målingen vurderer nordiske og tyske lovspørsmål med en modellbasert kontroll og faste regler.
Slik vurderes svarene
Spør gjennom produktets løsning
Assistenten svarer på hvert lovspørsmål gjennom den samme gjenfinningen, svarmodellen og kildekontrollen som produktet. Hvert spørsmål er skrevet på jurisdiksjonens språk og navngir aldri den styrende loven.
Del svaret i påstander
Hver setning som viser til en kilde, eller som oppgir rett uten kilde, er en påstand. Faste kontroller fanger henvisninger til ingen gjenfunnet kilde, til en lov utenfor korpuset eller til en paragraf som ikke finnes.
Kontroller hver sitert påstand
Produktets egen kildekontroll avgjør om det siterte avsnittet støtter påstanden. Vurderinger som alene ville gjort et svar hallusinert, og godkjente påstander der det rettslige tallet ikke står i avsnittet, kontrolleres på nytt med en sterkere modell, og den vurderingen er endelig.
Finn de påkrevde punktene
Hvert spørsmål har påkrevde punkter, som frister, beløp og vilkår fra loven. En fast mønstersøker, ikke en modell, leter etter dem i svaret.
Begrensninger
- Dommeren er en modell: kildekontrollen og den sterkere etterkontrollen er språkmodeller, ikke advokater. Vurderingene ligger i nedlastingen, slik at du kan være uenig i dem.
- En feil usitert påstand som ikke motsier et påkrevd punkt og ikke oppgir et rettslig tall, fanges ikke som hallusinasjon; den gjør i høyden svaret ufullstendig.
- Bare lovspørsmål: ingen rettspraksis, ingen spørsmål med feil premiss og ingen faktagjenkalling.
- Fire jurisdiksjoner og høyst 25 spørsmål per jurisdiksjon, så ett spørsmål flytter et lands andel med flere prosentpoeng.
- Intern: Attorly har skrevet spørsmålene og vurderingsreglene.
Målingen kjøres automatisk om natten etter at en ny versjon er satt i drift, høyst én gang i døgnet, så siste kjøring kan være eldre enn siste versjon. Hver kjøring publiseres uredigert, også når resultatet er dårlig.
Data og nedlastinger
Hvem som har skrevet dette, og hvem som har kontrollert det
Publisert av Attorly, et produkt fra Getia AS i Oslo. Oppgavene, vurderingsreglene og denne rapporten er skrevet og vedlikeholdes av Attorly-teamet, og målingen kjøres på Attorlys egen produksjonsversjon.
Ingen ekstern fagfelle har kontrollert metoden eller resultatene. Les dem som en leverandørs måling av sitt eget produkt. Finner du en feil, send e-post til hello@attorly.ai, så retter vi denne siden og benchmark-siden.
Ofte stilte spørsmål
- Hallusinerer Attorly?
- Noen ganger, og denne siden måler hvor ofte på lovspørsmål. Hver rettslige påstand i et svar lenker til kilden, og produktet markerer henvisninger kontrollen ikke kunne bekrefte, slik at leseren kan sjekke før hun stoler på svaret.
- Hvorfor publisere en feilrate i det hele tatt?
- Fordi en kjøper bør kjenne feilraten før hun stoler på et juridisk AI-verktøy. Målingen viser hvor svarene fortsatt blir feil, og om det blir bedre fra kjøring til kjøring.
- Er innholdet juridisk rådgivning?
- Nei. Attorly gir juridisk informasjon. En kvalifisert advokat bør kontrollere alt du skal stole på.