Kort svar
I de siste kjøringene (25. oktober 2026) på GerLeRB lå den styrende tyske loven blant Attorlys første 5 treff for 111 av 248 vurderte spørsmål (45 %, 95 % KI 39–51 %); på GerDaLIR lå en sitert rettsavgjørelse blant de første 10 treffene for 3 av 150 vurderte oppgaver (2 %, 95 % KI 1–6 %). Begge datasettene er laget av tredjeparter, så Attorly har verken valgt spørsmålene eller fasiten. Ingen av de tyske rettsavgjørelsene hadde vektorer i siste kjøring for rettspraksis, så den gjenfinningen brukte nøkkelordsøk pluss omrangering med en språkmodell.
GerLeRB: gjenfinning av tysk lov
| Mål | Resultat |
|---|---|
| Riktig lov blant de første 5 treffene | 45 % (95 % KI 39–51 %) |
| Vurderte spørsmål | 248 av 367 |
| Gjennomsnittlig resiprok rang | 0.41 |
| Riktig paragraf navngitt | Ikke tilgjengelig: ingen treff hadde paragrafmarkør |
| Lov (minst 5 spørsmål) | Vurdert | Riktig lov blant første 5 |
|---|---|---|
| BGB | 38 | 63 % |
| SG | 21 | 43 % |
| ZPO | 21 | 43 % |
| FGO | 17 | 35 % |
| BVerfGG | 15 | 27 % |
| MarkenG | 15 | 67 % |
| FamFG | 11 | 64 % |
| StPO | 10 | 90 % |
| AO 1977 | 9 | 100 % |
| InvStG 2018 | 8 | 13 % |
| EStG | 7 | 71 % |
| UStG 1980 | 7 | 71 % |
| Punkt | Verdi |
|---|---|
| Første publiserte kjøring | 30. september 2026 |
| Siste kjøring | 25. oktober 2026 |
| Publiserte kjøringer | 22 |
| Målt versjon | 326bbe092 |
| Modeller som besvarte kjøringen | claude-haiku-4-5-20251001 |
GerDaLIR: gjenfinning av tysk rettspraksis
| Mål | Resultat |
|---|---|
| Sitert avgjørelse blant de første 10 treffene | 2 % (95 % KI 1–6 %) |
| Vurderte oppgaver | 150 av 150 |
| Gjennomsnittlig resiprok rang | 0.01 |
| Siterte avgjørelser med vektorer i lageret | 0 av 153 |
| Punkt | Verdi |
|---|---|
| Første publiserte kjøring | 30. september 2026 |
| Siste kjøring | 23. oktober 2026 |
| Publiserte kjøringer | 20 |
| Målt versjon | df53fd80e |
| Modeller som besvarte kjøringen | claude-haiku-4-5-20251001 |
Datasettene
| Datasett | Innhold | Kilde og lisens |
|---|---|---|
| GerLeRB | 367 juridiske spørsmål, hvert koblet til den ene lovparagrafen som besvarer det, blant 90 798 paragrafer på gesetze-im-internet.de. Spørsmålene ble laget med GPT-4.1 fra sammenhenger i rettsavgjørelser og kontrollert av jurister. | Weber mfl., RVI 2025; Zenodo-post 15745124; CC BY 4.0 |
| GerDaLIR | Avsnitt fra tyske rettsavgjørelser som viser til en annen avgjørelse, med henvisningen skjult. Avgjørelsen det vises til, er fasiten. | Wrzalik og Krechel, NLLP @ EMNLP 2021; bygget på Open Legal Data; MIT-lisens |
Slik fungerer målingen
Hver oppgave gjør det samme rettskildekallet Attorly gjør for en tysk sak, med datasettets spørsmål eller skjulte avsnitt som spørring, og vurderer produktets egen rangering, inkludert kvoter per kildetype. GerLeRB bestås når riktig lov er blant de første 5 treffene; alle de 367 spørsmålene er oppgaver. GerDaLIR bestås når en sitert avgjørelse er blant de første 10 treffene.
GerLeRB-oppgavesettet: hvert spørsmål er en oppgave, uten utvalg. Da settet ble bygget 29. september 2026, ble det bekreftet at hver riktig lov fantes i Attorlys tyske lovkorpus med riktig paragraf i teksten. En fasit som senere forsvinner fra korpuset, hoppes over og regnes aldri som feilet, og oppgavesettet er versjonert, så en ny bygging blir en ny versjon og ikke en endring.
GerDaLIR-utvalg: 150 av de 309 spørringene i testdelen der Attorlys korpus fra de føderale domstolene (BGH, BAG, BVerfG) har alle avgjørelsene det vises til, av 12 298 testspørringer, trukket med det faste frøet 20260929.
Målingen kjøres automatisk hver natt på versjonen som er i drift, høyst én gang i døgnet. Hver kjøring publiseres uredigert, også når resultatet er dårlig.
Begrensninger
- Bare tysk rett: resultatene sier ingenting om Norge, Sverige, Danmark, Finland eller EU.
- GerDaLIR er et utvalg på 150 oppgaver begrenset til avgjørelser Attorly har, så det måler rangering, ikke korpusdekning.
- Gjenfinningen av rettspraksis avhenger av om de tyske avgjørelsene har vektorer; andelen som hadde det i siste kjøring, står i GerDaLIR-tabellen over.
- Bare gjenfinning: datasettene vurderer hvilke kilder som kommer tilbake, ikke svaret som skrives ut fra dem.
Data og nedlastinger
Hvem som har skrevet dette, og hvem som har kontrollert det
Publisert av Attorly, et produkt fra Getia AS i Oslo. Oppgavene, vurderingsreglene og denne rapporten er skrevet og vedlikeholdes av Attorly-teamet, og målingen kjøres på Attorlys egen produksjonsversjon.
Ingen ekstern fagfelle har kontrollert metoden eller resultatene. Les dem som en leverandørs måling av sitt eget produkt. Finner du en feil, send e-post til hello@attorly.ai, så retter vi denne siden og benchmark-siden.
Ofte stilte spørsmål
- Hvorfor bruke datasett fra tredjeparter?
- Fordi Attorly har skrevet alle de andre målingene vi publiserer. På disse to har noen andre valgt spørsmålene og fasiten.
- Er Attorly et godt valg for tysk rettspraksis?
- Døm ut fra GerDaLIR-tallet over. Det dekker avgjørelser fra tre føderale domstoler, og det publiseres uansett hva resultatet blir.