Kakovost naše pravne umetne inteligence merimo javno

Natančnost odgovorov na vprašanja o predpisih

Pomočnik odgovori na 100 vprašanj o predpisih — po 25 za Norveško, Švedsko, Dansko in Nemčijo — prek iste verige odgovarjanja kot v izdelku: iskanja po uradnih zbirkah predpisov, modela za odgovore in preverjanja navedb, ki se izvede po vsakem odgovoru, podprtem z viri. Vsako vprašanje je napisano v jeziku jurisdikcije, tako kot bi ga oblikoval odvetnik, in nikoli ne navede upoštevnega zakona.

Vsak odgovor se razstavi na pravne trditve. Trditev, ki navaja vir, se preveri glede na besedilo tega vira; pravna trditev brez navedbe šteje kot neutemeljena. Deterministična preverjanja ujamejo navedbe, ki ne kažejo na noben pridobljen vir, ki kažejo na zakon zunaj korpusa ali na določbo, ki v navedenem zakonu ne obstaja. Vsako vprašanje ima poleg tega obvezne točke — roke, zneske in pogoje iz besedila zakona —, ki jih v odgovoru išče stalno ujemanje vzorcev.

Zadnji zagon 28. sep. 2026 · Gradnja 37f924ff6 · Modeli claude-haiku-4-5-20251001, claude-opus-4-8, claude-sonnet-4-6

Doslej en zagon — trend se prikaže po naslednjem.

Vprašanja so prikazana v jeziku, v katerem so bila zastavljena — so izvorni podatki meritve.

Prenesi rezultate po vprašanjih (JSON)Vsak odgovor, trditev, ocena in vir, brez urejanja.

Zunanje merilo: iskanje nemških sodnih odločb (GerDaLIR)

Vse druge teme na tej strani ocenjujejo naloge, ki smo jih napisali sami, s pravilnimi odgovori, ki smo jih izbrali sami. Ta ne. GerDaLIR je javni nemški nabor podatkov za pravno iskanje, ki ga je tretja oseba zgradila iz Open Legal Data: poizvedba je odlomek sodne odločbe, ki navaja drugo odločbo, s prikritim sklicem, navedena odločba pa je pravilni odgovor.

Vsaka naloga opravi isti klic, kot ga zavihek »Rett« spisa opravi za nemško zadevo, s prikritim odlomkom kot poizvedbo, in je uspešna, ko je navedena odločba med prvimi 10 zadetki — lastna razvrstitev izdelka, vključno s kvotami po vrsti vira, ne zgolj zgornja meja iskanja.

Vzorec: 150 od 309 poizvedb iz testnega dela, katerih vse navedene odločbe vsebuje naš korpus zveznih sodišč (od 12298 testnih poizvedb), izbranih s fiksnim semenom. Vsaka naloga se povezuje na javni vir, zato jo je mogoče preveriti.

Nabor podatkov in licenca (MIT)Kako je bil vzorec izbran

0 od 153 navedenih odločb ima vektorje v našem indeksu

Nobena nemška odločba v tem zagonu ni imela vektorjev, zato je bilo iskanje iskanje po ključnih besedah z razvrščanjem LLM. Ko bodo vgrajene, se bo sprememba pokazala v trendu zgoraj.

Brez razvrščanja z LLM (samo fuzijski vrstni red iskanja): 1 % (95 % IZ 0–4 %) · z njim: 2 % · 150 nalog ocenjenih v obeh prehodih

Zunanje merilo: iskanje nemških zakonskih določb (GerLeRB)

GerLeRB je javno merilo nad nemško zvezno zakonodajo, ki ga je zgradila tretja oseba: 367 pravnih vprašanj, vsako povezano z enim samim zakonskim paragrafom, ki nanj odgovarja, izmed 90.798 paragrafov na gesetze-im-internet.de — viru, iz katerega se sinhronizira naš korpus nemških zakonov. Vprašanja so bila ustvarjena z GPT‑4.1 iz konteksta sodnih odločb in nato preverjena s strani pravnikov. Nihče pri Attorly ni napisal vprašanja ali izbral pravilnega odgovora. Samo nemško pravo: o nordijskih pravnih redih ne pove ničesar.

Vsaka naloga opravi isti klic, kot ga zavihek »Rett« spisa opravi za nemško zadevo, z vprašanjem kot poizvedbo, in je uspešna, ko je referenčni zakon med prvimi 5 zadetki — lastna razvrstitev izdelka, vključno s kvotami po vrsti vira. Strožja ocena zabeleži, ali je zadetek za ta zakon navedel tudi referenčni paragraf.

Vsako od 367 vprašanj je naloga (367 v tem naboru) — brez vzorčenja. Vsak referenčni odgovor se povezuje na paragraf na gesetze-im-internet.de, zato ga je mogoče preveriti.

Nabor podatkov in licenca (CC BY 4.0)Kako je bil nabor nalog zgrajen

Noben zadetek v tem zagonu ni imel oznake paragrafa, zato ocena na ravni paragrafa ni na voljo; velja ocena na ravni zakona zgoraj.

Brez razvrščanja z LLM (samo fuzijski vrstni red iskanja): 41 % (95 % IZ 35–47 %) · z njim: 45 % · 248 nalog ocenjenih v obeh prehodih

Navedbe virov pomočnika

Meri, ali navedbe virov pomočnika ostajajo pri upoštevnem pravu: pri vsakem vprašanju se najvišji viri ocenijo glede na seznam očitno nepovezanih zakonov. Navedba npr. pomorskega delovnega prava pri običajni odpovedi šteje kot šum.

Brez filtra relevantnosti (najboljši zadetki nefiltrirani): 40 % (95 % IZ 17–69 %) · z njim: 50 % · 10 nalog ocenjenih v obeh prehodih

Prenesi rezultate (JSON)

Natančnost preverjanja virov

Po vsakem odgovoru z viri pomočnik preveri vsako navedbo glede na besedilo vira, na katerega kaže, in jo označi kot potrjeno, delno podprto ali nepodprto. Ta merilo meri sam preverjevalnik na označenih parih trditve in dobesednega izvlečka zakona z znanim odgovorom.

Polovica parov so skorajšnji zadetki: pravi zakon, a napačen rok, znesek ali stranka – primer, ki ga popustljiv preverjevalnik spusti skozi. Napačna potrditev, nepodprta trditev označena kot potrjena, je številka, ki šteje; napačna zavrnitev bralca stane le dodatno preverjanje.

Prenesi rezultate (JSON)

Označevanje popravkov s priročnikom

Vsaka naloga našemu mehanizmu za označevanje popravkov poda pogodbo in priročnik z lestvicami položajev, tako kot bi to storila odvetniška pisarna. Mehanizem oceni vsak pogoj in predlaga spremembe; vsak rezultat preverimo glede na referenčne odgovore, pripravljene ob upoštevanju veljavnega predpisa.

Naloge zajemajo pogodbe o zaposlitvi, NDA in pogoje SaaS na Norveškem, Švedskem, Danskem in v Nemčiji. Pogodbe so sintetične in pripravljene interno, zato se ne uporablja gradivo strank. Vsak zagon uporablja produkcijski poziv, preverjanja pa se ocenjujejo samodejno, ne da bi en model ocenjeval drugega.

Prenesi rezultate (JSON)

Neodvisna študija VLAIR za odvetnike navaja izhodiščno vrednost 79,7 % pri lastnih nalogah označevanja popravkov. Ta nabor nalog ni javen in se razlikuje od našega, zato je podatek le kontekst, ne neposredna primerjava.