Kvalitetu naše pravne AI mjerimo javno

Točnost odgovora na pitanja o propisima

Asistent odgovara na 100 pitanja o propisima — po 25 za Norvešku, Švedsku, Dansku i Njemačku — kroz isti lanac odgovaranja kao u proizvodu: pretraživanje službenih zbirki propisa, model za odgovore i provjeru citata koja se pokreće nakon svakog odgovora utemeljenog na izvorima. Svako je pitanje napisano na jeziku jurisdikcije, onako kako bi ga oblikovao odvjetnik, i nikada ne navodi mjerodavni zakon.

Svaki se odgovor rastavlja na pravne tvrdnje. Tvrdnja koja citira izvor provjerava se prema tekstu tog izvora; pravna tvrdnja bez citata računa se kao neutemeljena. Determinističke provjere hvataju citate koji ne upućuju ni na jedan dohvaćeni izvor, koji upućuju na zakon izvan korpusa ili na odredbu koja ne postoji u citiranom zakonu. Svako pitanje ima i obvezne točke — rokove, iznose i uvjete preuzete iz teksta zakona — koje u odgovoru traži fiksna usporedba uzoraka.

Zadnje izvođenje 28. ruj 2026. · Verzija 37f924ff6 · Modeli claude-haiku-4-5-20251001, claude-opus-4-8, claude-sonnet-4-6

Zasad jedno pokretanje — trend se prikazuje nakon sljedećeg.

Pitanja se prikazuju na jeziku na kojem su postavljena — to su izvorni podaci mjerenja.

Preuzmi rezultate po pitanjima (JSON)Svaki odgovor, tvrdnja, ocjena i izvor, bez uređivanja.

Vanjsko mjerenje: pronalaženje njemačkih sudskih odluka (GerDaLIR)

Sve ostale teme na ovoj stranici ocjenjuju zadatke koje smo sami napisali, s točnim odgovorima koje smo sami odabrali. Ova ne. GerDaLIR je javni njemački skup podataka za pravno pretraživanje koji je treća strana izgradila iz Open Legal Data: upit je odlomak sudske odluke koji navodi drugu odluku, sa skrivenim pozivanjem, a navedena odluka je točan odgovor.

Svaki zadatak obavlja isti poziv koji kartica „Rett“ predmeta obavlja za njemački slučaj, sa skrivenim odlomkom kao upitom, i prolazi kada je navedena odluka među prvih 10 rezultata — vlastito rangiranje proizvoda, uključujući kvote po vrsti izvora, a ne čisti strop pretraživanja.

Uzorak: 150 od 309 testnih upita čije sve navedene odluke sadrži naš korpus saveznih sudova (od 12298 testnih upita), izvučenih s fiksnim sjemenom. Svaki zadatak povezuje na javni izvor pa se može provjeriti.

Skup podataka i licenca (MIT)Kako je uzorak izvučen

0 od 153 navedenih odluka ima vektore u našem indeksu

Nijedna njemačka odluka u ovom pokretanju nije imala vektore, pa je pretraživanje bilo pretraživanje ključnih riječi uz LLM ponovno rangiranje. Kad budu ugrađene, promjena će se vidjeti u trendu iznad.

Bez LLM ponovnog rangiranja (samo fuzijski redoslijed pretrage): 1 % (95 % IP 0–4 %) · s njim: 2 % · 150 zadataka ocijenjeno u oba prolaza

Vanjsko mjerenje: pronalaženje njemačkih zakonskih odredbi (GerLeRB)

GerLeRB je javno mjerenje nad njemačkim saveznim zakonodavstvom koje je izgradila treća strana: 367 pravnih pitanja, svako uparen s jedinim zakonskim paragrafom koji na njega odgovara, od 90.798 paragrafa na gesetze-im-internet.de — izvoru iz kojeg se sinkronizira naš korpus njemačkih zakona. Pitanja su generirana modelom GPT‑4.1 iz konteksta sudskih odluka, a zatim su ih provjerili pravnici. Nitko u Attorlyju nije napisao pitanje ni odabrao točan odgovor. Samo njemačko pravo: ništa ne govori o nordijskim pravnim porecima.

Svaki zadatak obavlja isti poziv koji kartica „Rett“ predmeta obavlja za njemački slučaj, s pitanjem kao upitom, i prolazi kada je referentni zakon među prvih 5 rezultata — vlastito rangiranje proizvoda, uključujući kvote po vrsti izvora. Stroža ocjena bilježi je li rezultat za taj zakon naveo i referentni paragraf.

Svako od 367 pitanja je zadatak (367 u ovom skupu) — bez uzorkovanja. Svaki referentni odgovor povezuje na paragraf na gesetze-im-internet.de pa se može provjeriti.

Skup podataka i licenca (CC BY 4.0)Kako je skup zadataka izgrađen

Nijedan rezultat u ovom pokretanju nije imao oznaku paragrafa, pa ocjena na razini paragrafa nije dostupna; vrijedi ocjena na razini zakona iznad.

Bez LLM ponovnog rangiranja (samo fuzijski redoslijed pretrage): 41 % (95 % IP 35–47 %) · s njim: 45 % · 248 zadataka ocijenjeno u oba prolaza

Citati izvora asistenta

Mjeri ostaju li citati izvora asistenta unutar mjerodavnog prava: za svako pitanje najviši se izvori ocjenjuju prema popisu očito nepovezanih zakona. Citiranje npr. pomorskog radnog prava u običnom otkazu računa se kao šum.

Bez filtra relevantnosti (najbolji rezultati nefiltrirani): 40 % (95 % IP 17–69 %) · s njim: 50 % · 10 zadataka ocijenjeno u oba prolaza

Preuzmi rezultate (JSON)

Točnost provjere izvora

Nakon svakog odgovora s izvorima asistent provjerava svaki citat prema tekstu izvora na koji upućuje i označava ga kao potvrđen, djelomično potkrijepljen ili nepotkrijepljen. Ovaj benchmark mjeri sam provjeravač na označenim parovima tvrdnje i doslovnog izvatka zakona s poznatim odgovorom.

Polovica parova su gotovo-pogoci: pravi zakon, ali pogrešan rok, iznos ili strana – slučaj koji popustljiv provjeravač propušta. Lažno prihvaćanje, nepotkrijepljena tvrdnja označena kao potvrđena, broj je koji je važan; lažno odbijanje čitatelja košta samo dodatnu provjeru.

Preuzmi rezultate (JSON)

Označavanje izmjena prema priručniku

Svaki zadatak našem sustavu za označavanje izmjena daje ugovor i priručnik s ljestvicama pozicija, kako bi to učinio odvjetnički ured. Sustav ocjenjuje svaki uvjet i predlaže izmjene; svaki rezultat provjeravamo prema referentnim odgovorima napisanima uz mjerodavni propis.

Zadaci obuhvaćaju ugovore o radu, NDA-ove i SaaS uvjete u Norveškoj, Švedskoj, Danskoj i Njemačkoj. Ugovori su sintetički i napisani interno, pa se ne koristi materijal klijenata. Svako izvođenje koristi produkcijski prompt, a provjere se ocjenjuju automatski, bez modela koji ocjenjuje drugi model.

Preuzmi rezultate (JSON)

Neovisna studija VLAIR navodi odvjetničku referentnu vrijednost od 79,7 % na vlastitim zadacima označavanja izmjena. Taj skup zadataka nije javan i razlikuje se od našeg, pa je brojka kontekst, a ne izravna usporedba.