Við mælum lögfræðigervigreind okkar fyrir opnum tjöldum

Nákvæmni svara við lagaspurningum

Aðstoðarmaðurinn svarar 100 lagaspurningum — 25 fyrir hvert land: Noreg, Svíþjóð, Danmörku og Þýskaland — í gegnum sömu svarkeðju og í vörunni: leit í opinberum lagasöfnum, svarlíkanið og heimildaathugunina sem keyrir eftir hvert heimildastutt svar. Hver spurning er skrifuð á tungumáli lögsögunnar, eins og lögmaður myndi orða hana, og nefnir aldrei þau lög sem gilda um málið.

Hverju svari er skipt í lagalegar fullyrðingar. Fullyrðing sem vísar í heimild er borin saman við texta þeirrar heimildar; lagaleg fullyrðing án tilvísunar telst órökstudd. Fastar, vélrænar athuganir grípa tilvísanir sem vísa ekki í neina sótta heimild, vísa í lög utan lagasafnsins eða í grein sem er ekki til í tilvitnuðu lögunum. Hver spurning hefur auk þess skylduatriði — fresti, fjárhæðir og skilyrði úr lagatextanum — sem föst mynsturleit leitar að í svarinu.

Síðast keyrt 28. sep. 2026 · Smíð 37f924ff6 · Líkön claude-haiku-4-5-20251001, claude-opus-4-8, claude-sonnet-4-6

Ein keyrsla enn sem komið er — þróunin birtist eftir þá næstu.

Spurningarnar eru sýndar á því tungumáli sem þær voru bornar fram á — þær eru grunngögn mælingarinnar.

Sækja niðurstöður fyrir hverja spurningu (JSON)Öll svör, fullyrðingar, mat og heimildir, óbreytt.

Ytri mæling: leit að þýskum dómsúrlausnum (GerDaLIR)

Öll önnur efni á þessari síðu meta verkefni sem við skrifuðum sjálf, með svörum sem við völdum sjálf. Þetta ekki. GerDaLIR er opinbert þýskt gagnasafn fyrir lögfræðilega leit, byggt af þriðja aðila úr Open Legal Data: fyrirspurn er kafli úr dómsúrlausn sem vísar til annarrar úrlausnar, tilvísunin sjálf er hulin, og úrlausnin sem vísað er til er rétta svarið.

Hvert verkefni gerir sama kall og málsflipinn „Rett“ gerir fyrir þýskt mál, með hulda kaflann sem fyrirspurn, og stenst þegar úrlausn sem vísað er til er meðal fyrstu 10 niðurstaðna — röðun vörunnar sjálfrar, með kvótum eftir heimildategund, ekki hreint leitarþak.

Úrtak: 150 af þeim 309 prófunarfyrirspurnum þar sem safn okkar yfir alríkisdómstóla hefur allar úrlausnirnar sem vísað er til (af 12298 prófunarfyrirspurnum), dregið með föstu fræi. Hvert verkefni tengir á opinbera heimild svo það sé hægt að sannreyna.

Gagnasafn og leyfi (MIT)Svona var úrtakið dregið

0 af 153 tilvísuðum úrlausnum hafa vigra í geymslu okkar

Engin þýsk úrlausn hafði vigra í þessari keyrslu, svo leitin var lykilorðaleit auk LLM-endurröðunar. Þegar þær hafa verið vigraðar sést breytingin í þróuninni að ofan.

Án LLM-endurröðunar (aðeins samrunaröð leitarinnar): 1% (95% ÖB 0–4%) · með henni: 2% · 150 verkefni metin í báðum keyrslum

Ytri mæling: leit að þýskum lagaákvæðum (GerLeRB)

GerLeRB er opinber mæling á þýskri alríkislöggjöf, smíðuð af þriðja aðila: 367 lögfræðilegar spurningar, hver tengd þeirri einu lagagrein sem svarar henni, af 90.798 greinum á gesetze-im-internet.de — heimildinni sem þýska lagasafnið okkar er samstillt við. Spurningarnar voru búnar til með GPT‑4.1 úr samhengi dómsúrlausna og síðan sannreyndar af lögfræðingum. Enginn hjá Attorly skrifaði spurningu eða valdi rétt svar. Aðeins þýskur réttur: hún segir ekkert um norrænu réttarkerfin.

Hvert verkefni gerir sama kall og málsflipinn „Rett“ gerir fyrir þýskt mál, með spurninguna sem fyrirspurn, og stenst þegar viðmiðunarlögin eru meðal fyrstu 5 niðurstaðna — röðun vörunnar sjálfrar, með kvótum eftir heimildategund. Strangara mat skráir hvort niðurstaðan fyrir þau lög nefndi einnig viðmiðunargreinina.

Hver og ein af 367 spurningunum er verkefni (367 í þessu safni) — ekkert úrtak. Hvert rétt svar tengir á greinina á gesetze-im-internet.de svo það sé hægt að sannreyna.

Gagnasafn og leyfi (CC BY 4.0)Svona var verkefnasafnið smíðað

Engin niðurstaða í þessari keyrslu bar greinamerki, svo mat á greinastigi er ekki tiltækt; matið á lagastigi hér að ofan gildir.

Án LLM-endurröðunar (aðeins samrunaröð leitarinnar): 41% (95% ÖB 35–47%) · með henni: 45% · 248 verkefni metin í báðum keyrslum

Heimildatilvísanir aðstoðarmannsins

Mælir hvort heimildatilvísanir aðstoðarmannsins haldi sig við viðeigandi rétt: fyrir hverja spurningu eru efstu heimildirnar metnar gagnvart lista yfir augljóslega óviðkomandi lög. Tilvísun í t.d. siglingavinnurétt í venjulegu uppsagnarmáli telst suð.

Án viðeigandisíunnar (efstu niðurstöður ósíaðar): 40% (95% ÖB 17–69%) · með henni: 50% · 10 verkefni metin í báðum keyrslum

Sækja niðurstöður (JSON)

Nákvæmni heimildaathugunar

Eftir hvert svar með heimildum ber aðstoðarmaðurinn hverja tilvísun saman við texta heimildarinnar sem hún vísar í og merkir hana staðfesta, að hluta studda eða ekki studda. Þessi mæling prófar athugunina sjálfa á merktum pörum af fullyrðingu og orðréttum lagatexta með þekktu svari.

Helmingur paranna er nærri lagi: rétt lög en rangur frestur, upphæð eða aðili – tilfellið sem slök athugun hleypir í gegn. Röng samþykkt, óstudd fullyrðing merkt staðfest, er talan sem skiptir máli; röng höfnun kostar lesandann aðeins auka athugun.

Sækja niðurstöður (JSON)

Redlining með leikbók

Í hverju verkefni fær redlining-vélin okkar samning og leikbók með stöðustigum, eins og lögmannsstofa myndi gera. Vélin metur hvern skilmála og leggur til breytingar; við berum hverja niðurstöðu saman við réttar lausnir sem skrifaðar voru með viðeigandi lög til hliðsjónar.

Verkefnin ná yfir ráðningarsamninga, NDA-samninga og SaaS-skilmála í Noregi, Svíþjóð, Danmörku og Þýskalandi. Samningarnir eru tilbúnir og skrifaðir innanhúss svo ekkert efni frá viðskiptavinum er notað. Hver keyrsla notar framleiðslufyrirmælin og prófanirnar eru metnar sjálfvirkt án þess að eitt líkan dæmi annað.

Sækja niðurstöður (JSON)

Óháða VLAIR-rannsóknin greinir frá viðmiði lögmanna upp á 79,7% í eigin redlining-verkefnum. Það verkefnasafn er ekki opinbert og frábrugðið okkar, svo talan er samhengi en ekki beinn samanburður.