Mierzymy naszą prawniczą AI publicznie

Dokładność odpowiedzi na pytania o przepisy

Asystent odpowiada na 100 pytań o przepisy — po 25 dla Norwegii, Szwecji, Danii i Niemiec — za pomocą tego samego łańcucha odpowiedzi co w produkcie: wyszukiwania w oficjalnych zbiorach przepisów, modelu odpowiedzi i kontroli cytowań uruchamianej po każdej odpowiedzi opartej na źródłach. Każde pytanie jest napisane w języku danej jurysdykcji, tak jak sformułowałby je prawnik, i nigdy nie wymienia właściwej ustawy.

Każda odpowiedź jest dzielona na twierdzenia prawne. Twierdzenie powołujące się na źródło jest sprawdzane z tekstem tego źródła; twierdzenie prawne bez cytowania liczy się jako nieuzasadnione. Deterministyczne kontrole wychwytują cytowania, które nie wskazują żadnego pobranego źródła, wskazują ustawę spoza korpusu albo przepis, który w cytowanej ustawie nie istnieje. Każde pytanie ma ponadto punkty obowiązkowe — terminy, kwoty i warunki zaczerpnięte z tekstu ustawy — których w odpowiedzi szuka stały mechanizm dopasowania wzorców.

Ostatnie uruchomienie 28 wrz 2026 · Kompilacja 37f924ff6 · Modele claude-haiku-4-5-20251001, claude-opus-4-8, claude-sonnet-4-6

Na razie jedno uruchomienie — trend pojawi się po następnym.

Pytania są wyświetlane w języku, w którym je zadano — to dane źródłowe pomiaru.

Pobierz wyniki dla poszczególnych pytań (JSON)Każda odpowiedź, twierdzenie, ocena i źródło, bez redakcji.

Zewnętrzny benchmark: wyszukiwanie niemieckich orzeczeń (GerDaLIR)

Każdy inny temat na tej stronie ocenia zadania, które sami napisaliśmy, z odpowiedziami, które sami wybraliśmy. Ten nie. GerDaLIR to publiczny niemiecki zbiór danych do wyszukiwania prawniczego, zbudowany przez osoby trzecie z Open Legal Data: zapytanie to fragment orzeczenia, który cytuje inne orzeczenie, z zamaskowanym odwołaniem, a cytowane orzeczenie jest odpowiedzią.

Każde zadanie wykonuje to samo wywołanie, które zakładka „Rett” sprawy wykonuje dla sprawy niemieckiej, z zamaskowanym fragmentem jako zapytaniem, i zalicza się, gdy cytowane orzeczenie znajdzie się wśród pierwszych 10 wyników — własny ranking produktu, z limitami typów źródeł, a nie czysty pułap wyszukiwania.

Próba: 150 z 309 zapytań zbioru testowego, których wszystkie cytowane orzeczenia zawiera nasz korpus sądów federalnych (z 12298 zapytań testowych), wylosowanych ze stałym ziarnem. Każde zadanie linkuje do publicznego źródła, więc można je sprawdzić.

Zbiór danych i licencja (MIT)Jak wylosowano próbę

0 z 153 cytowanych orzeczeń ma wektory w naszym indeksie

Żadne niemieckie orzeczenie nie miało wektorów w tym uruchomieniu, więc wyszukiwanie było wyszukiwaniem słów kluczowych plus ponownym rankingiem LLM. Gdy zostaną zaindeksowane, zmiana będzie widoczna w trendzie powyżej.

Bez ponownego rankingu LLM (tylko kolejność fuzji wyszukiwania): 1% (95% PU 0–4%) · z nim: 2% · 150 zadań ocenionych w obu przebiegach

Zewnętrzny benchmark: wyszukiwanie niemieckich przepisów ustawowych (GerLeRB)

GerLeRB to publiczny benchmark obejmujący niemieckie ustawodawstwo federalne, zbudowany przez osoby trzecie: 367 pytań prawnych, każde powiązane z jednym paragrafem ustawy, który na nie odpowiada, spośród 90 798 paragrafów na gesetze-im-internet.de — źródle, z którego synchronizowany jest nasz korpus niemieckich ustaw. Pytania wygenerowano modelem GPT‑4.1 z kontekstów orzeczeń, a następnie zweryfikowali je prawnicy. Nikt w Attorly nie napisał pytania ani nie wybrał odpowiedzi wzorcowej. Tylko prawo niemieckie: nic nie mówi o porządkach nordyckich.

Każde zadanie wykonuje to samo wywołanie, które zakładka „Rett” sprawy wykonuje dla sprawy niemieckiej, z pytaniem jako zapytaniem, i zalicza się, gdy ustawa wzorcowa znajdzie się wśród pierwszych 5 wyników — własny ranking produktu, z limitami typów źródeł. Surowsza ocena odnotowuje, czy wynik dla tej ustawy wskazał także paragraf wzorcowy.

Każde z 367 pytań jest zadaniem (367 w tym zestawie) — bez próbkowania. Każdy wzorzec linkuje do paragrafu na gesetze-im-internet.de, więc można go sprawdzić.

Zbiór danych i licencja (CC BY 4.0)Jak zbudowano zestaw zadań

Żaden wynik w tym uruchomieniu nie miał znacznika paragrafu, więc ocena na poziomie paragrafu jest niedostępna; obowiązuje ocena na poziomie ustawy powyżej.

Bez ponownego rankingu LLM (tylko kolejność fuzji wyszukiwania): 41% (95% PU 35–47%) · z nim: 45% · 248 zadań ocenionych w obu przebiegach

Cytowania źródeł asystenta

Mierzy, czy cytowania źródeł asystenta pozostają w obrębie właściwego prawa: dla każdego pytania najwyżej ocenione źródła są sprawdzane względem listy wyraźnie niezwiązanych ustaw. Przywołanie np. morskiego prawa pracy w zwykłej sprawie o wypowiedzenie liczy się jako szum.

Bez filtra trafności (najlepsze wyniki niefiltrowane): 40% (95% PU 17–69%) · z nim: 50% · 10 zadań ocenionych w obu przebiegach

Pobierz wyniki (JSON)

Dokładność kontroli źródeł

Po każdej odpowiedzi ze źródłami asystent sprawdza każde cytowanie względem tekstu źródła, na które wskazuje, i oznacza je jako zweryfikowane, częściowo poparte lub niepoparte. Ten benchmark mierzy sam weryfikator na oznaczonych parach twierdzenia i dosłownego fragmentu ustawy ze znaną odpowiedzią.

Połowa par to niemal trafienia: właściwa ustawa, ale zły termin, kwota lub strona – przypadek, który łagodny weryfikator przepuszcza. Fałszywa akceptacja, niepoparte twierdzenie oznaczone jako zweryfikowane, to liczba, która ma znaczenie; fałszywe odrzucenie kosztuje czytelnika tylko dodatkowe sprawdzenie.

Pobierz wyniki (JSON)

Redlining z użyciem playbooków

Każde zadanie przekazuje naszemu silnikowi redliningu umowę i playbook z drabinami pozycji, tak jak zrobiłaby to kancelaria. Silnik ocenia każdy warunek i proponuje zmiany; każdy wynik sprawdzamy względem wzorcowych odpowiedzi przygotowanych w oparciu o właściwe przepisy.

Zadania obejmują umowy o pracę, NDA i warunki SaaS w Norwegii, Szwecji, Danii i Niemczech. Umowy są syntetyczne i przygotowane wewnętrznie, więc nie wykorzystuje się materiałów klientów. Każdy przebieg korzysta z produkcyjnego promptu, a testy są oceniane automatycznie, bez oceniania jednego modelu przez inny.

Pobierz wyniki (JSON)

Niezależne badanie VLAIR podaje wynik bazowy prawników na poziomie 79,7% we własnych zadaniach redliningowych. Ten zestaw zadań jest niepubliczny i różni się od naszego, dlatego liczba ta stanowi kontekst, a nie bezpośrednie porównanie.