Измерваме нашия правен AI публично

Точност на отговорите на въпроси по законодателството

Асистентът отговаря на 100 въпроса по законодателството — по 25 за Норвегия, Швеция, Дания и Германия — чрез същата верига за отговори като в продукта: търсене в официалните законодателни сборници, модела за отговори и проверката на цитатите, която се изпълнява след всеки отговор, основан на източници. Всеки въпрос е написан на езика на юрисдикцията, както би го формулирал адвокат, и никога не назовава приложимия закон.

Всеки отговор се разделя на правни твърдения. Твърдение, което цитира източник, се проверява спрямо текста на този източник; правно твърдение без цитат се отчита като необосновано. Детерминистични проверки улавят цитати, които не сочат към нито един извлечен източник, сочат към закон извън корпуса или към разпоредба, която не съществува в цитирания закон. Всеки въпрос има и задължителни точки — срокове, суми и условия от текста на закона, — които фиксирано съпоставяне на шаблони търси в отговора.

Последно изпълнение 28.09.2026 г. · Билд 37f924ff6 · Модели claude-haiku-4-5-20251001, claude-opus-4-8, claude-sonnet-4-6

Засега едно изпълнение — тенденцията се показва след следващото.

Въпросите се показват на езика, на който са зададени — те са изходните данни на измерването.

Изтегляне на резултатите по въпроси (JSON)Всеки отговор, твърдение, оценка и източник, без редакция.

Външен бенчмарк: намиране на германски съдебни решения (GerDaLIR)

Всички останали теми на тази страница оценяват задачи, които сме написали ние, с верни отговори, които сме избрали ние. Тази — не. GerDaLIR е публичен германски набор от данни за правно търсене, изграден от трета страна от Open Legal Data: заявката е пасаж от съдебно решение, който цитира друго решение, със скрито позоваване, а цитираното решение е верният отговор.

Всяка задача прави същото извикване, което разделът „Rett“ на едно дело прави за германски случай, със скрития пасаж като заявка, и се зачита, когато цитирано решение е сред първите 10 резултата — собственото подреждане на продукта, с квоти по тип източник, а не чист таван на търсенето.

Извадка: 150 от 309 тестови заявки, чиито цитирани решения нашият корпус от федерални съдилища съдържа изцяло (от 12298 тестови заявки), изтеглени с фиксирано начално число. Всяка задача води към публичния източник и може да бъде проверена.

Набор от данни и лиценз (MIT)Как е изтеглена извадката

0 от 153 цитирани решения имат вектори в нашия индекс

Нито едно германско решение нямаше вектори в това изпълнение, затова търсенето беше по ключови думи плюс пренареждане с LLM. Когато бъдат вградени, промяната ще се види в тенденцията по-горе.

Без LLM пренареждане (само редът на сливане на търсенето): 1% (95% ДИ 0–4%) · с него: 2% · 150 задачи, оценени и в двата прохода

Външен бенчмарк: намиране на германски законови разпоредби (GerLeRB)

GerLeRB е публичен бенчмарк върху германското федерално законодателство, изграден от трета страна: 367 правни въпроса, всеки свързан с единствения законов параграф, който му отговаря, измежду 90 798 параграфа на gesetze-im-internet.de — източникът, от който се синхронизира нашият корпус от германски закони. Въпросите са генерирани с GPT‑4.1 от контекста на съдебни решения и след това проверени от юристи. Никой в Attorly не е писал въпрос и не е избирал верен отговор. Само германско право: не казва нищо за скандинавските правни системи.

Всяка задача прави същото извикване, което разделът „Rett“ на едно дело прави за германски случай, с въпроса като заявка, и се зачита, когато референтният закон е сред първите 5 резултата — собственото подреждане на продукта, с квоти по тип източник. По-строга оценка отбелязва дали резултатът за този закон е посочил и референтния параграф.

Всеки от 367 въпроса е задача (367 в този набор) — без извадка. Всеки верен отговор води към параграфа на gesetze-im-internet.de и може да бъде проверен.

Набор от данни и лиценз (CC BY 4.0)Как е изграден наборът от задачи

Нито един резултат в това изпълнение не носеше маркер за параграф, затова оценката на ниво параграф не е налична; важи оценката на ниво закон по-горе.

Без LLM пренареждане (само редът на сливане на търсенето): 41% (95% ДИ 35–47%) · с него: 45% · 248 задачи, оценени и в двата прохода

Цитати на източници на асистента

Измерва дали цитатите на източници на асистента остават в релевантното право: за всеки въпрос водещите източници се оценяват спрямо списък с явно несвързани закони. Цитиране напр. на морско трудово право при обикновено уволнение се брои за шум.

Без филтъра за релевантност (най-добрите резултати без филтър): 40% (95% ДИ 17–69%) · с него: 50% · 10 задачи, оценени и в двата прохода

Изтегляне на резултатите (JSON)

Точност на проверката на източниците

След всеки отговор с източници асистентът съпоставя всеки цитат с текста на източника, към който сочи, и го отбелязва като потвърден, частично подкрепен или неподкрепен. Този бенчмарк измерва самия проверяващ върху етикетирани двойки от твърдение и дословен откъс от закон с известен отговор.

Половината двойки са почти попадения: правилният закон, но грешен срок, сума или страна – случаят, който снизходителен проверяващ пропуска. Грешното одобрение, неподкрепено твърдение, отбелязано като потвърдено, е числото, което има значение; грешното отхвърляне струва на читателя само повторна проверка.

Изтегляне на резултатите (JSON)

Редакции по наръчник

Всяка задача дава на нашата система за редакции договор и наръчник със стълбици от позиции, както би направила една кантора. Системата оценява всяко условие и предлага промени; проверяваме всеки резултат спрямо еталонни отговори, написани с приложимия нормативен акт до тях.

Задачите обхващат трудови договори, NDA и SaaS условия в Норвегия, Швеция, Дания и Германия. Договорите са синтетични и написани от нас, така че не се използват материали на клиенти. Всяко изпълнение използва продукционния промпт, а проверките се оценяват автоматично, без един модел да оценява друг.

Изтегляне на резултатите (JSON)

Независимото изследване VLAIR отчита базово ниво на адвокатите от 79,7% при собствените си задачи за редакции. Този набор от задачи не е публичен и се различава от нашия, така че стойността служи за контекст, а не за пряко сравнение.