Kvalitu naší právní AI měříme veřejně
Každé vydání Attorly měříme na úlohách vyhledávání právních pramenů ověřených proti korpusu ve čtyřech jurisdikcích. Nejnovější výsledky — úspěchy, neúspěchy i metodu — zveřejňujeme zde.
Nejnovější výsledky
| Jurisdikce | Úlohy | Splněno | Úspěšnost |
|---|---|---|---|
| Norsko | 8 | 8 | 100% |
| Švédsko | 1 | 1 | 100% |
| Dánsko | 0 | 0 | — |
| Německo | 0 | 0 | — |
Jak měření funguje
Každá úloha popisuje právní záležitost tak, jak by ji formuloval skutečný uživatel — jako shrnutí případu nebo rešeršní otázku — a žádá náš vyhledávací systém o nejrelevantnější právní prameny. Úloha je splněna pouze tehdy, když se ve výsledcích objeví zákony, které danou záležitost skutečně upravují.
Dotazy záměrně nikdy nejmenují rozhodný zákon — jeho uvedení by vyhledávání učinilo triviálním a nic by neměřilo. Každá úloha je před přidáním ověřena proti oficiálnímu právnímu korpusu své jurisdikce.
Rozhodné právo se objeví
Každý zákon, který danou záležitost upravuje, se musí objevit mezi vyhledanými prameny. Chybí-li rozhodné právo, úloha není splněna.
Šum se do výsledků nedostane
Známé okrajové prameny — zákony, které vypadají věrohodně, ale jsou irelevantní — se objevit nesmějí. Šum ve výsledcích znamená nesplnění úlohy.
Disciplína řazení
U vybraných úloh se rozhodný zákon musí objevit na vrcholu výsledků, nikoli jen někde v nich.
Výsledky jednotlivých úloh
Popisy úloh se zobrazují v angličtině — jsou zdrojovými daty měření a jsou totožné ve všech jazycích.
| Úloha | Jurisdikce | Výsledek |
|---|---|---|
| no-tenancy-depositTenancy: landlord withholding a deposit after move-out | Norsko | Splněno |
| no-criminal-embezzlementCriminal defence: gross embezzlement (the Fredrik regression guard) | Norsko | Splněno |
| no-employment-dismissalEmployment: contested dismissal / unfair termination | Norsko | Splněno |
| no-family-custodyFamily: parental responsibility and where the child lives | Norsko | Splněno |
| no-sale-defectContract: defect in a commercial sale of goods | Norsko | Splněno |
| no-company-sharesCorporate: shareholder dispute in a limited company | Norsko | Splněno |
| no-personal-dataPrivacy: unlawful processing of personal data | Norsko | Splněno |
| no-inheritanceInheritance: distribution of an estate and forced share | Norsko | Splněno |
| se-employment-dismissalEmployment: contested dismissal (Lagen om anställningsskydd) | Švédsko | Splněno |
| se-consumer-saleConsumer: defective goods purchased by a consumer (Konsumentköplagen) | Švédsko | Přeskočeno |
| se-company-sharesCorporate: minority shareholder dispute (Aktiebolagslagen) | Švédsko | Přeskočeno |
| se-discriminationEmployment: workplace discrimination (Diskrimineringslagen) | Švédsko | Přeskočeno |
| se-family-custodyFamily: custody and residence after separation (Föräldrabalken) | Švédsko | Přeskočeno |
| se-criminal-embezzlementCriminal defence: embezzlement (Brottsbalken) | Švédsko | Přeskočeno |
| dk-employment-dismissalEmployment: salaried-employee dismissal (Funktionærloven) | Dánsko | Přeskočeno |
| dk-sale-defectSale: defective goods and right to reject (Købeloven) | Dánsko | Přeskočeno |
| dk-company-sharesCorporate: shareholder dispute in a capital company (Selskabsloven) | Dánsko | Přeskočeno |
| dk-family-custodyFamily: parental responsibility and residence (Forældreansvarsloven) | Dánsko | Přeskočeno |
| dk-inheritanceInheritance: estate distribution and forced share (Arveloven) | Dánsko | Přeskočeno |
| dk-criminal-embezzlementCriminal defence: embezzlement (Straffeloven) | Dánsko | Přeskočeno |
| de-employment-dismissalEmployment: unfair dismissal protection (Kündigungsschutzgesetz) | Německo | Přeskočeno |
| de-criminal-embezzlementCriminal defence: embezzlement (Strafgesetzbuch) | Německo | Přeskočeno |
| de-sale-defectSale: defective goods and buyer remedies (Bürgerliches Gesetzbuch) | Německo | Přeskočeno |
Co toto ukazuje — a co ne
- Jde o interní měření, které jsme sami sestavili a sami hodnotíme. Není to nezávislá evaluace — berte je jako naši vlastní laťku kvality, zveřejněnou proto, abyste nás podle ní mohli poměřovat.
- Měří vyhledávání právních pramenů — tedy zda se pro danou záležitost objeví správný zákon. Neměří kvalitu sepsaných textů ani úplných odpovědí.
- Výsledky vznikají automaticky pro každé nasazené vydání a zveřejňují se bez úprav, včetně neúspěchů.