ベンチマーク
私たちのリーガルAIを、公開の場で測定します
Attorlyのすべてのリリースは、4つの法域にわたるコーパス検証済みの法令検索タスクでベンチマーク評価されています。最新の結果 — 合格、不合格、そして評価手法 — をここで公開しています。
最新の結果
100%
合格率
9
評価タスク数
4
法域
2026/08/04
最終実行
ビルド dc6f821c6
| 法域 | タスク | 合格 | 合格率 |
|---|---|---|---|
| ノルウェー | 8 | 8 | 100% |
| スウェーデン | 1 | 1 | 100% |
| デンマーク | 0 | 0 | — |
| ドイツ | 0 | 0 | — |
ベンチマークの仕組み
各タスクは、実際のユーザーが表現するとおりに法的な案件を記述し — 事案の要約またはリサーチの質問として — 当社の検索パイプラインに最も関連性の高い法源を求めます。その案件を実際に規律する法令が結果に現れた場合にのみ、タスクは合格となります。
クエリは、規律する法令の名称を意図的に一切示しません — 名称を示せば検索は容易になり、何も測定できなくなるためです。すべてのタスクは、追加される前にその法域の公式な法令コーパスに照らして検証されます。
規律する法令が現れること
案件を規律するすべての法令が、検索された法源の中に現れなければなりません。準拠法を欠いた場合、タスクは不合格です。
ノイズを排除すること
既知の周辺的な法源 — もっともらしく見えるが無関係な法令 — が現れてはなりません。ノイズが現れた場合、タスクは不合格です。
順位の規律
選定されたタスクでは、規律する法令が結果のどこかにあるだけでは足りず、上位に現れなければなりません。
タスク別の結果
タスクの記述は英語で表示されます — これはベンチマークのソースデータであり、すべての言語で同一です。
| タスク | 法域 | 結果 |
|---|---|---|
| no-tenancy-depositTenancy: landlord withholding a deposit after move-out | ノルウェー | 合格 |
| no-criminal-embezzlementCriminal defence: gross embezzlement (the Fredrik regression guard) | ノルウェー | 合格 |
| no-employment-dismissalEmployment: contested dismissal / unfair termination | ノルウェー | 合格 |
| no-family-custodyFamily: parental responsibility and where the child lives | ノルウェー | 合格 |
| no-sale-defectContract: defect in a commercial sale of goods | ノルウェー | 合格 |
| no-company-sharesCorporate: shareholder dispute in a limited company | ノルウェー | 合格 |
| no-personal-dataPrivacy: unlawful processing of personal data | ノルウェー | 合格 |
| no-inheritanceInheritance: distribution of an estate and forced share | ノルウェー | 合格 |
| se-employment-dismissalEmployment: contested dismissal (Lagen om anställningsskydd) | スウェーデン | 合格 |
| se-consumer-saleConsumer: defective goods purchased by a consumer (Konsumentköplagen) | スウェーデン | スキップ |
| se-company-sharesCorporate: minority shareholder dispute (Aktiebolagslagen) | スウェーデン | スキップ |
| se-discriminationEmployment: workplace discrimination (Diskrimineringslagen) | スウェーデン | スキップ |
| se-family-custodyFamily: custody and residence after separation (Föräldrabalken) | スウェーデン | スキップ |
| se-criminal-embezzlementCriminal defence: embezzlement (Brottsbalken) | スウェーデン | スキップ |
| dk-employment-dismissalEmployment: salaried-employee dismissal (Funktionærloven) | デンマーク | スキップ |
| dk-sale-defectSale: defective goods and right to reject (Købeloven) | デンマーク | スキップ |
| dk-company-sharesCorporate: shareholder dispute in a capital company (Selskabsloven) | デンマーク | スキップ |
| dk-family-custodyFamily: parental responsibility and residence (Forældreansvarsloven) | デンマーク | スキップ |
| dk-inheritanceInheritance: estate distribution and forced share (Arveloven) | デンマーク | スキップ |
| dk-criminal-embezzlementCriminal defence: embezzlement (Straffeloven) | デンマーク | スキップ |
| de-employment-dismissalEmployment: unfair dismissal protection (Kündigungsschutzgesetz) | ドイツ | スキップ |
| de-criminal-embezzlementCriminal defence: embezzlement (Strafgesetzbuch) | ドイツ | スキップ |
| de-sale-defectSale: defective goods and buyer remedies (Bürgerliches Gesetzbuch) | ドイツ | スキップ |
この結果が示すこと、示さないこと
- これは当社が自ら作成し、自ら評価している社内ベンチマークです。独立した第三者評価ではありません — 私たち自身の品質基準として公開しているものであり、私たちに対する評価の物差しとしてご利用ください。
- 測定しているのは法源の検索性能 — つまり案件に対して正しい法令が現れるかどうかです。ドラフトされた文章や最終的な回答の品質は測定していません。
- 結果はデプロイされたすべてのリリースについて自動的に生成され、不合格も含めて編集を加えずに公開されます。
関連情報:セキュリティとデータの取り扱い