ベンチマーク

私たちのリーガルAIを、公開の場で測定します

Attorlyのすべてのリリースは、4つの法域にわたるコーパス検証済みの法令検索タスクでベンチマーク評価されています。最新の結果 — 合格、不合格、そして評価手法 — をここで公開しています。

100%

合格率

評価タスク数

法域

2026/09/21

最終実行

ビルド 9b4511f58

法域	タスク	合格	合格率
ノルウェー	11	11	100%
スウェーデン	9	9	100%
デンマーク	9	9	100%
ドイツ	8	8	100%

ベンチマークの仕組み

各タスクは、実際のユーザーが表現するとおりに法的な案件を記述し — 事案の要約またはリサーチの質問として — 当社の検索パイプラインに最も関連性の高い法源を求めます。その案件を実際に規律する法令が結果に現れた場合にのみ、タスクは合格となります。

クエリは、規律する法令の名称を意図的に一切示しません — 名称を示せば検索は容易になり、何も測定できなくなるためです。すべてのタスクは、追加される前にその法域の公式な法令コーパスに照らして検証されます。

規律する法令が現れること

案件を規律するすべての法令が、検索された法源の中に現れなければなりません。準拠法を欠いた場合、タスクは不合格です。

ノイズを排除すること

既知の周辺的な法源 — もっともらしく見えるが無関係な法令 — が現れてはなりません。ノイズが現れた場合、タスクは不合格です。

順位の規律

選定されたタスクでは、規律する法令が結果のどこかにあるだけでは足りず、上位に現れなければなりません。

タスク別の結果

タスクの記述は英語で表示されます — これはベンチマークのソースデータであり、すべての言語で同一です。

タスク	法域	結果
no-tenancy-depositTenancy: landlord withholding a deposit after move-out	ノルウェー	合格
no-criminal-embezzlementCriminal defence: gross embezzlement (the Fredrik regression guard)	ノルウェー	合格
no-employment-dismissalEmployment: contested dismissal / unfair termination	ノルウェー	合格
no-family-custodyFamily: parental responsibility and where the child lives	ノルウェー	合格
no-sale-defectContract: defect in a commercial sale of goods	ノルウェー	合格
no-company-sharesCorporate: shareholder dispute in a limited company	ノルウェー	合格
no-personal-dataPrivacy: unlawful processing of personal data	ノルウェー	合格
no-inheritanceInheritance: distribution of an estate and forced share	ノルウェー	合格
no-bankruptcy-supplierInsolvency: supplier stopped paying, creditor weighs bankruptcy petition	ノルウェー	合格
no-house-hidden-defectsReal property: hidden defects after buying a house (avhendingslova, NOT tenancy)	ノルウェー	合格
no-stale-invoice-claimLimitation: collecting on a years-old unpaid invoice (foreldelsesloven)	ノルウェー	合格
se-employment-dismissalEmployment: contested dismissal (Lagen om anställningsskydd)	スウェーデン	合格
se-consumer-saleConsumer: defective goods purchased by a consumer (Konsumentköplagen)	スウェーデン	合格
se-company-sharesCorporate: minority shareholder dispute (Aktiebolagslagen)	スウェーデン	合格
se-discriminationEmployment: workplace discrimination (Diskrimineringslagen)	スウェーデン	合格
se-family-custodyFamily: custody and residence after separation (Föräldrabalken)	スウェーデン	合格
se-criminal-embezzlementCriminal defence: embezzlement (Brottsbalken)	スウェーデン	合格
se-inheritance-forced-shareInheritance: estate division and the children's reserved share (Ärvdabalken)	スウェーデン	合格
se-tenancy-evictionTenancy: landlord terminating a lease — hyresrätt lives in Jordabalken, a hard mapping	スウェーデン	合格
se-stale-debt-claimLimitation: enforcing an old consumer debt (Preskriptionslag)	スウェーデン	合格
dk-employment-dismissalEmployment: salaried-employee dismissal (Funktionærloven)	デンマーク	合格
dk-sale-defectSale: defective goods and right to reject (Købeloven)	デンマーク	合格
dk-company-sharesCorporate: shareholder dispute in a capital company (Selskabsloven)	デンマーク	合格
dk-family-custodyFamily: parental responsibility and residence (Forældreansvarsloven)	デンマーク	合格
dk-inheritanceInheritance: estate distribution and forced share (Arveloven)	デンマーク	合格
dk-criminal-embezzlementCriminal defence: embezzlement (Straffeloven)	デンマーク	合格
dk-holiday-pay-exitEmployment: holiday pay owed when an employee resigns (Ferieloven)	デンマーク	合格
dk-employee-dataData protection: employer monitoring employee e-mail (Databeskyttelsesloven)	デンマーク	合格
dk-divorce-assetsFamily: division of assets at divorce (Ægtefælleloven)	デンマーク	合格
de-employment-dismissalEmployment: unfair dismissal protection (Kündigungsschutzgesetz)	ドイツ	合格
de-criminal-embezzlementCriminal defence: embezzlement (Strafgesetzbuch)	ドイツ	合格
de-sale-defectSale: defective goods and buyer remedies (Bürgerliches Gesetzbuch)	ドイツ	合格
de-gmbh-formationCorporate: founding a GmbH, share capital and managing-director duties (GmbHG)	ドイツ	合格
de-insolvency-filing-dutyInsolvency: over-indebted company and the duty to file (Insolvenzordnung)	ドイツ	合格
de-working-time-overtimeEmployment: overtime limits and rest periods (Arbeitszeitgesetz)	ドイツ	合格
de-works-council-codeterminationEmployment: works council consultation before restructuring (BetrVG)	ドイツ	合格
de-misleading-advertisingCompetition: competitor runs misleading price advertising (UWG)	ドイツ	合格

アシスタントの出典表示

アシスタントの出典表示が関連法にとどまっているかを測定します。各質問について上位の出典を、明らかに分野外の法律のリストと照合して採点します。例えば通常の解雇の質問で海事労働法を引用するとノイズとして数えられます。

100%

合格率

ノイズ率

36件中0件

評価タスク数

2026/09/21

最終実行

ビルド 9b4511f58

タスク	法域	ノイズ	結果
no-chip-employment-dismissalEmployment chips: office dismissal must not surface maritime-labour law	ノルウェー	0/4	合格
no-chip-employment-overtimeEmployment chips: unpaid retail overtime	ノルウェー	0/2	合格
no-chip-employment-temp-contractsEmployment chips: serial temporary contracts, claim to permanent employment	ノルウェー	0/3	合格
no-chip-employment-harassmentEmployment chips: whistleblowing about harassment at the office	ノルウェー	0/3	合格
no-chip-employment-holiday-payEmployment chips: holiday pay not paid out after quitting	ノルウェー	0/3	合格
no-chip-family-custodyFamily chips: residence and contact after a breakup	ノルウェー	0/5	合格
no-chip-family-divorce-assetsFamily chips: division of marital property and skjevdeling	ノルウェー	0/2	合格
no-chip-family-child-supportFamily chips: disagreement about child support	ノルウェー	0/3	合格
no-chip-consumer-used-carConsumer chips: used car from a dealer with hidden defects	ノルウェー	0/3	合格
no-chip-consumer-craftsmanConsumer chips: botched bathroom renovation by a craftsman	ノルウェー	0/3	合格
no-chip-consumer-online-cancellationConsumer chips: right of withdrawal on an online purchase	ノルウェー	0/3	合格
no-chip-housing-depositHousing chips: landlord withholding the deposit after move-out	ノルウェー	0/2	合格

出典チェックの精度

出典付きの回答のたびに、アシスタントは各出典表示を参照先の本文と照合し、確認済み・一部裏付けあり・裏付けなしのいずれかを付けます。このベンチマークは、主張と条文の逐語的な抜粋からなる正解付きのラベル済みペアで、そのチェッカー自体を測定します。

ペアの半分はニアミスです。正しい法律だが期間・金額・当事者が誤っている、甘いチェッカーなら通してしまうケースです。裏付けのない主張を確認済みとする「誤承認」こそが重要な数字であり、誤って却下した場合は読者が再確認する手間が増えるだけです。

97%

合格率

誤承認

裏付けなしの主張16件中0件

評価タスク数

2026/09/21

最終実行

ビルド 9b4511f58

タスク	法域	正解	チェッカーの判定	結果
no-aml-15-3-notice-one-monthaml § 15-3 (NL/lov/2005-06-17-62): default one-month mutual notice period restated	ノルウェー	裏付けあり	確認済み	合格
no-aml-15-3-notice-three-months-near-missaml § 15-3: claim states a three-month default notice period (statute says one month)	ノルウェー	裏付けなし	裏付けなし	合格
no-aml-15-3-five-years-two-monthsaml § 15-3 (2): at least two months after five years of continuous employment	ノルウェー	裏付けあり	確認済み	合格
no-aml-15-1-consultation-before-dismissalaml § 15-1: employer must consult the employee before deciding on dismissal	ノルウェー	裏付けあり	裏付けなし	不合格
no-aml-15-1-consultation-optional-near-missaml § 15-1: claim says the consultation is optional for the employer (statute makes it a duty)	ノルウェー	裏付けなし	裏付けなし	合格
no-aml-15-4-written-formaml § 15-4: dismissal must be in writing	ノルウェー	裏付けあり	確認済み	合格
no-husleie-3-5-deposit-six-monthshusleieloven § 3-5 (NL/lov/1999-03-26-17): deposit capped at six months of rent	ノルウェー	裏付けあり	確認済み	合格
no-husleie-3-5-deposit-three-months-near-misshusleieloven § 3-5: claim caps the deposit at three months (statute says six)	ノルウェー	裏付けなし	裏付けなし	合格
no-husleie-3-5-off-topic-noticehusleieloven § 3-5 (deposit) cited for a claim about notice periods in employment	ノルウェー	裏付けなし	裏付けなし	合格
no-fkjl-27-two-year-limitforbrukerkjøpsloven § 27 (NL/lov/2002-06-21-34): absolute two-year complaint deadline, five for durable goods	ノルウェー	裏付けあり	確認済み	合格
no-fkjl-27-three-year-near-missforbrukerkjøpsloven § 27: claim states a three-year absolute deadline (statute says two / five)	ノルウェー	裏付けなし	裏付けなし	合格
no-ferie-5-off-topic-depositferieloven § 5 (NL/lov/1988-04-29-21, holiday length) cited for a claim about rent deposits	ノルウェー	裏付けなし	裏付けなし	合格
se-las-11-minimum-one-monthLAS 11 § (sfs-1982-80): minimum one-month notice for both parties	スウェーデン	裏付けあり	確認済み	合格
se-las-11-four-years-three-monthsLAS 11 §: three months after at least four but under six years of employment	スウェーデン	裏付けあり	確認済み	合格
se-las-11-ten-years-twelve-months-near-missLAS 11 §: claim gives twelve months after ten years (statute says six)	スウェーデン	裏付けなし	裏付けなし	合格
se-semester-4-twenty-five-dayssemesterlagen 4 § (sfs-1977-480): twenty-five days of holiday per year	スウェーデン	裏付けあり	確認済み	合格
se-semester-4-thirty-days-near-misssemesterlagen 4 §: claim gives thirty days (statute says twenty-five)	スウェーデン	裏付けなし	裏付けなし	合格
se-kkl-5-2-two-months-always-timelykonsumentköplagen 5 kap. 2 § (sfs-2022-260): a complaint within two months of noticing is always timely	スウェーデン	裏付けあり	確認済み	合格
se-kkl-5-2-off-topic-noticekonsumentköplagen 5 kap. 2 § (complaints) cited for a claim about employment notice	スウェーデン	裏付けなし	裏付けなし	合格
dk-ful-2-three-months-after-sixfunktionærloven § 2 (lta/2017/1002): three months notice from the employer after six months of employment	デンマーク	裏付けあり	確認済み	合格
dk-ful-2-cap-six-monthsfunktionærloven § 2, stk. 3: the notice period grows by one month per three years, capped at six months	デンマーク	裏付けあり	確認済み	合格
dk-ful-2-cap-nine-months-near-missfunktionærloven § 2: claim caps the notice period at nine months (statute says six)	デンマーク	裏付けなし	裏付けなし	合格
dk-kbl-83-two-year-limitkøbeloven § 83 (lta/2021/1853): defects must be raised within two years of delivery	デンマーク	裏付けあり	確認済み	合格
dk-kbl-83-five-year-near-misskøbeloven § 83: claim states a five-year absolute deadline (statute says two)	デンマーク	裏付けなし	裏付けなし	合格
dk-ferie-5-off-topic-noticeferieloven § 5 (lta/2024/152, holiday accrual) cited for a claim about notice periods	デンマーク	裏付けなし	裏付けなし	合格
de-bgb-622-four-weeks-basicBGB § 622 (1) (bgb): basic four-week notice to the 15th or month end	ドイツ	裏付けあり	確認済み	合格
de-bgb-622-five-years-two-monthsBGB § 622 (2) Nr. 2: two months after five years for an employer termination	ドイツ	裏付けあり	確認済み	合格
de-bgb-622-probation-four-weeks-near-missBGB § 622 (3): claim gives four weeks during probation (statute says two weeks)	ドイツ	裏付けなし	裏付けなし	合格
de-bgb-551-deposit-three-monthsBGB § 551 (1): rent deposit capped at three months of net rent	ドイツ	裏付けあり	確認済み	合格
de-bgb-551-deposit-six-months-near-missBGB § 551: claim allows six months of rent as deposit (statute says three)	ドイツ	裏付けなし	裏付けなし	合格
de-kschg-1-six-months-thresholdKSchG § 1 (1) (kschg): protection applies after more than six months of uninterrupted employment	ドイツ	裏付けあり	確認済み	合格
de-kschg-4-three-week-deadlineKSchG § 4: claim must be filed within three weeks of receiving the written termination	ドイツ	裏付けあり	確認済み	合格
de-kschg-4-four-week-near-missKSchG § 4: claim gives a four-week filing deadline (statute says three weeks)	ドイツ	裏付けなし	裏付けなし	合格
de-kschg-1-off-topic-depositKSchG § 1 (dismissal protection) cited for a claim about rent deposits	ドイツ	裏付けなし	裏付けなし	合格

この結果が示すこと、示さないこと

これは当社が自ら作成し、自ら評価している社内ベンチマークです。独立した第三者評価ではありません — 私たち自身の品質基準として公開しているものであり、私たちに対する評価の物差しとしてご利用ください。
測定しているのは法源の検索性能 — つまり案件に対して正しい法令が現れるかどうかです。ドラフトされた文章や最終的な回答の品質は測定していません。
結果はデプロイされたすべてのリリースについて自動的に生成され、不合格も含めて編集を加えずに公開されます。

関連情報:セキュリティとデータの取り扱い