저희의 리걸 AI를 공개적으로 측정합니다
Attorly의 모든 릴리스는 4개 법역에 걸친 코퍼스 검증 법령 검색 과제로 벤치마크 평가를 거칩니다. 최신 결과 — 통과, 실패, 그리고 평가 방법 — 를 이곳에 공개합니다.
최신 결과
| 법역 | 과제 | 통과 | 통과율 |
|---|---|---|---|
| 노르웨이 | 11 | 11 | 100% |
| 스웨덴 | 9 | 9 | 100% |
| 덴마크 | 9 | 9 | 100% |
| 독일 | 8 | 8 | 100% |
벤치마크 작동 방식
각 과제는 실제 사용자가 표현하는 방식 그대로 법적 사안을 기술하고 — 사건 요약 또는 리서치 질문의 형태로 — 저희 검색 파이프라인에 가장 관련성 높은 법원(法源)을 요청합니다. 해당 사안을 실제로 규율하는 법령이 결과에 나타나야만 과제가 통과됩니다.
쿼리는 의도적으로 규율 법령의 이름을 절대 언급하지 않습니다 — 이름을 언급하면 검색이 지나치게 쉬워져 아무것도 측정할 수 없기 때문입니다. 모든 과제는 추가되기 전에 해당 법역의 공식 법령 코퍼스에 대조하여 검증됩니다.
규율 법령이 나타나야 함
사안을 규율하는 모든 법령이 검색된 법원(法源)에 포함되어야 합니다. 준거법이 누락되면 과제는 실패합니다.
노이즈는 배제되어야 함
알려진 주변적 법원 — 그럴듯해 보이지만 무관한 법령 — 은 나타나서는 안 됩니다. 노이즈가 나타나면 과제는 실패합니다.
순위 규율
선별된 과제에서는 규율 법령이 결과 어딘가에 있는 것만으로는 부족하며, 결과 상단에 나타나야 합니다.
과제별 결과
과제 설명은 영어로 표시됩니다 — 벤치마크의 원본 데이터로, 모든 언어에서 동일합니다.
| 과제 | 법역 | 결과 |
|---|---|---|
| no-tenancy-depositTenancy: landlord withholding a deposit after move-out | 노르웨이 | 통과 |
| no-criminal-embezzlementCriminal defence: gross embezzlement (the Fredrik regression guard) | 노르웨이 | 통과 |
| no-employment-dismissalEmployment: contested dismissal / unfair termination | 노르웨이 | 통과 |
| no-family-custodyFamily: parental responsibility and where the child lives | 노르웨이 | 통과 |
| no-sale-defectContract: defect in a commercial sale of goods | 노르웨이 | 통과 |
| no-company-sharesCorporate: shareholder dispute in a limited company | 노르웨이 | 통과 |
| no-personal-dataPrivacy: unlawful processing of personal data | 노르웨이 | 통과 |
| no-inheritanceInheritance: distribution of an estate and forced share | 노르웨이 | 통과 |
| no-bankruptcy-supplierInsolvency: supplier stopped paying, creditor weighs bankruptcy petition | 노르웨이 | 통과 |
| no-house-hidden-defectsReal property: hidden defects after buying a house (avhendingslova, NOT tenancy) | 노르웨이 | 통과 |
| no-stale-invoice-claimLimitation: collecting on a years-old unpaid invoice (foreldelsesloven) | 노르웨이 | 통과 |
| se-employment-dismissalEmployment: contested dismissal (Lagen om anställningsskydd) | 스웨덴 | 통과 |
| se-consumer-saleConsumer: defective goods purchased by a consumer (Konsumentköplagen) | 스웨덴 | 통과 |
| se-company-sharesCorporate: minority shareholder dispute (Aktiebolagslagen) | 스웨덴 | 통과 |
| se-discriminationEmployment: workplace discrimination (Diskrimineringslagen) | 스웨덴 | 통과 |
| se-family-custodyFamily: custody and residence after separation (Föräldrabalken) | 스웨덴 | 통과 |
| se-criminal-embezzlementCriminal defence: embezzlement (Brottsbalken) | 스웨덴 | 통과 |
| se-inheritance-forced-shareInheritance: estate division and the children's reserved share (Ärvdabalken) | 스웨덴 | 통과 |
| se-tenancy-evictionTenancy: landlord terminating a lease — hyresrätt lives in Jordabalken, a hard mapping | 스웨덴 | 통과 |
| se-stale-debt-claimLimitation: enforcing an old consumer debt (Preskriptionslag) | 스웨덴 | 통과 |
| dk-employment-dismissalEmployment: salaried-employee dismissal (Funktionærloven) | 덴마크 | 통과 |
| dk-sale-defectSale: defective goods and right to reject (Købeloven) | 덴마크 | 통과 |
| dk-company-sharesCorporate: shareholder dispute in a capital company (Selskabsloven) | 덴마크 | 통과 |
| dk-family-custodyFamily: parental responsibility and residence (Forældreansvarsloven) | 덴마크 | 통과 |
| dk-inheritanceInheritance: estate distribution and forced share (Arveloven) | 덴마크 | 통과 |
| dk-criminal-embezzlementCriminal defence: embezzlement (Straffeloven) | 덴마크 | 통과 |
| dk-holiday-pay-exitEmployment: holiday pay owed when an employee resigns (Ferieloven) | 덴마크 | 통과 |
| dk-employee-dataData protection: employer monitoring employee e-mail (Databeskyttelsesloven) | 덴마크 | 통과 |
| dk-divorce-assetsFamily: division of assets at divorce (Ægtefælleloven) | 덴마크 | 통과 |
| de-employment-dismissalEmployment: unfair dismissal protection (Kündigungsschutzgesetz) | 독일 | 통과 |
| de-criminal-embezzlementCriminal defence: embezzlement (Strafgesetzbuch) | 독일 | 통과 |
| de-sale-defectSale: defective goods and buyer remedies (Bürgerliches Gesetzbuch) | 독일 | 통과 |
| de-gmbh-formationCorporate: founding a GmbH, share capital and managing-director duties (GmbHG) | 독일 | 통과 |
| de-insolvency-filing-dutyInsolvency: over-indebted company and the duty to file (Insolvenzordnung) | 독일 | 통과 |
| de-working-time-overtimeEmployment: overtime limits and rest periods (Arbeitszeitgesetz) | 독일 | 통과 |
| de-works-council-codeterminationEmployment: works council consultation before restructuring (BetrVG) | 독일 | 통과 |
| de-misleading-advertisingCompetition: competitor runs misleading price advertising (UWG) | 독일 | 통과 |
어시스턴트의 출처 인용
어시스턴트의 출처 인용이 관련 법에 머무는지 측정합니다. 각 질문에 대해 상위 출처를 명백히 분야 밖인 법률 목록과 대조하여 채점합니다. 예를 들어 일반 해고 질문에서 해사 노동법을 인용하면 노이즈로 계산됩니다.
| 과제 | 법역 | 노이즈 | 결과 |
|---|---|---|---|
| no-chip-employment-dismissalEmployment chips: office dismissal must not surface maritime-labour law | 노르웨이 | 0/4 | 통과 |
| no-chip-employment-overtimeEmployment chips: unpaid retail overtime | 노르웨이 | 0/2 | 통과 |
| no-chip-employment-temp-contractsEmployment chips: serial temporary contracts, claim to permanent employment | 노르웨이 | 0/3 | 통과 |
| no-chip-employment-harassmentEmployment chips: whistleblowing about harassment at the office | 노르웨이 | 0/3 | 통과 |
| no-chip-employment-holiday-payEmployment chips: holiday pay not paid out after quitting | 노르웨이 | 0/3 | 통과 |
| no-chip-family-custodyFamily chips: residence and contact after a breakup | 노르웨이 | 0/5 | 통과 |
| no-chip-family-divorce-assetsFamily chips: division of marital property and skjevdeling | 노르웨이 | 0/2 | 통과 |
| no-chip-family-child-supportFamily chips: disagreement about child support | 노르웨이 | 0/3 | 통과 |
| no-chip-consumer-used-carConsumer chips: used car from a dealer with hidden defects | 노르웨이 | 0/3 | 통과 |
| no-chip-consumer-craftsmanConsumer chips: botched bathroom renovation by a craftsman | 노르웨이 | 0/3 | 통과 |
| no-chip-consumer-online-cancellationConsumer chips: right of withdrawal on an online purchase | 노르웨이 | 0/3 | 통과 |
| no-chip-housing-depositHousing chips: landlord withholding the deposit after move-out | 노르웨이 | 0/2 | 통과 |
출처 확인 정확도
출처가 있는 답변마다 어시스턴트는 각 출처 인용을 해당 출처의 본문과 대조하여 확인됨, 부분적으로 뒷받침됨, 뒷받침되지 않음으로 표시합니다. 이 벤치마크는 주장과 조문 원문 발췌로 구성된 정답이 있는 라벨링된 쌍으로 그 검증기 자체를 측정합니다.
쌍의 절반은 근접 오답입니다. 올바른 법이지만 기간·금액·당사자가 틀린 경우로, 느슨한 검증기가 통과시키는 사례입니다. 뒷받침되지 않는 주장을 확인됨으로 표시하는 오승인이 중요한 숫자이며, 오거부는 독자에게 재확인의 수고만 더할 뿐입니다.
| 과제 | 법역 | 정답 | 검증기 판정 | 결과 |
|---|---|---|---|---|
| no-aml-15-3-notice-one-monthaml § 15-3 (NL/lov/2005-06-17-62): default one-month mutual notice period restated | 노르웨이 | 뒷받침됨 | 확인됨 | 통과 |
| no-aml-15-3-notice-three-months-near-missaml § 15-3: claim states a three-month default notice period (statute says one month) | 노르웨이 | 뒷받침되지 않음 | 뒷받침되지 않음 | 통과 |
| no-aml-15-3-five-years-two-monthsaml § 15-3 (2): at least two months after five years of continuous employment | 노르웨이 | 뒷받침됨 | 확인됨 | 통과 |
| no-aml-15-1-consultation-before-dismissalaml § 15-1: employer must consult the employee before deciding on dismissal | 노르웨이 | 뒷받침됨 | 뒷받침되지 않음 | 실패 |
| no-aml-15-1-consultation-optional-near-missaml § 15-1: claim says the consultation is optional for the employer (statute makes it a duty) | 노르웨이 | 뒷받침되지 않음 | 뒷받침되지 않음 | 통과 |
| no-aml-15-4-written-formaml § 15-4: dismissal must be in writing | 노르웨이 | 뒷받침됨 | 확인됨 | 통과 |
| no-husleie-3-5-deposit-six-monthshusleieloven § 3-5 (NL/lov/1999-03-26-17): deposit capped at six months of rent | 노르웨이 | 뒷받침됨 | 확인됨 | 통과 |
| no-husleie-3-5-deposit-three-months-near-misshusleieloven § 3-5: claim caps the deposit at three months (statute says six) | 노르웨이 | 뒷받침되지 않음 | 뒷받침되지 않음 | 통과 |
| no-husleie-3-5-off-topic-noticehusleieloven § 3-5 (deposit) cited for a claim about notice periods in employment | 노르웨이 | 뒷받침되지 않음 | 뒷받침되지 않음 | 통과 |
| no-fkjl-27-two-year-limitforbrukerkjøpsloven § 27 (NL/lov/2002-06-21-34): absolute two-year complaint deadline, five for durable goods | 노르웨이 | 뒷받침됨 | 확인됨 | 통과 |
| no-fkjl-27-three-year-near-missforbrukerkjøpsloven § 27: claim states a three-year absolute deadline (statute says two / five) | 노르웨이 | 뒷받침되지 않음 | 뒷받침되지 않음 | 통과 |
| no-ferie-5-off-topic-depositferieloven § 5 (NL/lov/1988-04-29-21, holiday length) cited for a claim about rent deposits | 노르웨이 | 뒷받침되지 않음 | 뒷받침되지 않음 | 통과 |
| se-las-11-minimum-one-monthLAS 11 § (sfs-1982-80): minimum one-month notice for both parties | 스웨덴 | 뒷받침됨 | 확인됨 | 통과 |
| se-las-11-four-years-three-monthsLAS 11 §: three months after at least four but under six years of employment | 스웨덴 | 뒷받침됨 | 확인됨 | 통과 |
| se-las-11-ten-years-twelve-months-near-missLAS 11 §: claim gives twelve months after ten years (statute says six) | 스웨덴 | 뒷받침되지 않음 | 뒷받침되지 않음 | 통과 |
| se-semester-4-twenty-five-dayssemesterlagen 4 § (sfs-1977-480): twenty-five days of holiday per year | 스웨덴 | 뒷받침됨 | 확인됨 | 통과 |
| se-semester-4-thirty-days-near-misssemesterlagen 4 §: claim gives thirty days (statute says twenty-five) | 스웨덴 | 뒷받침되지 않음 | 뒷받침되지 않음 | 통과 |
| se-kkl-5-2-two-months-always-timelykonsumentköplagen 5 kap. 2 § (sfs-2022-260): a complaint within two months of noticing is always timely | 스웨덴 | 뒷받침됨 | 확인됨 | 통과 |
| se-kkl-5-2-off-topic-noticekonsumentköplagen 5 kap. 2 § (complaints) cited for a claim about employment notice | 스웨덴 | 뒷받침되지 않음 | 뒷받침되지 않음 | 통과 |
| dk-ful-2-three-months-after-sixfunktionærloven § 2 (lta/2017/1002): three months notice from the employer after six months of employment | 덴마크 | 뒷받침됨 | 확인됨 | 통과 |
| dk-ful-2-cap-six-monthsfunktionærloven § 2, stk. 3: the notice period grows by one month per three years, capped at six months | 덴마크 | 뒷받침됨 | 확인됨 | 통과 |
| dk-ful-2-cap-nine-months-near-missfunktionærloven § 2: claim caps the notice period at nine months (statute says six) | 덴마크 | 뒷받침되지 않음 | 뒷받침되지 않음 | 통과 |
| dk-kbl-83-two-year-limitkøbeloven § 83 (lta/2021/1853): defects must be raised within two years of delivery | 덴마크 | 뒷받침됨 | 확인됨 | 통과 |
| dk-kbl-83-five-year-near-misskøbeloven § 83: claim states a five-year absolute deadline (statute says two) | 덴마크 | 뒷받침되지 않음 | 뒷받침되지 않음 | 통과 |
| dk-ferie-5-off-topic-noticeferieloven § 5 (lta/2024/152, holiday accrual) cited for a claim about notice periods | 덴마크 | 뒷받침되지 않음 | 뒷받침되지 않음 | 통과 |
| de-bgb-622-four-weeks-basicBGB § 622 (1) (bgb): basic four-week notice to the 15th or month end | 독일 | 뒷받침됨 | 확인됨 | 통과 |
| de-bgb-622-five-years-two-monthsBGB § 622 (2) Nr. 2: two months after five years for an employer termination | 독일 | 뒷받침됨 | 확인됨 | 통과 |
| de-bgb-622-probation-four-weeks-near-missBGB § 622 (3): claim gives four weeks during probation (statute says two weeks) | 독일 | 뒷받침되지 않음 | 뒷받침되지 않음 | 통과 |
| de-bgb-551-deposit-three-monthsBGB § 551 (1): rent deposit capped at three months of net rent | 독일 | 뒷받침됨 | 확인됨 | 통과 |
| de-bgb-551-deposit-six-months-near-missBGB § 551: claim allows six months of rent as deposit (statute says three) | 독일 | 뒷받침되지 않음 | 뒷받침되지 않음 | 통과 |
| de-kschg-1-six-months-thresholdKSchG § 1 (1) (kschg): protection applies after more than six months of uninterrupted employment | 독일 | 뒷받침됨 | 확인됨 | 통과 |
| de-kschg-4-three-week-deadlineKSchG § 4: claim must be filed within three weeks of receiving the written termination | 독일 | 뒷받침됨 | 확인됨 | 통과 |
| de-kschg-4-four-week-near-missKSchG § 4: claim gives a four-week filing deadline (statute says three weeks) | 독일 | 뒷받침되지 않음 | 뒷받침되지 않음 | 통과 |
| de-kschg-1-off-topic-depositKSchG § 1 (dismissal protection) cited for a claim about rent deposits | 독일 | 뒷받침되지 않음 | 뒷받침되지 않음 | 통과 |
이 결과가 보여주는 것과 보여주지 않는 것
- 이것은 저희가 직접 작성하고 직접 채점하는 사내 벤치마크입니다. 독립적인 평가가 아닙니다 — 저희 스스로의 품질 기준으로서 공개하는 것이니, 저희에게 책임을 묻는 잣대로 활용해 주세요.
- 이 벤치마크는 법령 검색 성능 — 즉 사안에 맞는 올바른 법령이 나타나는지 — 을 측정합니다. 작성된 초안이나 최종 답변의 품질은 측정하지 않습니다.
- 결과는 배포되는 모든 릴리스에 대해 자동으로 생성되며, 실패를 포함해 편집 없이 그대로 공개됩니다.