Benchmarks

Wir messen unsere juristische KI öffentlich

Jede Version von Attorly wird anhand korpusverifizierter Aufgaben zum Auffinden von Rechtsquellen in vier Rechtsordnungen gemessen. Die neuesten Ergebnisse — bestandene und nicht bestandene Aufgaben sowie die Methodik — werden hier veröffentlicht.

100%

Bestehensquote

Bewertete Aufgaben

Rechtsordnungen

21.09.2026

Letzter Lauf

Build 9b4511f58

Rechtsordnung	Aufgaben	Bestanden	Bestehensquote
Norwegen	11	11	100%
Schweden	9	9	100%
Dänemark	9	9	100%
Deutschland	8	8	100%

So funktioniert der Benchmark

Jede Aufgabe beschreibt einen Rechtsfall so, wie ihn ein echter Nutzer formulieren würde — als Fallzusammenfassung oder Rechercheanfrage — und fragt unsere Retrieval-Pipeline nach den relevantesten Rechtsquellen. Die Aufgabe gilt nur dann als bestanden, wenn die Gesetze, die den Fall tatsächlich regeln, in den Ergebnissen erscheinen.

Die Anfragen nennen das maßgebliche Gesetz bewusst nie — es zu nennen, würde das Auffinden trivial machen und nichts messen. Jede Aufgabe wird vor der Aufnahme gegen den offiziellen Rechtsquellenkorpus ihrer Rechtsordnung verifiziert.

Das maßgebliche Recht erscheint

Jedes Gesetz, das den Fall regelt, muss in den gefundenen Quellen erscheinen. Fehlt das maßgebliche Recht, gilt die Aufgabe als nicht bestanden.

Rauschen bleibt draußen

Bekannte tangentiale Quellen — plausibel wirkende, aber irrelevante Gesetze — dürfen nicht erscheinen. Erscheint solches Rauschen, gilt die Aufgabe als nicht bestanden.

Ranking-Disziplin

Bei ausgewählten Aufgaben muss das maßgebliche Gesetz ganz oben in den Ergebnissen stehen, nicht nur irgendwo darin.

Ergebnisse pro Aufgabe

Die Aufgabenbeschreibungen werden auf Englisch angezeigt — sie sind die Quelldaten des Benchmarks und in allen Sprachen identisch.

Aufgabe	Rechtsordnung	Ergebnis
no-tenancy-depositTenancy: landlord withholding a deposit after move-out	Norwegen	Bestanden
no-criminal-embezzlementCriminal defence: gross embezzlement (the Fredrik regression guard)	Norwegen	Bestanden
no-employment-dismissalEmployment: contested dismissal / unfair termination	Norwegen	Bestanden
no-family-custodyFamily: parental responsibility and where the child lives	Norwegen	Bestanden
no-sale-defectContract: defect in a commercial sale of goods	Norwegen	Bestanden
no-company-sharesCorporate: shareholder dispute in a limited company	Norwegen	Bestanden
no-personal-dataPrivacy: unlawful processing of personal data	Norwegen	Bestanden
no-inheritanceInheritance: distribution of an estate and forced share	Norwegen	Bestanden
no-bankruptcy-supplierInsolvency: supplier stopped paying, creditor weighs bankruptcy petition	Norwegen	Bestanden
no-house-hidden-defectsReal property: hidden defects after buying a house (avhendingslova, NOT tenancy)	Norwegen	Bestanden
no-stale-invoice-claimLimitation: collecting on a years-old unpaid invoice (foreldelsesloven)	Norwegen	Bestanden
se-employment-dismissalEmployment: contested dismissal (Lagen om anställningsskydd)	Schweden	Bestanden
se-consumer-saleConsumer: defective goods purchased by a consumer (Konsumentköplagen)	Schweden	Bestanden
se-company-sharesCorporate: minority shareholder dispute (Aktiebolagslagen)	Schweden	Bestanden
se-discriminationEmployment: workplace discrimination (Diskrimineringslagen)	Schweden	Bestanden
se-family-custodyFamily: custody and residence after separation (Föräldrabalken)	Schweden	Bestanden
se-criminal-embezzlementCriminal defence: embezzlement (Brottsbalken)	Schweden	Bestanden
se-inheritance-forced-shareInheritance: estate division and the children's reserved share (Ärvdabalken)	Schweden	Bestanden
se-tenancy-evictionTenancy: landlord terminating a lease — hyresrätt lives in Jordabalken, a hard mapping	Schweden	Bestanden
se-stale-debt-claimLimitation: enforcing an old consumer debt (Preskriptionslag)	Schweden	Bestanden
dk-employment-dismissalEmployment: salaried-employee dismissal (Funktionærloven)	Dänemark	Bestanden
dk-sale-defectSale: defective goods and right to reject (Købeloven)	Dänemark	Bestanden
dk-company-sharesCorporate: shareholder dispute in a capital company (Selskabsloven)	Dänemark	Bestanden
dk-family-custodyFamily: parental responsibility and residence (Forældreansvarsloven)	Dänemark	Bestanden
dk-inheritanceInheritance: estate distribution and forced share (Arveloven)	Dänemark	Bestanden
dk-criminal-embezzlementCriminal defence: embezzlement (Straffeloven)	Dänemark	Bestanden
dk-holiday-pay-exitEmployment: holiday pay owed when an employee resigns (Ferieloven)	Dänemark	Bestanden
dk-employee-dataData protection: employer monitoring employee e-mail (Databeskyttelsesloven)	Dänemark	Bestanden
dk-divorce-assetsFamily: division of assets at divorce (Ægtefælleloven)	Dänemark	Bestanden
de-employment-dismissalEmployment: unfair dismissal protection (Kündigungsschutzgesetz)	Deutschland	Bestanden
de-criminal-embezzlementCriminal defence: embezzlement (Strafgesetzbuch)	Deutschland	Bestanden
de-sale-defectSale: defective goods and buyer remedies (Bürgerliches Gesetzbuch)	Deutschland	Bestanden
de-gmbh-formationCorporate: founding a GmbH, share capital and managing-director duties (GmbHG)	Deutschland	Bestanden
de-insolvency-filing-dutyInsolvency: over-indebted company and the duty to file (Insolvenzordnung)	Deutschland	Bestanden
de-working-time-overtimeEmployment: overtime limits and rest periods (Arbeitszeitgesetz)	Deutschland	Bestanden
de-works-council-codeterminationEmployment: works council consultation before restructuring (BetrVG)	Deutschland	Bestanden
de-misleading-advertisingCompetition: competitor runs misleading price advertising (UWG)	Deutschland	Bestanden

Quellenangaben des Assistenten

Misst, ob die Quellenangaben des Assistenten beim einschlägigen Recht bleiben: Für jede Frage werden die obersten Quellen gegen eine Liste klar sachfremder Gesetze geprüft. Ein Verweis auf z. B. Seearbeitsrecht bei einer gewöhnlichen Kündigungsfrage zählt als Rauschen.

100%

Bestehensquote

Rauschanteil

0 von 36 Angaben

Bewertete Aufgaben

21.09.2026

Letzter Lauf

Build 9b4511f58

Aufgabe	Rechtsordnung	Rauschen	Ergebnis
no-chip-employment-dismissalEmployment chips: office dismissal must not surface maritime-labour law	Norwegen	0/4	Bestanden
no-chip-employment-overtimeEmployment chips: unpaid retail overtime	Norwegen	0/2	Bestanden
no-chip-employment-temp-contractsEmployment chips: serial temporary contracts, claim to permanent employment	Norwegen	0/3	Bestanden
no-chip-employment-harassmentEmployment chips: whistleblowing about harassment at the office	Norwegen	0/3	Bestanden
no-chip-employment-holiday-payEmployment chips: holiday pay not paid out after quitting	Norwegen	0/3	Bestanden
no-chip-family-custodyFamily chips: residence and contact after a breakup	Norwegen	0/5	Bestanden
no-chip-family-divorce-assetsFamily chips: division of marital property and skjevdeling	Norwegen	0/2	Bestanden
no-chip-family-child-supportFamily chips: disagreement about child support	Norwegen	0/3	Bestanden
no-chip-consumer-used-carConsumer chips: used car from a dealer with hidden defects	Norwegen	0/3	Bestanden
no-chip-consumer-craftsmanConsumer chips: botched bathroom renovation by a craftsman	Norwegen	0/3	Bestanden
no-chip-consumer-online-cancellationConsumer chips: right of withdrawal on an online purchase	Norwegen	0/3	Bestanden
no-chip-housing-depositHousing chips: landlord withholding the deposit after move-out	Norwegen	0/2	Bestanden

Genauigkeit der Quellenprüfung

Nach jeder belegten Antwort prüft der Assistent jede Quellenangabe gegen den Text der Quelle, auf die sie verweist, und markiert sie als bestätigt, teilweise gestützt oder nicht gestützt. Dieser Benchmark misst den Prüfer selbst an beschrifteten Paaren aus einer Behauptung und einem wörtlichen Gesetzesauszug mit bekannter Antwort.

Die Hälfte der Paare sind Beinahe-Treffer: das richtige Gesetz, aber die falsche Frist, Summe oder Partei – der Fall, den ein nachsichtiger Prüfer durchwinkt. Eine Fehlfreigabe, eine nicht gestützte Behauptung als bestätigt markiert, ist die Zahl, die zählt; eine Fehlablehnung kostet den Leser nur eine zweite Prüfung.

97%

Bestehensquote

Fehlfreigaben

0 von 16 nicht gestützten Behauptungen

Bewertete Aufgaben

21.09.2026

Letzter Lauf

Build 9b4511f58

Aufgabe	Rechtsordnung	Erwartet	Prüfer sagte	Ergebnis
no-aml-15-3-notice-one-monthaml § 15-3 (NL/lov/2005-06-17-62): default one-month mutual notice period restated	Norwegen	Gestützt	Bestätigt	Bestanden
no-aml-15-3-notice-three-months-near-missaml § 15-3: claim states a three-month default notice period (statute says one month)	Norwegen	Nicht gestützt	Nicht gestützt	Bestanden
no-aml-15-3-five-years-two-monthsaml § 15-3 (2): at least two months after five years of continuous employment	Norwegen	Gestützt	Bestätigt	Bestanden
no-aml-15-1-consultation-before-dismissalaml § 15-1: employer must consult the employee before deciding on dismissal	Norwegen	Gestützt	Nicht gestützt	Nicht bestanden
no-aml-15-1-consultation-optional-near-missaml § 15-1: claim says the consultation is optional for the employer (statute makes it a duty)	Norwegen	Nicht gestützt	Nicht gestützt	Bestanden
no-aml-15-4-written-formaml § 15-4: dismissal must be in writing	Norwegen	Gestützt	Bestätigt	Bestanden
no-husleie-3-5-deposit-six-monthshusleieloven § 3-5 (NL/lov/1999-03-26-17): deposit capped at six months of rent	Norwegen	Gestützt	Bestätigt	Bestanden
no-husleie-3-5-deposit-three-months-near-misshusleieloven § 3-5: claim caps the deposit at three months (statute says six)	Norwegen	Nicht gestützt	Nicht gestützt	Bestanden
no-husleie-3-5-off-topic-noticehusleieloven § 3-5 (deposit) cited for a claim about notice periods in employment	Norwegen	Nicht gestützt	Nicht gestützt	Bestanden
no-fkjl-27-two-year-limitforbrukerkjøpsloven § 27 (NL/lov/2002-06-21-34): absolute two-year complaint deadline, five for durable goods	Norwegen	Gestützt	Bestätigt	Bestanden
no-fkjl-27-three-year-near-missforbrukerkjøpsloven § 27: claim states a three-year absolute deadline (statute says two / five)	Norwegen	Nicht gestützt	Nicht gestützt	Bestanden
no-ferie-5-off-topic-depositferieloven § 5 (NL/lov/1988-04-29-21, holiday length) cited for a claim about rent deposits	Norwegen	Nicht gestützt	Nicht gestützt	Bestanden
se-las-11-minimum-one-monthLAS 11 § (sfs-1982-80): minimum one-month notice for both parties	Schweden	Gestützt	Bestätigt	Bestanden
se-las-11-four-years-three-monthsLAS 11 §: three months after at least four but under six years of employment	Schweden	Gestützt	Bestätigt	Bestanden
se-las-11-ten-years-twelve-months-near-missLAS 11 §: claim gives twelve months after ten years (statute says six)	Schweden	Nicht gestützt	Nicht gestützt	Bestanden
se-semester-4-twenty-five-dayssemesterlagen 4 § (sfs-1977-480): twenty-five days of holiday per year	Schweden	Gestützt	Bestätigt	Bestanden
se-semester-4-thirty-days-near-misssemesterlagen 4 §: claim gives thirty days (statute says twenty-five)	Schweden	Nicht gestützt	Nicht gestützt	Bestanden
se-kkl-5-2-two-months-always-timelykonsumentköplagen 5 kap. 2 § (sfs-2022-260): a complaint within two months of noticing is always timely	Schweden	Gestützt	Bestätigt	Bestanden
se-kkl-5-2-off-topic-noticekonsumentköplagen 5 kap. 2 § (complaints) cited for a claim about employment notice	Schweden	Nicht gestützt	Nicht gestützt	Bestanden
dk-ful-2-three-months-after-sixfunktionærloven § 2 (lta/2017/1002): three months notice from the employer after six months of employment	Dänemark	Gestützt	Bestätigt	Bestanden
dk-ful-2-cap-six-monthsfunktionærloven § 2, stk. 3: the notice period grows by one month per three years, capped at six months	Dänemark	Gestützt	Bestätigt	Bestanden
dk-ful-2-cap-nine-months-near-missfunktionærloven § 2: claim caps the notice period at nine months (statute says six)	Dänemark	Nicht gestützt	Nicht gestützt	Bestanden
dk-kbl-83-two-year-limitkøbeloven § 83 (lta/2021/1853): defects must be raised within two years of delivery	Dänemark	Gestützt	Bestätigt	Bestanden
dk-kbl-83-five-year-near-misskøbeloven § 83: claim states a five-year absolute deadline (statute says two)	Dänemark	Nicht gestützt	Nicht gestützt	Bestanden
dk-ferie-5-off-topic-noticeferieloven § 5 (lta/2024/152, holiday accrual) cited for a claim about notice periods	Dänemark	Nicht gestützt	Nicht gestützt	Bestanden
de-bgb-622-four-weeks-basicBGB § 622 (1) (bgb): basic four-week notice to the 15th or month end	Deutschland	Gestützt	Bestätigt	Bestanden
de-bgb-622-five-years-two-monthsBGB § 622 (2) Nr. 2: two months after five years for an employer termination	Deutschland	Gestützt	Bestätigt	Bestanden
de-bgb-622-probation-four-weeks-near-missBGB § 622 (3): claim gives four weeks during probation (statute says two weeks)	Deutschland	Nicht gestützt	Nicht gestützt	Bestanden
de-bgb-551-deposit-three-monthsBGB § 551 (1): rent deposit capped at three months of net rent	Deutschland	Gestützt	Bestätigt	Bestanden
de-bgb-551-deposit-six-months-near-missBGB § 551: claim allows six months of rent as deposit (statute says three)	Deutschland	Nicht gestützt	Nicht gestützt	Bestanden
de-kschg-1-six-months-thresholdKSchG § 1 (1) (kschg): protection applies after more than six months of uninterrupted employment	Deutschland	Gestützt	Bestätigt	Bestanden
de-kschg-4-three-week-deadlineKSchG § 4: claim must be filed within three weeks of receiving the written termination	Deutschland	Gestützt	Bestätigt	Bestanden
de-kschg-4-four-week-near-missKSchG § 4: claim gives a four-week filing deadline (statute says three weeks)	Deutschland	Nicht gestützt	Nicht gestützt	Bestanden
de-kschg-1-off-topic-depositKSchG § 1 (dismissal protection) cited for a claim about rent deposits	Deutschland	Nicht gestützt	Nicht gestützt	Bestanden

Was das zeigt — und was nicht

Dies ist ein interner Benchmark, von uns erstellt und bewertet. Er ist keine unabhängige Evaluierung — verstehen Sie ihn als unseren eigenen Qualitätsmaßstab, veröffentlicht, damit Sie uns daran messen können.
Er misst das Auffinden von Rechtsquellen — ob für einen Fall das richtige Recht erscheint. Er misst nicht die Qualität entworfener Texte oder vollständiger Antworten.
Die Ergebnisse werden für jede ausgerollte Version automatisch erzeugt und unbearbeitet veröffentlicht — einschließlich der Fehlschläge.

Siehe auch:Sicherheit & Datenverarbeitung

Wir messen unsere juristische KI öffentlich

Neueste Ergebnisse

So funktioniert der Benchmark

Das maßgebliche Recht erscheint

Rauschen bleibt draußen

Ranking-Disziplin

Ergebnisse pro Aufgabe

Quellenangaben des Assistenten

Genauigkeit der Quellenprüfung

Was das zeigt — und was nicht