Wir messen unsere juristische KI öffentlich
Jede Version von Attorly wird anhand korpusverifizierter Aufgaben zum Auffinden von Rechtsquellen in vier Rechtsordnungen gemessen. Die neuesten Ergebnisse — bestandene und nicht bestandene Aufgaben sowie die Methodik — werden hier veröffentlicht.
Neueste Ergebnisse
| Rechtsordnung | Aufgaben | Bestanden | Bestehensquote |
|---|---|---|---|
| Norwegen | 8 | 8 | 100% |
| Schweden | 1 | 1 | 100% |
| Dänemark | 0 | 0 | — |
| Deutschland | 0 | 0 | — |
So funktioniert der Benchmark
Jede Aufgabe beschreibt einen Rechtsfall so, wie ihn ein echter Nutzer formulieren würde — als Fallzusammenfassung oder Rechercheanfrage — und fragt unsere Retrieval-Pipeline nach den relevantesten Rechtsquellen. Die Aufgabe gilt nur dann als bestanden, wenn die Gesetze, die den Fall tatsächlich regeln, in den Ergebnissen erscheinen.
Die Anfragen nennen das maßgebliche Gesetz bewusst nie — es zu nennen, würde das Auffinden trivial machen und nichts messen. Jede Aufgabe wird vor der Aufnahme gegen den offiziellen Rechtsquellenkorpus ihrer Rechtsordnung verifiziert.
Das maßgebliche Recht erscheint
Jedes Gesetz, das den Fall regelt, muss in den gefundenen Quellen erscheinen. Fehlt das maßgebliche Recht, gilt die Aufgabe als nicht bestanden.
Rauschen bleibt draußen
Bekannte tangentiale Quellen — plausibel wirkende, aber irrelevante Gesetze — dürfen nicht erscheinen. Erscheint solches Rauschen, gilt die Aufgabe als nicht bestanden.
Ranking-Disziplin
Bei ausgewählten Aufgaben muss das maßgebliche Gesetz ganz oben in den Ergebnissen stehen, nicht nur irgendwo darin.
Ergebnisse pro Aufgabe
Die Aufgabenbeschreibungen werden auf Englisch angezeigt — sie sind die Quelldaten des Benchmarks und in allen Sprachen identisch.
| Aufgabe | Rechtsordnung | Ergebnis |
|---|---|---|
| no-tenancy-depositTenancy: landlord withholding a deposit after move-out | Norwegen | Bestanden |
| no-criminal-embezzlementCriminal defence: gross embezzlement (the Fredrik regression guard) | Norwegen | Bestanden |
| no-employment-dismissalEmployment: contested dismissal / unfair termination | Norwegen | Bestanden |
| no-family-custodyFamily: parental responsibility and where the child lives | Norwegen | Bestanden |
| no-sale-defectContract: defect in a commercial sale of goods | Norwegen | Bestanden |
| no-company-sharesCorporate: shareholder dispute in a limited company | Norwegen | Bestanden |
| no-personal-dataPrivacy: unlawful processing of personal data | Norwegen | Bestanden |
| no-inheritanceInheritance: distribution of an estate and forced share | Norwegen | Bestanden |
| se-employment-dismissalEmployment: contested dismissal (Lagen om anställningsskydd) | Schweden | Bestanden |
| se-consumer-saleConsumer: defective goods purchased by a consumer (Konsumentköplagen) | Schweden | Übersprungen |
| se-company-sharesCorporate: minority shareholder dispute (Aktiebolagslagen) | Schweden | Übersprungen |
| se-discriminationEmployment: workplace discrimination (Diskrimineringslagen) | Schweden | Übersprungen |
| se-family-custodyFamily: custody and residence after separation (Föräldrabalken) | Schweden | Übersprungen |
| se-criminal-embezzlementCriminal defence: embezzlement (Brottsbalken) | Schweden | Übersprungen |
| dk-employment-dismissalEmployment: salaried-employee dismissal (Funktionærloven) | Dänemark | Übersprungen |
| dk-sale-defectSale: defective goods and right to reject (Købeloven) | Dänemark | Übersprungen |
| dk-company-sharesCorporate: shareholder dispute in a capital company (Selskabsloven) | Dänemark | Übersprungen |
| dk-family-custodyFamily: parental responsibility and residence (Forældreansvarsloven) | Dänemark | Übersprungen |
| dk-inheritanceInheritance: estate distribution and forced share (Arveloven) | Dänemark | Übersprungen |
| dk-criminal-embezzlementCriminal defence: embezzlement (Straffeloven) | Dänemark | Übersprungen |
| de-employment-dismissalEmployment: unfair dismissal protection (Kündigungsschutzgesetz) | Deutschland | Übersprungen |
| de-criminal-embezzlementCriminal defence: embezzlement (Strafgesetzbuch) | Deutschland | Übersprungen |
| de-sale-defectSale: defective goods and buyer remedies (Bürgerliches Gesetzbuch) | Deutschland | Übersprungen |
Was das zeigt — und was nicht
- Dies ist ein interner Benchmark, von uns erstellt und bewertet. Er ist keine unabhängige Evaluierung — verstehen Sie ihn als unseren eigenen Qualitätsmaßstab, veröffentlicht, damit Sie uns daran messen können.
- Er misst das Auffinden von Rechtsquellen — ob für einen Fall das richtige Recht erscheint. Er misst nicht die Qualität entworfener Texte oder vollständiger Antworten.
- Die Ergebnisse werden für jede ausgerollte Version automatisch erzeugt und unbearbeitet veröffentlicht — einschließlich der Fehlschläge.