Wij meten onze juridische AI in het openbaar
Elke release van Attorly wordt gebenchmarkt op corpus-geverifieerde taken voor het ophalen van rechtsbronnen in vier jurisdicties. De nieuwste resultaten — geslaagd, niet geslaagd en methode — worden hier gepubliceerd.
Laatste resultaten
| Jurisdictie | Taken | Geslaagd | Slagingspercentage |
|---|---|---|---|
| Noorwegen | 8 | 8 | 100% |
| Zweden | 1 | 1 | 100% |
| Denemarken | 0 | 0 | — |
| Duitsland | 0 | 0 | — |
Zo werkt de benchmark
Elke taak beschrijft een juridische kwestie zoals een echte gebruiker die zou formuleren — een samenvatting van een zaak of een onderzoeksvraag — en vraagt onze retrieval-pijplijn om de meest relevante rechtsbronnen. De taak slaagt alleen als de wetten die de kwestie daadwerkelijk beheersen in de resultaten verschijnen.
De zoekopdrachten noemen de toepasselijke wet bewust nooit — die noemen zou het ophalen triviaal maken en niets meten. Elke taak wordt vóór toevoeging geverifieerd tegen het officiële juridische corpus van de betreffende jurisdictie.
Het toepasselijke recht verschijnt
Elke wet die de kwestie beheerst, moet in de opgehaalde bronnen verschijnen. Ontbreekt het toepasselijke recht, dan is de taak niet geslaagd.
Ruis blijft buiten
Bekende zijdelingse bronnen — plausibel ogende maar irrelevante wetten — mogen niet verschijnen. Verschijnt er ruis, dan is de taak niet geslaagd.
Rangschikkingsdiscipline
Bij geselecteerde taken moet de toepasselijke wet bovenaan de resultaten staan, niet slechts ergens in de lijst.
Resultaten per taak
Taakbeschrijvingen worden in het Engels weergegeven — ze vormen de brondata van de benchmark en zijn in alle talen identiek.
| Taak | Jurisdictie | Resultaat |
|---|---|---|
| no-tenancy-depositTenancy: landlord withholding a deposit after move-out | Noorwegen | Geslaagd |
| no-criminal-embezzlementCriminal defence: gross embezzlement (the Fredrik regression guard) | Noorwegen | Geslaagd |
| no-employment-dismissalEmployment: contested dismissal / unfair termination | Noorwegen | Geslaagd |
| no-family-custodyFamily: parental responsibility and where the child lives | Noorwegen | Geslaagd |
| no-sale-defectContract: defect in a commercial sale of goods | Noorwegen | Geslaagd |
| no-company-sharesCorporate: shareholder dispute in a limited company | Noorwegen | Geslaagd |
| no-personal-dataPrivacy: unlawful processing of personal data | Noorwegen | Geslaagd |
| no-inheritanceInheritance: distribution of an estate and forced share | Noorwegen | Geslaagd |
| se-employment-dismissalEmployment: contested dismissal (Lagen om anställningsskydd) | Zweden | Geslaagd |
| se-consumer-saleConsumer: defective goods purchased by a consumer (Konsumentköplagen) | Zweden | Overgeslagen |
| se-company-sharesCorporate: minority shareholder dispute (Aktiebolagslagen) | Zweden | Overgeslagen |
| se-discriminationEmployment: workplace discrimination (Diskrimineringslagen) | Zweden | Overgeslagen |
| se-family-custodyFamily: custody and residence after separation (Föräldrabalken) | Zweden | Overgeslagen |
| se-criminal-embezzlementCriminal defence: embezzlement (Brottsbalken) | Zweden | Overgeslagen |
| dk-employment-dismissalEmployment: salaried-employee dismissal (Funktionærloven) | Denemarken | Overgeslagen |
| dk-sale-defectSale: defective goods and right to reject (Købeloven) | Denemarken | Overgeslagen |
| dk-company-sharesCorporate: shareholder dispute in a capital company (Selskabsloven) | Denemarken | Overgeslagen |
| dk-family-custodyFamily: parental responsibility and residence (Forældreansvarsloven) | Denemarken | Overgeslagen |
| dk-inheritanceInheritance: estate distribution and forced share (Arveloven) | Denemarken | Overgeslagen |
| dk-criminal-embezzlementCriminal defence: embezzlement (Straffeloven) | Denemarken | Overgeslagen |
| de-employment-dismissalEmployment: unfair dismissal protection (Kündigungsschutzgesetz) | Duitsland | Overgeslagen |
| de-criminal-embezzlementCriminal defence: embezzlement (Strafgesetzbuch) | Duitsland | Overgeslagen |
| de-sale-defectSale: defective goods and buyer remedies (Bürgerliches Gesetzbuch) | Duitsland | Overgeslagen |
Wat dit wel en niet laat zien
- Dit is een interne benchmark, door ons opgesteld en beoordeeld. Het is geen onafhankelijke evaluatie — beschouw het als onze eigen kwaliteitslat, gepubliceerd zodat u ons eraan kunt houden.
- De benchmark meet het ophalen van rechtsbronnen — of het juiste recht voor een kwestie verschijnt. Hij meet niet de kwaliteit van opgestelde teksten of volledige antwoorden.
- De resultaten worden automatisch gegenereerd voor elke uitgerolde release en onbewerkt gepubliceerd, inclusief mislukkingen.