Wij meten onze juridische AI in het openbaar
Elke release van Attorly wordt gebenchmarkt op corpus-geverifieerde taken voor het ophalen van rechtsbronnen in vier jurisdicties. De nieuwste resultaten — geslaagd, niet geslaagd en methode — worden hier gepubliceerd.
Laatste resultaten
| Jurisdictie | Taken | Geslaagd | Slagingspercentage |
|---|---|---|---|
| Noorwegen | 11 | 11 | 100% |
| Zweden | 9 | 9 | 100% |
| Denemarken | 9 | 9 | 100% |
| Duitsland | 8 | 8 | 100% |
Zo werkt de benchmark
Elke taak beschrijft een juridische kwestie zoals een echte gebruiker die zou formuleren — een samenvatting van een zaak of een onderzoeksvraag — en vraagt onze retrieval-pijplijn om de meest relevante rechtsbronnen. De taak slaagt alleen als de wetten die de kwestie daadwerkelijk beheersen in de resultaten verschijnen.
De zoekopdrachten noemen de toepasselijke wet bewust nooit — die noemen zou het ophalen triviaal maken en niets meten. Elke taak wordt vóór toevoeging geverifieerd tegen het officiële juridische corpus van de betreffende jurisdictie.
Het toepasselijke recht verschijnt
Elke wet die de kwestie beheerst, moet in de opgehaalde bronnen verschijnen. Ontbreekt het toepasselijke recht, dan is de taak niet geslaagd.
Ruis blijft buiten
Bekende zijdelingse bronnen — plausibel ogende maar irrelevante wetten — mogen niet verschijnen. Verschijnt er ruis, dan is de taak niet geslaagd.
Rangschikkingsdiscipline
Bij geselecteerde taken moet de toepasselijke wet bovenaan de resultaten staan, niet slechts ergens in de lijst.
Resultaten per taak
Taakbeschrijvingen worden in het Engels weergegeven — ze vormen de brondata van de benchmark en zijn in alle talen identiek.
| Taak | Jurisdictie | Resultaat |
|---|---|---|
| no-tenancy-depositTenancy: landlord withholding a deposit after move-out | Noorwegen | Geslaagd |
| no-criminal-embezzlementCriminal defence: gross embezzlement (the Fredrik regression guard) | Noorwegen | Geslaagd |
| no-employment-dismissalEmployment: contested dismissal / unfair termination | Noorwegen | Geslaagd |
| no-family-custodyFamily: parental responsibility and where the child lives | Noorwegen | Geslaagd |
| no-sale-defectContract: defect in a commercial sale of goods | Noorwegen | Geslaagd |
| no-company-sharesCorporate: shareholder dispute in a limited company | Noorwegen | Geslaagd |
| no-personal-dataPrivacy: unlawful processing of personal data | Noorwegen | Geslaagd |
| no-inheritanceInheritance: distribution of an estate and forced share | Noorwegen | Geslaagd |
| no-bankruptcy-supplierInsolvency: supplier stopped paying, creditor weighs bankruptcy petition | Noorwegen | Geslaagd |
| no-house-hidden-defectsReal property: hidden defects after buying a house (avhendingslova, NOT tenancy) | Noorwegen | Geslaagd |
| no-stale-invoice-claimLimitation: collecting on a years-old unpaid invoice (foreldelsesloven) | Noorwegen | Geslaagd |
| se-employment-dismissalEmployment: contested dismissal (Lagen om anställningsskydd) | Zweden | Geslaagd |
| se-consumer-saleConsumer: defective goods purchased by a consumer (Konsumentköplagen) | Zweden | Geslaagd |
| se-company-sharesCorporate: minority shareholder dispute (Aktiebolagslagen) | Zweden | Geslaagd |
| se-discriminationEmployment: workplace discrimination (Diskrimineringslagen) | Zweden | Geslaagd |
| se-family-custodyFamily: custody and residence after separation (Föräldrabalken) | Zweden | Geslaagd |
| se-criminal-embezzlementCriminal defence: embezzlement (Brottsbalken) | Zweden | Geslaagd |
| se-inheritance-forced-shareInheritance: estate division and the children's reserved share (Ärvdabalken) | Zweden | Geslaagd |
| se-tenancy-evictionTenancy: landlord terminating a lease — hyresrätt lives in Jordabalken, a hard mapping | Zweden | Geslaagd |
| se-stale-debt-claimLimitation: enforcing an old consumer debt (Preskriptionslag) | Zweden | Geslaagd |
| dk-employment-dismissalEmployment: salaried-employee dismissal (Funktionærloven) | Denemarken | Geslaagd |
| dk-sale-defectSale: defective goods and right to reject (Købeloven) | Denemarken | Geslaagd |
| dk-company-sharesCorporate: shareholder dispute in a capital company (Selskabsloven) | Denemarken | Geslaagd |
| dk-family-custodyFamily: parental responsibility and residence (Forældreansvarsloven) | Denemarken | Geslaagd |
| dk-inheritanceInheritance: estate distribution and forced share (Arveloven) | Denemarken | Geslaagd |
| dk-criminal-embezzlementCriminal defence: embezzlement (Straffeloven) | Denemarken | Geslaagd |
| dk-holiday-pay-exitEmployment: holiday pay owed when an employee resigns (Ferieloven) | Denemarken | Geslaagd |
| dk-employee-dataData protection: employer monitoring employee e-mail (Databeskyttelsesloven) | Denemarken | Geslaagd |
| dk-divorce-assetsFamily: division of assets at divorce (Ægtefælleloven) | Denemarken | Geslaagd |
| de-employment-dismissalEmployment: unfair dismissal protection (Kündigungsschutzgesetz) | Duitsland | Geslaagd |
| de-criminal-embezzlementCriminal defence: embezzlement (Strafgesetzbuch) | Duitsland | Geslaagd |
| de-sale-defectSale: defective goods and buyer remedies (Bürgerliches Gesetzbuch) | Duitsland | Geslaagd |
| de-gmbh-formationCorporate: founding a GmbH, share capital and managing-director duties (GmbHG) | Duitsland | Geslaagd |
| de-insolvency-filing-dutyInsolvency: over-indebted company and the duty to file (Insolvenzordnung) | Duitsland | Geslaagd |
| de-working-time-overtimeEmployment: overtime limits and rest periods (Arbeitszeitgesetz) | Duitsland | Geslaagd |
| de-works-council-codeterminationEmployment: works council consultation before restructuring (BetrVG) | Duitsland | Geslaagd |
| de-misleading-advertisingCompetition: competitor runs misleading price advertising (UWG) | Duitsland | Geslaagd |
Bronvermeldingen van de assistent
Meet of de bronvermeldingen van de assistent bij het relevante recht blijven: per vraag worden de bovenste bronnen beoordeeld tegen een lijst van duidelijk niet ter zake doende wetten. Het aanhalen van bijv. maritiem arbeidsrecht bij een gewoon ontslag telt als ruis.
| Taak | Jurisdictie | Ruis | Resultaat |
|---|---|---|---|
| no-chip-employment-dismissalEmployment chips: office dismissal must not surface maritime-labour law | Noorwegen | 0/4 | Geslaagd |
| no-chip-employment-overtimeEmployment chips: unpaid retail overtime | Noorwegen | 0/2 | Geslaagd |
| no-chip-employment-temp-contractsEmployment chips: serial temporary contracts, claim to permanent employment | Noorwegen | 0/3 | Geslaagd |
| no-chip-employment-harassmentEmployment chips: whistleblowing about harassment at the office | Noorwegen | 0/3 | Geslaagd |
| no-chip-employment-holiday-payEmployment chips: holiday pay not paid out after quitting | Noorwegen | 0/3 | Geslaagd |
| no-chip-family-custodyFamily chips: residence and contact after a breakup | Noorwegen | 0/5 | Geslaagd |
| no-chip-family-divorce-assetsFamily chips: division of marital property and skjevdeling | Noorwegen | 0/2 | Geslaagd |
| no-chip-family-child-supportFamily chips: disagreement about child support | Noorwegen | 0/3 | Geslaagd |
| no-chip-consumer-used-carConsumer chips: used car from a dealer with hidden defects | Noorwegen | 0/3 | Geslaagd |
| no-chip-consumer-craftsmanConsumer chips: botched bathroom renovation by a craftsman | Noorwegen | 0/3 | Geslaagd |
| no-chip-consumer-online-cancellationConsumer chips: right of withdrawal on an online purchase | Noorwegen | 0/3 | Geslaagd |
| no-chip-housing-depositHousing chips: landlord withholding the deposit after move-out | Noorwegen | 0/2 | Geslaagd |
Nauwkeurigheid van de broncontrole
Na elk onderbouwd antwoord toetst de assistent elke bronvermelding aan de tekst van de bron waarnaar ze verwijst en markeert ze als geverifieerd, gedeeltelijk onderbouwd of niet onderbouwd. Deze benchmark meet de controleur zelf op gelabelde paren van een bewering en een letterlijk wetsfragment met een bekend antwoord.
De helft van de paren zijn bijna-treffers: de juiste wet, maar de verkeerde termijn, het verkeerde bedrag of de verkeerde partij – het geval dat een milde controleur doorlaat. Een onterechte goedkeuring, een niet-onderbouwde bewering als geverifieerd gemarkeerd, is het getal dat telt; een onterechte afwijzing kost de lezer alleen een extra controle.
| Taak | Jurisdictie | Juiste antwoord | Controleur zei | Resultaat |
|---|---|---|---|---|
| no-aml-15-3-notice-one-monthaml § 15-3 (NL/lov/2005-06-17-62): default one-month mutual notice period restated | Noorwegen | Onderbouwd | Geverifieerd | Geslaagd |
| no-aml-15-3-notice-three-months-near-missaml § 15-3: claim states a three-month default notice period (statute says one month) | Noorwegen | Niet onderbouwd | Niet onderbouwd | Geslaagd |
| no-aml-15-3-five-years-two-monthsaml § 15-3 (2): at least two months after five years of continuous employment | Noorwegen | Onderbouwd | Geverifieerd | Geslaagd |
| no-aml-15-1-consultation-before-dismissalaml § 15-1: employer must consult the employee before deciding on dismissal | Noorwegen | Onderbouwd | Niet onderbouwd | Niet geslaagd |
| no-aml-15-1-consultation-optional-near-missaml § 15-1: claim says the consultation is optional for the employer (statute makes it a duty) | Noorwegen | Niet onderbouwd | Niet onderbouwd | Geslaagd |
| no-aml-15-4-written-formaml § 15-4: dismissal must be in writing | Noorwegen | Onderbouwd | Geverifieerd | Geslaagd |
| no-husleie-3-5-deposit-six-monthshusleieloven § 3-5 (NL/lov/1999-03-26-17): deposit capped at six months of rent | Noorwegen | Onderbouwd | Geverifieerd | Geslaagd |
| no-husleie-3-5-deposit-three-months-near-misshusleieloven § 3-5: claim caps the deposit at three months (statute says six) | Noorwegen | Niet onderbouwd | Niet onderbouwd | Geslaagd |
| no-husleie-3-5-off-topic-noticehusleieloven § 3-5 (deposit) cited for a claim about notice periods in employment | Noorwegen | Niet onderbouwd | Niet onderbouwd | Geslaagd |
| no-fkjl-27-two-year-limitforbrukerkjøpsloven § 27 (NL/lov/2002-06-21-34): absolute two-year complaint deadline, five for durable goods | Noorwegen | Onderbouwd | Geverifieerd | Geslaagd |
| no-fkjl-27-three-year-near-missforbrukerkjøpsloven § 27: claim states a three-year absolute deadline (statute says two / five) | Noorwegen | Niet onderbouwd | Niet onderbouwd | Geslaagd |
| no-ferie-5-off-topic-depositferieloven § 5 (NL/lov/1988-04-29-21, holiday length) cited for a claim about rent deposits | Noorwegen | Niet onderbouwd | Niet onderbouwd | Geslaagd |
| se-las-11-minimum-one-monthLAS 11 § (sfs-1982-80): minimum one-month notice for both parties | Zweden | Onderbouwd | Geverifieerd | Geslaagd |
| se-las-11-four-years-three-monthsLAS 11 §: three months after at least four but under six years of employment | Zweden | Onderbouwd | Geverifieerd | Geslaagd |
| se-las-11-ten-years-twelve-months-near-missLAS 11 §: claim gives twelve months after ten years (statute says six) | Zweden | Niet onderbouwd | Niet onderbouwd | Geslaagd |
| se-semester-4-twenty-five-dayssemesterlagen 4 § (sfs-1977-480): twenty-five days of holiday per year | Zweden | Onderbouwd | Geverifieerd | Geslaagd |
| se-semester-4-thirty-days-near-misssemesterlagen 4 §: claim gives thirty days (statute says twenty-five) | Zweden | Niet onderbouwd | Niet onderbouwd | Geslaagd |
| se-kkl-5-2-two-months-always-timelykonsumentköplagen 5 kap. 2 § (sfs-2022-260): a complaint within two months of noticing is always timely | Zweden | Onderbouwd | Geverifieerd | Geslaagd |
| se-kkl-5-2-off-topic-noticekonsumentköplagen 5 kap. 2 § (complaints) cited for a claim about employment notice | Zweden | Niet onderbouwd | Niet onderbouwd | Geslaagd |
| dk-ful-2-three-months-after-sixfunktionærloven § 2 (lta/2017/1002): three months notice from the employer after six months of employment | Denemarken | Onderbouwd | Geverifieerd | Geslaagd |
| dk-ful-2-cap-six-monthsfunktionærloven § 2, stk. 3: the notice period grows by one month per three years, capped at six months | Denemarken | Onderbouwd | Geverifieerd | Geslaagd |
| dk-ful-2-cap-nine-months-near-missfunktionærloven § 2: claim caps the notice period at nine months (statute says six) | Denemarken | Niet onderbouwd | Niet onderbouwd | Geslaagd |
| dk-kbl-83-two-year-limitkøbeloven § 83 (lta/2021/1853): defects must be raised within two years of delivery | Denemarken | Onderbouwd | Geverifieerd | Geslaagd |
| dk-kbl-83-five-year-near-misskøbeloven § 83: claim states a five-year absolute deadline (statute says two) | Denemarken | Niet onderbouwd | Niet onderbouwd | Geslaagd |
| dk-ferie-5-off-topic-noticeferieloven § 5 (lta/2024/152, holiday accrual) cited for a claim about notice periods | Denemarken | Niet onderbouwd | Niet onderbouwd | Geslaagd |
| de-bgb-622-four-weeks-basicBGB § 622 (1) (bgb): basic four-week notice to the 15th or month end | Duitsland | Onderbouwd | Geverifieerd | Geslaagd |
| de-bgb-622-five-years-two-monthsBGB § 622 (2) Nr. 2: two months after five years for an employer termination | Duitsland | Onderbouwd | Geverifieerd | Geslaagd |
| de-bgb-622-probation-four-weeks-near-missBGB § 622 (3): claim gives four weeks during probation (statute says two weeks) | Duitsland | Niet onderbouwd | Niet onderbouwd | Geslaagd |
| de-bgb-551-deposit-three-monthsBGB § 551 (1): rent deposit capped at three months of net rent | Duitsland | Onderbouwd | Geverifieerd | Geslaagd |
| de-bgb-551-deposit-six-months-near-missBGB § 551: claim allows six months of rent as deposit (statute says three) | Duitsland | Niet onderbouwd | Niet onderbouwd | Geslaagd |
| de-kschg-1-six-months-thresholdKSchG § 1 (1) (kschg): protection applies after more than six months of uninterrupted employment | Duitsland | Onderbouwd | Geverifieerd | Geslaagd |
| de-kschg-4-three-week-deadlineKSchG § 4: claim must be filed within three weeks of receiving the written termination | Duitsland | Onderbouwd | Geverifieerd | Geslaagd |
| de-kschg-4-four-week-near-missKSchG § 4: claim gives a four-week filing deadline (statute says three weeks) | Duitsland | Niet onderbouwd | Niet onderbouwd | Geslaagd |
| de-kschg-1-off-topic-depositKSchG § 1 (dismissal protection) cited for a claim about rent deposits | Duitsland | Niet onderbouwd | Niet onderbouwd | Geslaagd |
Wat dit wel en niet laat zien
- Dit is een interne benchmark, door ons opgesteld en beoordeeld. Het is geen onafhankelijke evaluatie — beschouw het als onze eigen kwaliteitslat, gepubliceerd zodat u ons eraan kunt houden.
- De benchmark meet het ophalen van rechtsbronnen — of het juiste recht voor een kwestie verschijnt. Hij meet niet de kwaliteit van opgestelde teksten of volledige antwoorden.
- De resultaten worden automatisch gegenereerd voor elke uitgerolde release en onbewerkt gepubliceerd, inclusief mislukkingen.