Benchmarks
Nous mesurons notre IA juridique publiquement
Chaque version d'Attorly est évaluée sur des tâches de recherche de sources juridiques vérifiées par corpus, dans quatre juridictions. Les derniers résultats — réussites, échecs et méthode — sont publiés ici.
Derniers résultats
100%
Taux de réussite
37
Tâches évaluées
4
Juridictions
21 sept. 2026
Dernière exécution
Build 9b4511f58
| Juridiction | Tâches | Réussies | Taux de réussite |
|---|---|---|---|
| Norvège | 11 | 11 | 100% |
| Suède | 9 | 9 | 100% |
| Danemark | 9 | 9 | 100% |
| Allemagne | 8 | 8 | 100% |
Comment fonctionne le benchmark
Chaque tâche décrit une question juridique telle qu'un utilisateur réel la formulerait — un résumé de dossier ou une question de recherche — et demande à notre pipeline de récupération les sources juridiques les plus pertinentes. La tâche n'est réussie que si les lois qui régissent effectivement la question apparaissent dans les résultats.
Les requêtes ne nomment délibérément jamais la loi applicable — la nommer rendrait la récupération triviale et ne mesurerait rien. Chaque tâche est vérifiée par rapport au corpus juridique officiel de sa juridiction avant d'être ajoutée.
Le droit applicable apparaît
Chaque loi qui régit la question doit figurer parmi les sources récupérées. Si le droit applicable manque, la tâche échoue.
Le bruit reste dehors
Les sources tangentielles connues — des lois d'apparence plausible mais sans pertinence — ne doivent pas apparaître. Faire remonter du bruit fait échouer la tâche.
Discipline de classement
Pour certaines tâches, la loi applicable doit apparaître en tête des résultats, et pas seulement quelque part dans la liste.
Résultats par tâche
Les descriptions des tâches sont affichées en anglais — ce sont les données sources du benchmark, identiques dans toutes les langues.
| Tâche | Juridiction | Résultat |
|---|---|---|
| no-tenancy-depositTenancy: landlord withholding a deposit after move-out | Norvège | Réussie |
| no-criminal-embezzlementCriminal defence: gross embezzlement (the Fredrik regression guard) | Norvège | Réussie |
| no-employment-dismissalEmployment: contested dismissal / unfair termination | Norvège | Réussie |
| no-family-custodyFamily: parental responsibility and where the child lives | Norvège | Réussie |
| no-sale-defectContract: defect in a commercial sale of goods | Norvège | Réussie |
| no-company-sharesCorporate: shareholder dispute in a limited company | Norvège | Réussie |
| no-personal-dataPrivacy: unlawful processing of personal data | Norvège | Réussie |
| no-inheritanceInheritance: distribution of an estate and forced share | Norvège | Réussie |
| no-bankruptcy-supplierInsolvency: supplier stopped paying, creditor weighs bankruptcy petition | Norvège | Réussie |
| no-house-hidden-defectsReal property: hidden defects after buying a house (avhendingslova, NOT tenancy) | Norvège | Réussie |
| no-stale-invoice-claimLimitation: collecting on a years-old unpaid invoice (foreldelsesloven) | Norvège | Réussie |
| se-employment-dismissalEmployment: contested dismissal (Lagen om anställningsskydd) | Suède | Réussie |
| se-consumer-saleConsumer: defective goods purchased by a consumer (Konsumentköplagen) | Suède | Réussie |
| se-company-sharesCorporate: minority shareholder dispute (Aktiebolagslagen) | Suède | Réussie |
| se-discriminationEmployment: workplace discrimination (Diskrimineringslagen) | Suède | Réussie |
| se-family-custodyFamily: custody and residence after separation (Föräldrabalken) | Suède | Réussie |
| se-criminal-embezzlementCriminal defence: embezzlement (Brottsbalken) | Suède | Réussie |
| se-inheritance-forced-shareInheritance: estate division and the children's reserved share (Ärvdabalken) | Suède | Réussie |
| se-tenancy-evictionTenancy: landlord terminating a lease — hyresrätt lives in Jordabalken, a hard mapping | Suède | Réussie |
| se-stale-debt-claimLimitation: enforcing an old consumer debt (Preskriptionslag) | Suède | Réussie |
| dk-employment-dismissalEmployment: salaried-employee dismissal (Funktionærloven) | Danemark | Réussie |
| dk-sale-defectSale: defective goods and right to reject (Købeloven) | Danemark | Réussie |
| dk-company-sharesCorporate: shareholder dispute in a capital company (Selskabsloven) | Danemark | Réussie |
| dk-family-custodyFamily: parental responsibility and residence (Forældreansvarsloven) | Danemark | Réussie |
| dk-inheritanceInheritance: estate distribution and forced share (Arveloven) | Danemark | Réussie |
| dk-criminal-embezzlementCriminal defence: embezzlement (Straffeloven) | Danemark | Réussie |
| dk-holiday-pay-exitEmployment: holiday pay owed when an employee resigns (Ferieloven) | Danemark | Réussie |
| dk-employee-dataData protection: employer monitoring employee e-mail (Databeskyttelsesloven) | Danemark | Réussie |
| dk-divorce-assetsFamily: division of assets at divorce (Ægtefælleloven) | Danemark | Réussie |
| de-employment-dismissalEmployment: unfair dismissal protection (Kündigungsschutzgesetz) | Allemagne | Réussie |
| de-criminal-embezzlementCriminal defence: embezzlement (Strafgesetzbuch) | Allemagne | Réussie |
| de-sale-defectSale: defective goods and buyer remedies (Bürgerliches Gesetzbuch) | Allemagne | Réussie |
| de-gmbh-formationCorporate: founding a GmbH, share capital and managing-director duties (GmbHG) | Allemagne | Réussie |
| de-insolvency-filing-dutyInsolvency: over-indebted company and the duty to file (Insolvenzordnung) | Allemagne | Réussie |
| de-working-time-overtimeEmployment: overtime limits and rest periods (Arbeitszeitgesetz) | Allemagne | Réussie |
| de-works-council-codeterminationEmployment: works council consultation before restructuring (BetrVG) | Allemagne | Réussie |
| de-misleading-advertisingCompetition: competitor runs misleading price advertising (UWG) | Allemagne | Réussie |
Citations de sources de l’assistant
Mesure si les citations de sources de l’assistant restent dans le droit pertinent : pour chaque question, les premières sources sont évaluées face à une liste de lois clairement hors sujet. Citer p. ex. le droit du travail maritime pour un licenciement ordinaire compte comme du bruit.
100%
Taux de réussite
0%
Taux de bruit
0 sur 36 citations
12
Tâches évaluées
21 sept. 2026
Dernière exécution
Build 9b4511f58
| Tâche | Juridiction | Bruit | Résultat |
|---|---|---|---|
| no-chip-employment-dismissalEmployment chips: office dismissal must not surface maritime-labour law | Norvège | 0/4 | Réussie |
| no-chip-employment-overtimeEmployment chips: unpaid retail overtime | Norvège | 0/2 | Réussie |
| no-chip-employment-temp-contractsEmployment chips: serial temporary contracts, claim to permanent employment | Norvège | 0/3 | Réussie |
| no-chip-employment-harassmentEmployment chips: whistleblowing about harassment at the office | Norvège | 0/3 | Réussie |
| no-chip-employment-holiday-payEmployment chips: holiday pay not paid out after quitting | Norvège | 0/3 | Réussie |
| no-chip-family-custodyFamily chips: residence and contact after a breakup | Norvège | 0/5 | Réussie |
| no-chip-family-divorce-assetsFamily chips: division of marital property and skjevdeling | Norvège | 0/2 | Réussie |
| no-chip-family-child-supportFamily chips: disagreement about child support | Norvège | 0/3 | Réussie |
| no-chip-consumer-used-carConsumer chips: used car from a dealer with hidden defects | Norvège | 0/3 | Réussie |
| no-chip-consumer-craftsmanConsumer chips: botched bathroom renovation by a craftsman | Norvège | 0/3 | Réussie |
| no-chip-consumer-online-cancellationConsumer chips: right of withdrawal on an online purchase | Norvège | 0/3 | Réussie |
| no-chip-housing-depositHousing chips: landlord withholding the deposit after move-out | Norvège | 0/2 | Réussie |
Précision du contrôle des sources
Après chaque réponse sourcée, l’assistant confronte chaque citation au texte de la source visée et la marque comme vérifiée, partiellement étayée ou non étayée. Ce benchmark mesure ce contrôleur lui-même sur des paires étiquetées d’une affirmation et d’un extrait de loi textuel dont la réponse est connue.
La moitié des paires sont des quasi-correspondances : la bonne loi, mais un mauvais délai, montant ou partie – le cas qu’un contrôleur laxiste laisse passer. Une fausse acceptation, une affirmation non étayée marquée vérifiée, est le chiffre qui compte ; un faux rejet ne coûte au lecteur qu’une double vérification.
97%
Taux de réussite
0
Fausses acceptations
0 sur 16 affirmations non étayées
34
Tâches évaluées
21 sept. 2026
Dernière exécution
Build 9b4511f58
| Tâche | Juridiction | Vérité terrain | Verdict du contrôleur | Résultat |
|---|---|---|---|---|
| no-aml-15-3-notice-one-monthaml § 15-3 (NL/lov/2005-06-17-62): default one-month mutual notice period restated | Norvège | Étayée | Vérifiée | Réussie |
| no-aml-15-3-notice-three-months-near-missaml § 15-3: claim states a three-month default notice period (statute says one month) | Norvège | Non étayée | Non étayée | Réussie |
| no-aml-15-3-five-years-two-monthsaml § 15-3 (2): at least two months after five years of continuous employment | Norvège | Étayée | Vérifiée | Réussie |
| no-aml-15-1-consultation-before-dismissalaml § 15-1: employer must consult the employee before deciding on dismissal | Norvège | Étayée | Non étayée | Échouée |
| no-aml-15-1-consultation-optional-near-missaml § 15-1: claim says the consultation is optional for the employer (statute makes it a duty) | Norvège | Non étayée | Non étayée | Réussie |
| no-aml-15-4-written-formaml § 15-4: dismissal must be in writing | Norvège | Étayée | Vérifiée | Réussie |
| no-husleie-3-5-deposit-six-monthshusleieloven § 3-5 (NL/lov/1999-03-26-17): deposit capped at six months of rent | Norvège | Étayée | Vérifiée | Réussie |
| no-husleie-3-5-deposit-three-months-near-misshusleieloven § 3-5: claim caps the deposit at three months (statute says six) | Norvège | Non étayée | Non étayée | Réussie |
| no-husleie-3-5-off-topic-noticehusleieloven § 3-5 (deposit) cited for a claim about notice periods in employment | Norvège | Non étayée | Non étayée | Réussie |
| no-fkjl-27-two-year-limitforbrukerkjøpsloven § 27 (NL/lov/2002-06-21-34): absolute two-year complaint deadline, five for durable goods | Norvège | Étayée | Vérifiée | Réussie |
| no-fkjl-27-three-year-near-missforbrukerkjøpsloven § 27: claim states a three-year absolute deadline (statute says two / five) | Norvège | Non étayée | Non étayée | Réussie |
| no-ferie-5-off-topic-depositferieloven § 5 (NL/lov/1988-04-29-21, holiday length) cited for a claim about rent deposits | Norvège | Non étayée | Non étayée | Réussie |
| se-las-11-minimum-one-monthLAS 11 § (sfs-1982-80): minimum one-month notice for both parties | Suède | Étayée | Vérifiée | Réussie |
| se-las-11-four-years-three-monthsLAS 11 §: three months after at least four but under six years of employment | Suède | Étayée | Vérifiée | Réussie |
| se-las-11-ten-years-twelve-months-near-missLAS 11 §: claim gives twelve months after ten years (statute says six) | Suède | Non étayée | Non étayée | Réussie |
| se-semester-4-twenty-five-dayssemesterlagen 4 § (sfs-1977-480): twenty-five days of holiday per year | Suède | Étayée | Vérifiée | Réussie |
| se-semester-4-thirty-days-near-misssemesterlagen 4 §: claim gives thirty days (statute says twenty-five) | Suède | Non étayée | Non étayée | Réussie |
| se-kkl-5-2-two-months-always-timelykonsumentköplagen 5 kap. 2 § (sfs-2022-260): a complaint within two months of noticing is always timely | Suède | Étayée | Vérifiée | Réussie |
| se-kkl-5-2-off-topic-noticekonsumentköplagen 5 kap. 2 § (complaints) cited for a claim about employment notice | Suède | Non étayée | Non étayée | Réussie |
| dk-ful-2-three-months-after-sixfunktionærloven § 2 (lta/2017/1002): three months notice from the employer after six months of employment | Danemark | Étayée | Vérifiée | Réussie |
| dk-ful-2-cap-six-monthsfunktionærloven § 2, stk. 3: the notice period grows by one month per three years, capped at six months | Danemark | Étayée | Vérifiée | Réussie |
| dk-ful-2-cap-nine-months-near-missfunktionærloven § 2: claim caps the notice period at nine months (statute says six) | Danemark | Non étayée | Non étayée | Réussie |
| dk-kbl-83-two-year-limitkøbeloven § 83 (lta/2021/1853): defects must be raised within two years of delivery | Danemark | Étayée | Vérifiée | Réussie |
| dk-kbl-83-five-year-near-misskøbeloven § 83: claim states a five-year absolute deadline (statute says two) | Danemark | Non étayée | Non étayée | Réussie |
| dk-ferie-5-off-topic-noticeferieloven § 5 (lta/2024/152, holiday accrual) cited for a claim about notice periods | Danemark | Non étayée | Non étayée | Réussie |
| de-bgb-622-four-weeks-basicBGB § 622 (1) (bgb): basic four-week notice to the 15th or month end | Allemagne | Étayée | Vérifiée | Réussie |
| de-bgb-622-five-years-two-monthsBGB § 622 (2) Nr. 2: two months after five years for an employer termination | Allemagne | Étayée | Vérifiée | Réussie |
| de-bgb-622-probation-four-weeks-near-missBGB § 622 (3): claim gives four weeks during probation (statute says two weeks) | Allemagne | Non étayée | Non étayée | Réussie |
| de-bgb-551-deposit-three-monthsBGB § 551 (1): rent deposit capped at three months of net rent | Allemagne | Étayée | Vérifiée | Réussie |
| de-bgb-551-deposit-six-months-near-missBGB § 551: claim allows six months of rent as deposit (statute says three) | Allemagne | Non étayée | Non étayée | Réussie |
| de-kschg-1-six-months-thresholdKSchG § 1 (1) (kschg): protection applies after more than six months of uninterrupted employment | Allemagne | Étayée | Vérifiée | Réussie |
| de-kschg-4-three-week-deadlineKSchG § 4: claim must be filed within three weeks of receiving the written termination | Allemagne | Étayée | Vérifiée | Réussie |
| de-kschg-4-four-week-near-missKSchG § 4: claim gives a four-week filing deadline (statute says three weeks) | Allemagne | Non étayée | Non étayée | Réussie |
| de-kschg-1-off-topic-depositKSchG § 1 (dismissal protection) cited for a claim about rent deposits | Allemagne | Non étayée | Non étayée | Réussie |
Ce que cela montre — et ne montre pas
- Il s'agit d'un benchmark interne, conçu et noté par nos soins. Ce n'est pas une évaluation indépendante — considérez-le comme notre propre exigence de qualité, publiée pour que vous puissiez nous demander des comptes.
- Il mesure la récupération des sources juridiques — c'est-à-dire si le bon droit apparaît pour une question donnée. Il ne mesure pas la qualité des textes rédigés ni des réponses de bout en bout.
- Les résultats sont produits automatiquement pour chaque version déployée et publiés sans retouche, y compris les échecs.
Voir aussi:Sécurité et traitement des données