Nous mesurons notre IA juridique publiquement
Chaque version d'Attorly est évaluée sur des tâches de recherche de sources juridiques vérifiées par corpus, dans quatre juridictions. Les derniers résultats — réussites, échecs et méthode — sont publiés ici.
Derniers résultats
| Juridiction | Tâches | Réussies | Taux de réussite |
|---|---|---|---|
| Norvège | 8 | 8 | 100% |
| Suède | 1 | 1 | 100% |
| Danemark | 0 | 0 | — |
| Allemagne | 0 | 0 | — |
Comment fonctionne le benchmark
Chaque tâche décrit une question juridique telle qu'un utilisateur réel la formulerait — un résumé de dossier ou une question de recherche — et demande à notre pipeline de récupération les sources juridiques les plus pertinentes. La tâche n'est réussie que si les lois qui régissent effectivement la question apparaissent dans les résultats.
Les requêtes ne nomment délibérément jamais la loi applicable — la nommer rendrait la récupération triviale et ne mesurerait rien. Chaque tâche est vérifiée par rapport au corpus juridique officiel de sa juridiction avant d'être ajoutée.
Le droit applicable apparaît
Chaque loi qui régit la question doit figurer parmi les sources récupérées. Si le droit applicable manque, la tâche échoue.
Le bruit reste dehors
Les sources tangentielles connues — des lois d'apparence plausible mais sans pertinence — ne doivent pas apparaître. Faire remonter du bruit fait échouer la tâche.
Discipline de classement
Pour certaines tâches, la loi applicable doit apparaître en tête des résultats, et pas seulement quelque part dans la liste.
Résultats par tâche
Les descriptions des tâches sont affichées en anglais — ce sont les données sources du benchmark, identiques dans toutes les langues.
| Tâche | Juridiction | Résultat |
|---|---|---|
| no-tenancy-depositTenancy: landlord withholding a deposit after move-out | Norvège | Réussie |
| no-criminal-embezzlementCriminal defence: gross embezzlement (the Fredrik regression guard) | Norvège | Réussie |
| no-employment-dismissalEmployment: contested dismissal / unfair termination | Norvège | Réussie |
| no-family-custodyFamily: parental responsibility and where the child lives | Norvège | Réussie |
| no-sale-defectContract: defect in a commercial sale of goods | Norvège | Réussie |
| no-company-sharesCorporate: shareholder dispute in a limited company | Norvège | Réussie |
| no-personal-dataPrivacy: unlawful processing of personal data | Norvège | Réussie |
| no-inheritanceInheritance: distribution of an estate and forced share | Norvège | Réussie |
| se-employment-dismissalEmployment: contested dismissal (Lagen om anställningsskydd) | Suède | Réussie |
| se-consumer-saleConsumer: defective goods purchased by a consumer (Konsumentköplagen) | Suède | Ignorée |
| se-company-sharesCorporate: minority shareholder dispute (Aktiebolagslagen) | Suède | Ignorée |
| se-discriminationEmployment: workplace discrimination (Diskrimineringslagen) | Suède | Ignorée |
| se-family-custodyFamily: custody and residence after separation (Föräldrabalken) | Suède | Ignorée |
| se-criminal-embezzlementCriminal defence: embezzlement (Brottsbalken) | Suède | Ignorée |
| dk-employment-dismissalEmployment: salaried-employee dismissal (Funktionærloven) | Danemark | Ignorée |
| dk-sale-defectSale: defective goods and right to reject (Købeloven) | Danemark | Ignorée |
| dk-company-sharesCorporate: shareholder dispute in a capital company (Selskabsloven) | Danemark | Ignorée |
| dk-family-custodyFamily: parental responsibility and residence (Forældreansvarsloven) | Danemark | Ignorée |
| dk-inheritanceInheritance: estate distribution and forced share (Arveloven) | Danemark | Ignorée |
| dk-criminal-embezzlementCriminal defence: embezzlement (Straffeloven) | Danemark | Ignorée |
| de-employment-dismissalEmployment: unfair dismissal protection (Kündigungsschutzgesetz) | Allemagne | Ignorée |
| de-criminal-embezzlementCriminal defence: embezzlement (Strafgesetzbuch) | Allemagne | Ignorée |
| de-sale-defectSale: defective goods and buyer remedies (Bürgerliches Gesetzbuch) | Allemagne | Ignorée |
Ce que cela montre — et ne montre pas
- Il s'agit d'un benchmark interne, conçu et noté par nos soins. Ce n'est pas une évaluation indépendante — considérez-le comme notre propre exigence de qualité, publiée pour que vous puissiez nous demander des comptes.
- Il mesure la récupération des sources juridiques — c'est-à-dire si le bon droit apparaît pour une question donnée. Il ne mesure pas la qualité des textes rédigés ni des réponses de bout en bout.
- Les résultats sont produits automatiquement pour chaque version déployée et publiés sans retouche, y compris les échecs.