Medimos nuestra IA jurídica en público
Cada versión de Attorly se evalúa frente a tareas de recuperación de fuentes jurídicas verificadas contra el corpus en cuatro jurisdicciones. Los últimos resultados — tareas superadas, fallos y método — se publican aquí.
Últimos resultados
| Jurisdicción | Tareas | Superadas | Tasa de éxito |
|---|---|---|---|
| Noruega | 11 | 11 | 100% |
| Suecia | 9 | 9 | 100% |
| Dinamarca | 9 | 9 | 100% |
| Alemania | 8 | 8 | 100% |
Cómo funciona la evaluación
Cada tarea describe un asunto jurídico tal como lo haría un usuario real — un resumen de caso o una pregunta de investigación — y pide a nuestro sistema de recuperación las fuentes jurídicas más relevantes. La tarea solo se supera si las normas que realmente rigen el asunto aparecen en los resultados.
Las consultas nunca nombran deliberadamente la ley aplicable — nombrarla haría trivial la recuperación y no mediría nada. Cada tarea se verifica contra el corpus jurídico oficial de su jurisdicción antes de añadirse.
La ley aplicable aparece
Toda norma que rige el asunto debe figurar entre las fuentes recuperadas. Si falta la ley determinante, la tarea falla.
El ruido queda fuera
Las fuentes tangenciales conocidas — normas de apariencia plausible pero irrelevantes — no deben aparecer. Si aparece ruido, la tarea falla.
Disciplina de clasificación
En determinadas tareas, la ley aplicable debe aparecer en lo más alto de los resultados, no simplemente en algún lugar de ellos.
Resultados por tarea
Las descripciones de las tareas se muestran en inglés — son los datos de origen de la evaluación, idénticos en todos los idiomas.
| Tarea | Jurisdicción | Resultado |
|---|---|---|
| no-tenancy-depositTenancy: landlord withholding a deposit after move-out | Noruega | Superada |
| no-criminal-embezzlementCriminal defence: gross embezzlement (the Fredrik regression guard) | Noruega | Superada |
| no-employment-dismissalEmployment: contested dismissal / unfair termination | Noruega | Superada |
| no-family-custodyFamily: parental responsibility and where the child lives | Noruega | Superada |
| no-sale-defectContract: defect in a commercial sale of goods | Noruega | Superada |
| no-company-sharesCorporate: shareholder dispute in a limited company | Noruega | Superada |
| no-personal-dataPrivacy: unlawful processing of personal data | Noruega | Superada |
| no-inheritanceInheritance: distribution of an estate and forced share | Noruega | Superada |
| no-bankruptcy-supplierInsolvency: supplier stopped paying, creditor weighs bankruptcy petition | Noruega | Superada |
| no-house-hidden-defectsReal property: hidden defects after buying a house (avhendingslova, NOT tenancy) | Noruega | Superada |
| no-stale-invoice-claimLimitation: collecting on a years-old unpaid invoice (foreldelsesloven) | Noruega | Superada |
| se-employment-dismissalEmployment: contested dismissal (Lagen om anställningsskydd) | Suecia | Superada |
| se-consumer-saleConsumer: defective goods purchased by a consumer (Konsumentköplagen) | Suecia | Superada |
| se-company-sharesCorporate: minority shareholder dispute (Aktiebolagslagen) | Suecia | Superada |
| se-discriminationEmployment: workplace discrimination (Diskrimineringslagen) | Suecia | Superada |
| se-family-custodyFamily: custody and residence after separation (Föräldrabalken) | Suecia | Superada |
| se-criminal-embezzlementCriminal defence: embezzlement (Brottsbalken) | Suecia | Superada |
| se-inheritance-forced-shareInheritance: estate division and the children's reserved share (Ärvdabalken) | Suecia | Superada |
| se-tenancy-evictionTenancy: landlord terminating a lease — hyresrätt lives in Jordabalken, a hard mapping | Suecia | Superada |
| se-stale-debt-claimLimitation: enforcing an old consumer debt (Preskriptionslag) | Suecia | Superada |
| dk-employment-dismissalEmployment: salaried-employee dismissal (Funktionærloven) | Dinamarca | Superada |
| dk-sale-defectSale: defective goods and right to reject (Købeloven) | Dinamarca | Superada |
| dk-company-sharesCorporate: shareholder dispute in a capital company (Selskabsloven) | Dinamarca | Superada |
| dk-family-custodyFamily: parental responsibility and residence (Forældreansvarsloven) | Dinamarca | Superada |
| dk-inheritanceInheritance: estate distribution and forced share (Arveloven) | Dinamarca | Superada |
| dk-criminal-embezzlementCriminal defence: embezzlement (Straffeloven) | Dinamarca | Superada |
| dk-holiday-pay-exitEmployment: holiday pay owed when an employee resigns (Ferieloven) | Dinamarca | Superada |
| dk-employee-dataData protection: employer monitoring employee e-mail (Databeskyttelsesloven) | Dinamarca | Superada |
| dk-divorce-assetsFamily: division of assets at divorce (Ægtefælleloven) | Dinamarca | Superada |
| de-employment-dismissalEmployment: unfair dismissal protection (Kündigungsschutzgesetz) | Alemania | Superada |
| de-criminal-embezzlementCriminal defence: embezzlement (Strafgesetzbuch) | Alemania | Superada |
| de-sale-defectSale: defective goods and buyer remedies (Bürgerliches Gesetzbuch) | Alemania | Superada |
| de-gmbh-formationCorporate: founding a GmbH, share capital and managing-director duties (GmbHG) | Alemania | Superada |
| de-insolvency-filing-dutyInsolvency: over-indebted company and the duty to file (Insolvenzordnung) | Alemania | Superada |
| de-working-time-overtimeEmployment: overtime limits and rest periods (Arbeitszeitgesetz) | Alemania | Superada |
| de-works-council-codeterminationEmployment: works council consultation before restructuring (BetrVG) | Alemania | Superada |
| de-misleading-advertisingCompetition: competitor runs misleading price advertising (UWG) | Alemania | Superada |
Citas de fuentes del asistente
Mide si las citas de fuentes del asistente se mantienen en el derecho pertinente: para cada pregunta, las primeras fuentes se evalúan frente a una lista de leyes claramente ajenas a la materia. Citar p. ej. derecho laboral marítimo en un despido ordinario cuenta como ruido.
| Tarea | Jurisdicción | Ruido | Resultado |
|---|---|---|---|
| no-chip-employment-dismissalEmployment chips: office dismissal must not surface maritime-labour law | Noruega | 0/4 | Superada |
| no-chip-employment-overtimeEmployment chips: unpaid retail overtime | Noruega | 0/2 | Superada |
| no-chip-employment-temp-contractsEmployment chips: serial temporary contracts, claim to permanent employment | Noruega | 0/3 | Superada |
| no-chip-employment-harassmentEmployment chips: whistleblowing about harassment at the office | Noruega | 0/3 | Superada |
| no-chip-employment-holiday-payEmployment chips: holiday pay not paid out after quitting | Noruega | 0/3 | Superada |
| no-chip-family-custodyFamily chips: residence and contact after a breakup | Noruega | 0/5 | Superada |
| no-chip-family-divorce-assetsFamily chips: division of marital property and skjevdeling | Noruega | 0/2 | Superada |
| no-chip-family-child-supportFamily chips: disagreement about child support | Noruega | 0/3 | Superada |
| no-chip-consumer-used-carConsumer chips: used car from a dealer with hidden defects | Noruega | 0/3 | Superada |
| no-chip-consumer-craftsmanConsumer chips: botched bathroom renovation by a craftsman | Noruega | 0/3 | Superada |
| no-chip-consumer-online-cancellationConsumer chips: right of withdrawal on an online purchase | Noruega | 0/3 | Superada |
| no-chip-housing-depositHousing chips: landlord withholding the deposit after move-out | Noruega | 0/2 | Superada |
Precisión de la comprobación de fuentes
Tras cada respuesta con fuentes, el asistente contrasta cada cita con el texto de la fuente a la que apunta y la marca como verificada, parcialmente respaldada o sin respaldo. Este benchmark mide al propio verificador con pares etiquetados de una afirmación y un extracto literal de ley con respuesta conocida.
La mitad de los pares son casi aciertos: la ley correcta pero el plazo, importe o parte equivocados – el caso que un verificador permisivo deja pasar. Una aceptación falsa, una afirmación sin respaldo marcada como verificada, es la cifra que importa; un rechazo falso solo cuesta al lector una segunda comprobación.
| Tarea | Jurisdicción | Respuesta correcta | El verificador dijo | Resultado |
|---|---|---|---|---|
| no-aml-15-3-notice-one-monthaml § 15-3 (NL/lov/2005-06-17-62): default one-month mutual notice period restated | Noruega | Respaldada | Verificada | Superada |
| no-aml-15-3-notice-three-months-near-missaml § 15-3: claim states a three-month default notice period (statute says one month) | Noruega | Sin respaldo | Sin respaldo | Superada |
| no-aml-15-3-five-years-two-monthsaml § 15-3 (2): at least two months after five years of continuous employment | Noruega | Respaldada | Verificada | Superada |
| no-aml-15-1-consultation-before-dismissalaml § 15-1: employer must consult the employee before deciding on dismissal | Noruega | Respaldada | Sin respaldo | Fallida |
| no-aml-15-1-consultation-optional-near-missaml § 15-1: claim says the consultation is optional for the employer (statute makes it a duty) | Noruega | Sin respaldo | Sin respaldo | Superada |
| no-aml-15-4-written-formaml § 15-4: dismissal must be in writing | Noruega | Respaldada | Verificada | Superada |
| no-husleie-3-5-deposit-six-monthshusleieloven § 3-5 (NL/lov/1999-03-26-17): deposit capped at six months of rent | Noruega | Respaldada | Verificada | Superada |
| no-husleie-3-5-deposit-three-months-near-misshusleieloven § 3-5: claim caps the deposit at three months (statute says six) | Noruega | Sin respaldo | Sin respaldo | Superada |
| no-husleie-3-5-off-topic-noticehusleieloven § 3-5 (deposit) cited for a claim about notice periods in employment | Noruega | Sin respaldo | Sin respaldo | Superada |
| no-fkjl-27-two-year-limitforbrukerkjøpsloven § 27 (NL/lov/2002-06-21-34): absolute two-year complaint deadline, five for durable goods | Noruega | Respaldada | Verificada | Superada |
| no-fkjl-27-three-year-near-missforbrukerkjøpsloven § 27: claim states a three-year absolute deadline (statute says two / five) | Noruega | Sin respaldo | Sin respaldo | Superada |
| no-ferie-5-off-topic-depositferieloven § 5 (NL/lov/1988-04-29-21, holiday length) cited for a claim about rent deposits | Noruega | Sin respaldo | Sin respaldo | Superada |
| se-las-11-minimum-one-monthLAS 11 § (sfs-1982-80): minimum one-month notice for both parties | Suecia | Respaldada | Verificada | Superada |
| se-las-11-four-years-three-monthsLAS 11 §: three months after at least four but under six years of employment | Suecia | Respaldada | Verificada | Superada |
| se-las-11-ten-years-twelve-months-near-missLAS 11 §: claim gives twelve months after ten years (statute says six) | Suecia | Sin respaldo | Sin respaldo | Superada |
| se-semester-4-twenty-five-dayssemesterlagen 4 § (sfs-1977-480): twenty-five days of holiday per year | Suecia | Respaldada | Verificada | Superada |
| se-semester-4-thirty-days-near-misssemesterlagen 4 §: claim gives thirty days (statute says twenty-five) | Suecia | Sin respaldo | Sin respaldo | Superada |
| se-kkl-5-2-two-months-always-timelykonsumentköplagen 5 kap. 2 § (sfs-2022-260): a complaint within two months of noticing is always timely | Suecia | Respaldada | Verificada | Superada |
| se-kkl-5-2-off-topic-noticekonsumentköplagen 5 kap. 2 § (complaints) cited for a claim about employment notice | Suecia | Sin respaldo | Sin respaldo | Superada |
| dk-ful-2-three-months-after-sixfunktionærloven § 2 (lta/2017/1002): three months notice from the employer after six months of employment | Dinamarca | Respaldada | Verificada | Superada |
| dk-ful-2-cap-six-monthsfunktionærloven § 2, stk. 3: the notice period grows by one month per three years, capped at six months | Dinamarca | Respaldada | Verificada | Superada |
| dk-ful-2-cap-nine-months-near-missfunktionærloven § 2: claim caps the notice period at nine months (statute says six) | Dinamarca | Sin respaldo | Sin respaldo | Superada |
| dk-kbl-83-two-year-limitkøbeloven § 83 (lta/2021/1853): defects must be raised within two years of delivery | Dinamarca | Respaldada | Verificada | Superada |
| dk-kbl-83-five-year-near-misskøbeloven § 83: claim states a five-year absolute deadline (statute says two) | Dinamarca | Sin respaldo | Sin respaldo | Superada |
| dk-ferie-5-off-topic-noticeferieloven § 5 (lta/2024/152, holiday accrual) cited for a claim about notice periods | Dinamarca | Sin respaldo | Sin respaldo | Superada |
| de-bgb-622-four-weeks-basicBGB § 622 (1) (bgb): basic four-week notice to the 15th or month end | Alemania | Respaldada | Verificada | Superada |
| de-bgb-622-five-years-two-monthsBGB § 622 (2) Nr. 2: two months after five years for an employer termination | Alemania | Respaldada | Verificada | Superada |
| de-bgb-622-probation-four-weeks-near-missBGB § 622 (3): claim gives four weeks during probation (statute says two weeks) | Alemania | Sin respaldo | Sin respaldo | Superada |
| de-bgb-551-deposit-three-monthsBGB § 551 (1): rent deposit capped at three months of net rent | Alemania | Respaldada | Verificada | Superada |
| de-bgb-551-deposit-six-months-near-missBGB § 551: claim allows six months of rent as deposit (statute says three) | Alemania | Sin respaldo | Sin respaldo | Superada |
| de-kschg-1-six-months-thresholdKSchG § 1 (1) (kschg): protection applies after more than six months of uninterrupted employment | Alemania | Respaldada | Verificada | Superada |
| de-kschg-4-three-week-deadlineKSchG § 4: claim must be filed within three weeks of receiving the written termination | Alemania | Respaldada | Verificada | Superada |
| de-kschg-4-four-week-near-missKSchG § 4: claim gives a four-week filing deadline (statute says three weeks) | Alemania | Sin respaldo | Sin respaldo | Superada |
| de-kschg-1-off-topic-depositKSchG § 1 (dismissal protection) cited for a claim about rent deposits | Alemania | Sin respaldo | Sin respaldo | Superada |
Qué muestra esto — y qué no
- Esta es una evaluación interna, diseñada y calificada por nosotros. No es una evaluación independiente — considérala nuestro propio listón de calidad, publicado para que puedas exigirnos que lo cumplamos.
- Mide la recuperación de fuentes jurídicas — si aparece la ley correcta para un asunto. No mide la calidad del texto redactado ni de las respuestas completas.
- Los resultados se generan automáticamente para cada versión desplegada y se publican sin editar, incluidos los fallos.