Medimos a nossa IA jurídica em público
Cada versão do Attorly é avaliada com tarefas de recuperação de fontes jurídicas verificadas no corpus, em quatro jurisdições. Os resultados mais recentes — aprovações, falhas e método — são publicados aqui.
Resultados mais recentes
| Jurisdição | Tarefas | Aprovadas | Taxa de aprovação |
|---|---|---|---|
| Noruega | 11 | 11 | 100% |
| Suécia | 9 | 9 | 100% |
| Dinamarca | 9 | 9 | 100% |
| Alemanha | 8 | 8 | 100% |
Como funciona a avaliação
Cada tarefa descreve uma questão jurídica tal como um utilizador real a formularia — um resumo de caso ou uma pergunta de investigação — e pede ao nosso sistema de recuperação as fontes jurídicas mais relevantes. A tarefa só é aprovada se as normas que efetivamente regem a questão surgirem nos resultados.
As consultas nunca mencionam deliberadamente a lei aplicável — mencioná-la tornaria a recuperação trivial e nada mediria. Cada tarefa é verificada no corpus jurídico oficial da respetiva jurisdição antes de ser adicionada.
A lei aplicável surge nos resultados
Todas as normas que regem a questão têm de constar das fontes recuperadas. Se a lei determinante faltar, a tarefa falha.
O ruído fica de fora
Fontes tangenciais conhecidas — normas de aspeto plausível mas irrelevantes — não podem surgir. Se surgir ruído, a tarefa falha.
Disciplina de ordenação
Em tarefas selecionadas, a lei aplicável tem de surgir no topo dos resultados, e não apenas algures na lista.
Resultados por tarefa
As descrições das tarefas são apresentadas em inglês — são os dados de origem da avaliação, idênticos em todas as línguas.
| Tarefa | Jurisdição | Resultado |
|---|---|---|
| no-tenancy-depositTenancy: landlord withholding a deposit after move-out | Noruega | Aprovada |
| no-criminal-embezzlementCriminal defence: gross embezzlement (the Fredrik regression guard) | Noruega | Aprovada |
| no-employment-dismissalEmployment: contested dismissal / unfair termination | Noruega | Aprovada |
| no-family-custodyFamily: parental responsibility and where the child lives | Noruega | Aprovada |
| no-sale-defectContract: defect in a commercial sale of goods | Noruega | Aprovada |
| no-company-sharesCorporate: shareholder dispute in a limited company | Noruega | Aprovada |
| no-personal-dataPrivacy: unlawful processing of personal data | Noruega | Aprovada |
| no-inheritanceInheritance: distribution of an estate and forced share | Noruega | Aprovada |
| no-bankruptcy-supplierInsolvency: supplier stopped paying, creditor weighs bankruptcy petition | Noruega | Aprovada |
| no-house-hidden-defectsReal property: hidden defects after buying a house (avhendingslova, NOT tenancy) | Noruega | Aprovada |
| no-stale-invoice-claimLimitation: collecting on a years-old unpaid invoice (foreldelsesloven) | Noruega | Aprovada |
| se-employment-dismissalEmployment: contested dismissal (Lagen om anställningsskydd) | Suécia | Aprovada |
| se-consumer-saleConsumer: defective goods purchased by a consumer (Konsumentköplagen) | Suécia | Aprovada |
| se-company-sharesCorporate: minority shareholder dispute (Aktiebolagslagen) | Suécia | Aprovada |
| se-discriminationEmployment: workplace discrimination (Diskrimineringslagen) | Suécia | Aprovada |
| se-family-custodyFamily: custody and residence after separation (Föräldrabalken) | Suécia | Aprovada |
| se-criminal-embezzlementCriminal defence: embezzlement (Brottsbalken) | Suécia | Aprovada |
| se-inheritance-forced-shareInheritance: estate division and the children's reserved share (Ärvdabalken) | Suécia | Aprovada |
| se-tenancy-evictionTenancy: landlord terminating a lease — hyresrätt lives in Jordabalken, a hard mapping | Suécia | Aprovada |
| se-stale-debt-claimLimitation: enforcing an old consumer debt (Preskriptionslag) | Suécia | Aprovada |
| dk-employment-dismissalEmployment: salaried-employee dismissal (Funktionærloven) | Dinamarca | Aprovada |
| dk-sale-defectSale: defective goods and right to reject (Købeloven) | Dinamarca | Aprovada |
| dk-company-sharesCorporate: shareholder dispute in a capital company (Selskabsloven) | Dinamarca | Aprovada |
| dk-family-custodyFamily: parental responsibility and residence (Forældreansvarsloven) | Dinamarca | Aprovada |
| dk-inheritanceInheritance: estate distribution and forced share (Arveloven) | Dinamarca | Aprovada |
| dk-criminal-embezzlementCriminal defence: embezzlement (Straffeloven) | Dinamarca | Aprovada |
| dk-holiday-pay-exitEmployment: holiday pay owed when an employee resigns (Ferieloven) | Dinamarca | Aprovada |
| dk-employee-dataData protection: employer monitoring employee e-mail (Databeskyttelsesloven) | Dinamarca | Aprovada |
| dk-divorce-assetsFamily: division of assets at divorce (Ægtefælleloven) | Dinamarca | Aprovada |
| de-employment-dismissalEmployment: unfair dismissal protection (Kündigungsschutzgesetz) | Alemanha | Aprovada |
| de-criminal-embezzlementCriminal defence: embezzlement (Strafgesetzbuch) | Alemanha | Aprovada |
| de-sale-defectSale: defective goods and buyer remedies (Bürgerliches Gesetzbuch) | Alemanha | Aprovada |
| de-gmbh-formationCorporate: founding a GmbH, share capital and managing-director duties (GmbHG) | Alemanha | Aprovada |
| de-insolvency-filing-dutyInsolvency: over-indebted company and the duty to file (Insolvenzordnung) | Alemanha | Aprovada |
| de-working-time-overtimeEmployment: overtime limits and rest periods (Arbeitszeitgesetz) | Alemanha | Aprovada |
| de-works-council-codeterminationEmployment: works council consultation before restructuring (BetrVG) | Alemanha | Aprovada |
| de-misleading-advertisingCompetition: competitor runs misleading price advertising (UWG) | Alemanha | Aprovada |
Citações de fontes do assistente
Mede se as citações de fontes do assistente se mantêm no direito pertinente: para cada pergunta, as primeiras fontes são avaliadas face a uma lista de leis claramente alheias à matéria. Citar p. ex. direito do trabalho marítimo num despedimento comum conta como ruído.
| Tarefa | Jurisdição | Ruído | Resultado |
|---|---|---|---|
| no-chip-employment-dismissalEmployment chips: office dismissal must not surface maritime-labour law | Noruega | 0/4 | Aprovada |
| no-chip-employment-overtimeEmployment chips: unpaid retail overtime | Noruega | 0/2 | Aprovada |
| no-chip-employment-temp-contractsEmployment chips: serial temporary contracts, claim to permanent employment | Noruega | 0/3 | Aprovada |
| no-chip-employment-harassmentEmployment chips: whistleblowing about harassment at the office | Noruega | 0/3 | Aprovada |
| no-chip-employment-holiday-payEmployment chips: holiday pay not paid out after quitting | Noruega | 0/3 | Aprovada |
| no-chip-family-custodyFamily chips: residence and contact after a breakup | Noruega | 0/5 | Aprovada |
| no-chip-family-divorce-assetsFamily chips: division of marital property and skjevdeling | Noruega | 0/2 | Aprovada |
| no-chip-family-child-supportFamily chips: disagreement about child support | Noruega | 0/3 | Aprovada |
| no-chip-consumer-used-carConsumer chips: used car from a dealer with hidden defects | Noruega | 0/3 | Aprovada |
| no-chip-consumer-craftsmanConsumer chips: botched bathroom renovation by a craftsman | Noruega | 0/3 | Aprovada |
| no-chip-consumer-online-cancellationConsumer chips: right of withdrawal on an online purchase | Noruega | 0/3 | Aprovada |
| no-chip-housing-depositHousing chips: landlord withholding the deposit after move-out | Noruega | 0/2 | Aprovada |
Precisão da verificação de fontes
Após cada resposta com fontes, o assistente confronta cada citação com o texto da fonte para que aponta e marca-a como verificada, parcialmente sustentada ou não sustentada. Este benchmark mede o próprio verificador em pares rotulados de uma afirmação e um excerto literal de lei com resposta conhecida.
Metade dos pares são quase-acertos: a lei certa, mas o prazo, o montante ou a parte errados – o caso que um verificador permissivo deixa passar. Uma aceitação falsa, uma afirmação não sustentada marcada como verificada, é o número que importa; uma rejeição falsa custa ao leitor apenas uma segunda verificação.
| Tarefa | Jurisdição | Resposta correta | O verificador disse | Resultado |
|---|---|---|---|---|
| no-aml-15-3-notice-one-monthaml § 15-3 (NL/lov/2005-06-17-62): default one-month mutual notice period restated | Noruega | Sustentada | Verificada | Aprovada |
| no-aml-15-3-notice-three-months-near-missaml § 15-3: claim states a three-month default notice period (statute says one month) | Noruega | Não sustentada | Não sustentada | Aprovada |
| no-aml-15-3-five-years-two-monthsaml § 15-3 (2): at least two months after five years of continuous employment | Noruega | Sustentada | Verificada | Aprovada |
| no-aml-15-1-consultation-before-dismissalaml § 15-1: employer must consult the employee before deciding on dismissal | Noruega | Sustentada | Não sustentada | Reprovada |
| no-aml-15-1-consultation-optional-near-missaml § 15-1: claim says the consultation is optional for the employer (statute makes it a duty) | Noruega | Não sustentada | Não sustentada | Aprovada |
| no-aml-15-4-written-formaml § 15-4: dismissal must be in writing | Noruega | Sustentada | Verificada | Aprovada |
| no-husleie-3-5-deposit-six-monthshusleieloven § 3-5 (NL/lov/1999-03-26-17): deposit capped at six months of rent | Noruega | Sustentada | Verificada | Aprovada |
| no-husleie-3-5-deposit-three-months-near-misshusleieloven § 3-5: claim caps the deposit at three months (statute says six) | Noruega | Não sustentada | Não sustentada | Aprovada |
| no-husleie-3-5-off-topic-noticehusleieloven § 3-5 (deposit) cited for a claim about notice periods in employment | Noruega | Não sustentada | Não sustentada | Aprovada |
| no-fkjl-27-two-year-limitforbrukerkjøpsloven § 27 (NL/lov/2002-06-21-34): absolute two-year complaint deadline, five for durable goods | Noruega | Sustentada | Verificada | Aprovada |
| no-fkjl-27-three-year-near-missforbrukerkjøpsloven § 27: claim states a three-year absolute deadline (statute says two / five) | Noruega | Não sustentada | Não sustentada | Aprovada |
| no-ferie-5-off-topic-depositferieloven § 5 (NL/lov/1988-04-29-21, holiday length) cited for a claim about rent deposits | Noruega | Não sustentada | Não sustentada | Aprovada |
| se-las-11-minimum-one-monthLAS 11 § (sfs-1982-80): minimum one-month notice for both parties | Suécia | Sustentada | Verificada | Aprovada |
| se-las-11-four-years-three-monthsLAS 11 §: three months after at least four but under six years of employment | Suécia | Sustentada | Verificada | Aprovada |
| se-las-11-ten-years-twelve-months-near-missLAS 11 §: claim gives twelve months after ten years (statute says six) | Suécia | Não sustentada | Não sustentada | Aprovada |
| se-semester-4-twenty-five-dayssemesterlagen 4 § (sfs-1977-480): twenty-five days of holiday per year | Suécia | Sustentada | Verificada | Aprovada |
| se-semester-4-thirty-days-near-misssemesterlagen 4 §: claim gives thirty days (statute says twenty-five) | Suécia | Não sustentada | Não sustentada | Aprovada |
| se-kkl-5-2-two-months-always-timelykonsumentköplagen 5 kap. 2 § (sfs-2022-260): a complaint within two months of noticing is always timely | Suécia | Sustentada | Verificada | Aprovada |
| se-kkl-5-2-off-topic-noticekonsumentköplagen 5 kap. 2 § (complaints) cited for a claim about employment notice | Suécia | Não sustentada | Não sustentada | Aprovada |
| dk-ful-2-three-months-after-sixfunktionærloven § 2 (lta/2017/1002): three months notice from the employer after six months of employment | Dinamarca | Sustentada | Verificada | Aprovada |
| dk-ful-2-cap-six-monthsfunktionærloven § 2, stk. 3: the notice period grows by one month per three years, capped at six months | Dinamarca | Sustentada | Verificada | Aprovada |
| dk-ful-2-cap-nine-months-near-missfunktionærloven § 2: claim caps the notice period at nine months (statute says six) | Dinamarca | Não sustentada | Não sustentada | Aprovada |
| dk-kbl-83-two-year-limitkøbeloven § 83 (lta/2021/1853): defects must be raised within two years of delivery | Dinamarca | Sustentada | Verificada | Aprovada |
| dk-kbl-83-five-year-near-misskøbeloven § 83: claim states a five-year absolute deadline (statute says two) | Dinamarca | Não sustentada | Não sustentada | Aprovada |
| dk-ferie-5-off-topic-noticeferieloven § 5 (lta/2024/152, holiday accrual) cited for a claim about notice periods | Dinamarca | Não sustentada | Não sustentada | Aprovada |
| de-bgb-622-four-weeks-basicBGB § 622 (1) (bgb): basic four-week notice to the 15th or month end | Alemanha | Sustentada | Verificada | Aprovada |
| de-bgb-622-five-years-two-monthsBGB § 622 (2) Nr. 2: two months after five years for an employer termination | Alemanha | Sustentada | Verificada | Aprovada |
| de-bgb-622-probation-four-weeks-near-missBGB § 622 (3): claim gives four weeks during probation (statute says two weeks) | Alemanha | Não sustentada | Não sustentada | Aprovada |
| de-bgb-551-deposit-three-monthsBGB § 551 (1): rent deposit capped at three months of net rent | Alemanha | Sustentada | Verificada | Aprovada |
| de-bgb-551-deposit-six-months-near-missBGB § 551: claim allows six months of rent as deposit (statute says three) | Alemanha | Não sustentada | Não sustentada | Aprovada |
| de-kschg-1-six-months-thresholdKSchG § 1 (1) (kschg): protection applies after more than six months of uninterrupted employment | Alemanha | Sustentada | Verificada | Aprovada |
| de-kschg-4-three-week-deadlineKSchG § 4: claim must be filed within three weeks of receiving the written termination | Alemanha | Sustentada | Verificada | Aprovada |
| de-kschg-4-four-week-near-missKSchG § 4: claim gives a four-week filing deadline (statute says three weeks) | Alemanha | Não sustentada | Não sustentada | Aprovada |
| de-kschg-1-off-topic-depositKSchG § 1 (dismissal protection) cited for a claim about rent deposits | Alemanha | Não sustentada | Não sustentada | Aprovada |
O que isto mostra — e o que não mostra
- Esta é uma avaliação interna, criada e classificada por nós. Não é uma avaliação independente — encare-a como a nossa própria fasquia de qualidade, publicada para que nos possa responsabilizar por ela.
- Mede a recuperação de fontes jurídicas — se a lei certa surge para uma questão. Não mede a qualidade do texto redigido nem das respostas completas.
- Os resultados são gerados automaticamente para cada versão implementada e publicados sem edição, incluindo as falhas.