Misuriamo la nostra AI legale in pubblico

Accuratezza delle risposte a quesiti normativi

L’assistente risponde a 100 quesiti normativi — 25 ciascuno per Norvegia, Svezia, Danimarca e Germania — attraverso la stessa catena di risposta del prodotto: ricerca nelle raccolte normative ufficiali, il modello di risposta e il controllo delle citazioni eseguito dopo ogni risposta fondata su fonti. Ogni quesito è scritto nella lingua della giurisdizione, come lo formulerebbe un avvocato, e non nomina mai la legge applicabile.

Ogni risposta viene scomposta in affermazioni giuridiche. Un’affermazione che cita una fonte viene verificata rispetto al testo di quella fonte; un’affermazione giuridica senza citazione conta come non fondata. Controlli deterministici individuano le citazioni che non rimandano ad alcuna fonte recuperata, che rimandano a una legge esterna al corpus o a un articolo che non esiste nella legge citata. Ogni quesito ha inoltre punti obbligatori — termini, importi e condizioni tratti dal testo di legge — che un confronto di pattern fisso cerca nella risposta.

Ultima esecuzione 28 set 2026 · Build 37f924ff6 · Modelli claude-haiku-4-5-20251001, claude-opus-4-8, claude-sonnet-4-6

Una sola esecuzione finora — l’andamento compare dopo la prossima.

I quesiti sono mostrati nella lingua in cui sono stati posti: sono i dati di origine del benchmark.

Scarica i risultati per quesito (JSON)Ogni risposta, affermazione, verdetto e fonte, senza modifiche.

Benchmark esterno: reperimento di decisioni giudiziarie tedesche (GerDaLIR)

Ogni altro tema di questa pagina valuta attività che abbiamo scritto noi, con risposte che abbiamo scelto noi. Questo no. GerDaLIR è un dataset pubblico tedesco per il reperimento giuridico, costruito da terzi a partire da Open Legal Data: una query è un passaggio di una decisione che ne cita un’altra, con la citazione mascherata, e la decisione citata è il riferimento.

Ogni attività esegue la stessa chiamata che la scheda «Rett» di un fascicolo esegue per un caso tedesco, con il passaggio mascherato come query, e viene superata quando una decisione citata compare tra i primi 10 risultati — l’ordinamento del prodotto stesso, quote per tipo di fonte incluse, non un tetto di puro reperimento.

Campione: 150 delle 309 query del set di test le cui decisioni citate sono tutte nel nostro corpus dei tribunali federali (su 12298 query di test), estratte con un seme fisso. Ogni attività rimanda alla fonte pubblica, quindi è verificabile.

Dataset e licenza (MIT)Come è stato estratto il campione

0 di 153 decisioni citate hanno vettori nel nostro indice

Nessuna decisione tedesca aveva vettori in questa esecuzione: il reperimento è stato ricerca per parole chiave più riordino LLM. Quando saranno incorporate, il cambiamento comparirà nell’andamento sopra.

Senza riordino LLM (solo ordine di fusione della ricerca): 1% (IC 95% 0–4%) · con: 2% · 150 attività valutate in entrambi i passaggi

Benchmark esterno: reperimento di norme di legge tedesche (GerLeRB)

GerLeRB è un benchmark pubblico sulla legislazione federale tedesca, costruito da terzi: 367 domande giuridiche, ciascuna abbinata all’unico paragrafo di legge che vi risponde, tra 90.798 paragrafi su gesetze-im-internet.de — la fonte da cui è sincronizzato il nostro corpus di leggi tedesche. Le domande sono state generate con GPT‑4.1 da contesti di decisioni giudiziarie e poi verificate da giuristi. Nessuno in Attorly ha scritto una domanda o scelto un riferimento. Solo diritto tedesco: non dice nulla sugli ordinamenti nordici.

Ogni attività esegue la stessa chiamata che la scheda «Rett» di un fascicolo esegue per un caso tedesco, con la domanda come query, e viene superata quando la legge di riferimento compare tra i primi 5 risultati — l’ordinamento del prodotto stesso, quote per tipo di fonte incluse. Una valutazione più severa registra se il risultato per quella legge ha indicato anche il paragrafo di riferimento.

Ognuna delle 367 domande è un’attività (367 in questo set) — nessun campionamento. Ogni riferimento rimanda al paragrafo su gesetze-im-internet.de, quindi è verificabile.

Dataset e licenza (CC BY 4.0)Come è stato costruito il set di attività

Nessun risultato di questa esecuzione aveva un marcatore di paragrafo: la valutazione a livello di paragrafo non è disponibile, vale quella a livello di legge qui sopra.

Senza riordino LLM (solo ordine di fusione della ricerca): 41% (IC 95% 35–47%) · con: 45% · 248 attività valutate in entrambi i passaggi

Citazioni delle fonti dell’assistente

Misura se le citazioni delle fonti dell’assistente restano nel diritto pertinente: per ogni domanda, le prime fonti vengono valutate rispetto a un elenco di leggi chiaramente fuori materia. Citare ad es. il diritto del lavoro marittimo per un licenziamento ordinario conta come rumore.

Senza il filtro di rilevanza (primi risultati non filtrati): 40% (IC 95% 17–69%) · con: 50% · 10 attività valutate in entrambi i passaggi

Scarica i risultati (JSON)

Accuratezza del controllo delle fonti

Dopo ogni risposta con fonti, l’assistente confronta ogni citazione con il testo della fonte a cui rimanda e la contrassegna come verificata, parzialmente supportata o non supportata. Questo benchmark misura il verificatore stesso su coppie etichettate di un’affermazione e un estratto di legge testuale con risposta nota.

Metà delle coppie sono quasi-corrispondenze: la legge giusta ma il termine, l’importo o la parte sbagliati – il caso che un verificatore indulgente lascia passare. Una falsa accettazione, un’affermazione non supportata contrassegnata come verificata, è il numero che conta; un falso rifiuto costa al lettore solo un secondo controllo.

Scarica i risultati (JSON)

Redlining con playbook

Ogni attività fornisce al nostro motore di redlining un contratto e un playbook di scale di posizioni, come farebbe uno studio legale. Il motore valuta ogni punto e propone modifiche; verifichiamo ogni risultato rispetto a risposte di riferimento redatte con la norma applicabile a portata di mano.

Le attività riguardano contratti di lavoro, NDA e condizioni SaaS in Norvegia, Svezia, Danimarca e Germania. I contratti sono sintetici e redatti internamente, quindi non viene utilizzato materiale dei clienti. Ogni esecuzione usa il prompt di produzione e le verifiche vengono valutate automaticamente, senza che un modello giudichi un altro modello.

Scarica i risultati (JSON)

Lo studio indipendente VLAIR riporta un valore di riferimento degli avvocati del 79,7% sulle proprie attività di redlining. Quell'insieme di attività è privato e diverso dal nostro, quindi il dato serve come contesto, non come confronto diretto.