Wir messen unsere juristische KI öffentlich

Antwortgenauigkeit bei Gesetzesfragen

Der Assistent beantwortet 100 Gesetzesfragen — je 25 für Norwegen, Schweden, Dänemark und Deutschland — über dieselbe Antwortkette wie im Produkt: Suche in den amtlichen Gesetzessammlungen, das Antwortmodell und die Quellenprüfung, die nach jeder belegten Antwort läuft. Jede Frage ist in der Sprache der jeweiligen Rechtsordnung formuliert, so wie eine Anwältin oder ein Anwalt sie stellen würde, und nennt nie das maßgebliche Gesetz.

Jede Antwort wird in rechtliche Aussagen zerlegt. Eine Aussage mit Quellenangabe wird gegen den Text dieser Quelle geprüft; eine rechtliche Aussage ohne Quellenangabe gilt als unbelegt. Deterministische Prüfungen erkennen Quellenangaben, die auf keine abgerufene Quelle verweisen, auf ein Gesetz außerhalb des Korpus oder auf einen Paragrafen, den es im zitierten Gesetz nicht gibt. Zu jeder Frage gehören außerdem Pflichtpunkte — Fristen, Beträge und Voraussetzungen aus dem Gesetzestext —, nach denen ein fester Musterabgleich in der Antwort sucht.

Letzter Lauf 28.09.2026 · Build 37f924ff6 · Modelle claude-haiku-4-5-20251001, claude-opus-4-8, claude-sonnet-4-6

Bisher ein Lauf — der Verlauf erscheint nach dem nächsten.

Die Fragen werden in der Sprache angezeigt, in der sie gestellt wurden — sie sind die Quelldaten des Benchmarks.

Ergebnisse pro Frage herunterladen (JSON)Jede Antwort, Aussage, Bewertung und Quelle, unbearbeitet.

Externer Benchmark: Auffinden deutscher Gerichtsentscheidungen (GerDaLIR)

Jedes andere Thema auf dieser Seite bewertet Aufgaben, die wir selbst geschrieben haben, mit Gold, das wir selbst gewählt haben. Dieses nicht. GerDaLIR ist ein öffentlicher deutscher Datensatz für juristische Informationssuche, von Dritten aus Open Legal Data gebaut: Eine Anfrage ist eine Passage einer Gerichtsentscheidung, die eine andere Entscheidung zitiert — das Zitat selbst ist maskiert —, und die zitierte Entscheidung ist das Gold.

Jede Aufgabe stellt dieselbe Anfrage wie der Reiter „Rett“ einer Akte für einen deutschen Fall, mit der maskierten Passage als Suchtext, und gilt als bestanden, wenn eine zitierte Entscheidung unter den ersten 10 Treffern liegt — die Rangfolge des Produkts selbst, Quellentyp-Quoten eingeschlossen, keine reine Retrieval-Obergrenze.

Stichprobe: 150 der 309 Test-Anfragen, deren zitierte Entscheidungen unser Korpus der Bundesgerichte vollständig enthält (von 12298 Test-Anfragen), mit festem Seed gezogen. Jede Aufgabe verweist auf die öffentliche Quelle und ist so nachprüfbar.

Datensatz und Lizenz (MIT)So wurde die Stichprobe gezogen

0 von 153 zitierten Entscheidungen tragen Vektoren in unserem Speicher

Keine der deutschen Entscheidungen trug in diesem Lauf Vektoren; die Suche war Stichwortsuche plus LLM-Neuordnung. Sobald sie eingebettet sind, zeigt sich die Änderung im Verlauf oben.

Ohne LLM-Neuordnung (nur Fusionsreihenfolge der Suche): 1 % (95-%-KI 0–4 %) · mit: 2 % · 150 Aufgaben in beiden Durchläufen bewertet

Externer Benchmark: Auffinden deutscher Gesetzesnormen (GerLeRB)

GerLeRB ist ein öffentlicher Benchmark über deutsches Bundesrecht, von Dritten erstellt: 367 juristische Fragen, jede mit dem einen Paragraphen verknüpft, der sie beantwortet, aus 90.798 Paragraphen auf gesetze-im-internet.de — der Quelle, aus der unser deutsches Gesetzeskorpus synchronisiert wird. Die Fragen wurden mit GPT‑4.1 aus Entscheidungskontexten erzeugt und anschließend von Juristinnen und Juristen geprüft. Niemand bei Attorly hat eine Frage geschrieben oder ein Gold gewählt. Nur deutsches Recht: über die nordischen Rechtsordnungen sagt er nichts.

Jede Aufgabe stellt dieselbe Anfrage wie der Reiter „Rett“ einer Akte für einen deutschen Fall, mit der Frage als Suchtext, und gilt als bestanden, wenn das Gold-Gesetz unter den ersten 5 Treffern liegt — die Rangfolge des Produkts selbst, Quellentyp-Quoten eingeschlossen. Eine strengere Bewertung hält fest, ob der Treffer für dieses Gesetz auch den Gold-Paragraphen benannt hat.

Jede der 367 Fragen ist eine Aufgabe (367 in diesem Satz) — keine Stichprobe. Jedes Gold verweist auf den Paragraphen auf gesetze-im-internet.de und ist so nachprüfbar.

Datensatz und Lizenz (CC BY 4.0)So wurde der Aufgabensatz gebaut

Kein Treffer dieses Laufs trug einen Paragraphenmarker; die Bewertung auf Paragraphenebene ist daher nicht verfügbar, die Bewertung auf Gesetzesebene oben gilt.

Ohne LLM-Neuordnung (nur Fusionsreihenfolge der Suche): 41 % (95-%-KI 35–47 %) · mit: 45 % · 248 Aufgaben in beiden Durchläufen bewertet

Quellenangaben des Assistenten

Misst, ob die Quellenangaben des Assistenten beim einschlägigen Recht bleiben: Für jede Frage werden die obersten Quellen gegen eine Liste klar sachfremder Gesetze geprüft. Ein Verweis auf z. B. Seearbeitsrecht bei einer gewöhnlichen Kündigungsfrage zählt als Rauschen.

Ohne Relevanzfilter (Top-Treffer ungefiltert): 40 % (95-%-KI 17–69 %) · mit: 50 % · 10 Aufgaben in beiden Durchläufen bewertet

Ergebnisse herunterladen (JSON)

Genauigkeit der Quellenprüfung

Nach jeder belegten Antwort prüft der Assistent jede Quellenangabe gegen den Text der Quelle, auf die sie verweist, und markiert sie als bestätigt, teilweise gestützt oder nicht gestützt. Dieser Benchmark misst den Prüfer selbst an beschrifteten Paaren aus einer Behauptung und einem wörtlichen Gesetzesauszug mit bekannter Antwort.

Die Hälfte der Paare sind Beinahe-Treffer: das richtige Gesetz, aber die falsche Frist, Summe oder Partei – der Fall, den ein nachsichtiger Prüfer durchwinkt. Eine Fehlfreigabe, eine nicht gestützte Behauptung als bestätigt markiert, ist die Zahl, die zählt; eine Fehlablehnung kostet den Leser nur eine zweite Prüfung.

Ergebnisse herunterladen (JSON)

Redlining mit Playbooks

Jede Aufgabe gibt unserer Redlining-Engine einen Vertrag und ein Playbook mit Positionsleitern, so wie es eine Kanzlei tun würde. Die Engine bewertet jeden Vertragspunkt und schlägt Änderungen vor; wir prüfen jedes Ergebnis anhand von Musterlösungen, die mit dem maßgeblichen Gesetz zur Hand verfasst wurden.

Die Aufgaben umfassen Arbeitsverträge, NDAs und SaaS-Bedingungen in Norwegen, Schweden, Dänemark und Deutschland. Die Verträge sind synthetisch und intern verfasst, sodass kein Mandantenmaterial verwendet wird. Jeder Durchlauf verwendet den Produktions-Prompt, und die Prüfungen werden automatisch bewertet, ohne dass ein Modell ein anderes Modell beurteilt.

Ergebnisse herunterladen (JSON)

Die unabhängige VLAIR-Studie berichtet für ihre eigenen Redlining-Aufgaben einen Anwalts-Referenzwert von 79,7 %. Dieser Aufgabensatz ist nicht öffentlich und unterscheidet sich von unserem, daher dient die Zahl als Einordnung, nicht als direkter Vergleich.