Mit der Sesshaftwerdung ersetzten Ackerbau und Tierzucht das Jagen und Sammeln. Mit der industriellen Revolution ersetzten Maschinen- und Fabriksarbeit die Landwirtschaft. Mit der Computer- und Digitalisierung ersetzten

Datenverarbeitungstätigkeiten die manuelle Arbeit. Der Autor dieser Zeilen geht davon aus, dass künstliche Intelligenz (KI) vergleichbare Auswirkungen auf die Arbeitswelt haben wird wie die Sesshaftwerdung in der Jungsteinzeit, die industrielle Revolution im 18. Jahrhundert und zuletzt die Computer- und Digitalisierung. Die Frage ist nicht ob, sondern nur wie schnell.

Besonders stark betroffene Berufe werden sich unter anderem in der Medizin (insbesondere bei der Diagnose), im Kundenservice (Stichwort Chatbot) und so der Herr es fügt in der Verwaltung finden. Am stärksten und vielleicht als erstes im großen Stil betroffen werden aber die rechtsberatenden Berufe sein. Ihre Arbeit basiert auf der Analyse von Daten (das Recht) in Form von Text (Gesetze, Präzedenzfälle und Verträge). Sehr viel Text. Text, den KI-Anwendungen weitaus schneller und präziser durchsuchen, analysieren und wiedergeben können als jeder Mensch. Gepaart mit dem Kostendruck, welchem die Rechtsberatungsbranche ausgesetzt ist, ist sie geradezu dazu prädestiniert, als erstes von der KI-Revolution aufgemischt zu werden. Allerdings leidet die KI derzeit noch an Kinderkrankheiten. Die meist zugrunde liegenden großen Sprachmodelle (Large Language Models, LLMs) sind anfällig Tür sogenannte „Halluzinationen“; sie generieren falsche Informationen. Dies stellt ein erhebliches Risiko dar, insbesondere in hochsensiblen Bereichen wie dem Recht. Empirische Untersuchungen zeigen, dass alle derzeit gängigen Systeme nach wie vor signifikante Fehlerquoten aufweisen.

Was sind Halluzinationen?

Halluzinationen bezeichnen im Zusammenhang mit KI das Phänomen, falsche Informationen zu erzeugen. Im juristischen Kontext kann dies besonders problematisch sein. Ein bekanntes Beispiel ist der Fall jenes New Yorker Rechtsanwalts, der wegen der Verwendung von durch ChatGPT erfundener Rechtsprechung in einem Schriftsatz im März 2023 bestraft wurde.

Halluzinationen entstehen, weil Sprachmodelle auf Wahrscheinlichkeiten basieren: Sie „berechnen“ Antworten quasi – basierend auf jenen Unmengen an Daten, mit welchen sie trainiert werden. Vereinfacht ausgedrückt: ChatGPT, Gemini und Co werden mit einem Universum an Daten gefüttert. Wenn ein Benutzer dem KI-Programm eine Aufgabe gibt (eine Frage stellt), analysiert das Programm die zur Verfügung stehenden Daten und versucht, jene Lösung zu bieten (Antwort zu finden), welche am wahrscheinlichsten mit der Aufgabe (Frage) übereinstimmt. Wenn nun aber die Daten zum Beispiel unvollständig oder fehlerhaft sind, kann das Sprachmodell sozusagen

„falsche Schlüsse ziehen“ – und diese als Fakten präsentieren. (Detail am Rande: Noch erkennen die gängigen Sprachmodelle weder Ironie noch Sarkasmus. Wenn sich also zu einer Frage mehrere humoristische Texte im Datenpool eines Sprachmodells finden, kann es sein, dass diese als „wahr“ angenommen werden. Ein Risiko, das im Rechtsbereich wohl vernachlässigbar ist.)

 

Aktuelle Studienergebnisse

Ein im Mai 2024 veröffentlichtes Paper von Forschern der Stanford University und Yale University hat die Leistung führender KI-gestützter Rechtsrecherche-Tools (allesamt aus den USA) empirisch bewertet. Die Untersuchung ergab, dass die Halluzinationsrate bei den getesteten Programmen zwischen 17% und 33% liegt. Diese Zahlen zeigen, dass trotz größter Bemühungen und der Verwendung fortschrittlicher Techniken das Problem der Halluzinationen weiterhin in erheblichem Maße besteht.

Diese hohe Fehlerquote kann auf verschiedene Faktoren zurückgeführt werden. Wesentlich sind die Qualität und der Umfang der Trainingsdaten, die Komplexität der juristischen Sprache und die Interpretationen, welche ein KI-Programm vornehmen muss.

 

RAG-Systeme

Eine der angewandten Techniken um Halluzinationen zu begegnen ist Retrieval-Augmented Generation (RAG). Sie kombiniert die Fähigkeiten von Sprachmodellen mit Wissensdatenbanken: Bei einer Anfrage durchsucht das Programm zunächst relevante Dokumente und verwendet diese dann als Grundlage für die Generierung der Antwort durch das Sprachmodell. Diese Methode soll die Genauigkeit erhöhen und Halluzinationen reduzieren.

Der RAG-Prozess beginnt üblicherweise mit der Suche nach relevanten Dokumenten in einer großen Datenbank. So werden bei einer steuerrechtlichen Anfrage zunächst alle Dokumente, welche sich mit Steuerrecht befassen ausgewählt. Diese Dokumente werden dann in einem zweiten Schritt verwendet, um den Kontext für die Antwort zu liefern. Das Sprachmodell generiert schließlich die Antwort – basierend auf den ausgewählten Dokumenten. Diese Herangehensweise soll sicherstellen, dass die Antwort sowohl relevant als auch genau ist. Trotz ihrer Vorteile sind RAG-Systeme nicht fehlerfrei. Fehler können in verschiedenen Phasen des Prozesses auftreten. Ein Beispiel für eine Fehlerquelle ist die Auswahl der relevanten Dokumente. Wenn das System nicht die relevantesten Dokumente auswählt, kann die vom Sprachmodell generierte Antwort auf irrelevanten (oder sogar falschen) Daten basieren. Ebenso kann die KI-Anwendung Schwierigkeiten haben, den Kontext korrekt zu interpretieren, was zu Missverständnissen und ebenfalls falschen Antworten führen kann.

 

Auswirkungen auf die Praxis

Die rechtsberatenden Berufe werden von KI-Programmen vor neue Herausforderungen gestellt. Einerseits ist es unvermeidlich das Potential von neuen Anwendungen zu nutzen. Schon sehr bald wird kein Mandant mehr bereit sein, für eine Rechtsrecherche dutzende oder gar hunderte Stunden von Arbeitszeit zu bezahlen. Andererseits entsteht die Pflicht, die von einer KI-Anwendung generierten Ergebnisse zu überprüfen. Dies erfordert jedoch – anders als das Überprüfen der Arbeitsergebnisse eines weniger erfahrenen Kollegen (der vielleicht einfach das eine oder andere Judikat unberücksichtigt gelassen hat) – ein tiefes Verständnis für die Funktionsweise dieser Technologien und ihrer potenziellen Schwachstellen. Aus einer Vielzahl von Artikeln zu einem bestimmten Thema, welche einhellig die Rechtsansicht „A“ vertreten, kann eine KI-Anwendung fälschlich die Schlussfolgerung ziehen, A sei richtig – auch wenn das oberste Gericht (in Zivilsachen ist das der OGH) in Wahrheit schon seit Jahrzehnten „B“ judiziert. Dieses – falsche – Ergebnis ist insbesondere dort wahrscheinlich, wo es einfach keine neue Judikatur gibt. (Ohne ins Detail zu gehen: Kommt vor.) Rechtsanwälte tun gut daran, sich schon sehr bald entsprechend weiterzubilden. Sie müssen die Arbeitsergebnisse der KI-Anwendung nicht einfach „manuell“ überprüfen; dies würde den Sinn und Zweck der Verwendung der KI in vielen Fällen konterkarieren. Sie müssen vielmehr in der Lage sein, die Ergebnisse der KI heuristisch kritisch zu bewerten. Dies erfordert ein Verständnis für die Art und Weise, wie KI-Programme arbeiten – inklusive der verschiedenen Arten von Halluzinationen und deren Erkennung. Derartige Weiterbildung sollte sich auf Grundlagen der KI-Technologie, einschließlich ihrer Stärken und Schwächen, konzentrieren. Zusätzlich sollte praktisch geübt werden: Wie nutze ich KI-Tools effektiv aber überprüfe auch die

Arbeitsergebnisse – ohne alles nachzuschlagen.

 

Verantwortung der Technologieunternehmen

Technologieunternehmen, die KI-gestützte Rechtsrecherche-Tools anbieten, tragen eine erhebliche Mitverantwortung. Sie müssen sicherstellen, dass ihre Systeme so genau und zuverlässig wie möglich funktionieren. Dies erfordert kontinuierliche Forschung und Entwicklung sowie umfangreiche Tests, um die Fehlerquoten zu minimieren. Unternehmen sollten darüber hinaus aber auch transparent die Limitationen ihrer Technologien  kommunizieren. Anwender haben ein Recht darauf nicht nur pauschal über die Existenz von Risiken sondern auch über ihr Wesen informiert zu werden. Darüber hinaus sollten Unternehmen regelmäßig Updates und andere Verbesserungen bereitstellen, um die Leistung der Systeme ständig  zu optimieren. Eine enge Zusammenarbeit mit der juristischen Gemeinschaft ist dafür unerlässlich. Um die besten Ergebnisse zu erzielen, bedarf es eines ständigen Austausches von Wissen und Erfahrungen. Von einem solchen können freilich beide Seiten profitieren: Rechtsanwälte und Technologieunternehmen. Letztendlich können diese beiden Akteure ohnedies nur gemeinsam Lösungen entwickeln welche die Zuverlässigkeit und Genauigkeit von KI-gestützten Tools verbessern. Konferenzen, Workshops und Diskussionsforen wie sie in Österreich zum Beispiel der Juristenverband anbietet, tragen dazu bei, diesen Dialog zu fördern. Sie bieten jene Plattform, welche die KI im Rechtsbereich benötigt.

 

Zukunftsaussichten

Die Technologie im Bereich der Künstlichen Intelligenz entwickelt sich ständig weiter. Zukünftige Fortschritte werden die Genauigkeit und Zuverlässigkeit von KI-gestützten Rechtsrecherche-Tools weiter verbessern. Die Halluzinationsraten werden sinken und die Qualität der generierten Antworten wird steigen. Mit steigender Zuverlässigkeit wird auch die Integration von KI in den juristischen Arbeitsalltag weiter zunehmen. Rechtsanwälte müssen die neuen Technologien in ihre Arbeitsprozesse integrieren und die notwendigen Fähigkeiten erwerben, um sie effektiv zu nutzen. Selbst juristisches Wissen zu haben wird hingegen eine Eigenschaft sein, die in den Hintergrund tritt. Wozu tausende von Paragrafen kennen – wichtiger ist es, den richtigen Prompt formulieren zu können. Neben diesen technischen Herausforderungen gibt es auch ethische Fragen, die berücksichtigt werden müssen: Die Interessen der Mandanten müssen selbstverständlich in zumindest jenem Maß geschützt werden, wie bei konventioneller Rechtsberatungsarbeit. Dies schließt zum Beispiel die Vermeidung von Diskriminierung ein, die durch verzerrte Daten oder Datenauswahl entstehen kann. Auch Transparenz ist ein wichtiger Aspekt: Mandanten sollten darüber informiert werden, wenn KI-gestützte Systeme für ihren Fall eingesetzt werden und welche Auswirkungen dies haben kann. Die zunehmende Nutzung von KI im Rechtsbereich hat weiters auch Implikationen für die juristische Berufswelt. Nicht nur die bloße Kenntnis von Gesetzen und Judikatur wird schon sehr bald wertlos werden; auch die juristische Recherche ist etwas, das schon sehr bald KI-Anwendungen viel schneller und viel besser beherrschen werden als jeder Mensch. Weiters wird es ohne zumindest ein gewisses Grundverständnis für Informationstechnologie schon sehr bald keine Karrierechancen in der Juristerei mehr geben. Juristen, welche jetzt die KI-Revolution verleugnen, wird schon in wenigen Jahren dasselbe Schicksal ereilen, welches Juristen Ende des 19. Jahrhunderts erfuhren, die sich der Schreibmaschine zu widersetzen suchten. Und schließlich wird die zunehmende Zahl an Aufgaben, welche KI-Anwendungen übernehmen, überhaupt den Bedarf an (menschlichen) Juristen senken. All das erfordert freilich eine Umstellung der juristischen Ausbildung. Nicht zuletzt erfordert die Art und Weise, wie Rechtsberatung (und später mitunter auch Rechtsprechung) verändert wird, eine kontinuierliche öffentliche Debatte und allenfalls auch legistische Maßnahmen. Es muss sichergestellt werden, dass die Technologie im Einklang mit den Grundsätzen und Werten der Gesellschaft eingesetzt wird.