LLM-as-Judge: KI-Systeme effektiv testen mit Anupam Krishnamurthy

Wie testet man KI-Systeme automatisiert, deren Antworten nicht vorhersagbar sind? Diese zentrale Frage beschäftigt Unternehmen, die LLMs in ihre Produkte integrieren. Im Podcast Software Testing & Qualität geht Host Richard Seidl dieser Herausforderung gemeinsam mit seinem Gast Anupam Krishnamurthy auf den Grund. In dieser Episode, aufgezeichnet auf dem German Testing Day, liefert Anupam, ein Experte für Testautomatisierung, tiefgreifende Einblicke, wie das Testen von KI-basierten Systemen gelingen kann. Er erklärt, warum wir unser Verständnis von Determinismus überdenken müssen, wie ein Sprachmodell als Richter über ein anderes urteilen kann und wo die häufigsten Fehler in modernen KI-Architekturen wie RAG-Systemen lauern. Die Episode ist ein Muss für Tester, Entwicklerinnen und Qualitätsmanager, die sich auf die neuen Realitäten der Softwareentwicklung vorbereiten wollen.

Das Wichtigste auf einen Blick

• Nicht-Determinismus ist ein Feature, kein Bug: Im Gegensatz zur klassischen Softwareentwicklung, wo unvorhersehbares Verhalten wie Flakiness als Fehler gilt, ist es bei LLMs ein Kernelement. Tester müssen ihre Erwartungshaltung von 100 % konsistenten Ergebnissen aufgeben.
• Der LLM-as-a-Judge-Ansatz: Um die Qualität von KI-Antworten zu bewerten, kann ein zweites, oft leistungsfähigeres Sprachmodell als Richter eingesetzt werden. Dessen Urteil basiert auf vordefinierten, von Fachexperten erstellten Bewertungsrubriken.
• Schwachstelle Retrieval: Anupam betont, dass die meisten Fehler in RAG-Anwendungen (Retrieval-Augmented Generation) nicht im Sprachmodell selbst, sondern bei der vorgeschalteten Datenbeschaffung (Retrieval) entstehen. Eine fehlerhafte oder irrelevante Datenbasis führt unweigerlich zu schlechten Ergebnissen.
• Von Grün/Rot zu Schwellenwerten: Tests für KI-Systeme liefern selten ein binäres Pass/Fail-Ergebnis. Stattdessen werden Quality Gates über Akzeptanzraten und Wahrscheinlichkeiten definiert, zum Beispiel über 85 % der Antworten müssen die Kriterien erfüllen.
• Alte Fähigkeiten neu angewendet: Klassische Teststrategien, wie die Zerlegung eines Systems in seine Komponenten und das isolierte Testen dieser Teile, sind auch für die Qualitätssicherung von KI-Systemen von entscheidender Bedeutung und absolut übertragbar.

Vom Bug zum Feature: Warum wir Nicht-Determinismus neu bewerten müssen

Die größte Hürde beim Testen von LLMs ist der radikale Bruch mit dem Prinzip des Determinismus. Anupam beschreibt, wie er bei seinen ersten explorativen Tests mit ChatGPT schnell an die Grenzen traditioneller Methoden stieß. Während ein klassisches Softwaresystem bei identischer Eingabe stets die gleiche Ausgabe liefern sollte, verhält sich ein Chatbot wie ein eigenes Lebewesen - seine Antworten variieren. Anupam erklärt, dass wir als Testautomatisierer darauf trainiert sind, Nicht-Determinismus in Form von Race Conditions oder Flakiness zu identifizieren und zu eliminieren. Bei LLMs ist diese Unvorhersehbarkeit jedoch kein Fehler, sondern ein gewolltes Merkmal. Dieser Perspektivwechsel ist fundamental. Statt vollständiges Verständnis und Kontrolle über das System anzustreben, müssen wir Vertrauen durch intelligente Leitplanken (Guardrails) und kontinuierliche Evaluation aufbauen, um sicherzustellen, dass sich die KI innerhalb eines akzeptablen Rahmens bewegt.

Wie kann ein LLM ein anderes LLM bewerten?

Für die Bewertung von Freitext-Antworten oder subjektiven Kriterien wie Tonalität und Hilfsbereitschaft stellt Anupam den LLM-as-a-Judge-Ansatz vor. Die Idee ist, ein zweites, unabhängiges LLM zu nutzen, um die Ausgabe des zu testenden Systems zu bewerten. Richard wirft hier die berechtigte Frage auf, ob zwei KIs nicht die gleichen blinden Flecken haben könnten. Um das zu vermeiden, empfiehlt Anupam mehrere Strategien: Man kann ein Modell eines anderen Anbieters oder ein leistungsfähigeres Modell als Richter einsetzen. Der entscheidende Faktor ist jedoch das Alignment mit menschlichen Fachexperten. Dies geschieht durch präzise formulierte Bewertungsrubriken. Diese Rubriken sind strukturierte Anweisungen, die dem Richter-LLM genau vorgeben, nach welchen Kriterien (z. B. Präzision, Relevanz, Tonalität) und anhand welcher Beispiele es eine Antwort bewerten soll. So wird das Urteil der KI kalibriert und an menschliche Erwartungen angenähert.

Die Achillesferse von RAG-Systemen: Das Problem liegt oft vor dem LLM

Anupam nutzt bewusst ein Retrieval-Augmented Generation (RAG) System als Beispiel, da diese Architektur in Unternehmen weit verbreitet ist, um LLMs mit eigenen Daten zu erweitern. Ein RAG-System besteht aus zwei Kernkomponenten: dem Retrieval, das relevante Informationen aus einer Wissensdatenbank (z. B. einem Vektor-Datenbank) sucht, und der Generation, bei der das LLM diese Informationen zur Beantwortung einer Anfrage nutzt. Aus seiner Erfahrung, so Anupam, liegt die Hauptfehlerquelle fast immer im Retrieval-Prozess. Wenn dem Sprachmodell die falschen, veralteten oder irrelevanten Daten als Kontext geliefert werden, kann es auch keine gute Antwort generieren. Diese Erkenntnis ist für Tester Gold wert: Sie erlaubt es, das System in seine Einzelteile zu zerlegen und gezielte Tests für den Retrieval-Teil zu entwickeln. Hier kommen klassische Test- und Machine-Learning-Methoden zum Einsatz, um die Qualität und Relevanz der Daten zu prüfen, bevor sie überhaupt an das LLM weitergereicht werden.

Tests ohne eindeutiges Richtig oder Falsch

Die Abkehr vom Determinismus hat direkte Auswirkungen auf die Testauswertung. Eine CI/CD-Pipeline, die bei der kleinsten Abweichung auf Rot springt, ist für LLM-Tests ungeeignet. Stattdessen müssen wir in Wahrscheinlichkeiten und Schwellenwerten denken. Ein Quality Gate könnte beispielsweise festlegen, dass eine neue Modellversion nur dann akzeptiert wird, wenn sie in 85 % der Testfälle eine zufriedenstellende Antwort liefert. Anupam verweist auf Studien, die zeigen, dass die Übereinstimmungsrate zwischen einem gut kalibrierten LLM-Judge und einem Menschen bei etwa 80-85 % liegt - was bemerkenswerterweise der Übereinstimmung zwischen zwei menschlichen Experten entspricht. Wir erwarten von einer KI oft eine Perfektion, die wir selbst nicht liefern können. Dieser pragmatische Ansatz, der eine gewisse Fehlertoleranz akzeptiert, ist entscheidend, um KI-Systeme sinnvoll und automatisiert testen zu können.

Praktische Schritte zur Automatisierung von LLM-Tests

1. Den Anwendungsfall verstehen: Deine Teststrategie muss exakt auf den KI-Einsatzfall zugeschnitten sein. Das Testen eines Kundenservice-Chatbots erfordert andere Kriterien als die Prüfung eines Bildgenerators oder eines Code-Assistenten.
2. Das System in Testebenen zerlegen: Beginne mit dem, was einfach zu validieren ist. Dazu gehören deterministische Tests, wie die Prüfung, ob die KI Fakten korrekt wiedergibt oder Antworten in einem bestimmten Format (z. B. JSON) liefert. Arbeite dich von dort zu komplexeren, subjektiven Bewertungen vor.
3. Ground Truths definieren: Lege einen Katalog von Fakten und Kerninformationen an (die Ground Truths), die das System unter allen Umständen korrekt wiedergeben muss. Diese dienen als stabile Basislinie für die Zuverlässigkeit und bilden die Grundlage für eine erste Testsuite.
4. Den LLM-Judge kalibrieren: Entwickle gemeinsam mit Fachexperten detaillierte Bewertungsrubriken. Diese Anleitungen sollten klare Kriterien und konkrete Beispiele enthalten, um das Urteil des Richter-LLMs an menschliche Erwartungen anzupassen. Überprüfe die Ergebnisse regelmäßig im Abgleich mit manuellen Bewertungen.
5. Den Retrieval-Prozess isoliert testen: Wenn du ein RAG-System testest, konzentriere dich auf die Datenbeschaffung. Stelle durch gezielte, isolierte Tests sicher, dass der Retrieval-Mechanismus die relevantesten und korrektesten Informationen findet, bevor diese zur Generierung an das LLM übergeben werden.