Agentische Systeme in der Praxis: Das Playbook von Jonas Diezun

Agentische Systeme sind weit mehr als nur Prompts. Wie aber entwickelt man sie von der Problemdefinition über die Evaluation mit synthetischen Testdaten bis zum Go-Live? Jonas Diezun, Gründer und CEO von Beam, gibt im AI FIRST Podcast mit Host Felix Schlenther ein umfassendes Playbook an die Hand. Ein halbes Jahr nach seinem letzten Besuch teilt Jonas seine aktuellen Erkenntnisse darüber, wie Unternehmen robuste, qualitätsgesicherte und wertschöpfende KI-Agenten in der Praxis implementieren. Die Episode liefert eine Blaupause für alle, die KI nicht nur als Co-Pilot, sondern als integralen Bestandteil ihrer Prozesse verstehen und den Schritt von einfachen KI-Agenten zu komplexen agentischen Systemen meistern wollen.

Das Wichtigste auf einen Blick

• System schlägt Modell: Der Hype um immer leistungsfähigere LLMs flaut ab. Entscheidend für den produktiven Einsatz ist nicht das stärkste Modell, sondern die Architektur eines robusten Systems mit Verifikationsschleifen, Fehler-Management und klarer Governance.
• Agentische Systeme statt einfacher Agenten: Ein KI-Agent ist mehr als ein Prompt, der ein Werkzeug ausführt. Echte agentische Systeme kombinieren LLMs mit deterministischer Logik, Retries und Evaluationsmechanismen, um komplexe, mehrstufige Aufgaben zuverlässig zu erledigen.
• Die richtigen Probleme wählen: Ideale Anwendungsfälle für KI-Agenten haben einen klar begrenzten Umfang (Bounded Scope) und erfordern eine Form von Urteilsvermögen, die über rein regelbasierte Entscheidungen hinausgeht.
• Intelligente Verifikation: Statt auf das teuerste Modell zu setzen, ist es oft effektiver und günstiger, einen Verifikations-Loop zu bauen. Ein günstigeres Modell, das seine eigenen Ergebnisse prüft und bei Bedarf wiederholt, erreicht laut Jonas oft eine höhere Genauigkeit als ein teureres Modell im Alleingang.
• Synthetische Daten für Robustheit: Um Agenten auf seltene Fehlerfälle (Edge Cases) vorzubereiten, erstellt Beam synthetische Datensätze. So können tausende Varianten eines Problems durchgespielt und die Fehler des Agenten systematisch analysiert und behoben werden.
• Go-Live ist nur der Anfang: Die Arbeit endet nicht mit der Inbetriebnahme. Ein Agent muss kontinuierlich überwacht, sein ROI bewertet und bei Änderungen in Prozessen, Modellen oder rechtlichen Rahmenbedingungen angepasst werden.

Vom Modell-Hype zur Systemarchitektur: Der neue Fokus bei KI-Agenten

Die KI-Welt entwickelt sich rasant, doch Jonas Diezun beobachtet eine wichtige Verschiebung: Der Hype um immer größere und leistungsfähigere Modelle lässt nach. Während Modelle wie Claude Opus oder Gemini einen deutlichen Sprung in den Fähigkeiten brachten, nimmt der Grenznutzen neuerer Generationen ab. Für die meisten produktiven Anwendungen, so Jonas, sind die aktuellen Modelle bereits mehr als ausreichend. Die zentrale Herausforderung liegt nicht mehr in der reinen Intelligenz, sondern darin, diese Intelligenz in zuverlässige, kosteneffiziente und skalierbare Systeme zu integrieren. Anstatt nur auf das nächste große Modell zu warten, konzentriert sich die Entwicklung bei Beam darauf, die gesamte Systemarchitektur zu optimieren. Dazu gehören Mechanismen wie Verifikationsschleifen, die Fähigkeit zu Wiederholungsversuchen (Retries) und eine präzise Steuerung, die oft mehr zur Genauigkeit beitragen als ein reines Modell-Upgrade.

Was unterscheidet agentische Systeme von einfachen KI-Agenten?

Der Begriff des KI-Agenten wird oft missverstanden. Anfänglich wurde fast alles als Agent bezeichnet, was einen LLM-Aufruf mit der Ausführung eines Tools verband. Jonas erklärt, dass diese Definition zu kurz greift. Ein einfacher Prompt, der eine Aktion auslöst, macht noch kein produktives System. Ein agentisches System ist eine komplexere Einheit, die verschiedene Komponenten orchestriert. Es besteht nicht nur aus einem LLM, sondern integriert auch deterministische Logik für klare Regeln und Berechnungen. Entscheidend sind Schleifen (Loops), in denen der Agent Aktionen ausführt, das Ergebnis anhand vordefinierter Kriterien bewertet und bei Bedarf korrigierende Schritte einleitet. Diese Systeme ahmen menschliche Arbeitsweisen nach, bei denen Informationen aufgenommen, verarbeitet und Entscheidungen getroffen werden - inklusive der Fähigkeit, auf neue Informationen zu warten. Schlagzeilen wie McKinsey hat 25.000 KI-Agenten sind laut Jonas mit Vorsicht zu genießen, da sie oft viele kleine, spezialisierte Helfer meinen und nicht die komplexen, prozesssteuernden Systeme, die eine eigene Governance und Überwachung erfordern.

Das Playbook für produktive Agenten: Von der Problemfindung bis zum Betrieb

Beam folgt einem strukturierten, fünfteiligen Lifecycle, um KI-Agenten von der Idee bis in den laufenden Betrieb zu bringen. Dieser Prozess dauert im Schnitt etwa sechs Wochen.

1. Discovery: Zuerst wird das Geschäftsproblem und der zugrundeliegende Prozess tiefgehend analysiert. Oftmals, so Jonas, muss der Prozess erst gemeinsam mit dem Kunden im Detail verstanden und dokumentiert werden. Die Vision eines komplett KI-nativen Prozesses wird zwar skizziert, der Fokus liegt aber auf einem klar definierten ersten Anwendungsfall.
2. Build: In dieser Phase wird das agentische System entworfen. Das umfasst den gesamten Ablauf, die Prompts, die Definition von Punkten, an denen ein Mensch eingreifen muss (Human-in-the-Loop), die Anbindung an externe Systeme und die Entwicklung der Evaluationskriterien.
3. Test & Evaluate: Dies ist ein entscheidender Schritt zur Qualitätssicherung. Anstatt sich auf wenige Echtdaten vom Kunden zu verlassen, erstellt Beam synthetische Testdatensätze. Damit können tausende von Variationen und seltene Fehlerfälle simuliert werden. Die Ergebnisse werden automatisch geclustert und analysiert, um Schwachstellen im Agenten gezielt zu verbessern. Jonas betont, dass ein gut konzipierter Verifikations-Loop die Genauigkeit oft von 70 % auf über 95 % steigern kann - ein weitaus größerer Hebel als der Wechsel zu einem teureren Modell.
4. Go-Live: Die Inbetriebnahme erfolgt schrittweise. Der Agent läuft anfangs oft nur parallel mit, macht Vorschläge und wird erst nach und nach scharfgeschaltet. Der Grad der Autonomie wird langsam erhöht - von einer vollständigen Überprüfung durch Mitarbeiter bis hin zu einem vollautonomen Betrieb mit Stichprobenkontrollen.
5. Operate & Monitor: Nach dem Go-Live beginnt die Betriebsphase. Der Agent wird kontinuierlich überwacht, sein Business Case (ROI) wird verfolgt, und es wird sichergestellt, dass er bei Änderungen (z. B. neue Regulatorik, neue Modelle) angepasst wird. Die Verantwortung dafür liegt oft in einer Zusammenarbeit zwischen Beam und spezialisierten KI-Teams beim Kunden.

CEO Office 2.0: Wie ein proaktives KI-System die eigene Arbeit transformiert

Jonas nutzt agentische Systeme auch intensiv für seine eigene Arbeit. Sein persönliches CEO Office hat sich in den letzten sechs Monaten von einem reaktiven Assistenten zu einem proaktiven Command Center entwickelt. Die Grundlage dafür ist eine neue, KI-freundliche Art der Kontextverwaltung: Alle Unternehmensinformationen sind in GitHub so strukturiert, dass seine KI-Agenten sie selbstständig finden und verstehen können. Der Leitsatz im Team lautet: Erzähl es nicht mir, erzähl es deiner KI. Statt reaktiv auf Anfragen zu reagieren, bereitet das System nun proaktiv seine Arbeitstage vor. Es analysiert Meetings, verknüpft die Ergebnisse mit laufenden Projekten und Zielen und stellt morgens in einem Command Center die drei wichtigsten Aufgaben des Tages zusammen - inklusive aller relevanten Informationen und vorbereiteter Materialien. So wird Jonas, wie er scherzhaft anmerkt, selbst zur ausführenden Kraft seiner KI, die die strategische Vorarbeit leistet.

Praktische Schritte zur Implementierung

Wenn du selbst agentische Systeme in deinem Unternehmen einführen möchtest, leitet Jonas daraus folgende Handlungsempfehlungen ab:

1. Definiere das Problem präzise: Wähle einen Anwendungsfall mit einem klar begrenzten Umfang. Die Aufgabe sollte ein gewisses Maß an Urteilsvermögen erfordern, das über einfache Regeln hinausgeht. Stelle sicher, dass ein starker Business Case bezüglich Frequenz, Wert oder Skalierbarkeit dahintersteht.
2. Trenne Vision und Startpunkt: Entwickle eine langfristige Vision für einen KI-nativen Prozess, aber beginne mit einem überschaubaren, konkreten Teilprozess. Beweise dort den Wert, bevor du das System erweiterst.
3. Denke in Systemen, nicht in Prompts: Plane von Anfang an mehr als nur den reinen LLM-Aufruf. Entwirf Verifikationsschleifen, ein robustes Fehler-Management und klare Eskalationspfade, falls der Agent nicht weiterkommt.
4. Investiere in rigorose Evaluation: Erstelle ein Golden Dataset mit realistischen und synthetischen Daten, um eine breite Palette von Szenarien abzudecken. Definiere unmissverständliche Kriterien, wann ein Ergebnis als erfolgreich gilt.
5. Setze auf Iteration statt auf teure Modelle: Nutze clevere Systemarchitektur, um die Genauigkeit zu steigern. Retries und Verifikationsschritte mit günstigeren Modellen sind oft der wirtschaftlichere und effektivere Weg.
6. Etabliere eine klare Governance: Lege fest, wer nach dem Go-Live für den Agenten verantwortlich ist. Definiere Prozesse für das Monitoring, die Leistungsbewertung und die Anpassung des Systems an zukünftige Veränderungen.