Sicherheitstests für KI-Systeme: Herausforderungen und Strategien

In der Welt der Softwareentwicklung ist Sicherheit eine etablierte Disziplin mit klaren Regeln und Mustern. Doch was passiert, wenn die Software nicht mehr strikt nach programmierten Anweisungen handelt, sondern selbstständig lernt und entscheidet? Genau dieser Herausforderung widmet sich Richard Seidl in einer neuen Episode seines Podcasts Software Testing & Qualität. Im Gespräch mit dem Sicherheitsexperten Jan Jürgens, aufgezeichnet auf der Fachkonferenz TACRON 2025 in Leipzig, taucht er tief in die komplexe Welt der Sicherheitstests für KI-basierte Systeme ein. Diese Episode ist ein Muss für alle, die KI nicht nur als Werkzeug nutzen, sondern auch ihre Risiken verstehen und beherrschen wollen - von Entwickler:innen und Testern bis hin zu Entscheider:innen, die für den sicheren Einsatz von KI in ihrem Unternehmen verantwortlich sind.

Das Wichtigste auf einen Blick

• Die Unvorhersehbarkeit als Kernproblem: Jan erklärt, dass die größte Herausforderung bei KI-Systemen darin liegt, dass sie selbstlernend sind. Anders als bei traditioneller Software ist ihr Verhalten nicht vollständig deterministisch, was die Absicherung gegen Angriffe fundamental erschwert.
• Angriffe entlang des gesamten Lebenszyklus: Sicherheitsrisiken existieren nicht nur bei der Nutzung der KI. Sie beginnen bereits in der Trainingsphase durch manipulierte Daten (Data Poisoning) und reichen bis zum Diebstahl des fertigen Modells oder der Ausnutzung von Schwachstellen im Betrieb.
• Penetrationstests für KI: Ein zentraler Ansatz zur Absicherung ist, die Perspektive eines Angreifers einzunehmen. Durch gezielte, unkonventionelle Anfragen (Prompts) wird versucht, das System zu unerwünschten Reaktionen zu zwingen, um Sicherheitslücken aufzudecken.
• Filterung von Ein- und Ausgaben: Um den Missbrauch zu verhindern, ist es essenziell, sowohl die Anfragen an die KI (Inputs) als auch deren Antworten (Outputs) zu filtern. Jan betont, dass besonders die Kontrolle der Ausgabe entscheidend ist, um das Abfließen sensibler Daten wie Gehälter oder Geschäftsgeheimnisse zu verhindern.
• OWASP als Navigationshilfe: Das Open Worldwide Application Security Project (OWASP), bekannt für seine Sicherheitsrichtlinien im Web-Bereich, bietet mit der OWASP Top 10 for AI einen wertvollen und praxisnahen Katalog der größten KI-Sicherheitsrisiken.
• Der Mensch als entscheidender Faktor: Wie in der klassischen IT-Sicherheit bleibt der Mensch eine kritische Schwachstelle. Die Sensibilisierung der Nutzer:innen für die Grenzen und Gefahren von KI, wie etwa das Phänomen der Halluzination, ist für einen sicheren Betrieb unerlässlich.

Die besondere Herausforderung: Sicherheit für selbstlernende Systeme

Wenn du eine klassische Software testest, arbeitest du mit einem System, dessen Logik fest programmiert ist. Du kannst erwarten, dass es auf eine bestimmte Eingabe immer gleich reagiert. Bei KI, speziell bei Machine-Learning-Modellen, ist das anders. Jan Jürgens macht zu Beginn des Gesprächs deutlich, dass genau hier die Wurzel des Problems liegt. Da diese Systeme darauf ausgelegt sind, selbstständig zu lernen und Muster zu erkennen, weiß man im Vorfeld nie zu hundert Prozent, wie sie sich verhalten werden. Diese Eigenschaft macht KI so mächtig, aber aus Sicherheitssicht auch zu einer Blackbox. Die mangelnde Erklärbarkeit (Explainability) führt dazu, dass es extrem schwierig ist, im Nachhinein nachzuvollziehen, warum eine KI eine bestimmte Antwort gegeben hat und ob diese auf manipulierten Daten oder einer fehlerhaften Interpretation beruht.

Angriffsvektoren im gesamten KI-Lebenszyklus

Die Sicherheitsrisiken einer KI-Anwendung beschränken sich nicht nur auf die Interaktion mit dem Endnutzer. Jan skizziert eine Kette von potenziellen Schwachstellen, die den gesamten Lebenszyklus eines Modells betreffen. Schon in der Trainingsphase kann ein Angreifer versuchen, manipulierte Daten einzuschleusen, um das Verhalten des Modells gezielt zu vergiften (Data Poisoning). Einmal trainiert, wird das KI-Modell selbst zu einem wertvollen Unternehmens-Asset, das vor Diebstahl oder Manipulation geschützt werden muss. In der Nutzungsphase ergeben sich die bekanntesten Risiken: Durch geschickte Anfragen, sogenanntes Prompt Hacking, können Angreifer versuchen, Sicherheitsfilter zu umgehen. Jan nennt ein anschauliches Beispiel: Eine direkte Frage nach dem Gehalt eines bestimmten Mitarbeiters wird vielleicht geblockt. Fragt man jedoch nach dem Gehalt für eine spezifische Rolle, die nur eine Person innehat, könnte die KI die Information preisgeben. So können nicht nur personenbezogene Daten, sondern auch Geschäftsgeheimnisse abfließen oder das System zu rufschädigenden Aussagen verleitet werden.

Abwehrmaßnahmen: Vom Penetrationstest bis zur Output-Filterung

Wie kann man sich gegen diese vielschichtigen Bedrohungen wappnen? Laut Jan ist ein proaktiver Ansatz unerlässlich. Ähnlich wie beim klassischen Penetrationstesting müssen Teams die Rolle eines Angreifers einnehmen und gezielt versuchen, das System auszutricksen. Dieser Prozess ist ein ständiger Wettlauf, da immer neue Angriffsmuster entstehen. Eine technische Kernmaßnahme ist die Implementierung von Filtern. Während die Filterung von Eingaben (Prompts) hilft, offensichtlich bösartige Anfragen abzufangen, hält Jan die Filterung der Ausgaben für noch wirkungsvoller. Bevor die KI-Antwort an den Nutzer gesendet wird, kann sie auf sensible Muster - wie Gehaltsangaben, persönliche Daten oder verbotene Inhalte - überprüft und gegebenenfalls blockiert oder bereinigt werden. So lässt sich das Risiko von Datenlecks deutlich reduzieren, selbst wenn es einem Angreifer gelingt, den Input-Filter zu umgehen.

Orientierung im Dschungel: OWASP als Wegweiser für KI-Sicherheit

Für Teams, die sich fragen, wo sie bei der Absicherung ihrer KI-Systeme anfangen sollen, empfiehlt Jan einen Blick auf die Ressourcen des OWASP-Konsortiums. Ursprünglich auf Web-Sicherheit fokussiert, hat OWASP seine Expertise inzwischen auf den Bereich KI ausgeweitet. Besonders die OWASP Top 10 for AI ist ein wertvolles Werkzeug. Sie listet die zehn kritischsten Sicherheitsrisiken für KI-Systeme auf und bietet eine strukturierte Grundlage für die Risikoanalyse und die Entwicklung von Gegenmaßnahmen. Richard fragt nach, ob diese Ressourcen auch für normalsterbliche Entwickler verständlich sind. Jan bejaht dies, merkt aber an, dass für die tiefgreifende Überprüfung und Umsetzung der Maßnahmen oft spezialisiertes Wissen im Bereich IT-Sicherheit notwendig ist, ähnlich wie bei klassischer Software.

Verantwortung und der menschliche Faktor: Wer haftet und worauf Nutzer achten müssen

Mit der zunehmenden Verbreitung von KI rücken auch rechtliche Rahmenbedingungen wie die KI-Verordnung der EU in den Fokus. Diese definiert klare Rollen und Pflichten für Entwickler, Betreiber und Anwender von KI-Systemen. Auch wer eine KI nur als Dienst einkauft und in die eigene Infrastruktur integriert, trägt als Betreiber eine Mitverantwortung für deren sichere Nutzung. Doch die größte Schwachstelle bleibt oft der Mensch. Jan berichtet humorvoll von eigenen Erfahrungen mit seinem neunjährigen Sohn, der einen Chatbot nach Ausflugszielen in Koblenz fragte. Die KI erfand daraufhin selbstbewusst einen Trampolinpark und ein Museum, inklusive falscher Adressen aus anderen Städten. Dieses Phänomen der Halluzination - das Erfinden von Fakten - verdeutlicht, wie wichtig es ist, Nutzer:innen zu sensibilisieren. Mitarbeiter müssen geschult werden, KI-Antworten kritisch zu hinterfragen und keine sensiblen Unternehmensdaten in öffentliche KI-Tools hochzuladen.

Praktische Schritte zur Absicherung deiner KI-Anwendung

1. Bewusstsein schaffen: Beginne damit, dein Team über die spezifischen Sicherheitsrisiken von KI aufzuklären. Der Lebenszyklus-Ansatz - von den Trainingsdaten bis zur Nutzung - hilft, alle potenziellen Schwachstellen im Blick zu behalten.
2. Strukturierte Analyse mit OWASP: Nutze die OWASP Top 10 for AI als Checkliste, um die größten Risiken für deine Anwendung zu identifizieren und Prioritäten für Gegenmaßnahmen zu setzen.
3. Proaktives Testen simulieren: Führe regelmäßig Tests durch, bei denen du gezielt versuchst, die Sicherheitsmechanismen deiner KI auszuhebeln. Denke wie ein Angreifer und probiere kreative und unkonventionelle Prompts aus.
4. Robuste Filter implementieren: Entwickle eine mehrschichtige Verteidigung, indem du sowohl die Eingaben an die KI als auch - noch wichtiger - deren Ausgaben filterst, bevor sie den Nutzer erreichen.
5. Verantwortung klären: Mache dich mit den rechtlichen Anforderungen, wie der EU-KI-Verordnung, vertraut. Kläre, welche Rolle dein Unternehmen (Entwickler, Betreiber) einnimmt und welche Pflichten sich daraus ergeben.
6. Nutzer:innen sensibilisieren und schulen: Organisiere Schulungen, um den richtigen Umgang mit KI-Tools zu vermitteln. Betone die Wichtigkeit, KI-Ergebnisse zu verifizieren und niemals vertrauliche Informationen in externe Systeme einzugeben.