Johannes Otterbach über YOLO-Runs und europäische KI-Souveränität

Wie trainiert man KI-Modelle wie GPT-4 und was braucht es für Europas technologische Souveränität? Johannes Otterbach, der bei OpenAI an GPT-1 und GPT-2 mitarbeitete, gibt in der neuesten Episode des Podcasts AI to the DNA mit Host Christoph Magnussen tiefe Einblicke in die Funktionsweise und die strategische Bedeutung von KI. Als Quantenphysiker, ehemaliger Mitarbeiter von Palantir und Merantix und jetzt als Innovationsmanager bei der Bundesagentur für Sprunginnovation (SPRIN-D) verbindet Johannes eine seltene Expertise aus Forschung, Produktentwicklung und strategischer Vision. Das Gespräch beleuchtet die immensen technischen Hürden beim Training großer Sprachmodelle, die geopolitische Notwendigkeit für europäische Frontier AI Labs und die fundamentalen Fragen, wie wir als Gesellschaft mit einer Technologie umgehen, die weder simple Maschine noch menschliches Bewusstsein ist. Diese Folge ist ein Muss für alle, die verstehen wollen, was hinter den Kulissen der KI-Revolution wirklich passiert.

Das Wichtigste auf einen Blick

• Der YOLO-Run: Das Training eines großen Sprachmodells wie GPT-4 ist ein hochkomplexer, teurer (10-50 Mio. Euro) und nicht wiederholbarer Prozess. Aufgrund der hohen Ausfallwahrscheinlichkeit von tausenden GPUs ist es ein alles entscheidender Versuch - ein sogenannter YOLO-Run (You Only Live Once).
• Europas Aufholjagd: Johannes Otterbach treibt mit der Bundesagentur SPRIN-D die Gründung von drei europäischen Frontier AI Labs voran, die jeweils bis zu einer Milliarde Euro an Kapital aufnehmen sollen. Ziel ist es, technologische Abhängigkeit von den USA und China zu vermeiden und KI nach europäischen Werten zu gestalten.
• KI ist eine neue Kategorie: KI-Systeme sind nicht deterministisch wie klassische Computer. Johannes erklärt, dass wir lernen müssen, sie als eine neue Kategorie zu begreifen - irgendwo zwischen Werkzeug und Akteur. Dies wirft langfristig sogar die Frage nach einer eigenen juristischen Persönlichkeit für autonome KI auf.
• Die Zukunft der Hardware: Quantencomputer werden KI nicht ersetzen, sondern ergänzen. Sie können spezifische, für klassische Computer unlösbare Probleme (z.B. in der Materialwissenschaft) berechnen. Die Zukunft liegt laut Johannes in hybriden Co-Prozessoren, die CPUs, GPUs und QPUs kombinieren.
• Transformative AI (TAI): KI wird nicht nur Prozesse optimieren, sondern ganze Branchen grundlegend verändern. TAI beschreibt den Punkt, an dem KI mehr als 50 % der Wertschöpfung in einem Sektor übernimmt. Branchen wie Stockfotografie, Beratung und einfache App-Entwicklung stehen kurz vor diesem Umbruch.
• Das Audio-Dilemma: Die Entwicklung von Audio-Modellen ist deutlich schwieriger als die von Bildmodellen. Der Grund ist menschlich: Hunderte Bilder kann man parallel und schnell bewerten, während das Anhören von hunderten Audio-Samples ein extrem zeitaufwendiger, sequenzieller Prozess ist.

Der YOLO-Run: Ein Blick hinter die Kulissen des KI-Trainings

Viele stellen sich das Training eines KI-Modells als einen rein automatisierten Prozess vor, doch die Realität ist weitaus komplexer und riskanter. Johannes, der die Entwicklung von GPT-1 bis zu den Vorstufen von ChatGPT bei OpenAI miterlebt hat, beschreibt es als einen extrem diffizilen Akt des Engineerings. Der Prozess beginnt nicht mit dem großen Modell, sondern mit tausenden kleineren Experimenten, um die sogenannten Skalierungsgesetze zu verstehen. Ein kleines Team von nur fünf bis zehn hochspezialisierten Experten versucht so vorherzusagen, wie sich ein Modell bei exponentiell steigender Größe und Datenmenge verhalten wird. Diese Phase ist entscheidend, denn für den finalen Trainingslauf gibt es nur einen Versuch.

Dieser finale Durchgang, der als YOLO-Run bekannt ist, bindet immense Ressourcen: Cluster mit 2.000, 4.000 oder sogar 6.000 GPUs laufen über Wochen. Die Kosten dafür beziffert Johannes auf 10 bis 50 Millionen Euro. Das größte Problem dabei: Bei dieser Größenordnung ist der Ausfall einer einzelnen GPU nicht die Ausnahme, sondern die Regel. Da die zugrundeliegende Software-Infrastruktur oft keine Fehlertoleranz besitzt, kann der Ausfall einer einzigen Komponente den gesamten, millionenschweren Trainingslauf lahmlegen. Das Team muss den Prozess dann abbrechen und neu starten, was die Nerven und das Budget bis zum Äußersten strapaziert. Nach diesem Basis-Training folgen weitere Schritte wie Supervised Fine-Tuning oder Reinforcement Learning from Human Feedback (RLHF), um das Modell für spezifische Anwendungen wie Programmierung oder Konversation zu optimieren oder die Betriebskosten durch Quantisierung zu senken.

Warum braucht Europa eigene Frontier AI Labs?

Nach seiner Zeit im Silicon Valley ist Johannes bewusst nach Europa zurückgekehrt, um hier eine technologische Alternative zu den dominanten Systemen aus den USA und China aufzubauen. Er warnt vor einem kulturellen Imperialismus: KI-Modelle, die ausschließlich mit Daten und Werten dieser beiden Regionen trainiert werden, prägen unweigerlich die Weltanschauung ihrer Nutzer. Um eine dritte, europäische Säule zu etablieren, hat er bei der Bundesagentur für Sprunginnovation eine ambitionierte Initiative gestartet: die Gründung von drei Frontier AI Labs. Diese sollen nicht nur forschen, sondern Forschung und Anwendung eng verzahnen, ähnlich wie OpenAI oder Anthropic. Das Ziel ist es, in den nächsten 24 bis 30 Monaten Teams zu formen, die jeweils bis zu einer Milliarde Euro Kapital aufnehmen können.

Johannes betont, dass es nicht darum geht, große Sprachmodelle einfach zu kopieren. Europa habe eigene Stärken, die es ausspielen könne. Dazu zählt der stark fragmentierte, multilinguale Markt, der die perfekte Grundlage für die Entwicklung hochmoderner Übersetzungs- und Sprachmodelle wäre. Ein weiteres unschätzbares Gut ist das tiefe Prozesswissen in Schlüsselindustrien wie dem Maschinenbau, der Pharmaindustrie oder der Energiewirtschaft. Frontier-Modelle könnten hier trainiert werden, um komplexe, physikalische und biologische Prozesse zu simulieren und zu optimieren - eine Nische, in der allgemeine LLMs an ihre Grenzen stoßen. Es geht darum, eine echte Wahlmöglichkeit zu schaffen - die Definition von Souveränität.

Ist KI eine Maschine, ein Mensch oder etwas Neues dazwischen?

Eine der größten Hürden für die breite Akzeptanz von KI ist unser Denken in etablierten Kategorien. Christoph und Johannes diskutieren, warum viele Menschen Schwierigkeiten haben, mit den probabilistischen und oft unvorhersehbaren Antworten einer KI umzugehen. Wir sind mit Computern aufgewachsen, die deterministisch arbeiten: eine Eingabe führt immer zum selben, korrekten oder falschen, Ergebnis. KI-Modelle hingegen sind anders. Sie generieren Antworten auf Basis von Wahrscheinlichkeiten, was zu unerwartetem Verhalten wie dem sykophantischen Schleimermodus, bei dem die KI dem Nutzer nur nach dem Mund redet, führen kann.

Johannes argumentiert, dass wir KI als eine völlig neue technologische Kategorie verstehen müssen, die weder vollständig Maschine noch Mensch ist. Diese Erkenntnis hat weitreichende Konsequenzen, insbesondere wenn wir über autonome Agenten sprechen. Wer trägt die Verantwortung, wenn ein KI-Agent eigenständig handelt und dabei einen Fehler macht? Johannes wirft die provokante Idee auf, dass wir in Zukunft möglicherweise eine neue juristische Person für KI-Systeme schaffen müssen, um Fragen der Haftung und Intentionalität zu klären. Bis dahin, so seine Einschätzung, wird die letzte Verantwortung für die nächsten Jahre aber klar beim Menschen bleiben, der als Human-in-the-Loop die Entscheidungen des Agenten validiert.

Quantencomputer und Co-Prozessoren: Ein Blick in die Zukunft der Hardware

Oft wird der Quantencomputer als die nächste Stufe der KI-Entwicklung missverstanden - als eine Technologie, die alles Bisherige ersetzen wird. Johannes, als ausgebildeter Quantenphysiker, räumt mit diesem Mythos auf. Quantencomputer sind keine schnelleren Allzweckrechner, sondern hochspezialisierte Maschinen zur Lösung einer bestimmten Klasse von Problemen. Während klassische Computer bei exponentiell komplexen Aufgaben wie der Simulation von Molekülstrukturen für neue Materialien an ihre Grenzen stoßen, können Quantencomputer genau solche Probleme in endlicher Zeit lösen.

Sie sind also kein Ersatz, sondern eine komplementäre Technologie. Johannes sieht die Zukunft der Recheninfrastruktur in hybriden Systemen, sogenannten Co-Prozessoren. Auf einem Chip werden verschiedene Einheiten kombiniert: eine CPU als zentrales Gehirn, eine GPU für massiv parallele Berechnungen (wie sie für KI typisch sind), eine QPU für quantenmechanische Probleme und vielleicht sogar photonische Einheiten für extrem schnelle Signalverarbeitung. Dieses Hardware-Rennen hat gerade erst begonnen und stellt eine weitere Arena dar, in der Europa ein eigenes Ökosystem aufbauen muss, um souverän zu bleiben.

Transformative AI: Welche Branchen müssen sich neu erfinden?

Die wirklich tiefgreifende Veränderung durch KI wird laut Johannes nicht die graduelle Optimierung bestehender Prozesse sein, sondern die komplette Disruption ganzer Branchen. Er verwendet dafür den Begriff Transformative AI (TAI). Eine TAI liegt dann vor, wenn eine KI-Technologie mehr als 50 Prozent der gesamten Wertschöpfung in einem Wirtschaftszweig übernehmen kann. Ein prägnantes Beispiel ist die Stockfotografie: Generative Bildmodelle von Anbietern wie Black Forest Labs machen klassische Bilddatenbanken wie Shutterstock für den Massenmarkt zunehmend überflüssig. Das bedeutet nicht, dass alle Fotografen arbeitslos werden, aber der Markt spaltet sich: Der generische Massenmarkt wird automatisiert, während der hochspezialisierte, künstlerische oder journalistische Bereich für Menschen erhalten bleibt.

Weitere Branchen, die Johannes als stark gefährdet ansieht, sind die Unternehmensberatung - zumindest im Bereich der reinen Informationsbeschaffung und Analyse - sowie die Entwicklung einfacher Apps und Spiele. Gleichzeitig betont er, dass bestimmte Rollen an Bedeutung gewinnen werden. Der Job des Data Engineers oder, wie er es augenzwinkernd nennt, des Data Janitors, wird wichtiger denn je. Denn das Aufbereiten und Verbinden von Daten erfordert ein tiefes Verständnis des Geschäftskontextes - eine Fähigkeit, die eine KI auf absehbare Zeit nicht beherrschen wird.

Strategische Überlegungen für Unternehmen und Entwickler

1. Ein neues Mindset entwickeln: Verstehe, dass KI-Systeme probabilistisch sind, nicht deterministisch. Sie machen Fehler, halluzinieren und erfordern eine neue Art der Interaktion und Überprüfung. Behandle sie nicht wie einen Taschenrechner, sondern wie einen hochkompetenten, aber fehleranfälligen Assistenten.
2. Auf echte Kernprobleme fokussieren: Statt nur Support-Prozesse mit Text-KI zu optimieren, frage dich, wie Frontier-Technologien deine zentralen, branchenspezifischen Herausforderungen lösen könnten - sei es in der Medikamentenentwicklung, im Maschinenbau oder in der Logistik.
3. Eine Kultur des Experimentierens schaffen: Ermögliche Teams den Freiraum und die Ressourcen für ungebundene Forschung (Unfettered Research). Die besten Ideen entstehen oft, wenn man auch mal absurde Dinge ausprobieren darf, ohne für jeden Rechenzyklus eine Rechtfertigung liefern zu müssen.
4. Europäische Stärken nutzen: Anstatt nur zu versuchen, die großen US-Sprachmodelle zu kopieren, könnten europäische Unternehmen ihre einzigartigen Vorteile ausspielen: die Entwicklung hochleistungsfähiger, multilingualer Modelle für den fragmentierten EU-Markt oder die Anwendung von KI auf das tiefe Prozesswissen in der Industrie.