Was Software-Entwicklung von der Stiftung Warentest lernen kann

Wie testet man eigentlich eine Zahnbürste, einen Laptop oder einen Staubsauger so, dass das Ergebnis für Millionen von Menschen eine verlässliche Kaufentscheidungsgrundlage bietet? In der Welt der Softwareentwicklung dreht sich alles um Testautomatisierung, CI/CD-Pipelines und agile Frameworks wie Scrum. Doch was können wir von denjenigen lernen, die physische Produkte auf Herz und Nieren prüfen? In seinem Podcast Software Testing & Qualität wirft Host Richard Seidl einen Blick über den Tellerrand und spricht mit Johannes Stiller von der Stiftung Warentest. Dieses Gespräch ist nicht nur für KI-Interessierte oder Entscheider relevant, sondern für jeden, der sich mit Qualitätssicherung beschäftigt. Es enthüllt erstaunliche Parallelen zwischen dem Testen von Hardware und Software und liefert wertvolle Impulse, die zeigen, dass die fundamentalen Prinzipien exzellenter Qualitätssicherung universell sind.

Das Wichtigste auf einen Blick

• Langfristige Planung ist entscheidend: Die Auswahl und Konzeption eines Produkttests bei der Stiftung Warentest beginnt bis zu anderthalb Jahre vor der Veröffentlichung. Themen werden auf Basis von Nutzeranfragen, Marktanalysen und saisonaler Relevanz ausgewählt.
• Qualität entsteht im Team: Ein cross-funktionales Team aus Projektleitern, Marktforschern, Naturwissenschaftlern und Redakteuren stellt sicher, dass ein Produkt aus allen relevanten Perspektiven bewertet wird - von der messbaren Leistung bis zur verständlichen Aufbereitung der Ergebnisse.
• Objektivität als oberstes Gebot: Um Voreingenommenheit auszuschließen, werden Produkte verdeckt im Handel eingekauft und Tests, wann immer möglich, als Blindtests durchgeführt. Geschulte Prüfgruppen und Referenzgeräte sorgen für konsistente und vergleichbare Ergebnisse, selbst bei subjektiven Kriterien.
• Transparenz schafft Vertrauen: Die Testmethoden und -programme, die oft auf bestehenden Normen aufbauen, aber auch darüber hinausgehen, werden transparent kommuniziert. So können sowohl Verbraucher als auch Hersteller die Ergebnisse nachvollziehen.
• Ein Dialog, keine Anklage: Hersteller werden vor der Veröffentlichung über die Testergebnisse informiert. Dies dient nicht der Einflussnahme, sondern der Faktenprüfung und gibt ihnen die Möglichkeit, auf kritische Befunde zu reagieren - eine Praxis, die von Kooperation bis zu juristischen Auseinandersetzungen führen kann.

Von der Idee zum Testkonzept: Der lange Weg eines Produkttests

Wenn du im Januar das neueste Testmagazin der Stiftung Warentest in den Händen hältst und einen Artikel über Laufbänder liest, wurde die Entscheidung dafür bereits vor etwa 18 Monaten getroffen. Johannes erklärt, dass dieser lange Vorlauf notwendig ist, um einen qualitativ hochwertigen und fundierten Testprozess zu gewährleisten. Die Ideen für neue Tests stammen aus verschiedenen Quellen: Nutzeranfragen auf der Website spielen eine große Rolle, ebenso wie die Beobachtung von Markttrends und saisonalen Bedürfnissen - wie die guten Vorsätze nach Neujahr. Ein internes Gremium, das Kuratorium, bewertet diese Vorschläge. Ein Produkt muss nicht nur für Verbraucher relevant, sondern auch sinnvoll testbar und messbar sein. Erst wenn diese Hürden genommen sind, beginnt die eigentliche Arbeit.

Das cross-funktionale Team: Mehr als nur Messwerte

Ähnlich wie in einem agilen Software-Team, das nach dem Scrum- oder Kanban-Prinzip arbeitet, setzt auch die Stiftung Warentest auf die Kraft cross-funktionaler Zusammenarbeit. Johannes betont, dass ein Projektleiter niemals alleine arbeitet. An seiner Seite steht ein Team, zu dem auch ein Marktanalyst gehört, der Vollzeit damit beschäftigt ist, den Markt zu durchdringen: Wer sind die großen Player? Welche Innovationen gibt es? Welche Produkte sind für den Durchschnittsverbraucher überhaupt relevant? Diese Marktexpertise wird mit der naturwissenschaftlichen und prüftechnischen Perspektive der Testexperten kombiniert. Am Ende des Prozesses kommen die Redakteure hinzu, deren Aufgabe es ist, die nüchternen Messdaten in eine verständliche und fesselnde Geschichte für die Leser zu übersetzen. Diese Vielfalt an Blickwinkeln - von der Marktrelevanz über die wissenschaftliche Präzision bis zur nutzerfreundlichen Kommunikation - ist ein zentraler Erfolgsfaktor. Richard hebt hervor, dass diese Vorgehensweise eine Blaupause für Softwareteams sein kann, um eine ganzheitliche Produktqualität sicherzustellen.

Objektivität und Vergleichbarkeit: Die Kunst des Messens

Wie stellt man sicher, dass das Urteil über die Handlichkeit einer elektrischen Zahnbürste nicht von der Tagesform eines einzelnen Testers abhängt? Johannes gibt Einblicke in die Methoden, mit denen die Stiftung Warentest Objektivität und Vergleichbarkeit gewährleistet. Ein Kernprinzip ist der verdeckte Einkauf: Eigene Einkäufer erwerben die Testprodukte anonym im Handel, genau wie jeder andere Kunde auch. So wird sichergestellt, dass keine vom Hersteller optimierten goldenen Muster getestet werden. Bei subjektiven Kriterien wie der Handhabung oder dem Putzgefühl kommen geschulte, diverse Prüfgruppen zum Einsatz. Die Produkte werden, wenn möglich, unkenntlich gemacht (Blindtest), und die Reihenfolge der Tests wird variiert, um einen Gewöhnungseffekt zu vermeiden. Zudem werden oft Referenzgeräte über Jahre hinweg mitgetestet, um eine stabile Vergleichsbasis zu schaffen. Dieser immense Aufwand zur Eliminierung von Bias ist eine wichtige Lektion für das Software Testing, insbesondere in Bereichen wie dem Exploratory Testing oder der Bewertung der User Experience.

Der Dialog mit Herstellern: Zwischen Kooperation und Konfrontation

Ein besonders spannender Aspekt ist der Umgang mit den Herstellern. Anders als man vielleicht vermuten würde, erfahren diese von den Testergebnissen, bevor sie veröffentlicht werden. Dieser Schritt, so erklärt Johannes, dient der Fairness und der Faktenprüfung. Die Hersteller können bestätigen, dass das richtige Produkt getestet wurde, und auf die objektiven Messdaten reagieren. Insbesondere bei sicherheitskritischen Mängeln, wie bei einem Kindersitz, der aus der Verankerung riss, ist dieser Vorab-Dialog entscheidend. Die Reaktionen der Unternehmen sind dabei sehr unterschiedlich. Während viele den Dialog als konstruktives Feedback nutzen, um ihre Produkte zu verbessern, versuchen andere, die Veröffentlichung juristisch zu verhindern - selbst wenn sie gut abgeschnitten haben. Durch ihre Unabhängigkeit und die akribisch dokumentierten, transparenten Prozesse genießt die Stiftung Warentest jedoch ein hohes Maß an Vertrauen, auch vor Gericht.

Parallelen zur Softwareentwicklung: Was Tester lernen können

Das Gespräch zwischen Richard und Johannes macht deutlich: Die Prinzipien guter Qualitätssicherung sind universell. Die Brille des Verbrauchers, die sich die Stiftung Warentest aufsetzt, entspricht der Nutzerzentrierung, die im agilen Softwaretesting durch Konzepte wie Shift Left und Test Driven Development gefördert wird. Die Unabhängigkeit der Tester, die Notwendigkeit eines strukturierten Prüfprogramms (vergleichbar mit einer Teststrategie und Definition of Done) und die immense Bedeutung von Transparenz sind in beiden Welten erfolgskritisch. Johannes erzählt mit einem Schmunzeln, wie er an einem seiner ersten Tage stundenlang über Toastbrot referiert bekam - ein Symbol für die Detailverliebtheit und den tiefen Sachverstand, der in jeden Test fließt. Diese Leidenschaft für Qualität, gepaart mit einem rigorosen, methodischen Vorgehen, ist eine Inspiration für jeden Software-Tester.

Praktische Schritte für dein Testkonzept

Inspiriert von den Methoden der Stiftung Warentest, kannst du dein eigenes Vorgehen im Software Testing schärfen. Hier sind einige konkrete Ansätze:

1. Definiere deine Testauswahl strategisch: Überlege nicht nur, welche Features im aktuellen Sprint anstehen. Analysiere, welche Anwendungsfälle für deine Nutzer am wichtigsten sind, welche Risiken bestehen und wo innovative Konkurrenzprodukte neue Maßstäbe setzen. Plane Tests, die über das Offensichtliche hinausgehen.
2. Stelle ein Prüfprogramm zusammen: Erstelle ein klares, nachvollziehbares Testkonzept. Definiere messbare Kriterien, auch für weiche Faktoren wie die User Experience. Beziehe dabei verschiedene Rollen wie Product Owner, UX-Designer und vielleicht sogar echte Endanwender mit ein, um eine 360-Grad-Sicht zu erhalten.
3. Sorge für Unvoreingenommenheit: Setze für manuelle Tests, insbesondere für Exploratory Testing, verschiedene Tester ein, um blinde Flecken zu vermeiden. Verwende, wenn möglich, Testdaten, die der Realität entsprechen und nicht nur Ideal-Szenarien abbilden.
4. Kommuniziere Ergebnisse transparent: Dokumentiere nicht nur Fehler, sondern auch deine Testmethodik. Mache transparent, wie du zu deinen Ergebnissen gekommen bist. Das schafft Vertrauen bei Entwicklern und Stakeholdern und verwandelt Bug-Reports von einer Anklage in eine konstruktive Diskussionsgrundlage.
5. Gib Feedback wie ein Partner: Informiere dein Entwicklungsteam über kritische Fehler, bevor diese in einem großen Meeting eskalieren. Präsentiere deine Funde als objektive Beobachtungen und biete an, gemeinsam nach der Ursache zu suchen. Dieser kooperative Ansatz fördert eine positive Qualitätskultur.