Verifikation, Validierung und TDD in kritischer Firmware

Verifikation, Validierung und TDD für kritische Stromrichter-Firmware
Warum die Firmware eines Stromrichters ein kritisches Zuverlässigkeitsbauteil ist – und wie Premium SA sie als solches behandelt
| 1981 Jahr, in dem Boehm die V&V-Unterscheidung formulierte | V-Modell Methodischer Rahmen nach EN 50128 für Bahn-Firmware | MC/DC Mindestabdeckung bei SSIL 4 | 143 Regeln von MISRA C:2012 (16 verbindlich) |
Zusammenfassung
Ein moderner Stromrichter der Leistungselektronik ist heute ebenso sehr Software wie Hardware. Die Firmware des Controllers führt Regelkreise, Schutzfunktionen, digitale Kalibrierung, aktives Wärmemanagement, Telemetrie und in zunehmend vielen Fällen Funktionen der funktionalen Sicherheit aus, die nach Bahn-SSIL oder Automotive-ASIL zertifiziert sind. Jeder Fehler in dieser Firmware ist aus Sicht des Endbetreibers von einem Hardwarefehler nicht zu unterscheiden: Die Anlage funktioniert nicht, erfüllt ihre Aufgabe nicht, löst Vertragsstrafen aus. Der Unterschied ist, dass Firmware nicht physisch altert, aber an Vertrauenswürdigkeit verliert, wenn sie keinem disziplinierten Verifikations- und Validierungsprozess unterzogen wird.
Dieser Artikel gibt einen Überblick über die Grundlagen der Software-Qualitätssicherung für Firmware in der eingebetteten Leistungselektronik: Boehms entscheidende Unterscheidung zwischen Verifikation und Validierung, die Disziplin des Test-Driven Development, das V-Modell der EN 50128, die Testpyramide MiL → SiL → PiL → HiL → SYSiL, Black-Box- und White-Box-Techniken sowie den „terminologischen Sumpf“, der in der Branche fortbesteht. Die These ist eindeutig: Kritische Firmware wird mit derselben Disziplin entwickelt wie ein Leistungsmodul – Missionsprofil, Derating, FMEA, V&V –, weil sie denselben Kunden und dieselben vertraglichen Verpflichtungen teilt.
1. Firmware als kritisches Bauteil – warum Disziplin wichtig ist
Ein typischer Stromrichter von Premium SA vor fünfzehn Jahren enthielt minimale Firmware: eine elementare Zustandsmaschine, einige in Festkomma-Arithmetik implementierte PI-Regelkreise, durch ein paar Softwareprüfungen verstärkte Hardwareschutzfunktionen. Die Komplexität des eingebetteten Codes passte in wenige Kilobyte und konnte von einem Experten an einem Nachmittag Zeile für Zeile geprüft werden. Diese Zeit ist vorbei.
Der moderne Stromrichter – mit digitaler Kalibrierung, aktivem Wärmemanagement, prädiktiver Welligkeitsregelung des DC-Zwischenkreises, CAN-/Ethernet-/Modbus-Kommunikation mit dem Leitsystem des Betreibers, PHM-Telemetrie mit RUL-Schätzung, OTA-Firmware-Update mit kryptografischer Signatur und möglicherweise aktiven Sicherheitsfunktionen mit Bahn-SSIL-Zertifizierung – enthält Zehntausende Zeilen C-Code, organisiert in modularen Architekturen mit HAL, RTOS, priorisierten Tasks und Kommunikationsbibliotheken. Die Wahrscheinlichkeit, dass ein solcher Code beim ersten Schreiben vollkommen korrekt ist, beträgt schlicht null.
2. Verifikation und Validierung – Boehms Unterscheidung
Die klärendste Unterscheidung in der Software-Qualitätssicherung formulierte Barry Boehm 1981 mit zwei scheinbar ähnlichen, aber methodisch verschiedenen Fragen:
2.1 Die praktischen Unterschiede
| Dimension | Verifikation | Validierung |
|---|---|---|
| Frage | Bauen wir das Produkt richtig? | Bauen wir das richtige Produkt? |
| Ausrichtung | Auf den internen technischen Prozess | Auf den Kunden und die reale Nutzung |
| Referenz | Technische Spezifikation | Anwenderbedürfnisse |
| Zeitpunkt | Kontinuierlich, Phase für Phase | Am Ende der Entwicklung oder Integration |
| Dominante Techniken | Statische Analyse, Reviews, Modultests, MISRA, MC/DC | Systemtests, Abnahmetests, vollständiges HIL |
| Granularität | „Kleinskalige“ Tests | „Großskalige“ Tests |
| Wer entscheidet | Das technische Team | Der Kunde / Endanwender |
| Automatisierbar | Überwiegend ja | Teilweise – das letzte Wort hat der Mensch |
| Art des erkannten Fehlers | Implementierungsfehler gegenüber der Spezifikation | Spezifikationsfehler gegenüber der realen Welt |
2.2 Warum beides notwendig ist
Eine makellose Verifikation ohne Validierung erzeugt technisch korrekten Code, der eine Spezifikation erfüllt, die selbst fehlerhaft war – das Team erfüllt seine Pflichten, und der Kunde erhält ein Produkt, das sein Problem nicht löst. Eine energische Validierung ohne Verifikation erzeugt Code, der „in der Demo funktioniert“, aber strukturelle Fehler verbirgt, die unter im Abnahmetest nicht vorgesehenen Betriebsbedingungen auftreten. Die beiden Disziplinen ergänzen sich, greifen unterschiedliche Fehlerklassen an, und keine seriöse Software-Engineering-Strategie kann auf eine von ihnen verzichten.
3. Der terminologische Sumpf – Irrtum, Defekt, Ausfall, Vorfall
Jede ernsthafte Diskussion über Softwarequalität trägt das historische Vokabelproblem mit sich. Mehrere Schlüsselbegriffe – Verifikation, Validierung, Test, Fehler, Defekt, Fault, Ausfall – sind in der Literatur mit widersprüchlichen Bedeutungen überladen. Ein Team, das diese Begriffe austauschbar verwendet, begeht unwissentlich Denkfehler, die sich in Prozessfehler übersetzen. Es lohnt sich, das Vokabular am IEEE-Standard zu verankern.
| Begriff | Präzise Definition | Beispiel in einem Stromrichter |
|---|---|---|
| Irrtum (Error) | Fehlerhafte menschliche Handlung. Fehler in Spezifikation, Entwurf oder Codierung | Ein Ingenieur nimmt an, der Stromsensor sei bipolar, obwohl er unipolar ist |
| Defekt / Fault / Bug | Interne Manifestation des Irrtums. Fehlerhafter Zustand, der im Code eingebettet ist | Ein Zweig der Berechnung des OCP-Schutzes, der nie ausgeführt wird, weil die Bedingung unmöglich ist |
| Ausfall (Failure) | Beobachtbare Unfähigkeit des Systems, seine Funktion zu erfüllen – das sichtbare Symptom | Der Stromrichter löst den OCP-Schutz nicht aus, wenn der Strom den Schwellwert überschreitet |
| Vorfall (Incident) | Anomales Ereignis während der Ausführung, das eine Aufzeichnung und Analyse verdient | Der Bediener meldet einen unerwarteten Stopp, der zu keiner bekannten Ursache passt |
4. Das V-Modell – Verifikation auf jeder Ebene
Der methodische Rahmen, der die Verifikation über den gesamten Softwarelebenszyklus gliedert, ist das V-Modell. Sein Vorschlag ist strukturell: Jeder Spezifikationsebene entspricht eine symmetrische Verifikationsebene. Der linke Ast führt von den Anforderungen zum Code hinab; der rechte Ast steigt von der Modulverifikation bis zur Endabnahme auf. Das V-Modell ist das Rückgrat von EN 50128 (Bahn), IEC 61508 (generisch), ISO 26262 (Automotive) und DO-178C (Avionik).
4.1 Die Entsprechungen im V
| Spezifikationsebene (linker Ast) | Verifikationsebene (rechter Ast) | Beantwortete Frage |
|---|---|---|
| Systemanforderungen (SyRS) | Abnahme- / Systemvalidierungstests | Erfüllt das System die Anwenderbedürfnisse? |
| Softwareanforderungen (SRS) | Systemtests an der Firmware | Erfüllt die Firmware ihre funktionale Spezifikation? |
| Architekturentwurf | Integrationstests zwischen Modulen | Arbeiten die Module wie entworfen zusammen? |
| Modulentwurf | Modultests pro Modul | Leistet jedes Modul das, was sein Vertrag besagt? |
| Quellcode | Statische Analyse + Inspektion | Ist der Code frei von gefährlichen Mustern? |
4.2 SSIL – Software Safety Integrity Levels
EN 50128 definiert fünf Software-Integritätsstufen: Basic Integrity und SSIL 1 bis SSIL 4. Jede Stufe schreibt verbindliche V&V-Techniken vor, deren Strenge mit der Kritikalität der Funktion zunimmt. Premium SA ordnet seine Anwendungen diesen Stufen nach der Verantwortung jedes Firmware-Blocks zu:
| SSIL-Stufe | Typische Anwendung in Stromrichtern von Premium SA | Verbindliche Techniken nach EN 50128 |
|---|---|---|
| Basic Integrity | Nicht sicherheitsrelevante Funktionen – Telemetrie, Log, Benutzeroberfläche | Code-Review, Funktionstests |
| SSIL 1-2 | Hilfsbetriebe der Kabine, Standard-Schutzfunktionen OVP/OCP/OTP | Statische Analyse nach MISRA C, Modultests mit E/A-Abdeckung |
| SSIL 3 | Nicht bremskritische Traktionsstromrichter, EV-BMS | MISRA + Entscheidungsabdeckung + Antwortzeitanalyse |
| SSIL 4 | Aktive Sicherheitsfunktionen (Sperre der Nutzbremse) | MC/DC + formale Modelle + diversitäre Redundanz |
5. Test-Driven Development – Tests als Entwurfsentscheidung
Test-Driven Development (TDD) entstand Anfang der 2000er Jahre als eine der Säulen des Extreme Programming und stellt eine radikale Umkehr des traditionellen Arbeitsablaufs dar. In der klassischen Reihenfolge schreibt der Programmierer zuerst die Funktionalität und fügt dann – wenn Zeit bleibt – Tests zu ihrer Verifikation hinzu. Beim TDD ist die Reihenfolge umgekehrt: Der Test wird zuerst geschrieben, bevor die Funktionalität existiert.
5.1 Der Red-Green-Refactor-Zyklus
| Phase | Aktion des Entwicklers | Zustand des Codes |
|---|---|---|
| Rot | Einen Modultest für eine noch nicht existierende Funktionalität schreiben | Der Test schlägt fehl – bestätigt, dass der Test etwas Reales misst |
| Green | Den minimalen Code schreiben, damit der Test besteht | Der Test besteht – das minimale Verhalten ist implementiert |
| Refactor | Den Code umstrukturieren, um Duplikate zu beseitigen und den Entwurf zu verbessern, ohne das Verhalten zu verändern | Die Tests bestehen weiterhin – das Verhalten bleibt erhalten |
Der Zyklus wiederholt sich in kleinen Schritten – Minuten, nicht Stunden. Nach einer TDD-Sitzung hat der Entwickler sowohl den Produktionscode als auch seine Testbatterie erstellt, und jede Zeile des Ersteren ist durch mindestens einen Test der Letzteren abgesichert. Die tiefste methodische Konsequenz ist nicht das Vorhandensein von Tests, sondern die umgekehrte Reihenfolge: Den Test vor der Implementierung zu durchdenken, zwingt den Entwickler zu verstehen, was Erfolg oder Misserfolg der Funktionalität genau bedeutet. Das ist letztlich ein Akt des Entwerfens.
5.2 TDD als teilweiser Ersatz für den traditionellen Entwurf
5.3 TDD, BDD und ATDD – die Entwicklung hin zum Verhalten
Reines TDD ist wirksam, hat aber eine Grenze: Es ist rein technisch. Ein Team, das nur TDD einsetzt, kann Code erzeugen, der alle Modultests besteht und dennoch nicht zu den realen Bedürfnissen der Stakeholder passt. Zwei Varianten sind entstanden, um diese Lücke zu schließen. BDD (Behavior-Driven Development) erweitert TDD, indem es sich auf das erwartete Verhalten des Systems konzentriert, ausgedrückt in einer allgegenwärtigen Sprache (Given-When-Then), die sowohl Entwickler als auch Kunden verstehen können – die Spezifikation wird nicht in Tests übersetzt, die Spezifikation ist der Test. ATDD (Acceptance Test-Driven Development) verbindet die Anforderungsspezifikation mit automatisierten Abnahmetests, die vor dem Code geschrieben werden. Die drei Praktiken ergänzen sich: TDD stellt sicher, dass jede Funktion technisch gut entworfen ist; ATDD stellt sicher, dass das Gesamtsystem seinen geschäftlichen Zweck erfüllt; BDD bildet die sprachliche Brücke zwischen beiden.
6. Grundlagen des Testens – was wir testen und wie
Wie Edsger Dijkstra bekanntlich feststellte, kann Testen sehr wirksam sein, um das Vorhandensein von Fehlern zu zeigen, ist aber hoffnungslos ungeeignet, um ihre Abwesenheit zu belegen. Diese Einschränkung ist strukturell: Der Eingaberaum jedes nicht trivialen Programms ist so groß, dass das erschöpfende Testen aller Kombinationen praktisch unmöglich ist. Die Disziplin des Testens besteht daher darin, eine endliche, repräsentative Teilmenge des Raums auszuwählen, die die kritischen Eigenschaften des Systems wirksam ausübt.
6.1 Der Testfall und das Orakel
Die Grundeinheit des Testens ist der Testfall: ein definierter Satz von Bedingungen, Eingabedaten und einem erwarteten Ergebnis, unter denen die Software ausgeführt wird, um messbar festzustellen, ob sie eine Anforderung erfüllt. Jeder Testfall setzt implizit oder explizit ein Orakel voraus: den Schiedsrichter, der entscheidet, ob das erhaltene Ergebnis korrekt ist. In einfachen Systemen ist das Orakel die Spezifikation selbst. In komplexen Systemen, in denen keine abgeschlossene Spezifikation existiert, ist das Orakel ein menschlicher Experte – der Tester, der entscheidet, ob das beobachtete Verhalten dem erwarteten entspricht.
6.2 Black-Box, White-Box und die entscheidende Unterscheidung
| Aspekt | Black-Box (funktionales Testen) | White-Box (strukturelles Testen) |
|---|---|---|
| Kenntnis des Codes | Keine – nur die Spezifikation ist bekannt | Vollständig – einschließlich der internen Implementierung |
| Testfallentwurf | Aus erwarteten Ein-/Ausgaben | Aus Kontrollflusspfaden |
| Abdeckungsmetriken | Abdeckung von Anforderungen / Äquivalenzklassen | Anweisungs-, Zweig-, MC/DC- und Pfadabdeckung |
| Erkennt | Abweichungen gegenüber der funktionalen Spezifikation | Strukturelle Defekte, toten Code, ungetestete Zweige |
| Beispiel in der Firmware von Premium SA | Der Stromrichter regelt die Ausgangsspannung mit < 2 % Fehler unter Standard-Lastprofilen | Jeder Zweig des ADC-Interrupt-Handlers wird mindestens einmal ausgeführt |
| Einschränkung | Erkennt keine Defekte in nicht spezifiziertem Code | Erkennt keine fehlenden Anforderungen |
7. Die Pyramide MiL → SiL → PiL → HiL → SYSiL
Bei eingebetteter Firmware – deren Code auf einem Mikrocontroller läuft, der mit einem realen physikalischen System gekoppelt ist – fügt die Testdisziplin eine Komplexitätsebene hinzu, die in klassischer Anwendungssoftware nicht existiert. Tests können sich nicht auf digitale Ein- und Ausgänge beschränken; sie müssen den Kreis mit dem physikalischen Verhalten des Stromrichters schließen. Die X-in-the-Loop-Methodik gliedert diese Herausforderung in fünf aufeinander aufbauende Ebenen:
| Ebene | Was getestet wird | Testplattform |
|---|---|---|
| MiL – Model-in-the-Loop | Systemmodell (Simulink, Stateflow) | Reine Simulation auf dem PC; noch kein C-Code |
| SiL – Software-in-the-Loop | Für den PC kompilierter C-Code | Ausführung auf dem Host; E/A werden simuliert |
| PiL – Processor-in-the-Loop | Binärcode in einem Emulator des Zielprozessors | Prüft die Korrektheit des Objektcodes ohne physische Hardware |
| HiL – Hardware-in-the-Loop | Binärcode auf dem realen Mikrocontroller | Firmware läuft auf der Ziel-Hardware; die Strecke wird in Echtzeit simuliert |
| SYSiL – System-in-the-Loop | Vollständiges physisches eingebettetes System | Abschließende Validierung auf dem Prüfstand mit realer Hardware und realer Strecke |
Jede Ebene löst eine Fehlerklasse, bevor eine zusätzliche Komplexitätsebene hinzukommt. MiL erfasst Fehler in Modellierung und Regelalgorithmus. SiL erfasst Fehler bei der Übersetzung vom Modell in Code. PiL erfasst Fehler, die spezifisch für den Ziel-Compiler sind, aggressive Optimierungen und Probleme der endlichen Arithmetik. HiL erfasst Integrationsdefekte zwischen Firmware und Hardware: Timing, Interrupts, Race Conditions, Peripherie. SYSiL ist die abschließende Validierung mit der realen Strecke.
8. Der D4Co-SW-Prozess von Premium SA
Premium SA wendet auf Firmware denselben methodischen Rahmen an wie auf Hardware: die aufeinanderfolgenden Gates D2W → D2F → D4R → D4Co, angepasst an die spezifischen Techniken und Artefakte der Software.
| Gate | Bedeutung für die Firmware | Ausstiegskriterien |
|---|---|---|
| D2W – Design to Work | Die Firmware führt die Nennfunktionen aus | SRS unterzeichnet, modulare Architektur definiert, MiL/SiL-Prototyp läuft |
| D2F – Design to Function | Die Firmware erfüllt die vollständige funktionale Spezifikation | Modultests mit ≥ 90 % Zweigabdeckung, HIL-Integration bestanden |
| D4R – Design for Reliability | Die Firmware behält ihr Verhalten unter widrigen Bedingungen bei | Fehlerinjektion bestanden, Zeitanalyse, RTOS-Stresstests |
| D4Co – Design for Compliance | Die Firmware erfüllt die Vorschriften und ist über 30 Jahre wartbar | SSIL-Dossier nach EN 50128, MISRA C ohne Beanstandungen, FRACAS aktiv |
8.1 Unverzichtbare Techniken – MISRA, MC/DC, HIL
- MISRA C:2012 – statische Analyse mit Polyspace, Coverity oder PC-lint für den gesamten C-Code. Die 16 verbindlichen und die 111 erforderlichen Regeln sind Ausstiegsbedingungen des Gates D2F.
- MC/DC für SSIL ≥ 3 – jede boolesche Entscheidung wird mit n+1 Fällen getestet, in denen jede einzelne Bedingung das Ergebnis ändert, während die anderen fest bleiben; für SSIL 4 wird es durch formale Analyse ergänzt.
- HIL als Ausstiegskriterium – keine Firmware mit Verantwortung für aktive Sicherheit schließt das Gate D4Co ohne ein vollständiges HIL-Programm ab, das den Raum des Missionsprofils abdeckt.
- Fehlerinjektion für SSIL ≥ 2 – Sensorausfälle, Rauschen auf Analogsignalen, Kommunikationsverlust und Speicherkorruption werden simuliert. Das System muss stets in einen sicheren Zustand übergehen: PWM aus, Ausgang hochohmig, Alarm aktiv.
8.2 FRACAS angewandt auf Software
Die Methodik FRACAS – Failure Reporting, Analysis and Corrective Action System –, die Premium SA auf Hardware anwendet, erstreckt sich auf Firmware. Jeder in der Flotte entdeckte Defekt wird auf der angemessenen Ebene (Funktion, Modul, gemeinsame Bibliothek) analysiert, die Grundursache wird dokumentiert, und die Korrektur wird weitergegeben: an alle Plattformen, die den Code gemeinsam nutzen, per kryptografisch signiertem OTA-Update, und an den Entwicklungsprozess, über eine neue Review-Regel oder einen neuen Testfall, der die erneute Einführung des Defekts verhindert. Die Firmware der Flotte verbessert sich im Lauf der Zeit, ebenso wie sich Hardware durch Feldrückläufer verbessert.
9. Synthese – Firmware als Engineering-Produkt
Kritische Firmware in einem Stromrichter von Premium SA wird mit derselben Disziplin entwickelt wie ein Leistungsmodul. Es gibt sechs Säulen, die ineinandergreifen:
| Säule | Beantwortete Frage | Praxis bei Premium SA |
|---|---|---|
| Präzises Vokabular | Sprechen wir über dasselbe Problem? | IEEE-Glossar – Irrtum / Defekt / Ausfall / Vorfall unterschieden |
| V&V nach Boehm | Bauen wir das Produkt richtig, und bauen wir das richtige Produkt? | Kontinuierliche Verifikation Phase für Phase + abschließende Validierung mit dem Kunden |
| V-Modell + EN 50128 | Wird jede Ebene symmetrisch verifiziert? | Zuordnung SRS ↔ SyRS, Modul ↔ Modultest, Architektur ↔ Integration |
| TDD / BDD / ATDD | Geht der Test dem Code voraus? | TDD für kritische Module; ATDD für Systemanforderungen |
| Black-Box + White-Box | Wird die Spezifikation erfüllt und wird der gesamte Code ausgeübt? | Zweigabdeckung für SSIL 1-2, MC/DC für SSIL 3-4 |
| MiL → SiL → PiL → HiL → SYSiL | Funktioniert die Firmware auf realer Hardware mit einer realen Strecke? | Erschöpfendes HIL vor SYSiL; nichts gelangt in die Flotte, ohne HIL zu bestehen |
Über Premium PSU – Mit über 40 Jahren Erfahrung entwickelt und fertigt Premium SA in Barcelona kundenspezifische Stromrichter für Bahn-, Energie-, Industrie-, Rechenzentrums- und Verteidigungsanwendungen. Die Firmware-Entwicklung ist ab der Konzeptphase jedes Projekts in das Hardwaredesign integriert und folgt den Praktiken von EN 50128, IEC 61508 und ISO 26262.
Entwickeln Sie einen Stromrichter mit sicherheitsrelevanter Firmware? Sprechen Sie mit unserem Ingenieurteam.
