Warum Softwaretests konkrete Fehlerfälle brauchen

Ein grüner Test beweist nur sich selbst

Ein Test ist ein kleines Programm, das ein anderes Programm aufruft und das Ergebnis mit einer Erwartung vergleicht. Läuft er durch, heißt das: In diesem einen Fall kam heraus, was der Test erwartet hat.

Daraus folgt eine unangenehme Möglichkeit: Ein Test kann grün sein, weil er nichts prüft. Er ruft etwas auf, erwartet nichts Konkretes, und bleibt auch dann grün, wenn die geprüfte Stelle gar nicht mehr existiert.

// Beweist nichts: prueft nur, dass nichts geworfen wurde
public function testBerechnung(): void
{
    $ergebnis = $this->rechner->brutto(1000);
    self::assertNotNull($ergebnis);
}

// Beweist etwas: nennt Eingabe und erwartetes Ergebnis
public function testBruttoMitRegelsatz(): void
{
    self::assertSame(1190, $this->rechner->brutto(1000));
}

// Beweist den Fehlerfall: hier liegt der eigentliche Wert
public function testNegativerBetragWirdAbgewiesen(): void
{
    $this->expectException(InvalidArgumentException::class);
    $this->rechner->brutto(-1);
}

Die Gegenprobe gehört dazu

Ein neuer Test für einen gefundenen Fehler ist nur dann einer, wenn er OHNE die Korrektur durchfällt. Klingt selbstverständlich, wird aber regelmäßig übersprungen — und dann hat man einen Test, der den Fehler nicht bemerkt hätte.

Wir machen das deshalb ausdrücklich: Korrektur zurücknehmen, Test laufen lassen, rot sehen, Korrektur wieder einsetzen, grün sehen. Erst dann zählt er. Dasselbe gilt für Tests mit Platzhaltern: Wenn der Platzhalter das Ergebnis vorgibt, das geprüft werden soll, prüft der Test den Platzhalter.

Welche Fälle sich lohnen

• Fachliche Regeln mit Grenzen: der letzte gültige und der erste ungültige Wert, nicht ein beliebiger aus der Mitte.
• Alles, was mit Geld, Rechten oder Fristen zu tun hat.
• Jeder einmal aufgetretene Fehler — damit er nicht zurückkommt.
• Schritte, die mehrere Datensätze zugleich ändern: Entweder alles gilt oder nichts.

Was sich selten lohnt: Tests für Code ohne Entscheidung, etwa reines Durchreichen von Werten. Dort kostet der Test Pflege und findet nichts.