Im ersten Projekt wurde die Software von drei Ein-/Ausgabe-Modulen getestet; beim zweiten Projekt ging es um den Test der Sicherheits-CPU. Die gesamte Software wurde mit dem Modultest-Werkzeug Tessy getestet. Das Ziel beider Testprojekte war, die Zertifizierung nach IEC61508:2010 (SIL 3), IEC62061 (SIL CL 3) und EN ISO13849-1 (PL e). Inzwischen ist die Zertifizierung der Sicherheits-PLC von ABB erfolgt und aufgrund der guten Zusammenarbeit zwischen Hitex und ABB werden neue gemeinsame Projekte ins Auge gefasst.
Codeüberdeckung
Während der Tests wurden drei Maße für Codeüberdeckung gemessen: (1) Zweigüberdeckung (Branch Coverage) (2) Modifizierte Bedingungs-/Entscheidungsüberdeckung (Modified Condition / Decision Coverage, MC/DC) und (3) Mehrfachbedingungsüberdeckungstest (Multiple Condition Coverage, MCC). Letzteres Maß wird von der IEC61508 nicht erwähnt, es wurde jedoch angewandt, da es das höchstwertigste Maß in Bezug auf Bedingungsüberdeckung bietet. Für alle Überdeckungsmaße wurde 100% oder fast 100% (> 98%) erreicht. Falls 100% nicht erreicht wurden, überprüfte Hitex die fraglichen Stellen manuell um sicherzustellen, dass die betreffende Stelle tatsächlich unerreichbar war. Es stellte sich dabei heraus, dass überwiegend defensive Programmierung die Ursache für einen unerreichbaren Code war.
Testfallspezifikation
Für alle Testobjekte, die mehr als einen Testfall erforderten, wurde eine Testfallspezifikation nach der Klassifikationsbaummethode (Classification Tree Method, CTM) erstellt. Diese Methode beginnt mit der Analyse der Anforderungen, bezieht aber auch Techniken wie die Äquivalenzklassenmethode und Grenzwertanalyse mit ein. Der große Vorteil dieser Methode ist die visuelle Darstellung der Testideen. Dies macht es für andere leicht, die Absichten hinter einem Testfall nachzuvollziehen und zu prüfen, dass die Tests vollständig sind. Diese Methode vereinfachte die Kommunikation zwischen ABB und Hitex enorm.
Projektfaktoren
Das Test-Team bei Hitex bestand aus bis zu neun Testern, die gleichzeitig an diesem Projekt arbeiteten. Im Mittel waren ungefähr vier Tester für dieses Projekt eingesetzt. Während der Testarbeit wurde die Software weiterentwickelt (bewegliches Ziel), was jedoch durch eine wohldefinierte Kommunikation zwischen Hitex und ABB beherrscht werden konnte. Aus früheren Projekten hatte Hitex die Erfahrung gewonnen, dass es vorteilhaft ist, wenn die Kommunikation zwischen den Projektpartnern über einen einzigen Punkt (das heißt eine einzelne Person) in jeder Firma abgewickelt wird. Dies garantiert schnelle Antworten und vermeidet, dass Fragen längere Zeit unbeantwortet bleiben. Mehr als 500 Fragen kamen während des Projektes auf und konnten aufgrund der etablierten Vorgehensweise schnell geklärt werden.
