Validierung von Software-Werkzeugen. Matthias Hölzer-Klüpfel

Transkript

1 Validierung von Software-Werkzeugen Matthias Hölzer-Klüpfel

2 Was ist Validierung ISO 9000:2000 Bestätigung durch Bereitstellung eines objektiven Nachweises, dass die Anforderungen für einen spezifischen beabsichtigten Gebrauch oder eine Validierung spezifische beabsichtigte Anwendung erfüllt worden sind IEC FDA: General Principles of SoftwareValidation Vorgang der Beurteilung eines PEMS oder einer Komponente eines PEMS während oder am Ende des Entwicklungsprozesses, um festzustellen, ob es die Anforderungen für seine beabsichtigte Verwendung erfüllt. Objektiver Nachweis, dass ein Produkt oder Prozess für den beabsichtigten Gebrauch dauerhaft geeignet ist confirmation by examination and provision of objective evidence that software specifications conform to user needs and intended uses, and that the particular requirements implemented through software can be consistently fulfilled

3 Was muss validiert werden? Produkt Software Validierung Prozesse Werkzeuge

4 Software-Werkzeuge Modellierungswerkzeuge Entwicklungsumgebungen Code-Generatoren Compiler Test-Frameworks Testdaten-Generatoren Statische Code-Analysatoren Versions-Kontrollsysteme

5 Wie validiert man? Entweder so: Oder so:

6 Qualitätskriterien für Software Funktionalität Angemessenheit Richtigkeit Sicherheit Interoperabilität Ordnungsmäßigkeit Zuverlässigkeit Benutzbarkeit Reife Fehlertoleranz Verständlichkeit Bedienbarkeit Wiederherstellbarkeit Erlernbarkeit Attraktivität Effizienz Zeitverhalten Verbrauchsverhalten Änderbarkeit Übertragbarkeit Analysierbarkeit Stabilität Anpassbarkeit Koexistenz Modifizierbarkeit Testbarkeit Installierbarkeit Austauschbarkeit

7 Wie machen es andere? IEC Funktionale Sicherheit sicherheitsbezogener elektrischer / elektronischer / programmierbarer elektronischer Systeme Teil 3: Anforderungen an Software

8 Wie machen es andere? ISO Road vehicles Functional safety Teil 8: Unterstützende Prozesse enthält ein überlegtes Verfahren zur Validierung von Software-Werkzeugen für die Entwicklung

9 Übersicht der Vorgehensweise Identifikation der zu qualifizierenden Werkzeuge Planung der Qualifizierung Erstellung der Basis-Dokumentation für jedes Werkzeug Klassifikation jedes Software-Werkzeuges Auswahl der Qualifizierungs-Methoden Qualifizierung der Software-Werkzeuge Dokumentation der Ergebnisse

10 Identifikation der Werkzeuge Vollständige Liste aller zur Entwicklung eingesetzten Werkzeuge. Beispiele: Werkzeug MS-Project Notepad C-Compiler Prüfsummen-Checker Auto-Tester

11 Basis-Dokumentation Die Basis-Dokumentation sollte für jedes Werkzeug erstellt werden: Identifikation (Name, Hersteller, Version) Anforderungen an die Umgebung (Betriebssystem, Speicherplatz Empfehlung: etc.) Installationsanleitung Genau wie SOUP in (wie soll die Software installiert werden) das Versionskontroll- System aufnehmen! Benutzerhandbuch Anwendungsfälle (was soll die Software tun) zusätzlich: Fehlerliste!

12 Klassifikation Ziel: Bestimmung einer ausreichenden Methode, um das Werkzeug zu qualifizieren Bestimmung des Impakts des Werkzeugs Abschätzung der Entdeckungswahrscheinlichkeit einer Fehlfunktion Bestimmung des Vertrauensniveaus Auswahl der Qualifizierungs- Methode

13 Bestimmung das Tool Impact Fragestellung: Kann eine Fehlfunktion des Werkzeugs zu einem Versagen einer Sicherheitsanforderung oder einer Risiko-Kontrollmaßnahme führen? Tool Impact (TI) TI0 TI1 Erläuterung TI0 wird gewählt, wenn es keinen Einfluss auf Sicherheitsanforderungen oder Risiko-Gegenmaßnahmen geben kann. TI1 wird in allen anderen Fällen gewählt.

14 Beispiel für TI Impakt der Beispiel-Werkzeuge. Beispiele: Werkzeug TI MS-Project 0 Notepad 0/1 C-Compiler 1 Prüfsummen-Checker 1 Auto-Tester 1

15 Bestimmung der Tool Error Detection Fragestellung: Wie hoch ist die Wahrscheinlichkeit, dass eine Fehlfunktion des Werkzeugs entdeckt wird, bevor das Medizinprodukt in Verkehr gebracht wird? Tool error Erläuterung Detection (TD) TD1 TD1 wird gewählt, wenn das Vertrauen hoch ist, dass eine Fehlfunktion des Software - Werkzeuges verhindert oder entdeckt wird. TD2 TD2 wird gewählt, wenn das ein mittleres Vertrauen vorliegt, dass eine Fehlfunktion des Software - Werkzeuges verhindert oder entdeckt wird. TD3 TD3 wird gewählt, wenn nur niedriges Vertrauen vorliegt, dass eine Fehlfunktion des Software - Werkzeuges verhindert oder entdeckt wird. TD4 TD4 wird in allen anderen Fällen gewählt.

16 Beispiel für TD Entdeckungswahrscheinlichkeit der Beispiel-Werkzeuge. Beispiele: Werkzeug TI TD MS-Project 0 1 Notepad 0/1 1 C-Compiler 1 2 Prüfsummen-Checker 1 3 Auto-Tester 1 4

17 Ermittlung des Tool Confidence Level Kombination der beiden Werte, um einen Wert für das Vertrauen in das Werkzeug abzuleiten. Tool confidence level (TCL) TCL1 TCL1 TCL2 TCL3 TCL4 Erläuterung wird bei TI0 gewählt wird bei TI1 und TD1 gewählt wird bei TI1 und TD2 gewählt wird bei TI1 und TD3 gewählt wird in allen anderen Fällen gewählt

18 Beispiele für TCL Tool Confidence Level der Beispiel-Werkzeuge. Beispiele: Werkzeug TI TD TCL MS-Project Notepad 0/1 1 1 C-Compiler Prüfsummen-Checker Auto-Tester 1 4 4

19 Auswahl der Qualifizierungsmethoden Entscheidungskriterien: Tool Confidence Level Software-Sicherheitsklasse Beispiel für TCL = 2: Methode Sicherheitsklasse A B C 1a Gesteigertes Vertrauen aus der bisherigen Nutzung b Evaluierung des Entwicklungsprozesses des Werkzeuges c Validierung des Werkzeuges d Entwicklung des Werkzeuges nach IEC

20 Auswahl der Qualifizierungsmethoden Beispiel für TCL = 3: Methode Sicherheitsklasse A B C 1a Gesteigertes Vertrauen aus der bisherigen Nutzung b Evaluierung des Entwicklungsprozesses des Werkzeuges c Validierung des Werkzeuges d Entwicklung des Werkzeuges nach IEC Beispiel für TCL = 4: Methode Sicherheitsklasse A B C 1a Gesteigertes Vertrauen aus der bisherigen Nutzung ++ + o 1b Evaluierung des Entwicklungsprozesses des Werkzeuges c Validierung des Werkzeuges d Entwicklung des Werkzeuges nach IEC

21 Gesteigertes Vertrauen Voraussetzungen: 1. zuvor schon für den gleichen Zweck verwendet 2. keine Fehlfunktionen in der Vergangenheit, die zu Produktfehler führten 3. gleiche Version wie in der Vergangenheit

22 Evaluierung des Entwicklungsprozesses Bei der Qualifizierung durch Evaluierung des Entwicklungsprozesses des Werkzeuges wird entweder ein Assessment des Entwicklungsprozesses des Werkzeug-Herstellers durchgeführt, oder der Hersteller weist nach, dass das Werkzeug nach einem anerkannten Entwicklungsstandard erstellt wurde.

23 Validierung des Werkzeuges Bei der Qualifizierung durch Validierung des Werkzeuges werden die folgenden Sachverhalte nachgewiesen: Das Werkzeug erfüllt seine spezifizierten Anforderungen. Die Anforderungen müssen dabei den konkreten Einsatzzweck des Werkzeuges widerspiegeln. Eventuell auftretende Fehlfunktionen des Werkzeuges müssen analysiert werden und hinsichtlich ihrer Auswirkung auf Sicherheitsanforderungen und Risiko-Kontrollmaßnahmen bewertet werden. Es müssen Maßnahmen definiert und umgesetzt werden, um diese Auswirkungen zu unterbinden.

24 Entwicklung des Werkzeuges nach Ein Software-Werkzeug kann als qualifiziert angesehen werden, wenn es nach den Vorgaben der IEC entwickelt wurde. Dabei müssen die angewendeten Vorschriften der Norm der Software-Sicherheitsklasse der mit dem Werkzeug zu entwickelnden Software entsprechen. Dieses Vorgehen bietet sich vor allem bei Werkzeugen an, die vom Hersteller des Medizinproduktes selbst entwickelt werden. Bei Drittherstellern sollte die Einhaltung der Vorgaben der IEC durch ein Audit überprüft werden.

25 Dokumentation Validierungsplan Werkzeuge Einstufung Methode Termine (Teil des SW-Einwicklungsplans) Basisdokumentation Identifikation Anwendungsfälle Fehlerliste Validierungsbericht Ergebnisse der Überprüfung

26 Fazit Software-Werkzeuge für die Entwicklung von Medizinprodukten müssen validiert sein. Die Validierung dieser Werkzeuge sind mit Aufwand verbunden. Analog zur ISO wurde ein Verfahren vorgestellt, dass den notwendigen Aufwand ableiten lässt und auf die richtigen Werkzeuge fokussiert.

27 Kontakt MATTHIAS HÖLZER-KLÜPFEL DIPLOM-PHYSIKER, M.SC. post Zweite Felsengasse Würzburg tel fax mobil mail web matthias@hoelzer-kluepfel.de Und natürlich hier auf der MedConf!