TAV Arbeitskreis Testmanagement. Einführung von Testprozessen. Bedeutung von Reifegradmodellen für das Testmanagement

Transkript

1 TAV Arbeitskreis Testmanagement Einführung von Testprozessen Bedeutung von Reifegradmodellen für das Testmanagement Zur Diskussion im Arbeitskreis Testmanagement auf der TAV 25 am 15./ Vorbereitet von: Harald Berning, Hans-Josef Eisenbach, Dierk Ehmke, Holger Hanisch, Andreas Kellerstraß, Bernhard Moritz TAVTM_Reifegradmodelle_05.odp 1

2 Übersicht Motivation Ergebnisse der Umfrage Struktur und Entwicklung von Reifegradmodellen Modelle CMMI TMM TPI ITS-CMM Diskussion TAVTM_Reifegradmodelle_05.odp 2

3 Motivation Modelle der Softwareentwicklung spielen eine große Rolle bei der Verbesserung der Qualität von Software ISO 9001, 15505, V-Modell, Diverse DOD- oder MIL-Standards, ITIL... Reifegradmodelle wie CMMI, TMM, ITS-CMM oder TPI: Liefern Anhaltspunkte, um festzustellen, wo eine Organisation steht Helfen bei der Definition von Zielen bei der Prozeßverbesserung Wie können uns Reifegradmodelle im Testmanagement unterstützen? TAVTM_Reifegradmodelle_05.odp 3

4 Fragen Modellvergleich In welchen allgemeinen Modellen gibt es welche Prozesse/Best Practises, die das Testmanagement ausnutzen kann? Werden eher die Prozessbeschreibungen oder die Bewertung in Reifegradstufen für das Testmanagement benötigt? Ist das Testmanagement "nur" ein Key Process Area oder kann das Testmanagement selbst in Reifegradstufen eingeteilt werden? Wie können die allgemeinen Modelle speziell für das Testmanagement konkretisiert werden? TAVTM_Reifegradmodelle_05.odp 4

5 Fragen Anwendung im Testmanagement Welcher Reifegrad ist für ein praktikables Testmanagement angemessen? Wann reicht Stufe 3, wann müßte es Stufe 5 sein? Von welchen Faktoren hängt es ab, welchen Reifegrad das Testmanagement erreichen muss? Wie können die Reifegradmodelle in unser bisheriges Rahmenmodell des Testmanagements eingepasst werden? Wie kann eventuell ein Reifegradmodell helfen, die Reihenfolge der Gebiete unseres Modells oder die Reihenfolge der einzelnen Punkte bei der Einführung festzulegen? TAVTM_Reifegradmodelle_05.odp 5

6 Fragen Nutzen Ist überhaupt ein relevanter Nutzen vorhanden? Für wen bzw. für welche Interessen? Wie kann dieser Nutzen für Auftraggeber bzw. anderen Stakeholder anschaulich dargestellt werden? Wie kann der Nutzen gemessen werden? Welche Aspekte der Reifegradmodelle soll das Testmanagement ausnutzen: inhaltlicher Ratgeber, internes Bewertungswerkzeug des Testmanagers, politische Rechfertigung, Marketinginstrument? TAVTM_Reifegradmodelle_05.odp 6

7 Ergebnisse der Umfrage Vgl. separate Präsentation TAVTM_Reifegradmodelle_05.odp 7

8 Struktur von Reifegradmodellen Maturity Levels contain Key Process Areas organized by goals Common Features contain commitment ability activity measurement verification Key Practices TAVTM_Reifegradmodelle_05.odp 8

9 Entwicklung von Reifegradmodellen CMM for Software V 1.1, 1993 INCOSE SECAM 1996 Systems Engineering CMM, V 1.1, 1995 Software CMM V 2, Draft C, 1997 EIA 731 SECM 1998 Integrated Product Development CMM 1997 TMM ab ca TPI ab ca ITS-CMM ab ca CMMI for Acquisition V 1.2, 2007 CMMI for Development V 1.2, 2006 V 1.02, 2000 V 1.1, 2002 CMMI for Services V 1.2, 2007 Aus: CMMI for Development Version 1.2, August 2006 TAVTM_Reifegradmodelle_05.odp 9

10 Prozesse des CMMI TAVTM_Reifegradmodelle_05.odp 10

11 CMMI: Nutzen für das Testmanagement Reifegrad Erwartung Aufgaben Qualifikation Chaos Keine Requirements, schlechte Planung Kaum getestete Prüflinge Improvisation Priorisieren Kenntnisse der Technologie und Anwendungsdomäne Gemanagt Requirements, Planung, integrierte Prüfprozesse Systematisches Testen Kenntnisse der Disziplinen Definiert Aufwandschätzung Prozessverständnis Risikobasiertes Testen Quantitativ gemanagt Optimierend TAVTM_Reifegradmodelle_05.odp 11

12 Übersicht über das Testing Maturity Model TMM Das Testing Maturity Modell wurde entwickelt, da in CMM Reifegrade für das Testen nicht angegeben werden Testpraktiken bei der Prozeßverbesserung nicht angemessen berücksichtigt werden Testen nicht adäquat in den Key Process Areas auftaucht Viele für Testen relevante Themen nicht angesprochen werden, z.b.: Testbarkeit, Testplanung, Zertifizierung Es wurde als Ergänzung zum SW-CMM am Illinois Institute of Technology entwickelt (ab ca. 1996) TAVTM_Reifegradmodelle_05.odp 12

13 Grundidee des Testing Maturity Model TMM Das TMM Modell orientiert sich u.a. an der historischen Bedeutung des Testens, wie sie von Gelperin and Hetzel für die Zeit von 1950 bis 1990 beschrieben wurde. Sie unterscheiden folgende Phasen: Debbuging-orientiert Aktivität Fehler zu beseitigen Nachweis-orientiert (Demonstration-Oriented) Nachweis, daß die Software den Spezifikationen entspricht Fehler-orientiert (Destruction-Oriented) Nachweis, daß die Software Fehler enthält Evaluations-orientiert Nachweis von Fehlern im gesamten Lebenszyklus Vorbeugungs-orientiert Vermeidung von Fehlern im Lebenszyklus TAVTM_Reifegradmodelle_05.odp 13

14 Prozesse des Testing Maturity Model TMM TMM Key Process Areas Optimized Defect Prevention Test Process Optimisation Quality Control M anaged Peer Reviews Test Measurement Software Quality Evaluation Defined Test Organisation Test Training Program Test Life Cycle and Integration Test Control and Monitoring Repeatable Test Policy and Goals Test Planning Test Techniques and Methods Initial Ad hoc Process TMM CMM Supporting CMM Key Process Areas 5 5 Defect Prevention, Technology Change Management, Process Change Management 4 4 Quantitative Process Management, Software Quality Management 3 Intergroup coordination, Peer Reviews 3 3 Organisation Process Focus, Organisation Process Definition,Training Program 2 Software Project Tracking and Oversight, Software Quality Assurance 2 2 Requirements Management, Software Project Planning, Configuration Management TAVTM_Reifegradmodelle_05.odp 14

15 Übersicht über TPI: Test Process Improvement Das TPI-Modell ermöglicht die objektive, detaillierte Bewertung des Test-Reifegrades Es unterstützt bei der differenzierten Zielformulierung (Sollreife) Es enthält praxiserprobte Empfehlungen für die Reihenfolge der Optimierungsschritte Es bietet eine Vielzahl konkreter Empfehlungen für pragmatische Optimierungsmaßnahmen A 20 Kernbereiche Ca. (~ 20 Prozessgebiete Kernbereiche ) (~ Prozessgebiete) B C D ø 4 Ebenen pro Kernbereich (~ Qualitätsstufen, Reifegrade ) TPI Matrix Es kann dabei behilflich sein, Ebene 3 des Capability Maturity Modells (CMMI) zu erreichen Kontrollpunkte (Anforderungen der Ebenen ) Optimierungsvorschläge (für den Übergang auf eine höhere Ebene ) TAVTM_Reifegradmodelle_05.odp 15

16 Kerngebiete des Test Process Improvement Orientieren sich oft an Black-Box-Testarten wie System- oder Abnahmetest Teststrategie Phasenmodell Zeitpunkt der Beteiligung Etat und Planung Testfallermittlungstechniken Testumgebung Testarbeitsplatz Engagement und Motivation Testfunktionen und Ausbildungen Reichweite der Methodik Feststellungsverwaltung Testwaremanagement Testprozeßmanagement White-Box-Testarten Prüfungen Statische Testtechniken Kommunikation Metrics Berichterstattung Testtools TAVTM_Reifegradmodelle_05.odp 16

17 Ebenen des Test Process Improvement Die Anforderungen (= Kontrollpunkte) einer Ebene umfassen auch die Anforderungen, die zu einer niedrigeren Ebene gehören. Beispiele: Ebenen: A B C D Kerngebiet: Statistiken je Projekt (über Statistiken je Projekt (über Statistiken je Metrics Produkt) Verfahren) System Berichterstattung Testtools Feststellungen Planung & Verwaltung Fortschritt (Status des Tests und der Produkte), Aktivitäten (Kosten + Zeit, Meilensteine, Feststellungen mit Vorrang) Feststellungen einschließlich Prioritätenzuweisung. Ausführung und Analyse Risiken und Empfehlungen anhand fundierter Statistiken Statistiken je Organisation (>1 System) Empfehlungen mit SPI (Software Process Improvement)- Charakter Integrierte Automatisierung des Testprozesses - Testumgebung Kommunikation Verwaltete Testumgebung Interne Testkommunikation Testen in der geeignetsten "Umgebung auf Umgebung Abruf " - Projektkommunikation, Kommunikation Fehler, in der Änderungsüberwachung Organisation - TAVTM_Reifegradmodelle_05.odp 17

18 Entwicklungsmatrix des Test Process Improvement Alle Ebenen und Kerngebiete stehen in einer Entwicklungsmatrix im Zusammenhang TAVTM_Reifegradmodelle_05.odp 18

19 Übersicht über IT Service CMM IT Service CMM Kombiniert IT-Servicemanagement mit einem Reifegrad-Modell Reifegrade orientieren sich an Software CMM bzw. CMMI Das IT-Servicemanagement zeigt eine Verwandschaft zu ITIL TAVTM_Reifegradmodelle_05.odp 19

20 Prozesse des IT-Service CMM M anagement Enabling Delivery Optimized Technology Change Management Process Change Management Problem Prevention M anaged Quantitative Process Management Service Quality Management Financial Service Management Defined Integrated Service Management Organization Process Focus Service Delivery Organization Service Definition Organization Process Definition Training Program Intergroup Coordination Resource Management Problem Management Repeatable Service Commitment Management Configuration Management Service Delivery Planning Service Request Management Service Tracking and Oversight Incident Management Subcontract Management Service Quality Assurance Initial Ad hoc Process TAVTM_Reifegradmodelle_05.odp 20

21 Materialien CMMI(R) Web Site: Capability Maturity Model(R) Integration (CMMI (R)) Version 1.2 Overview CMMI(R) for Development, Version 1.2, CMMI-DEV, V1.2, TMMi (R) Foundation: Ilene Burnstein, Taratip Suwannasart, and C.R. Carlson, llinois Institute of Technology: Developing a Testing Maturity Model: Part I, Developing a Testing Maturity Model, Part II TAVTM_Reifegradmodelle_05.odp 21

22 Materialien TESTOPTIMIERUNG mit TPI (R), Sogeti Deutschland GmbH: The IT Service Capability Maturity Model (R): The IT Service Capability Maturity Model (R), IT Service CMM Version 1.0, Release Candidate 1: TAVTM_Reifegradmodelle_05.odp 22