Test-Gap-Analyse. Wie erkennen wir ungetestete Änderungen, bevor sie ins Release gehen? Dr. Andreas Göb XP Days Germany 2015

Transkript

1 Test-Gap-Analyse Wie erkennen wir ungetestete Änderungen, bevor sie ins Release gehen? Dr. Andreas Göb XP Days Germany 2015

2 Über mich Forschung Modellierung von Softwarequalität Wartbarkeit, Software-Architektur Beratung Qualitäts-Bewertung & Qualitäts-Controlling Wirksamer Werkzeugeinsatz in Entwicklung und Test Entwicklung Continuous Quality Assessment Toolkit ConQAT >400 kloc, Apache Lizenz, > Downloads Kommerzielle Erweiterung: Teamscale

3 Agenda Hintergrund Analyse und Visualisierung Erfahrungen aus der Praxis Ausblick und Diskussion

4 Hintergrund Änderungen Eder, Jürgens, Did We Test Our Changes? Assessment btw. Tests & Development in Practice, 2013

5 Hintergrund Durch Tests abgedeckter Code Eder, Jürgens, Did We Test Our Changes? Assessment btw. Tests & Development in Practice, 2013

6 Hintergrund Getesteter Bestandscode Getestete Änderungen Ungetestete Änderungen Ungetesteter Bestandscode Eder, Jürgens, Did We Test Our Changes? Assessment btw. Tests & Development in Practice, 2013

7 Hintergrund Getesteter Bestandscode Getestete Änderungen Ungetestete Änderungen Ungetesteter Bestandscode Eder, Jürgens, Did We Test Our Changes? Assessment btw. Tests & Development in Practice, 2013

8 Agenda Hintergrund Analyse und Visualisierung Erfahrungen aus der Praxis Ausblick und Diskussion

9 Die Test-Gap-Analyse Änderungen Ausführung Test-Gap- Analyse Ungetestete Änderungen

10 Änderungserkennung Änderungen Test-Gap- Analyse Ausführung Gegenüber Referenzstand Akkumulierte Analyse Nur funktionale Änderungen Keine Kommentare Keine Umbenennungen Keine Verschiebungen Keine Refactorings Ungetestete Änderungen

11 Auswertung der Ausführung Änderungen Test-Gap- Analyse Ausführung Granularität: Methoden Auf Server oder Clients Manuelle oder Unit-Tests Minimaler Overhead Plattformspezifisch Ungetestete Änderungen

12 Kombination von Änderung und Ausführung Änderungen Ausführung Test-Gap- Analyse Täglich aktualisiert Inkrementell verzahnt Pro Testumgebung Aggregierte Sicht Ungetestete Änderungen

13

14 GUI.Dialogs Authentication UI Controls GUI.Base Data Validation

15

16

17 Agenda Hintergrund Analyse und Visualisierung Erfahrungen aus der Praxis Ausblick und Diskussion

18 Einsatz im Testprozess Änderungen Test-Gap- Analyse Ausführung Testfälle Ungetestete Änderungen Test Manager

19 Fallstudie: Test-Factory 5 Tester in Indien 2 Wochen 143 Test-Sessions 6 Systemversionen

20 = Geändert = Neu

21 = Ausgeführt

22 = Geändert & ungetestet = Neu & ungetestet = Unverändert = (Neu o. geändert) & getestet

23 Fallstudie: Explorativer Test (»Trampeltest«) 23 Tester Requirement Engineers Fachbereich Endnutzer 2 Wochen 307 Test-Sessions 8 Systemversionen

24 = Geändert & ungetestet = Neu & ungetestet = Unverändert = (Neu o. geändert) & getestet

25 100% Change Coverage

26 Wie funktioniert das in der SAP-Welt? ABAP: Analoger Ansatz zur Analyse in.net Nächtlicher Export von Code und Ausführungsdaten Ausführungsmessung mit Bordmitteln (SCOV) Unterschiede in SAP BW Mehr grafische Modellierung als ABAP-Entwicklung ABAP-Code aus Modellen generiert Bezeichner generiert Code-Ursprung mitführen

27 Code-Verteilung DTPs Transformationen Manuell gepflegter ABAP-Code Queries

28 Code-Verteilung (skaliert und aggregiert) DTPs Queries Manuell gepflegter ABAP-Code Transformationen

29 Erkenntnisse Code-Änderungen sind guter Fehlerprädiktor Test-Gap-Analyse kann ungewollte Produktivsetzung ungetesteter Änderungen verhindern. Methode und Tool müssen individualisierbar sein Verschiedene Visualisierungen je nach Stakeholder Flexible Auswahl von Testumgebungen / Referenzversion erwünscht

30 Agenda Hintergrund Analyse und Visualisierung Erfahrungen aus der Praxis Ausblick und Diskussion

31 Ausblick: Test-Gap-Analyse interaktiv

32

33

34 Kontakt Ich freue mich auf Diskussionen, auch im Anschluss oder morgen! Dr. Andreas Göb CQSE GmbH Lichtenbergstraße Garching bei München