Automatisierte Akzeptanztests. Olaf Eschenbruch

Transkript

1 Automatisierte Akzeptanztests Olaf Eschenbruch

2 Motivation Wo stehen wir im Cynefin Framework Iterative Feedback Systeme Realm of unknown unknowns Agile Methoden Quelle: A Leader s Framework for Decision Making, David Snowden & Mary Boone, HBR 2

3 Fehler aufgetreten Fehler aufgetreten Fehler aufgetreten Fehler aufgetreten Fehler aufgetreten Fixen Die Release Pipeline Schneller erfolgreicher Durchlauf schafft Mehrwert Development CI-Server Integration Environment Pre-Production Production Simple Unit Test Unit Test Integration Test Acceptance Test Neudurchlauf erforderlich Kosten pro Fehler Teststages

4 Schnelles Feedback, kurze Zyklen Möglichst viel, möglichst früh 4

5 Test von Anwendungen, nicht von Code

6 Test von Anwendungen, nicht von Code

7 Ein Vorgehen, viele Namen Behaviour Driven Development Acceptance Test Driven Development Specification by Example (Ausführbare Spezifikation)

8 Spezifikation sind meistens falsch!

9 Spezifikation verliert Wert über die Projektlaufzeit Spezifikation wird erstellt und beschreibt auch ein (meist erstes) Release, wird aber nicht konsequent weitergepflegt ständig am laufenden Produkt überprüft (Papier ist geduldig). Konsequenz Korrektheit der Software ist nicht überprüfbar, da nur beweisbar mittels Spezifikation Korrektheit der Spezifikation schwer überprüfbar Hoher Forschungsaufwand im Falle von unerwartetem Verhalten der Software 29

10 Beschreibungen sind interpretierbar Gibt es nur ein Feld für Adresse? Was genau wird ausgefüllt? Bezieht sich eine Pflichtprüfung auf alle Felder? Testkategorie Testfall Action Expected Kunde Kunde anlegen. In der Maske 'Kunde anlegen' müssen die Felder für Name, Vorname und Adresse gefüllt werden Der Kunde kann angelegt werden. Heißt müssen, hier ist ein Pflichtfeld? Wird das irgendwo geprüft? OK-Meldung beim Speichern? In einer anderen Maske kann eine Rechnung gestellt werden? 34

11 Wochen Test im Wasserfall Kunde Business Analyst Architekt Spezifikation Entwicklung QA/Test Software V Testfallkatalog V 1.23 Feedback

12 Von der Idee zur Spezifikation

13 Von der Spezifikation zur ständigen Überprüfung

14 Given..When..Then..

15 Von Beispiel zur ausführbaren Spezifikation Testfall/Beispiel Testkategorie Testfall Action Expected Kunde Kunde anlegen In der Maske Neukunden' müssen die Felder für Name, Vorname und Adresse gefüllt werden Der Kunde kann angelegt werden. Ausführbare Spezifikation Anlegen eines Neukunden Given Page Should be Open Neukunden When Input Text Vorname Harry And Input Text Nachname Hirsch And Click Button Anlegen Then Saving Should succeed Befüllen der Addressfelder Given Page Should be Open Neukunden Page Should be open Neukunden Input Text Vorname Harry Input Text Nachname Hirsch Click Button Anlegen Saving Should Suceed Kontinuierliche Ausführung Starte jede Stunde / immer um Mitternacht, Teste IE, Firefox, Chrome Teste auf Umgebung Dev, Test, Preprod Führe nur folgende Testsuites aus Stelle Testergebnisse bereit Dev Test

16 Tage Automatisierte Akzeptanztests Domäne QA/Test Entwickler Feedback Beispiele / Ausführbare Spezifikation V Software V 4.2.9

17 Von der fachlichen zur technischen Ebene 1 7

18 Feedback: Wird es gebraucht? Fachliche Qualität Was entscheidet den Erfolg einer Anwendung? Sprint-Reviews mit Kunden Story Mapping Acceptance Test Driven Development Sprint-Reviews Präsentation automatisierter Tests Präsentation der CI-Tests Modul- und QA-Test Test Driven Development Continuous Integration Continuous Delivery Technische Qualität Feedback: Funktioniert es?

19 Fallbeispiel: Komplexe Fachanwendung im Browser Automatisierung entlastet den Fachbereich Eindeutige Definition der Testfälle Gemeinsame Sicht auf die Erwartung Schnelles Feedback und ständige Überprüfung robotframework-reports and movie\robottest.avi robotframework-reports and movie\report.html

20 Fazit Korrektheit einer nicht-ausführbaren Spezifikation ist schwer beweisbar Continuous Communication ist notwendig für agiles Vorgehen Technische Exzellenz alleine genügt nicht! 41

21 Fazit Die ausführbare Spezifikation adressiert dies auf den Ebenen Technik Zusammenarbeit Dokumentation 42

22 Tools und Frameworks

23 Setup Szenario

24 Gibt es noch Fragen? Olaf Eschenbruch Senior Consultant Mobile: