Wann lohnt sich GUI- Testautomatisierung?

Transkript

1 Wann lohnt sich GUI- Testautomatisierung? Martin Moser, Gregor Schmid Quality First Software GmbH Tel: Quality First Software GmbH

2 Überblick Hintergrund Motivation Phasen Vorteile Vorteile der GUI-Testautomatisierung der GUI-Testautomatisierung sichern Quality First Software GmbH

3 Quality First Software GmbH Gegründet 2001 Hauptprodukt: QF-Test Das Java GUI Testtool Mitarbeiter: 7 Sitz nahe München Qualität steht im Vordergrund Fokus auf Java und Testautomatisierung Mehr als 350 Kunden weltweit in allen Wirtschaftszweigen Quality First Software GmbH

4 Referenzen Quality First Software GmbH

5 Überblick Hintergrund Motivation Phasen Vorteile Vorteile der GUI-Testautomatisierung der GUI-Testautomatisierung sichern Quality First Software GmbH

6 Warum Testen? Quality First Software GmbH

7 Warum Testen? Quality First Software GmbH

8 Überblick Hintergrund Motivation Phasen der GUI-Testautomatisierung Vorteile Vorteile der GUI-Testautomatisierung sichern Quality First Software GmbH

9 Unit-Tests Definition GUI-Tests sehr wichtig, aber isolierte Subsysteme auf Klassenebene Integrationstests testen das Zusammenspiel von Subsystemen schwierig aufzusetzen GUI-Tests testen nicht das GUI, sondern das System als Ganzes über das GUI -> ein häufiges Missverständnis werden aus Sicht des Endanwenders an einem lebenden System ausgeführt Quality First Software GmbH

10 Testphasen für GUI-Tests Integrationstests Systemtests Funktionale Tests Regressionstests Load/Stress-Tests I18N/L10N-Tests (Internationalization/Localization testing) Quality First Software GmbH

11 Return On Investment (ROI) Manuell Automatisiert Imbus AG, Quality First Software GmbH 11

12 Return On Investment (ROI) Manuell Automatisiert Imbus AG, Quality First Software GmbH 12

13 Phasen des Testprozesses Testplanung Spezifikation der Testfälle Testfall Entwicklung Testfall Dokumentation Testfall Verwaltung Testfall Durchführung Verwaltung der Ergebnisse Pflege der Testfälle Quality First Software GmbH

14 Phasen mit wenig Einfluss auf den ROI Testplanung Spezifikation der Testfälle Planen der Tests Bereitstellen der Testumgebung Analyse und Beschreibung der fachlichen Testfälle Testfall Dokumentation Testplan korreliert mit Testanweisungen Aus Testfällen generierbar Testfall Verwaltung Verwaltung der Dokumente Verwaltung von Testsuiten, Skripten und Daten Format von Testsuiten, Skripten und Daten Verwaltung der Ergebnisse Manuelles Eintragen der Ergebnisse Automatische Reportgenerierung Qualität der Reports Quality First Software GmbH

15 Phasen mit hohem Einfluss auf den ROI Testfall Erstellen der Implementierung der Komplexität, Entwicklung Anweisungen für die Testfälle mit dem Bedienbarkeit des Tools, Tester Testtool Möglichkeiten zur Wiederverwendung Test Ausführung Pflege der Testfälle Quality First Software GmbH

16 Phasen mit hohem Einfluss auf den ROI Testfall Entwicklung Erstellen der Anweisungen für die Tester Implementierung der Testfälle mit dem Testtool Komplexität, Bedienbarkeit des Tools, Möglichkeiten zur Wiederverwendung Test Langsam, hohe Kosten Automatisch, schnell, Zuverlässigkeit des Ausführung für Personal und optimale Ausnutzung Testtools bei der Hardware der Hardware Testdurchführung Quality First Software GmbH

17 Phasen mit hohem Einfluss auf den ROI Erstellen der Anweisungen für die Tester Implementierung der Testfälle mit dem Testtool Komplexität, Bedienbarkeit des Tools, Möglichkeiten zur Wiederverwendung Test Ausführung Langsam, hohe Kosten für Personal und Hardware Automatisch, schnell, optimale Ausnutzung der Hardware Zuverlässigkeit des Testtools bei der Testdurchführung Anpassung der Anweisungen nur nach fundamentalen Änderungen Anpassung der Testfälle an die Veränderungen im GUI Qualität der Wiedererkennung, Anpassungsfähigkeit an verändertes GUI, Modularisierung Quality First Software GmbH

18 Plattformübergreifende Testautomatisierung Testfall Entwicklung Erstellen der Anweisungen für die Tester Implementierung der Testfälle mit dem Testtool Anpassung der Testfälle, die plattformabhängig sind. Bereitstellung plattformspezifischer Testdaten Test Ausführung Langsam, hohe Kosten für Personal und Hardware Automatisch, schnell, optimale Ausnutzung der Hardware Abdeckung mehrerer Plattformen Anpassung der Anweisungen nur nach fundamentalen Änderungen Anpassung der Testfälle an die Veränderungen im GUI Änderungen im GUI nur einmal nachziehen Quality First Software GmbH

19 Überblick Hintergrund Motivation Phasen der GUI-Testautomatisierung Vorteile der GUI-Testautomatisierung Vorteile sichern Quality First Software GmbH

20 Entscheidend für den ROI Wiederverwendbarkeit Wiederverwendbarkeit innerhalb mehrerer Tests Modularisierung Häufigkeit der Regressionstests Stabilität der Tests bei Systemveränderung Einsatz auf mehreren Plattformen Tests verschiedener Produktversionen, -linien Wiederverwendung der funktionalen Tests, z.b. oder zur Systemüberwachung durch für Lasttests Quality First Software GmbH

21 Vorteile von Automatisierung Ermöglicht Regressiontests -> häufigere und schnellere Testausführung -> kürzere Entwicklungszyklen Höhere Zuverlässigkeit (menschlicher Faktor) Reproduzierbare Ergebnisse Unbeaufsichtigte Testausführung ohne Benutzerinteraktion Motivation für manuelle Tester: Konzentration auf Testszenarien anstatt langweiliger Routinetests schnellerer Markteintritt höhere Produktqualität höhere Zuverlässigkeit schwierige Quality First Software GmbH

22 Überblick Hintergrund Motivation Phasen der GUI-Testautomatisierung Vorteile der GUI-Testautomatisierung Vorteile sichern Quality First Software GmbH

23 Auswahl des Testtools Stabiles und verlässliches Capture/Replay? Erkennung aller Arten von GUI-Elementen (auch komplexe Elemente wie Bäume oder Tabellen)? Modularisierung von Tests möglich? Parametrisierung von Testprozeduren möglich? Plattformübergreifend? Werden alle Test-Plattformen unterstützt? Integrationsmechanismus mit existierenden Test- Execution/Management-Tools? L10N-Tests möglich? Quality First Software GmbH

24 Wie werden GUI-Tests robust? Kommunikation zwischen Testern und Entwicklern Erstellung wiederverwendbarer Testprozeduren Erstellung spezifischer Testbibliotheken für Softwarekomponenten Entwicklungszyklus der Testautomatisierung parallel oder ähnlich dem Softwareentwicklungszyklus Quality First Software GmbH

25 Verfügbare Automatisierungstools Windows Unix Web J Java/Swing J ava/swt QuickTest Professional (Mercury/HP, aka WinRunner), XDE Functional Tester (IBM Rational, aka Robot), Silktest (Borland), TestPartner, QARun (Compuware) etc. XRunner (Mercury/HP), XDE Functional Tester, Silktest, Squish (Froglogic for QT and XView). Diverse kommerzielle Capture/Replay Tools in allen Preiskategorien, ebenso diverse Open Source Tools Open Source: Abbot, JFCUnit, Marathon sehr entwicklerlastig Windows-basierte Testtools bieten inzwischen Java Plugins für Swing. QF-Test (Quality First Software GmbH) Abbot, Windows-basierte Tools mit Einschränkungen bei Objekterkennung. QF-Test (Quality First Software GmbH) Quality First Software GmbH

26 Wann lohnt sich GUI- Testautomatisierung? Einsatz in richtigen Phasen Modularisierung und Wiederverwendung Einsatz eines geeigneten Tools Martin Moser, Gregor Schmid Quality First Software GmbH Tel: Quality First Software GmbH