Mobile App Testing - Mit der richtigen Strategie zum Erfolg

Transkript

1 Mobile App Testing - Mit der richtigen Strategie zum Erfolg Thomas Rieger bbv Software Services AG Q-Event 2015 Erfolgsfaktor Testing 1

2 Aus dem Alltag eines Mobile App Users 2

3 Zu meiner Person Thomas Rieger, wohnhaft in Schönbühl bei Bern Seit 4 Jahren Testmanager bei bbv Software Services in Bern Betriebswirtschaft und Wirtschaftsinformatik studiert Rund 12 Jahre Erfahrung im Testing-Umfeld als Testengineer und Testmanager Leitung bbv Kompetenz-Center Mobile App Testing Hobby: Tennis 3

4 Agenda Herausforderungen im Mobile App Testing Wichtige Fragen zu Beginn eine Mobile App Projekts Testumgebungen und Tools Fragen 4

5 Herausforderungen im Mobile App Testing 5

6 Gerätevielfalt ios Quelle: Quelle: OpenSignal August

7 Gerätevielfalt Android Quelle: OpenSignal August 2015 Quelle: OpenSignal August

8 Die optimale Geräteabdeckung Quelle: Perfecto Mobile, Device Coverage Deutschland Stand: August

9 Betriebssystem Vielfalt ios Android 5.1 Lollipop 5.0 Lollipop ios 8 ios 7 frühere Versionen 4.4 Kitkat 4.3 Jelly Bean 4.2 Jelly Bean 4.1 Jelly Bean ICS Quelle: OpenSignal, August Gingerbread 2.2 Froyo 9

10 Verschiedene Mobile App Architekturen Native App Web App Hybrid Apps Code Portabilität Gering Hoch Hoch Hardware Zugriff Hoch Gering Mittel Performanz Hoch Mittel Mittel Entwicklungskosten Hoch Gering Mittel 10

11 Unterschiedliche Verbindungstypen Unterschiedliche Netzbetreiber Protokollumwandlung Netzwerkwechsel Netzwerkabbruch Unterschiedliche Bandbreiten 11

12 Mobile App Testumgebungen und Tools Testumgebungs-Varianten Testautomatisierung 12

13 Bitte nicht so 13

14 Einsatz von Desktop Browsern Für Mobile Web Apps geeignet Günstige Variante Verschiedene Gerätetypen simulieren Gute Debugging Möglichkeiten Ladeverhalten bei unterschiedlichen Verbindungen simulieren 14

15 Einsatz von Emulatoren/Simulatoren Virtuelle Nachbildung von Endgeräten Günstige Variante Funktionale Tests in früher Testphase Kein vollständiger Ersatz für physische Geräte Keine Aussage über Performance möglich 15

16 Aufbau eines eigenen Gerätelabors Hohe Kosten je nach Ausstattung Realitätsnahe Tests Einsatz von Geräteverwaltungs- Software empfohlen Open Device Labs auch in der Schweiz 16

17 Einsatz einer Device Cloud Fernzugriff auf echte Endgeräte oder Emulatoren Sofort einsatzbereit Capture / Replay Funktion Interrupt Tests möglich Verschiedene Gerätestandorte wählbar Bezahlung nach Dauer der Nutzung Grosse Anzahl Geräte/OS Kombinationen 17

18 Crowd Testing Unvoreingenommene Tester Grosse Gerätevielfalt Zielgruppen können definiert werden Ad hoc verfügbar Gut geeignet für Beta Tests Security / Datenschutz beachten Quelle: Beispiel von Testbird.de 18

19 Überfordert beim manuellen App Testing 19

20 Automatisieren Sie Ihre Tests! Kürzere Testzyklen Cross-Plattform Testing möglich Zeitliche Unabhängigkeit bei der Testausführung Freie Testressourcen für andere Testaktivitäten Testscripts mit jeder Version nachziehen Anbindung an Device Cloud und Integration in CI Umgebung Toolevaluation Führende Mobile App Test Automatisierungs-Tools: 20

21 Zusammenfassung Definieren Sie zu testende Geräte- und Betriebssystem-Kombinationen. Die Anzahl Testfälle können somit erheblich reduziert werden. Testen Sie sowohl auf Emulatoren als auch auf physischen Endgeräten. Führen Sie vor der Einführung einen Beta-Test mit «richtigen» Endbenutzern durch, evtl. mit Hilfe der Crowd. Automatisieren Sie die funktionalen GUI-Tests und führen Sie diese mit jedem Sprint aus. Optimaler weise integrieren Sie die Testscripts in eine CI Umgebung. 21

22 Zufriedene Mobile App User! Merci 22

23 Fragen 23

24 MAKING VISIONS WORK. Thomas Rieger bbv Software Services AG Sulgenauweg Bern 23 Telefon bbv Software Services AG Mobile App Testing - Mit der richtigen Strategie zum Erfolg 24

25 Kontakt bbv Software Services berät Sie gerne bei Ihren Mobile App Vorhaben, von der Idee bis zur Einführung. Treten Sie mit uns in Kontakt! Interessiert an der Cross-Plattform Entwicklung mit Xamarin? bbv Academy bietet demnächst eine 2-tägige Schulung zu diesem Thema an. 25

26 Quellen und Links Device Clouds: (nur Emulator Cloud) Mobile App Testautomatisierung: (Open Source Mobile Test Framework) (Commercial) Mobile Security Testing: 26