Echtzeitanomalieerkennung für Internetdienste (Abschlussvortrag)

Transkript

1 Lehrstuhl für Netzarchitekturen und Netzdienste Institut für Informatik Technische Universität München Echtzeitanomalieerkennung für Internetdienste (Abschlussvortrag) Markus Sieber Betreuer: Ali Fessi, Heiko Niedermayer

2 Motivation Erkennung von Problemen und ihren Ursachen bei Internetdiensten schwer: Konkrete Performancewerte verteilt Keine Referenzwerte vorhanden Viele Daten, die für einen Menschen nur schwer im Blick zu halten sind Dienste sollen aber immer erreichbar sein Anwender nutzen andere Services wenn etwas nicht funktioniert SLA schreiben Hochverfügbarkeit vor Anomalieerkennung für schnelle Erkennung von Problemen 2

3 Agenda Szenario Entwickelte Infrastruktur Anwendung Anomalieerkennung Cache-Miss-Rate Schlechte Anfrageverteilung Zusammenfassung 3

4 Szenario Anhand einer bestehenden Infrastruktur sollen in Echtzeit Anomalien erkannt werden Auslesen der Performancewerte von ausgewählten Diensten Anwendung von statistischen Methoden, um in diesen Daten Anomalien zu erkennen 4

5 Szenario Infrastruktur der BörseGo AG steht zur Verf. HTTP Loadbalancer: Varnish HTTP Server: Apache Datenbanken: Mysql 5

6 Entwickelte Infrastruktur Performancewerte werden von den Diensten an Monitoring-Server gesendet Alle Werte zentral an einer Stelle Monitoring-Server speichert Werte Monitoring-Server setzt Erkennungsalgorithmen um 6

7 7

8 Cache-Miss-Rate auf dem Loadbalancer 8

9 Zu starke Abweichungen der Cache-Miss-Rate vom Regelbetrieb sind kritisch, da Webserver mehr Last bekommen Frühzeitige Erkennung von zu starken Abweichungen, um die Ursache noch zurückführen zu können (Softwareupdate) Erkennung, um Ursprung von Lastproblemen eingrenzen zu können 9

10 : Softwareupdate, welches das Cache- Verhalten der Seiten änderte Behebung erst am Cache-Miss-Rate einer normalen Woche und der Woche vom übereinander gelegt 10

11 Anomalie durch zu wenig Speicher auf LB: Anstieg auf fast 100% Cache-Miss-Rate 11

12 Anomalieerkennung für Cache-Miss-Rate Wochentag- und Tageszeitabh. Schwankungen Flexibler Basiswert (nach Optimierungen muss Verfahren konvergieren) Gewisse Schankungen sind normal, bei zu hohen: Alarm Geeignetes Verfahren: Holt-Winter 12

13 Einige sehr starke Ausreißer bereits erkennbar 13 Anwendung Anomalieerkennung Holt-Winter-Verfahren für Prognose Abweichung des Realwerts von der Prognose Starke kurzzeitige Schwankungen der Werte

14 Problem: kurze Schwankungen haben starke Wirkungen Lösung: weiteres Verfahren, was kurze Herausreißer schwächer gewichtet Umgesetzt: Gleitender Durchschnitt Kummulative Summe 14

15 Nachbearbeitung mit CUSUM Anomalien deutlich erkennbar 15

16 Vergleich der realen Werte mit Holt-Winter- Prognose stellen allein nicht zufrieden Anwendung von gleitendem Durchschnitt verbesserte Ergebnis ein wenig Durch Anwendung von CUSUM werden Anomalien klar ablesbar 16

17 Schlechte Anfrageverteilung Eingehende Anfragen werden vom Loadbalancer falls mögl. aus dem Cache beantwortet. Andernfalls (Cache-Miss) wird die Anfrage an einen der Webserver geleitet Alle Webserver sollten die gleiche Menge an Anfragen erhalten. Anomalieerkennung, um zu überprüfen, ob diese Bedingung eingehalten wird 17

18 Die Zugriffswerte der Webserver werden über Stichprobenvarianz auf einen Wert reduziert Stichprobenvarianz der Webserveranfragen/sek Die Stichprobenvarianz ist ein Maß für die Streuung von Daten 18

19 Zur Nachbearbeitung wird ebenfalls CUSUM verwendet Viele Anomalien werden sichtbar Grenze zur Erkennung über Parameter von CUSUM steuerbar 19

20 Anomalie am 12.4.: Netzwerkausfall führt als Nebeneffekt zu einer ungleichen Verteilung der Anfragen 20

21 Details zur Anomalie am 2. April: Anwendung Anomalieerkennung Zugriffe auf einen Webserver gehen plötzlich stark in die Höhe, während die Anderen ein ähnliches Niveau behalten Ursache: Unbekannt, denkbar wäre ein interner Job der nur genau einen Webserver nutzte 21

22 CUSUM ebenso gute Ergänzung wie bei Anomalieerkennung für Cache-Miss-Rate Anomalien werden deutlich sichtbar Viele der so erkannten Anomalie entstehen als Beiprodukt von größeren Ausfällen 22

23 Zusammenfassung Monitoring Infrastruktur zum Speichern/Auslesen von Performancewerten Praktische Umsetzung einiger Anomalieerkennungsverfahren Evaluation dieser mit aufgezeichneten Performancewerten Frühzeitige Erkennung von vorgestellten Problemen nun möglich 23

24 Zusammenfassung Mit einfachen Verfahren ließen sich in einigen Anwendungsfällen gute Ergebnisse erzielen Einige Verfahren erzielten durch Verbindung mit CUSUM deutlich bessere Ergebnisse Für viele Anomalien konnte keine Ursache gefunden werden (insbesondere Netzwerk) 24

25 Vielen Dank für die Aufmerksamkeit! 25