Prozessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien. Berlin, Mai 2013

Transkript

1 Prozessoptimierung in der Markt- und Medienforschung bei der Deutschen Welle (DW) mit Big Data Technologien Berlin, Mai 2013

2 The unbelievable Machine Company? The unbelievable Machine Company 2

3 Spezialisiert in WEB OPERATIONS CLOUD COMPUTING BIG DATA a u s B E R L I N The unbelievable Machine Company 3

4 Fakten zu *um Gegründet Mitarbeiter > 100 Geschäftskunden Rechenzentren in Berlin und Amsterdam The unbelievable Machine Company 4

5 Florian Dohmann Data Scientist bei *um The unbelievable Machine Company 5

6 *umdatasciencelab Course Room Big Data verstehen Business & Technik Incubator Erste Schritte zur eigenen Big Data Strategie Production Big Data zum Fliegen bringen! The unbelievable Machine Company 6

7 Unser einzigartiges IT-Framework: *umdatacore R Statistische Verfahren numpy/scipy, NLTK et al. Machine Learning & NLP Apache Nutch Web Crawler MongoDB Zentraler Document Store Apache Solr Datenexploration & Filter Hadoop & Co. Parallel Job Execution Python/Java Software Framework HTML5/CSS/JavaScript Frontend / Visualisierung The unbelievable Machine Company 7

8 Motivation des Projekts mit der DW Täglich neue Web-Videos und Formate u.a. für das DW-Mediacenter Veröffentlichung der Videos auf wichtigen Web-Video-Plattformen wie Youtube, MyVideo oder Daily Motion Aktuell mehr als Videos Zwei zentrale Problemstellungen: 1. Prozess des Einstellens der Videos auf den Plattformen weder automatisiert noch standardisiert (dauert lange und ist fehleranfällig) 2. Kein zentraler Einblick in plattformübergreifende Kennzahlen zu den Videos wie Nutzungszahlen, Likes oder Anzahl von Kommentaren und Bewertungen The unbelievable Machine Company 8

9 Lösung 1 Automatisierte, standardisierte Distribution aller Videos über ein zentrales Media-Asset Management-System 2 EIN Interface mit ALLEN Abruf- und Nutzungszahlen ALLER Videos Auf EINEN Blick.... für die Markt- und Medienforschung der DW The unbelievable Machine Company 9

10 Typisch deutsch im Mediacenter der DW The unbelievable Machine Company 10

11 Typisch deutsch auf Youtube The unbelievable Machine Company 11

12 Typisch deutsch auf DailyMotion The unbelievable Machine Company 12

13 BIRT - REPORT The unbelievable Machine Company 13

14 Wie funktioniert s? The unbelievable Machine Company 14

15 Teil 1: Media-Asset-Management-System Entwicklung von Konnektoren für das MAMS zur Anbindung der APIs relevanter Video-Plattformen Importieren und Konvertieren der Videos in *umcloud Entnahme der Video-Meta-Daten wie Titel oder Format aus RSS- Feed der DW Standardisierung aller Meta-Daten und Veröffentlichung der optimierten Videos auf den Channels The unbelievable Machine Company 15

16 Teil 2: Zentrales webbasiertes Dashboard Big-Data-Lösung auf Basis von Hadoop und HBase System, das stündlich Abruf- und Nutzungszahlen aller Videos unterschiedlicher Plattformen importiert, normalisiert, aggregiert und die Daten den Mitarbeitern der DW browserbasiert zur Verfügung stellt Regelmäßige Map/Reduce-Jobs für übergreifende Auswertungen Zwei weitere Reports für RussiaToday und France24 auf Youtube Zentrale Lösungsbausteine: Hadoop zur parallelen Job-Ausführung auf aktuell 6 Knoten HBase als Datenbank (Daten verteilt im Cluster) Machine-Learning Classifier zur automatisierten Gruppen- und Sendungsformatzuordnung The unbelievable Machine Company 16

17 Wichtige Fakten Sammlung der Daten seit August 2011 Erstes Hadoop/HBase-Produktivsystem in Deutschland Cluster beliebig erweiterbar und Datenbank damit frei skalierbar Anbindung weiterer Channels problemlos möglich Reports werden aktuell monatlich erzeugt Bis heute tracken wir stündlich ~ Videos auf 25 Kanälen in 12 Sprachen Das entspricht ~ 1 Milliarde Datensätze! The unbelievable Machine Company 17

18 BIRT - REPORT The unbelievable Machine Company 18

19 Weiteres Potenzial? The unbelievable Machine Company 19

20 Wir haben einen unique data pool Tiefergehende Analysen Statistische & graphische Auswertung der Videodaten auf Stunden-, Tages- und Wochenbasis.. Clustering von Abrufmustern Mustererkennung im Abrufverhalten einzelner Videos Analyse zeitlicher Muster ( Welches Video ist wann am beliebtesten?).. Korrelation / Impact Zwischen TV-Sendeplan und Webnutzung Zwischen News / Tagesgeschehen und Webnutzung The unbelievable Machine Company 20

21 The unbelievable Machine Company GmbH Grolmanstr Berlin Kontakt: Florian Dohmann Tel Mobile The unbelievable Machine Company 21