Big Data Mythen und Fakten

Transkript

1 Big Data Mythen und Fakten Mario Meir-Huber Research Analyst, IDC Copyright IDC. Reproduction is forbidden unless authorized. All rights reserved.

2 About me Research IDC Author verschiedener IT-Fachbücher (Cloud Computing) Vortragender auf verschiedenen Konferenzen (Cloud, Big Data) mmeir-huber@idc.com Xing: Mario Meir-Huber Twitter: mario_mh 2

3 Mythos #1 Big Data ist nur Storage 3

4 Grundlagen Variety Volume Velocity Value 4

5 Big Data ist Multidisziplinär Source: IDC

6 Herausforderungen Speicherperformanz Unterschiedliche Speichersysteme Daten-partitionierung und Gleichzeitigkeit Daten für eine Analyse verschieben 6

7 Facebook Big Data bei Facebook: 100+ Petabytes disk Storage im größten Hadoop Cluster 100 Petabytes sind100,000 neue 1TB Festplatten! 105 Terabytes werden alle 30 Minuten via Hive gescannt 500 Terabytes kommen jeden Tag hinzu 7

8 Big Data Markt 2011 Software 30% Services 41% Networking 3% Storage 12% Servers 14% Source: IDC Report #

9 Aufwand für Datenmanagement Kein Aufwand 2% Sehr gering 4% Zu groß 7% Sehr groß 17% Eher gering 36% Eher groß 34% 9

10 Datenanalyse - Intervalle Echtzeit 7% Stunden 5% Längere Intervalle 27% Wöchentlich 16% Täglich 45% 10

11 Wachstum pro Segment bis 2015 in % 70 Wachstum Wachstum Server Storage Networking Software Services 11

12 Mythos #2 Alle Daten sind in einer Datenbank. 12

13 CAP Theorem Consistency RDBMS NoSQL Partition Tolerance Availability Unmöglich 13

14 Herausforderungen Verschiedene Datenbanken für verschiedene Anforderungen Variety : Daten in verschiedenen Formaten Facebook verwendet Cassandra, MySQL und Hbase Kein Standard für NoSQL Datenbanken 14

15 Verschiedene NoSQL Datenbanken Cellular Databases Graph Databases Key-Value Stores Simple Key-Value Stores Rich Key-Value Stores Document Key-Value Stores Object-Oriented DBMS Persistent Cache XML Databases Source: IDC Report #

16 Myth #3 Big Data und Cloud das geht nicht! 16

17 TimesMachine 17

18 Cloud-Enabled Big Data Kostengünstiger Datenspeicher Data Analysis muss nicht unbedingt immer notwendig sein, z.b. nur 1x am Tag Einfache Services E.g. Hadoop on Azure, Elastic MapReduce 18

19 Mythos #4 Analytics ist ein Kostencenter, nicht ein Profitcenter 19

20 IDC Opinion IDC erwartet das Big Data von 3.2$ in 2010 zu 16.9$ in 2012 wachsen wird Unternehmen, welche Big Data bereits heute einsetzen, gewinnen Wettbewerbsvorteile Hoher ROI Möglichkeit, neue Strategien und Produkte zu entwickeln Zwei große Kategorien für Big Data: Sachen effektiver erledigen und Geld sparen Den Unternehmenswert langfristig steigern 20

21 Ansätze für Technologieanbieter Man kann auf jeden Level von Big Data Umsätze generieren Zum Beispiel über Services, Software, Hardware,... Von HPC Unternehmen lernen High Performance Computing ist für Big Data sehr wichtig Nicht nur auf Analytics konzentrieren! Analytics ist sehr wichtig, jedoch nicht der einzige Bereich für Big Data! 21

22 Empfehlungen für IT Führungskräfte Mängel bei Datenqualität beheben Big Data Strategie entwerfen VORSICHT! Big Data wird oft für Marketing verwendet. Implementierungsplan für: Hardware (Server, Storage, Networking) Verschiedene Technologien am Big Data Stack beachten: Daten sammeln, speichern, verfügbar machen, analysieren, verwalten und überwachen 22

23 Mythos #5 Warum sollte ich von Big Data betroffen sein? 23

24 Big Data Case: US Elections 24

25 Sprachbarriere mit Big Data Forschungsprojekt: Vortrag einer Person in dessen Sprache Live Übersetzung in eine andere Sprache Ausgabe über die Stimme der Person der Ausgangssprache 25

26 Danke Mario Meir-Huber Copyright IDC. Reproduction is forbidden unless authorized. All rights reserved.