Entwurf und Prototypische Implementierung einer Data Mashup Plattform. Abschlussvortrag Projekt-INF

Transkript

1 Entwurf und Prototypische Implementierung einer Data Mashup Plattform Abschlussvortrag Projekt-INF Daniel Del Gaudio, Johannes Bohn, Nikolas Paparoditis

2 Gliederung Data Mashups Einführung Motivationsszenario Data Mashup Tool Entwurf Schichtenmodell Komponenten Implementierung Demo Fazit und zukünftige Arbeiten

3 Data Mashups Einführung Mashups: Anwendungen, die auf der Kombination bestehender Inhalte aus verschiedenen Quellen basieren Data Mashups: Mashups, die ausschließlich Datenquellen vereinen Anwendung Mashup-Variante

4 Motivationsszenario Voraussetzungen: Produktdatenbank, z.b. MySQL Feedbackquellen, z.b. Twitter Ziel: Produktfeedback über Twitter Anforderungen Mashup: Graphische Modellierung Erweiterbarkeit Daten sollen kombiniert und gefiltert werden können 4

5 Data-Mashup Tool: Entwurf

6 3-Schichtenmodell Modellierungs-Schicht Graphische Oberfläche Mashup wird vom Benutzer modelliert Transformations-Schicht Übersetzung des Mashup- Modells in ein ausführbares Format Ausführungs-Schicht Ausführung des Modells 6

7 Komponenten Client Web Server Communication Component Data Source Adapter Data Cache Workflow Engine Webservices

8 Client Web Server Communication Component Data Source Adapter Data Cache Workflow Engine Webservices

9 Client Graphische Benutzerschnittstelle Auswahl der Datenquellen und Operationen Modellierung des Mashup als Graph Basierend auf Pipes and Filters -Pattern

10 Client Web Server Communication Component Data Source Adapter Data Cache Workflow Engine Webservices

11 Kommunikations-Komponente Beliefert den Client mit Informationen über die Datenquellen Konvertiert das Mashup-Modell in eine von der Workflow-Engine ausführbare Sprache Ruft die Workflow-Engine auf

12 Client Web Server Communication Component Data Source Adapter Data Cache Workflow Engine Webservices

13 Workflow Engine Führt das ausführbare Mashup-Modell aus Orchestriert und koordiniert die Webservices Ermöglicht robuste Ausführung

14 Client Web Server Communication Component Data Source Adapter Data Cache Workflow Engine Webservices

15 Webservices Werden vom Workflow aufgerufen Führen die einzelnen Operationen des Workflows aus (Filter / Aggregation / ) Pro Knoten wird ein Webservice instanziiert

16 Client Web Server Communication Component Data Source Adapter Data Cache Workflow Engine Webservices

17 Data Source Adapter Abstrahierung der Datenquellen Beliefern die Webservices und die Kommunikations-Komponente mit Daten

18 Client Web Server Communication Component Data Source Adapter Data Cache Workflow Engine Webservices

19 Data Cache Optimierung: Zwischenspeicherung der Ergebnisse der einzelnen Webservices Ermöglicht effiziente Verarbeitung großer Datenmengen

20 Implementierung

21 Client-Seite Mashup Modellierung: Verbinden der Elemente mittels Drag & Drop Technologie: AlloyUI-Framework Graph wird als JSON-Modell gespeichert 21

22 Server-Seite Webcontainer: Apache Tomcat Workflow Engine: ApacheODE Workflow Sprache: BPEL Datenformat: JSON Data Cache: MongoDB 22

23 Kommunikations-Komponente Java Servlet Transformation des Mashup-Modells in einen ausführbaren Workflow Erstellung des BPEL-Codes per Breitensuche

24 Implementierung: Webservices Datenquellen: MySQL Twitter Datenoperationen: Filter Join 24

25 Demo 25

26 Fazit und zukünftige Arbeiten Fazit Ermöglicht graphische Mashup Modellierung Skalierbar und dynamisch durch Workflow Engine Ausblick Unterstützung paralleler Ausführung erfordert komplexere Transformation Unterstützung weiterer Ausführungsformate (CEP, Streaming Engines, ) 26

27 Fragen?