Upload File

big data projekte - best practices aus der praxis

21
Big data-Projekte: Best practices aus der Praxis Dr. Kathrin Spreyer Big Data Engineer JAX / Big data days Mainz, 14.05.2014

Upload: inovex-gmbh

Post on 20-Aug-2015

210 views

Category:

Technology


2 download

Report

Tags:

TRANSCRIPT

Page 1: Big Data Projekte - Best Practices aus der Praxis

Big data-Projekte:Best practices aus der Praxis

Dr. Kathrin SpreyerBig Data Engineer

JAX / Big data daysMainz, 14.05.2014

Page 2: Big Data Projekte - Best Practices aus der Praxis

Agenda

1. Projekte

2. Big

3. Datenimport

4. Datenschutz

5. Testen

6. Tooling

7. Agilität

2

Page 3: Big Data Projekte - Best Practices aus der Praxis

Agenda

1. Projekte

2. Big

3. Datenimport

4. Datenschutz

5. Testen

6. Tooling

7. Agilität

2

Page 4: Big Data Projekte - Best Practices aus der Praxis

Zwei Projekte

• 1&1

• 2009-2013

• Web-Analytics

• ProsiebenSat.1 Digital (PSD)

• 2013-heute

• Integration von Reichweiten-, Vermarktungserlös- und Transaktionsdaten

3

Page 5: Big Data Projekte - Best Practices aus der Praxis

Architektur 1&1

4

Page 6: Big Data Projekte - Best Practices aus der Praxis

Architektur PSD

5

| 20. März 2013 | ProSiebenSat.1 Digital GmbH | Business Intelligence | Jürgen Popp Page 18

Lösungsansatz Hybrides System aus relationaler Datenbank und Hadoop Cluster

Page 7: Big Data Projekte - Best Practices aus der Praxis

Was heißt “Big?”

6

3V

Page 8: Big Data Projekte - Best Practices aus der Praxis

Was heißt “Big?”

6

3V

Parallelisierung

Skalierbarkeit

Page 9: Big Data Projekte - Best Practices aus der Praxis

Datenimport

7

Koordination m. Quellsystemen

Zwischenspeicherung

Skalierbarer Transport

(N)RT

Page 10: Big Data Projekte - Best Practices aus der Praxis

Datenschutz

8

Computersicherheit

Multi-Tenancy

Page 11: Big Data Projekte - Best Practices aus der Praxis

Datenschutz

8

Computersicherheit

Multi-Tenancy

PII

Anonymisierung

Nutzen vs. Anonymität

Page 12: Big Data Projekte - Best Practices aus der Praxis

Testen

9

KorrektheitRobustheitPerformanz

Page 13: Big Data Projekte - Best Practices aus der Praxis

Testen

9

KorrektheitRobustheitPerformanz

Regressions-/Akzeptanztests

Page 14: Big Data Projekte - Best Practices aus der Praxis

Testen

9

Datenmenge

KorrektheitRobustheitPerformanz

Testdauer

Regressions-/Akzeptanztests

Wartbarkeit (Fachseite)

Page 15: Big Data Projekte - Best Practices aus der Praxis

Tooling

10

Page 16: Big Data Projekte - Best Practices aus der Praxis

Tooling

10

Reifegrad

Downstream-AnforderungenDatenmodellierungRT?Nutzerakzeptanz

Page 17: Big Data Projekte - Best Practices aus der Praxis

Agilität

11

REfactoring mit neuen Technologien

Iterativinkrementell

Page 18: Big Data Projekte - Best Practices aus der Praxis

Agilität

11

Daten-Exploration

REfactoring mit neuen Technologien

Iterativinkrementell

Anforderungen erwachsen aus Daten

Page 19: Big Data Projekte - Best Practices aus der Praxis

Und jetzt?

12

Luecken

Junge Technologien

Page 20: Big Data Projekte - Best Practices aus der Praxis

inovex Academy

1. U.a. Hadoop-Entwickler-Training

2. 1-3 Tage

3. Inhouse oder offen

4. Offene Hadoop-Trainings 2014:

18.-20. März (Köln)24.-26. Juni (München)18.-20. November (Karlsruhe)

www.inovex.de/trainings/offene-trainings/

13

http://www.inovex.de/trainings/offene-trainings/hadoop-powerworkshop/
http://www.inovex.de/trainings/offene-trainings/hadoop-powerworkshop/
Page 21: Big Data Projekte - Best Practices aus der Praxis

14

Fragen?Meinungen?


uni-mainz.de€¦ · Web viewVergangene Projekte aus dem Themenfeld Lern- und Bildungsprozesse. Pluriliteracies. for. Deeper. Learning: Sustainable. Teaching . for. Engagement, Adjustment

Aus der Praxis der ESP-Arbeit ELP practice Based on reports by Austrian pilot teachers

Fachveranstaltung Digital Marketing – Die zukunftsgerichtete Marketingorganisation – Learnings aus der Praxis – Markus Dobbelfeld

E-Learning Beispiele aus der virtuellen Welt · 3. E-Learning Projekte „Grundwissen“ in den Kernfächern Blended Learning Module exemplarisch in zwei Kernfächern: „Kernfach

Kontextbasierende Systeme in der Praxis - Ansätze aus der ...nexus.uni-stuttgart.de/i-kolloq05/presentations/praesentation_rupp.pdf · Kontextbasierende Systeme in der Praxis - Ansätze

Blended Learning: Zur Methode des Chat – Erfahrungen aus der Praxis Prof. Dr. Gudrun Maierhof Blended Learning: Zur Methode des Chat – Erfahrungen aus

TA-PROJEKTE - TATuP · TA-PROJEKTE Technikfolgenabschätzung – Theorie und Praxis 21. Jg., Heft 3, Dezember 2012 Seite 75 of xenotransplantation as an issue by legitimiz-ing and

Smard Flyer DruckFlyeralarm - CORDIS · geschichten aus der Praxis zum Thema Markteinführung und Kommerzialisierung (z.B. Zugang zu Finanzierung, Geschäfts- ... Semantic technologies

ArdPicProg - Maker Projekte

Beschreibung der Standardversion und Expertenzus atze · Kapitel 1 KISSsoft - Schwerpunkte 1.1 Aus der Praxis f ur die Praxis KISSsoft wurde urspr unglich 1 von der Getriebebau-Firma

Gamification Patrick Smit. Agenda Definition und Geschichte Octalysis: Gamification Framework Aktuelle Bedeutung Gamification Beispiele aus der Praxis

Su Kahumbu - Bio-Landbau in der Praxis: Beispiele aus Kenia

Product Lifecycle Management aus der Praxis eines Dienstleisters … · 2014-03-06 · strategische Partnerschaften Automotive GM Supplier of the Year for exceeding expectations;

10 Projekte von ovos

SOFTWARE ENGINEERING 2010 - uni-paderborn.de · Die Software Engineering 2010 richtet sich sowohl an Softwareentwickler, -anwender und Entscheidungsträger aus der industriellen Praxis

Summer Academy 2011 - Projekte

Office 365 Einsatzszenarien aus der Praxis

Fliesenbau Katalog Projekte

Projekte „Bendros iniciatyvos

Tagungsbericht - ufz.de · gie, ökologie, Toxikologie, Modellentwicklung, Fernerkundung und viele weitere zu den Diskussionen bei. Auch Vertreter aus Praxis und Wirtschaft präsentierten

Praxis-Fällestatistik – Einstieg in die Erforschung der ... · Einstieg in die Erforschung der Komplexität der Allgemeinmedizin Aus der Korrespondenz des Praxisforschers Robert

Neos Projekte

Big Data in der Praxis: Smart Traffic und Visualisierung ... · Launch / Go-Live with students at Sapphire 2013 in Orlando / Florida Database of Dreams (2) 03.03.2016 Projekte wurden

BUSINESS PARTNER PACKAGES · z.B. Data Warehouses, Hadoop und Kafka - aus? Big Data für das Auge –Wie grafische Tools und Assistenten Big Data Projekte beschleunigen und Daten

PLANNING, ANALYTICS UND REPORTING … Analytics und... · planning, analytics und reporting – lÖsungsbeispiele aus der praxis auf basis der ibm bi produktpalette stuttgart, 9

Aus der Praxis, für die Praxis - go.veeam.com der Praxis für die...Category Management DC Central Europe, ... 1x FUJITSU Server PRIMERGY RX2540 –Backup-Server 2 x FUJITSU Storage

Web Performance – die effektivsten Techniken aus der Praxis

Verpackungen aus biobasierten Kunststoffen Die Praxis€¦ · Biobased Chemicals & Plastics since 1992. Business & Market Development ... High growth of plastics eating up carbon

HandsOn Cloud, Infrastruktur, Architektur, Solution Design SharePoint for Internet Sites: Erfahrung aus der Praxis

Community-Kampagnen mit Social Media: Erfolgsfaktoren aus der Praxis

Know how aus der Praxis - aformatik

Praxis - s3-us-west-1.amazonaws.com · 5 SURFACTANTS: AND Praxis PraxisPraxis Praxis Praxis Praxis When Praxis. ® with a low-volume sprayer, spray the weeds

Stream Praxis: E-Learning live und on demand - der Tübinger … · 2009-04-03  · • Projekte und Förderung – 1999-2002: Zukunftsoffensive Junge Generation - Baden-Württemberg

65456 · montenegro figueroa, gloria aus le aus aus aus aus aus aus sines aus aus aus sl +++ aus aus aus aus sr monterola abregÚ, wuilian morales ramtrez, edyson mulder bedoya, mauricio

Security & Safety Engineering Bachelor Ausgewählte ... · 1.2 kod 01.10.2013 Ausgewählte Projekte aus dem Bereich Informationssicherheit Kennnummer WPV 28926 ... (Präsentation)