heterogene daten blitzschnell analysiert - home: doag e.v. · e-node e-node add nodes t ....

© COPYRIGHT 2015 MARKLOGIC CORPORATION. ALL RIGHTS RESERVED.

Heterogene Daten blitzschnell analysiert Jochen Jörg, Principle Consultant , MarkLogic GmbH

Agiles Daten-Management mit einer Enterprise NoSQL Datenbank

© COPYRIGHT 2015 MARKLOGIC CORPORATION. ALL RIGHTS RESERVED. SLIDE: 2

Agenda §  MarkLogic Enterprise NoSQL – Grundlagen

§  Beispielanwendung: Aggregation und Analyse heterogener Daten

§  Beispielanwendung: Architektur und Daten-Management

§  MarkLogic Enterprise NoSQL – Multi Model Ansatz


MarkLogic Enterprise NoSQL Grundlagen


Daten-Landschaft

Information Continuum

RDBMS

semi-strukturiert strukturiert

Freier Text Relational

Hierarchische Beziehugen Tweets

Emails Dokumente Social Media

XML Metadaten Content

Geo-Daten

JSON

Graphen

Search Engine

unstrukturiert


MarkLogic – Enterprise NoSQL Datenbank

Datenbank Suche

Plattform

Multi Model Datenbank – Dokumente und Beziehungen (Semantics)

Volltext-Suche, Queries, Analysen

Plattform (flexible APIs)


MarkLogic – Dokumentenorientierte Datenbank §  JSON, XML, Text, Binär (PDF, Bilder, Videos)

§  Dokument == Informations-Container

§  Granularer Zugriff

–  Lesend, schreibend, transaktional und konsistent

–  Suche, Query, Analyse

–  Unterschiedliche Ausgabeformate („on the fly“)

§  Schema-Agnostisch à Flexibilität in der Datenschicht


Dokument als Informations-Container <SAR>

<title> Suspicious vehicle… Suspicious vehicle near airport <date> <type> <threat>

2012-‐11-‐12Z observation/surveillance

<type> suspicious activity <category> suspicious vehicle

<location> <lat> 37.497075 <long> -‐122.363319

<subject> IRIID <subject> IRIID

<predicate> <predicate>

isa value

<triple> <triple>

<object> license-‐plate <object> ABC 123

<description> A blue van… A blue van with license plate ABC 123 was observed parked behind the airport sign…

</title> </date>

</type>

</type> </category>

</threat>

</lat> </long>

</location>

</subject> </subject>

</predicate> </predicate>

</object> </object>

</description> </SAR>

</triple> </triple>

Metadaten, Daten, Beziehungen und Inhalte


Dokument als Informations-Container <SAR>

<title>

Suspicious vehicle…

<date>

2012-‐11-‐12Z

<type>

<threat>

suspicious activity <category>

suspicious vehicle

<location>

<lat>

37.497075

<long>

-‐122.363319

<description>

A blue van…

<subject> <subject>

<predicate>

<object> IRIID

IRIID

isa

value

license-‐plate

ABC 123 <predicate>

<object>

observation/surveillance <type>

<triple>

<triple>

Unstructured full-text

Geospatial Values


3 Make changes when data changes - enable agile development

1 Start with complex, rapidly changing data 2

Load data “as-is” - model and transform data over time

Daten-Integration mit MarkLogic

November SU MO TU WE TH FR SA

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30


Beispielanwendung: Aggregation und Analyse heterogener

Daten


Showcase: Fußball Weltmeisterschaft 2014 §  Erstellung einer datenzentrischer Applikation auf Basis

einer flexiblen Datenschicht.

§  Konsolidierung und Analyse heterogener Sport-Daten

–  Spieler

–  Mannschaften

–  Spiel-Partien


Live - Demo


Beispielanwendung: Architektur und Daten-Management


Frameworks & Tools §  MarkLogic NoSQL Platform Search & Store

§  Spring MVC, Spring Boot

§  Thymeleaf (Templating)

§  Gradle: Build Tool, Managing MarkLogic setup/deployment

§  Apache Camel: –  Integration Framework

–  “Swiss Army Knife” für Daten-Aggregation


Anwendungs-Entwicklung

Iterate

Load Data Sources “as-is”

(XML, JSON, Binary)

Search Transform Combine

Data

Definition skalarer Indexe Data Access Web Application

User Interface

== Agiler Prozess


Client-Tier

HTML5 Bootstrap JavaScript jQuery

View

MatchesController PlayersController …

Abstract Base

Repository

MatchRepository PlayerRepository TeamRepository…

Application Architecture – Main components

MarkLogic Java

Client API

<Façade> MarkLogic

Connections

HTTP HTTP

Middle Tier, Java Data-Tier, MarkLogic

Search Options


MarkLogic Enterprise NoSQL Multi Model Ansatz


MarkLogic – Suche §  Wildcard, Stemming, Advanced Language Support

§  Facets, Snippets, Highlighting

§  Proximity boosting

§  Relevance ranking, Sorting

§  Alerting, Geospatial

§  Triple Search, Analytics


MarkLogic Semantics - Triple Ausdruck einer Beziehung oder Eigenschaft Fakt (Subject - Predicate – Object) David Bowie (Subject) is-a (Predicate) Singer (Object)

David Bowie (Subject) is-born-in (Predicate) London (Object)

London (Subject) is-capital-of (Predicate) England (Object)


MarkLogic als Semantischer Triple Store §  Datenbank für Milliarden von Tripeln

§  Triples und Dokumente in “seamless” einer Datenbank

§  Kombination: –  Dokument-Metadaten

–  Linked Data (privat, öffentlich, z.B. DBpedia)

--> neue Lösungsansätze


Semantics - Einsatzszenarien §  Kontext-bezogene Suche und Suchergebnisse

§  Verbesserte Erschließung von Information

§  Verlinkung von Daten

§  Automatische Herleitung neuer Fakten („Inferencing“)

§  Kontext-bezogene Aggregation und Bereitstellung von Daten (Dynamic Semantic Publishing)

...


MarkLogic - Multi-Model Ansatz

Dokumenten-Model

Flexible Datenhaltung

Agile, schnelle Applikations-Erstellung

Graph/ RDF Model

“Unbegrenzte” Relationen

Effiziente, flexible Verlinkung

Kontext

+ > Relationales Model

Flexible Queries

Strenges Schema

Enterprise

Suche Query Analyse

Horizontale Skalierbarkeit

Enterprise


Progammier-Schnittstellen - APIs

Middle Tier

Database Layer

+

JavaScript XQuery/XSLT

REST API + Extension SQL via ODBC

Java API

NodeJS API

Client Tier Content/ Data Consumer


Bitemporale Datenhaltung Versionierung/ Historisierung zeitabhängiger Daten

§  Datenanalyse über zwei Zeitachsen §  Gültigkeits-Zeit („valid time“) §  Systemzeit bei Daten-Änderung („recording time“)

à  Welcher (zeitabhängiger) Wert war zu einem bestimmten Datum für einen bestimmten Zeitraum gültig?

à  Rekonstruierung von Entscheidungen, Auditing


Bitemporale Datenhaltung Historisierung zeitabhängiger Daten

§  Verwaltung zeitabhängiger Daten. §  Wann ist ein bestimmter Vertrag, Wert, Police,

Aktienkurs gültig. §  Wann wurde eine Änderung dieser

zeitabhängigen Daten vorgenommen.


Skalierbarkeit und Elastizität Horizontal, ohne Downtime

§  MarkLogic ist für horizontale Skalierbarkeit in einem Cluster konzipiert

§  Ermöglicht gleichbleibende, hohe Performance bei:

§  Zunahme des Daten-Volumens §  Zunehmender Last/ Traffic

D-NODE D-NODE

E-NODE E-NODE

D-NODE

Add nodes

to scale out

Automated failover

Geospatial Support

Full-text Search

Flexible Indexes

Native JSON Store

Native XML Store

Real-time Alerting

Native RDF Triple Store

Bitemporal

Tiered Storage

Fully Transactional

Server-side JavaScript

Hadoop and HDFS

Cloud Ready (AWS)

SQL Support

Scalable and Elastic

MarkLogic Content Pump

REST API

Samplestack

Ad-hoc Queries

Schema Agnostic

XA Transactions

24/7 Engineering Support

LDAP and Kerberos Security

Security Certifications

Configuration Management

Monitoring and Management

Performance at scale

Customizable Failover

Customizable Backup

Atomic Forests

Point-in-time Recovery

ACID Transactions

Index Across Data Types

Flexible Replication

Semantic Inference

Multi-OS Support

POWERFUL AGILE TRUSTED

MarkLogic / Enterprise NoSQL Database Platform


Unsere Kunden

§  Aggregieren und Konsolidieren

§  Effektiver Zugriff auf Inhalte

§  Flexibilität und Anpassungsfähigkeit in der Datenhaltung

§  Neue Geschäftsmodelle

§  Datenanalyse

§  Vereinfachung von Infrastruktur und Betrieb


MarkLogic - das Unternehmen Management

Elisa Smith VP and General Counsel davor eMeter, Pillsbury Winthrop

Jon Bakke SVP Services davor Oracle

David Ponzini SVP Alliances & Business Development davor Inktomi, PeopleSoft

Peter Norman CFO davor Chordiant, KPMG

Robert Roepke VP Finance & HR davor Yahoo!, Chordiant

Michaline Todd CMO davor Veritas, Serena

Niederlassungen

Hauptsitz San Carlos, CA – Silicon Valley Regionale Niederlassungen New York, Washington DC, London, Frankfurt, München (Berlin), Utrecht, Tokyo, Paris, Stockholm, Sydney, Singapore 400 Angestellte 420 Enterprise Kunden Lokale Präsenz in Deutschland

CEO & Firmengründer

Christopher Lindblad gründete MarkLogic in 2001 davor InfoSeek

Gary Bloom CEO, Joined May 2012 davor Veritas, Oracle, eMeter

Investoren Pat Grady Board Member

Tom Banahan Board Member

Brent Jones

Joe Pasqua SVP Product Strategy davor Symantec, Adobe

David Gorbet VP Engineering davor Microsoft


Vielen Dank!

Jochen Jörg

[email protected]

@jochenjoerg

de.linkedin.com/in/jochenjoerg

MarkLogic http://www.marklogic.com

http://developer.marklogic.com

heterogene daten blitzschnell analysiert - home: doag e.v. · e-node e-node add nodes t ....

Documents