Quintor

Web-scale op basis van

Hadoop

JOHAN

TILLEMA

CEO

Quintor

Quintor

JAVA

.NET

MOBILE

GRONINGEN

AMERSFOORT

78 MEDEWERKERS

ATLASSIAN

MS TFS

AGILE/SCRUM

ANALYSE

2005

SOFTWARE

DEVELOPERS

Quintor

Big data

=

Web-Scale

> 300PB aan data

1 miljoen foto's per seconde

100 miljard page hits per dag

Slaat 1000 miljard items op(foto's, events, statusupdates…)

Facebook

500 miljoen tweets per dag

300.000 queries per seconde

Tientallen petabytes structured data

Tweet binnen vijf seconden bij volgers

Twitter

65 miljard berichten per dag

450 miljoen actieve gebruikers

150 miljoen tegelijk online

150Gb/s traffic

Nagenoeg real-time

Whatsapp

1/3e van het internet verkeer in Amerika

Streamt 1 miljard uur content per maand

30 miljoen 'plays' per dag

Enkele petabytes aan videomateriaal en metadata

Quintor

Cheap hardware

clusters

Parallel computing

Lineair schaling

Quintor

Quintor

Summercamp

Quintor

RENE BOERE

CTO

Quintor

Web-scale technieken

Quintor

Big Willem

Quintor

Reactive streams

Quintor

Hadoop @ hardware clusters

HDFS

(Hadoop Distributed File system)

YARN

Am

bar

i

Zoo

keep

er

Map

Reduce HBase Pig …StormSparkG

angl

ia /

Nag

ios

Quintor

CHRIS

QUACH

JAVA

SPECIALIST

Quintor

Pinguin demo

Quintor

Hadoop @ hardware clusters

HDFS

(Hadoop Distributed File system)

YARN

Am

bar

i

Zoo

keep

er

Map

Reduce HBase Pig …StormSparkG

angl

ia /

Nag

ios

Quintor

Breadth First Search

7.5

7.67.4

8.4 8.6

9.6

6.4 7.3 7.7

8.3 8.7

9.59.3 9.4 9.7

Quintor

7.5 0 7.4,7.6

7.4 MAX_VALUE 6.4,7.3,7.5,8.4

7.6 MAX_VALUE 7.5,7.7,8.6

6.4 MAX_VALUE 7.4

7.3 MAX_VALUE 7.4,8.3

8.4 MAX_VALUE 7.4,8.3

8.3 MAX_VALUE 7.3,9.3

9.3 MAX_VALUE 8.3,9.4

9.4 MAX_VALUE 8.4,9.3,9.5

Quintor

Storm topology

InputSpout

PersistBolt

ProcessBolt

Quintor

Breadth First Search

7.5

7.67.4

8.4 8.6

9.6

6.4 7.3 7.7

8.3 8.7

9.59.3 9.4 9.7

Quintor

Breadth First Search

7.5

7.67.4

8.4 8.6

9.6

6.4 7.3 7.7

8.3 8.7

9.59.3 9.4 9.7

Quintor

Storm topology

InputSpout

PersistBolt

ProcessBolt

IntermediateBolt

Quintor

BIG DATA VEREIST WEB-SCALE DENKEN

WEB-SCALE VERANDERT ALLES

DE TECHNOLOGIE WORDT NU ONTWIKKELD

Quintor

10:50

VERVOLGSESSIE

SALVADOR

STAND RECHTS NAAST DE

INGANG

27 NOVEMBER

HANDS-ON WEBSCALE

14:30

JSF -> SPA MIGRATIE

REMBRANDT

Quintor

Bedankt voor jullie aandacht

“Once you stop learning, you start dying”- Albert Einstein

Quintor

Quintor

Bedankt voor jullie aandacht