bo roos lindgreen - schaalbare data storage bij hyves (storage expo 2010)

20

Upload: vnu-exhibitions-europe

Post on 10-Jun-2015

766 views

Category:

Business


0 download

TRANSCRIPT

Page 1: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)
Page 2: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

over Hyves

• Nederlands Social Network

• Opgericht in 2004

doel en nut van Hyves:

• Communicatie

• Identiteit

• Applicaties

• Lokale relevantie

statistieken:

• 6.7 B pageviews/m

• 7.2 M unieke bezoekers/m

• 1 B foto’s

• 1 M foto uploads/dag

• 2 B berichten

tekst

over Hyves

Page 3: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

Hyves en foto’s

Page 4: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

design criteria

Page 5: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

gebruiks criteria

Page 6: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

bestanden

Page 7: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

1. schaalbaarheid

2. performance

3. prijs

probleemstelling

Page 8: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

Hyves oplossing

Page 9: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

a brick

Page 10: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

media

uploaders

web

servers

media

index

bricks

bricks

bricks

bricks

1

2

3

2

1

3

4

media design

Page 11: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

tooling

Page 12: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

prijs

Page 13: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

schaalbaarheid

performance

prijs

checklist

Page 14: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

Mediaindex te groot

Grotere disks kunnen niet optimaal worden ingezet

IP adressen zijn schaars

Bricks schalen lineair

nieuwe uitdagingen

Page 15: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

1. mediaindex

2. disk grootte

3. lineaire groei

4. schaarste IP

probleemstelling

Page 16: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

MEDIAINDEX

mediaindex

Page 17: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

Per bestand hebben we nu zo’n 6 IO operaties

nodig

We ontwerpen nu een systeem dat maar 1 IOo

per bestand nodig heeft

Voordelen:

~6 keer grotere disks mogelijk met de zelfde rpm

~6 keer minder bricks nodig

~6 keer minder disk failures

~6 keer minder offloads (en dus minder

mankracht)

diskgrootte

Page 18: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

web

serversmedia

index

bricks

bricks

bricks

2

1

3

4media

routers

5

mediarouter

Page 19: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

Wij hebben een kostenefficiente, schaalbare oplossing ontwikkeld die is

toegespitst op onze specifieke problematiek

Oplossing vergt aanpassingen en werk aan de programmatuur

Elke oplossing heeft weer nieuwe grenzen

samenvatting

Page 20: Bo Roos Lindgreen - Schaalbare data storage bij Hyves (Storage Expo 2010)

Vragen?

Cor Cornelisse [email protected] & Bo Roos Lindgreen [email protected]

vragen