data domain backup & recovery

1© Copyright 2009 EMC Corporation. All rights reserved.

EMC Backup & Recovery

Solutions:

Backup to the Future

Lucian Gavris

Account Manager

EMC Backup Recovery Solution Divison

[email protected]

+49 171 499 7171

Kurt Kraus

Advisory Technology Consultant

EMC Backup Recovery Solution Divison

[email protected]

mailto:[email protected]

http://it-services.netlogix.de/


Backup entwickelt sich fort

Vor Ort Ausgelagert

Konventionell

(bandbasiert)

Neuartig

(plattenbasiert)

Backup- und

Medien-

Verwaltung

Backup-

Speicher

vor Ort

Disaster

Recovery

Storage

Anwendungs-

Backup-

Klienten

Avamar

NetWorkerDisk

LibraryVTL/Band

VM

NetWorker Band Band

Data DomainNetWorker

Backup/Recovery

Architektur

Data Protection Advisor


Warum nutzen Großunternehmen immer noch Bänder?

• Niedrige Anschaffungskosten

• Bänder können die massive Menge an redundanten Daten aus Backups speichern

• Auslagerung an zweiten Standort

BAND

PLATTE

Backup

Speicher

5-10fache

Kapazität

Primär-

speicher


Kostenvorteile durch Deduplizierung

Traditioneller Plattenspeicher Deduplizierungsspeicher


EMC BRS Marktpositionen

Avamar – Führende Deduplizierungs-Backupsoftware weltweit

– 4.500 Installationen

– 2.500 Kunden

Data Domain – Führender Deduplizierungsspeicher weltweit

– 12.000 Installationen

– 4.300 Kunden

Disk Library – Bestverkaufte VTL weltweit

– Mehr als 1 Mrd. US-$ Umsatz

NetWorker – Unter den ersten drei Unternehmens-Backuplösungen

– 30.000 Kunden


Analysten über Data Domain

―The leading supplier of data deduplication technology from a real-world implementation and

market penetration perspective is Data Domain.‖

―Data Domain is the de facto leader in the market from a

customer deployment perspective.‖

Source: IDC Opinion, Teck Buyer Case Study, Doc. # 216452 Feb 2009

―Data Domain has the largest market share, both in terms of

customers and appliances in production.‖

―Data Domain is a vendor that has the most ‘mind share’ in the deduplication space and

was an early provider with this technology.‖

Source: Gartner Report ID Number: G00165744 ―Four Technologies That Mid-sized Businesses Should Consider‖ Feb 2009

―Data Domain has 54% deduplication market share.‖

Source: The Taneja Group, September 2008

http://www.tanejagroup.com/index.asp


Data Domain Deduplizierungsspeicher

Einfache Integration in bestehende Umgebungen

Replication

CIFS, NFS,

NDMP, OpenStorage

Ethernet

VTL over FC

DD880 Appliance

4 Höheneinheiten

2 - 6 Ports

10 und 1 Gbit Ethernet; 4 Gbit Fibre Channel

RAID-6

5,4 bis 71 TByte nutzbare Kapazität

1 TByte oder 500 GByte 7,2k U/min SATA-Laufwerke

Dateisystem

NVRAM

N+1 Lüfter und redundante Hotplug-Netzteile

DD880 Appliance

Backup & Archiv

Anwendungen

http://www-306.ibm.com/software/tivoli/


Hierarchie der Datenreduzierungs-möglichkeiten für Backups

Standard-Speichersystem

1:1

Single-Instance-Speicher

~ 3:1Dateiebene

Fix-Block

~ 3:1Fix-Block,

Snapshots

LZ-Kompression

~ 2:1

Kompression

Backup-Ziel,

Variable Segmente

Variable

Segmente

~ 20:1

Deduplizierung

reduziert deutlich- die benötigte WAN Bandbreite

- den Stromverbrauch

- die Klimaaufwendungen

- die Kühlung

- die Verwaltung


De-Dup Faktor – was heisst das eigentlich?

Faktor Space Saving

1 0%

2 50%

3 67%

4 75%

5 80%

6 83%

7 86%

8 87%

9 89%

10 90%

50 98%

100 99%

500 99.8%


DeDuplizierung – Grundlagen

1. Dateneingang

2. Aufteilung in variable Segmente 4-

12KB und Deduplizierung

3. Komprimierung

4. Schreiben und Verifizieren Index &

Segmentinformationen


Recovery: ―Data Invulnerability‖ Architektur

Zusätzlicher Schutz

• RAID-6

• NVRAM

• N+1 Fan

• n Ports

• Snapshots

Datenüberprüfung

Prüfsumme

DeDup, auf Platte schreiben

Verifizieren

Selbstheilendes File System

Cleaning

Defrag

Verifizieren

Trust but verify – hope is not a strategy !


Second Friday Full Backup

B C D E F L G H

Daten-DeDuplizierungseffekt

A B C D E F G H I J

Friday Full Backup

A B C D A E F G

Mon Incr A B H

Tues Incr C B I

Thurs Incr A C K

Weds Incr E G J

Backup Logical Estimated Physical

Data Reduction

Monday Incr 1 TB 7-10x 100 GB

Tuesday Incr 1 TB 7-10x 100 GB

K L

Wednesday Incr 1 TB 7-10x 100 GB

Thursday Incr 1 TB 7-10x 100 GB

2nd FRIDAY FULL 10 TB 50-60x 180 GB

TOTAL 24 TB 7.8x 3.08 TB

FRIDAY FULL 10 TB 2-4x 2.5 TB


Week 1

April 14 38.0 TB 10x 3.80 TB

April 21 52.0 TB 12x 4.33 TB

April 28 66.0 TB 14x 4.71 TB

May 31 122 TB 17x 7.18 TB

June 30 178 TB 19x 9.37 TB

TOTAL 234 TB 20x 11.7 TB

April 7 24.0 TB 8x 3.08 TB

Längere Aufbewahrungszeiten mit der selben Diskkapazität !

Week 2

Week 3

Month 1

Month 2

Month 3

Month 4 Juli 31 234 TB 20x 11.7 TB

Daten-DeDuplizierungseffektBackup Logical Estimated Physical

Data Reduction

First Full 10.0 TB 4x 2.50 TB


File

Virtualisation

Tier

1

Tier

2

De-duplication Beyond Backup

DR Site

VMware

VMware Infrastructure 3

App

OS

App

OS

App

OS

App

OS

Virtual Machines

VMware

ESX Host

cifs

nfs

vmdk

Snapsho

t

VCB

Proxy

Mainframe/

iSeries/ AS400ESCON

/

FICON

Aussenstellen

WAN

Replikation

SAN

ClientsBackup

NFS OSTCIFS

LAN

Primary

FC/iSCSI/NFS

Storage

NDMP

File Mail

Retention

Lock

Archive Database

SQLSQL

http://www-306.ibm.com/software/tivoli/

http://www.oracle.com/

15© Copyright 2009 EMC Corporation. All rights reserved. 15

Replikation: WAN–Effizienz

WAN

home

home

DIR A

Quelle: Remote Sites

Ziel: Data Center Hub

90- 95% Bandbreitenreduzierung

5- 10%

5- 10%

5- 10%

Echtes DR; reduziert WAN–Kosten; verbessert SLAs !

Backup Daten


DD Replicator Software: One-to-Many Directory ReplicationReplicates the same directory to multiple remote Data Domain systems

Increases protection—multiple copies to different disaster recovery sites

Data distribution for multi-site usage—QA, testing, development

One-to-Many

Source

Destination

Cascaded Replication with One-to-Many

SourceSource and

destination

Destination

Destination


Inline- im Vergleich zu Post-Process-Deduplizierung

Post Process:Deduplizierung nach dem

Speichern

Inline: Deduplizierung vor dem

Speichern

Andere Aktivitäten bleiben unbeeinflußt

− Vorhersagbar

− Einfacher

Deduplizierung

Konkurrierende Prozesse verlangsamen das System

− Kopien auf Band: Zu langsam zum Streamen

− Recovery: SLAs nicht vorhersagbar

− Replikation: findet erst nach Dedup statt

− Deduplizierung selbst kollidiert mit Backup und Restore

Daher höherer Verwaltungsaufwand

Dreifache Zugriffe auf Festplatten

Speichern Deduplizierung


Online vs Post DeDuplizierung

Verifizierung Replikation

Backup

DDUP

Verifizierung ReplikationBackup DDUP

Kein zusätzlicher Plattenbedarf geringere

Stromkosten

Geringere Software-Upgradegebühren

notwendig

Replikation kann unmittelbar mit dem

Backup angestoßen werden DR fähig

Zusätzlicher Platzbedarf höhereStromkosten

Höhere Software-Upgradegebühren notwendig

Extrem I/O-lastig

Anfällig für Datenkonstistenzprobleme / hohe Wahrscheinlichkeit für Diskfragmentierung

Replikation kann erst nach Post-Deduplizierung angestoßen werden DR fähig ?

Online DeDuplizierung Post DeDuplizierung


Leistung: CPU-zentrisch im Vergleich

CPU-zentrisch


Data Domain SISL Scaling Architecture: CPU-Centric

New Q2 Capabilities: Building Upon Data Domain Architectural Advantages

Th

rou

gh

pu

t G

B/s

Addressable capacity in terabytes

post-RAID (physical)

1.25 70 > PB

1.5

0.04

5

3

DD880, July 2009Industry’s fastest backup storage controller

Multi-controller systems with global deduplication

Distributed processing for single-controller systems

DD200 (2004)

2011 (est.)


New Q2 Data Domain Systems and SoftwareRetain, replicate, recover…better

Systems

New Data Domain Global Deduplication Array– Largest, fastest Data Domain deduplication storage system

Data Domain DD880 expansion– Double the capacity

Software

New Data Domain Boost software– Speeds backups by distributing parts of deduplication process to

backup server

New Data Domain Encryption software– Industry’s first encryption of deduplicated data at rest

Data Domain Replicator software enhancements – For small sites and one-to-many directory replication

Available May 2010


Data Domain Global Deduplication ArrayLargest, fastest Data Domain deduplication storage system

Global deduplication and single namespace across two DD880 controllers

– Speed: Up to 12.8 TB per hour (3.5 GB/s)

– Usable capacity: Up to 285 TB

– Logical capacity: Up to 14.2 PB

– Up to 270 concurrent write streams

– As replication target, up to 270 originators

Simplifies backup administration

Managed replication

Upgrade single DD880 to Global Deduplication Array

largest capacity • higher performance •

simplified management

New


Also New: Data Domain DD880 Doubles Capacity

Up to 142.5 TB (up to 7.1 PB logical)

Support for up to 12 shelves

Upgrade kit for existing DD880

Data Domain Operating System 4.8,DD880 12 shelves

DD880

Logical capacity 2.8–7.1 PB

Raw capacity Up to 192 TB

Usable capacity Up to 142.5 TB


DD Boost Software

Distributes parts of deduplication process to backup server – Licensable software works across Data Domain portfolio

Supports majority of backup software market– Symantec NetBackup and Backup Exec currently

– EMC NetWorker support in 2H 2010

Speeds backups by up to 50%

Process more backups with existing resources– 20–40% less overall impact to backup server

– 80–99% less LAN bandwidth

Enables Data Domain replication management from the backup application

New

DD Boost


Distributes Deduplication Process

DATA DOMAIN BOOST

Deduplication process distributed

through DD Boost

Without DD Boost

With DD Boost Software

LAN LAN

Backup serverApplication

LAN LAN


DD Boost


What Gets Distributed?

Speeds backups

Less backup server impact

Less bandwidth

DATA DOMAIN BOOST

ID Segment Unique?

Compress Write

With DD Boost

LAN LAN


DD Boost


DD Boost Across the Portfolio: Up to 50% Faster

DD140 DD610 DD630 DD660 DD690 DD880

Global

Deduplication

Array

DDX Array

Speed (other) 450 GB/hr 675 GB/hr 1.1 TB/hr 2.0 TB/hr 2.7 TB/hr 5.4 TB/hr 86.4. TB/hr

Speed (DD Boost) 490 GB/hr 1.3 TB/hr 2.1 TB/hr 2.7 TB/hr 3.9 TB/hr 8.8 TB/hr 12.8 TB/hr 140 TB/hr

Logical capacity 17–43 TB 75–195 TB 165–420 TB .520–1.31 PB .710–1.7 PB 2.8–7.1 PB 5.7–14 .2 PB 45.6–114 PB

Raw capacity 1.5 TB Up to 6 TB Up to 12 TB Up to 36 TB Up to 48 TB Up to 192 TB Up to 384 TB Up to 3.07 PB

Usable capacity 0.86 TB Up to 3.98 TB Up to 8.4 TB Up to 26.1 TB Up to 35.3 TB Up to 142.5 TB Up to 285 TB Up to 2.28 PB

DDX Array SeriesSoftware options:

DD Boost, DD Virtual Tape Library,

DD Replicator, DD Retention Lock, and

DD Encryption

Up to 16 ControllersDD140 Remote

Office Appliance

DD600

Appliance Series

DD880

Global Deduplication Array

New


DD Encryption SoftwareIndustry’s first encryption of deduplicated data at rest

Protects against loss of disk or system– Inline encryption provides immediate protection

while preserving deduplication

– Works with all protocols and applications

Software-based, user-selectable AES-128 or AES-256

Replicate encrypted data (payload only, not session) using DD Replicator

Inline: deduplication and encryption before storing

Deduplication + Encryption

New


Data Domain Retention Lock Software

Wandelt Data Domain Systeme in ein WORM Medium

mit In-Line Deduplizierung

Schutz gegen alle logischen Fehler

Hohe Kosteneinsparung durch Deduplizierung

Management auf Datei Ebene

Retention Policy’s auf Datei Ebene

Freigabe des Speicherplatzes nach Ablauf der

Retention Zeit

Umfangreiche Kompatibilität

Anbindung an alle gängigen Daten- und

Archivierungsysteme

Datenschutz in Verbindung mit Hochverfügbarkeit

Datensicherheit durch RAID6

Integrierte Daten Unverwundbarkeits Architektur mit

einer mehrstufigen Datenverifizierung


Archivierung von NAS Daten

Clients

ApplikationenCIFS / NFS

– Einsparpotiential von bis zu 80%

– Verlängerung der Lebenszeit der Primärspeichersysteme durch Auslagerung der Daten auf hoch effiziente Data Domain Systeme

http://www.emc.com/index.jsp


Enterprise Manager GUI


Replication Monitoring


Kundenbeispiele File+Oracle Sicherungenauf Data Domain – die ersten 3 Wochen

Pre-Comp Post-Comp Global-Comp Local-Comp Total-Comp

(GiB) (GiB) Factor Factor Factor (Reduction %)

--------------- -------- --------- ----------- ---------- -------------

Currently Used: 258311.3 26808.9 - - 9.4x (89.4)

Written:*

Last 7 days 67010.7 4743.8 6.2x 2.3x 14.1x (92.9)

Last 24 hrs 10970.0 687.7 7.2x 2.2x 16.0x (93.7)

--------------- -------- --------- ----------- ---------- -------------

Beispiel auf 3 Wochen Retention: 14.11-

07.12.09

• 258TB gesichert - 27.3TB auf DD belegt• Overall Ergebnis 9.5x (89.4%)

• Last 7 Day Ergebnis 14.1x (92.9%)

• Last 24 h Ergebnis 12.3x (91.9%)

• Aus den höheren Last 7 days und last 24h

Werten lässt sich erkennen, dass das

tägliche Datenwachstum auf der Data

Domain immer geringer wird.

• Pre-Comp:

Backup Datenvolumen, welches vom Backup

Server geschrieben wurde und auf der

Maschine gespeichert ist.

• Post-Comp:

Datenmenge die nach Dedupe und

Compression auf den Platten gespeichert ist

• Comp Ratio:

Overall Datenreduktionsfaktor


Kundenbeispiele File+Oracle Sicherungenauf Data Domain – Zeitraum >1 Jahr



--------------- -------- --------- ----------- ---------- -------------

Currently Used: 735084.3 31090.5 - - 23.6x (95.8)

Written:*

Last 7 days 28745.7 1731.4 12.3x 1.3x 16.6x (94.0)

Last 24 hrs 1747.5 102.2 11.2x 1.5x 17.1x (94.2)

--------------- -------- --------- ----------- ---------- -------------

Beispiel auf >1 Jar Retention:

• 735TB gesichert – 31TB auf DD belegt• Overall Ergebnis 23.6x (95.8%)

•Der Einbruch in der Graphik zeigt das

Ausaltern der Backup die Ihre Retention

von 1 Jahr erreicht haben

• Pre-Comp:




• Post-Comp:



• Comp Ratio:



Kundenbeispiel ... die ersten Tage

Dedupe ratio of production data

1st Full Backup:

3.4x (70.6%) data reduction

45TB data saved

=> 14.3TB used on Data Domain disk

Overall:

5.0x (80.0%) data reduction

77.8TB data saved

=> 15.6TB used on Data Domain disk

Subsequential Backups:

~20x (95%)

20.4TB data saved

=> 991GB used on Data Domain disk


Kundenbeispiel Oracle DB’s mit ~10% Änderungsrate/ Tagauf Data Domain – Zeitraum 4 Wochen

113TB gesichert – 10.7TB auf DD belegt• Overall Ergebnis 10.5x (90.5%)

• Pre-Comp:




• Post-Comp:



• Comp Ratio:




--------------- -------- --------- ----------- ---------- -------------

Currently Used: 112830.2 10701.6 - - 10.5x (90.5)

Written:

Last 7 days 43718.3 2745.6 5.4x 3.0x 15.9x (93.7)

Last 24 hrs 12197.0 815.3 4.6x 3.2x 15.0x (93.3)

--------------- -------- --------- ----------- ---------- -------------


• Marktführer mit + 4.300 Kunden, + 12.000 installierter Systeme und 54% Marktanteil

(The Taneja Group, September 2008)

• Entwicklung & Einsatz der besten DDUP-Technologie (In-Line, CPU-basiert etc.)

• Datenreduktion von über 90% führt zu Verkürzung von Wiederherstellungs- zeiten durch

viel längere Aufbewahrung der Backupläufe auf Platte

• Sicherestes und am Markt verfügbares DDUP–System

• Hohe Skalierbarkeit & Performance mit bis zu 12.8TB/hr

• Umsetzung „echter― DR-Konzepte

• Applikationsübergreifende

DeDuplizierung

• Real Green-IT: Drastische Reduktion der

Stromkosten, des Platzbedarfes

und der Klimakosten durch online DDUP

Zusammenfassend - Warum Data Domain ?

STORAGE MAGAZINE'S Products of the Year

Best Backup Hardware

Data Domain DD690

Deduplication

Storage System

http://searchstorage.techtarget.com/productsOfTheYear/0,294801,sid5_ayr2008,00.html

http://searchstorage.techtarget.com/productsOfTheYear/0,294801,sid5_ayr2008,00.html


DACH Kunden (Ausschnitt)

data domain backup & recovery

Technology

emc corporation

emc backup recovery

kunden copyright

tb week

verwaltung copyright

tb 10x3

tb 12x4

tb 14x4