© 2008 Hitachi Data Systems
Archivieren mit Hitachi’sContent Archive Platform HCAP
Wolfgang Draese – Pre-Sales Consultant
2© 2008 Hitachi Data Systems
Hitachi, Ltd. (NYSE:HIT/TSE:6501)
• gegründet 1910
• Hersteller von 20.000 Produkten– 932 Niederlassungen– 355.000 Mitarbeiter
• Umsatz im GJ2006 US-$86,8 Milliarden
• GJ2006 F&E Investitionen: US-$4,5 Milliarden– da 40% im IT-Bereich
• über US-$ 5,6 Milliarden in “cash”
Einer der weltgrößten
Elektronikkonzerne
Nummer 48 in der “2007 FORTUNE Global 500®”-Liste
3© 2008 Hitachi Data Systems
Hitachi, Ltd. GJ2006 – Umsatz nach Industriesegment
GJ2006 Umsätze von US-$86,8 Mrd.
26%4%
11%
13%
10%
15%
21%
High Functional- Materialien und Komponenten
Informationssysteme und Telekommunikation
Energie- und Industriesysteme
Finanzdienstleistungen
Elektronische Geräte
“Digital Media” und Konsumerprodukte
Logistik, Dienstleistungen und Weiteres
4© 2008 Hitachi Data Systems
Hitachi Data Systems im Überblick
Spitzenleistungen im KundenserviceSpitzenleistungen im KundenserviceVerliehen an Hitachi Data Systems von:Verliehen an Hitachi Data Systems von:
100% ige Tochter der Hitachi,Ltd. (NYSE:HIT)100% ige Tochter der Hitachi,Ltd. (NYSE:HIT)
Hitachi, Ltd. Schwerpunkt in Speicher Infrastruktur Hitachi, Ltd. Schwerpunkt in Speicher Infrastruktur Lösungen, Speicher Management Software und Speicher Lösungen, Speicher Management Software und Speicher Consulting ServicesConsulting Services
• gegründet 1989gegründet 1989• Direkter und indirekter Vertrieb in 170Ländern & RegionenDirekter und indirekter Vertrieb in 170Ländern & Regionen• 3,400 Mitarbeiter (steigend)3,400 Mitarbeiter (steigend)
5© 2008 Hitachi Data Systems
2008 Unternehmens Ausblick
Hitachi führt die Industrie in der Speicher Virtualisierung an
Hitachi ist das einzige Unternehmen das Speicher Virtualisierung in seinem Flagschiff einbaut- Mitbewerber haben Virtualisierung nur in Peripherie Produkten
Mit den Intelligenten Virtuellen Kontrollern hat Hitachi das “Gehirn” vom “Körper” des Speichers getrent—Die Innovation aus dem Produkt—wieder einmal werden die Märkte getrennt
Hitachi bietet den höchsten Grad an Hardware und Software Erfahrungen, wie an den Plattform Richtungen und dem Portfolio von einheitliche Storage Services
6© 2008 Hitachi Data Systems
Hitachi, Ltd. weltweit einziger vertikaler Speicheranbieter mit US-$7,9 Mrd. Umsatz
Zwei starke Storage Business-Gruppen:
Speichertechnologie-Marktführer:• Enterprise Speicher Plattform, Midrange Speicher Plattform, Speicher- Management Software, Beratungsdienstleistungen, HDDs
• Intelligente Virtual Storage Controller, Midrange Systeme, Rich Media, Mobile Music, Game Players ermöglichen das “Terabyte Home”
• Hard Disk Drive (HDD) Business/ Hitachi Global Storage Technologies: US-$ 4,9 Mrd.• Speichersysteme und Lösungsgeschäft/Hitachi, Ltd. und Hitachi Data Systems: US-$ 3,0 Mrd
Wachstum und Investition in neue Märkte:
7© 2008 Hitachi Data Systems
Hitachi, Ltd.: Eines der 10 größten Software Unternehmen weltweit
Source: Software Magazine
Hitachi, Ltd. gelistet auf #9
• Web Server Software
• Tiered Storage Software• Middleware
• Operating Systems
Hitachi Global Software Angebote:
• Business Continuity• Storage Management
2006 Umsatz von $9 Mrd.
8© 2008 Hitachi Data Systems
Hitachi, Ltd.: Die Schöpfer von Innovationen
Office 2005 RankingsU.S. Patent & Trademark
Hitachi, Ltd. #8
• Networking
• Biotechnology• Nanotechnology
• Thermo-Nuclear Fusion• Electron Microscopy
Hitachi Global PatentWachsendes Portfolio:
• Storage System Technologies• RFID Solutions
Hitachi USP ASIC
9© 2008 Hitachi Data Systems
Focus Bereiche 2007
Hitachis Global Storage Solutions Portfolio
StorageStorageVirtualizationVirtualization Data ProtectionData Protection Green SolutionsGreen Solutions
10© 2008 Hitachi Data Systems
Environmental Track Record
Hitachi begins Hitachi begins Group-Group-wide investment wide investment in in
environmental facilities environmental facilities (1972)(1972)
Environmental Environmental Vision 2015Vision 2015
established established (2006)(2006)
ActivitiesActivities
AwardsAwards
Start of Start of Green 21 Green 21 ActivitiesActivities (1999)(1999)
Environmental Action Environmental Action PlanPlan formulated formulated (1992)(1992)
ISO Certification ISO Certification Committee set up Committee set up
(1994) (1994)
Technology for phasing Technology for phasing out the six substances out the six substances
covered by covered by RoHS RoHS Directive completed Directive completed (2005)(2005)
Stratospheric Ozone Stratospheric Ozone Layer Protection AwardLayer Protection Award
- U.S. Environmental Protection - U.S. Environmental Protection Agency (1991)Agency (1991)
Awarded Global Awarded Global Environment PrizeEnvironment Prize
- WWF Japan (1993)- WWF Japan (1993)
Best-of-the-Best Best-of-the-Best Stratospheric Ozone Stratospheric Ozone
ProtectionProtection- U.S. EPA (1997)- U.S. EPA (1997)
Minister of International Minister of International Trade & Industry’s PrizeTrade & Industry’s Prize- Green Japan Center sponsored - Green Japan Center sponsored
annual Resource Recycling annual Resource Recycling ceremony (1999)ceremony (1999)
Fourth Fourth Environmental Environmental
Report, “Award for Report, “Award for Excellence”Excellence” (2000)(2000)
11© 2008 Hitachi Data Systems
Power Savings Storage Service
Power On RAID Group
Power Down RAID Group
Server tells array to power up for transaction
HDDs power up
Transaction takes place
Server tells array to power down
HDDs power down
12© 2008 Hitachi Data Systems
Hitachi Services Oriented Storage Lösungs Architektur
Applications
Email CRM File/Print Database ERP ECM
Stor
age
Plat
form
Physical Storage
FCFC SATASATA TAPETAPE ArchiveArchive
Object Services
File Services
Block Services
Index, Search, Classification, Security
Virtualization, Replication, Migration, De-Duplication, Security, Encryption, Archiving
Virtualization, Discovery, Partitioning, Provisioning, Volume Management, Replication, Migration, Security, Metering
QoS
Sample Metrics
I/O
SLA
RTO
RPO
Charge Back
Utilization
StorageEconomics
Storage Practices
Risk Analysis
DataClassification
Consolidation &Tiered Storage
Compliance &Archiving
© 2008 Hitachi Data Systems
Archivieren mit Hitachi’sContent Archive Platform HCAP
14© 2008 Hitachi Data Systems
12 Exabyte
24 Exabyte
36 Exabyte
Informationsflut
Datenvolumen
300.000 v. Chr. 2.0001.5001.0005000
Für die Erstellung von 12 Exabyte Daten brauchten die Menschen 300.000 Jahre!
Für die Erstellung weiterer 12 Exabyte Datenbrauchten die Menschen circa 2,5 Jahre!
Für die Erstellung der dritten 12 Exabyte Datenbrauchten die Menschen circa 1 Jahr!
Quelle: School of Information Management and Systems (SIMS) der University of California, Berkeley.http://www.sims.berkeley.edu/
15© 2008 Hitachi Data Systems
Definition eines Archives
• Was ist ein Archiv?• Eine konsistente Kopie eines
Datenbestandes, welche zum Zweck einer Langzeitaufbewahrung genutzt wird, um z.B. Geschäftsvorgänge oder Aufzeichnungen dauerhaft und unverändert aufzubewahren. (Collins Dictionary.)
16© 2008 Hitachi Data Systems
Seeing Red: The Business Challenge
Average cost of pre-trial discovery is $1.3M
Feb ’05 Bank of America incident: lost backup tapes - 1.2 million federal employees credit cards affected
June ’05 Morgan Stanley incident:misplaced backup tapes containing critical email records; plaintiff seeking $2.7B in damages and govt. investigating non-compliance
April ‘05 watershed case of Zubulake vs. UBS Warburg - Federal jury mandated that UBS pay $29.2 million in damages
Significance: Placed burden of producing electronic evidence on companies issued with discovery
Result: Companies must proactively prepare for electronic discovery
17© 2008 Hitachi Data Systems
Digital archivierte Kapazität nach Medium
Source: Enterprise Strategy Group
0
5,000,000
10,000,000
15,000,000
20,000,000
25,000,000
30,000,000
2005 2006 2007 2008 2009 2010
Totale, digitalarchivierte Kapazität nach Mediumtyp in PB
Festplatte Band Opt. Platte
18© 2008 Hitachi Data Systems
Compliance: Aufbewahrungszeit werden länger
19© 2008 Hitachi Data Systems
Information Management
Storage Index Search Engine
20© 2008 Hitachi Data Systems
Eine integrierte Archiv Lösung
• Offen• Objektorientiert• Regelbasiert• Zugänglich für mehrere Anwendungen• Schnelle Inhaltsermittlung• Basierend auf Standartschnittstellen
Hitachi Content Archiv PlattformEinführung
21© 2008 Hitachi Data Systems
• Das Informationswachstum steigt – besonders in Punkto „Fixed Content“
• Wofür steht „Fixed Content“?• z.B. Office Dokumente, E-Mails, Bilder, MP3s,
Medizinische Aufnahmen, usw…• Gesetze erzwingen zu neunen Strategien in der
Datenaufbewahrung• Warum nutzt man nicht die herkömmlichen
Speichermethoden?• Keine Lösung für das Problem der
Langzeitarchivierung• Sie bieten keinen Schutz, wie z.B. Authentifizierung• Sie sind nicht immer Online => Das Aktive Archiv!
Wofür wurde HCAP entwickelt?
22© 2008 Hitachi Data Systems
Referenzmodel für aktive Archivierung
** Modified Version of OAIS (ISO 14721:2002)
Preservation Planning
Administration
Producer ConsumerIngest Access
Primary Storage
Next Tier
DataManagement
PPP
P
2
23© 2008 Hitachi Data Systems
Eine integrierte Lösung von
Hitachi Content Archive Platform (HCAP)Variante 1
Hitachi Data Systems
24© 2008 Hitachi Data Systems
USP VM und USP VM “Disk-Less”USP VM und USP VM “Disk-Less”
USP100/600/1100USP100/600/1100USP VUSP V
Hitachi Content Archive Platform (HCAP)Variante 2
Size of Organization ServedSmall Business or Department Large BusinessMidsized Business or Department
Func
tiona
lity
Dem
ande
d
WMS100WMS100AMS200AMS200
AMS1000AMS1000
AMS500AMS500
Intelligent Virtual Intelligent Virtual Storage ControllersStorage Controllers
Hitachi Content
Archive Platform
Einheitliche
ManagementplattformBis zu 20 PB unterstützte
Kapazität
25© 2008 Hitachi Data Systems
HCAP mit Fremdspeicher
ERP Video Streaming Data Mining E-mail Print Services
100% High 100% High Perf.Perf.
Archive Archive BackupBackup99.9% General 99.9% General
PurposePurpose
Thunder 9585V™ Lightning 9980V™ Thunder SATA CLARiiON IBM SharkEMC DMX2000
File Service
Universal Storage Platform V
HCAP
Hitachi Content Archive Platform Kombination von Archivierung und Virtualisierung
26© 2008 Hitachi Data Systems
Was erfordert aber „Fixed Content“?
• Integrierte Disaster Recovery Funktionen• Unterstützung von Business Continuity Plänen mit technischen
Funktionalitäten• Minimierung des Adminaufwandes auf annähernd Null
• Skalierbarkeit bis in den Peta Bytebereich• Langlebigkeit der Technologie• Migrationspfade
• Schutz vor Änderungen der Inhalte• Unterstützung bei der Erfüllung von gesetzlichen Bestimmungen
• Performanter Zugriff • Immer und überallVerfügbarkeitVerfügbarkeit
AuthentizitätAuthentizität
LebensdauerLebensdauer
ManagementManagement
27© 2008 Hitachi Data Systems
Single Archive Name Space
Alle Objekte werden einem eizigen, archivweite Name Space gespeichert
Offen und einfach zu durchsuchen – alles mit Standardtools und Applikationen
WORM Write once, read many File System
Content wird unveränderbar abgelegt und mit einer Laufzeit versehen
21May212036
May
Anforderung an ein Archiv
Einfaches Monitoring und Management
Minimiert den Managementaufwand durch Self-Management und Selbstheilungsfunktionen
per Webinterface oder SNMP
0 1 1 0 0 1 1 0 0 1 0 11 1 1 0 1 1 0 1 1 1 0 00 0 1 1 0 0 0 1 0 0 0 1
AAuthentication
Schutz vor Verfälschung und Zerstörung
Periodisches Checking auf Integrität
Auswählbare Hashalgorithmen SHA-1, 256, 384, 512; MD5, RIPEMD-160
Lower Cost of Ownership
Verringert das Aufkommen von “fixed content” auf Tiered Storage
Verringert Backup Kosten
Verhindert das Entstehen von “weichen” Managementkosten
28© 2008 Hitachi Data Systems
Wie setzt man alle Kriterien für eine “Aktive Archivierung” nun um?
Inhalt, der aufbewahrt werden soll
Metadaten, die erläuternde Attribute über den File beinhalten
Richtlinien zur Verwaltung der Aufbewahrungsfrist, Schutz, Verwendung, die die Authentizität garantieren
• weiteres editieren möglich!
• Veränderung von „Begleit- oder Beschreibungsinformationen“
29© 2008 Hitachi Data Systems
P
21May212036
May
Aktive Archivierungmit objektbasierenden Regeln (Policies)
X X X X X X X X X X X XX X X X X X X X X X X XX X X X X X X X X X X X
Retention Schutz vor Löschung in einem
definierten Aufbewahrungszeitraum Setzbar für einzelne Objekte oder
vererbbar
Objektschutz Zusätzlicher Schutz durch
einstellbare Anzahl interner Replikakopien
Selbstkonfigurierend und Selbstheilend
ShreddingPhysisches Löschen der
Informationen von Platte gemäßUS DoD 5520-M spec.
ReplikationObjektbasierend: Bi-directional, one to
many, many to oneDateien, Metadaten und PoliciesRepliziert Daten in eine andere Lokation
Duplicate EliminationErkennt und untersucht DuplicatesEntfernt Duplicates, aber schützt die
Integrität
Suche und Indexierung Ermöglicht das schnelle
Wiederauffinden von Informationen(Dateien, Metadaten und Custom Metadata)
Verschlüsselung aller Daten Schützt den Content vor einem
Recovery von gestohlenden Medien
vollständig transparent inkl. Keymanagement
30© 2008 Hitachi Data Systems
<M>
Custom Metadata
• Ermöglicht Applikationen bestimmte Metadaten mit HCAP Objekten zu verknüpfen
• “Custom metadata” kann zur Kommentierung von Objekten genutzt werden
• Content und Metadaten formen ein einziges, suchbares HCAP Objekt
31© 2008 Hitachi Data Systems
NFS WebDAVCIFS/SMBHTTP / HTTPS
• Performance ähnlich dem HTTP Gateway
• Für RFC 2518 Clienten
• “MountPoint” ist Teil einer URL
• MS Windows Interface
• Mapping von Netzwerklaufwerken zu einem Clusterfilesystempfad (data oder meta data)
• Schnellstes Gateway
• Viele existierende Libs
• GET, PUT, EXISTS, DELETE Operationen
• Metadaten können der URL mitgegeben werden
File System – Protokoll Unterstützung
NDMP
Standard Backup/Restore Gateway
Daten und Metadata werden zu einem transportfähigen Objekt geformt
• Kompatibeles Interface, hauptsächlich für UNIX
• Hoher Protokoll Overhead
32© 2008 Hitachi Data Systems
Migration zur nächsten Generationen
Cluster zu Cluster Replikation
33© 2008 Hitachi Data Systems
Migration zur nächsten Generationen
Software Updates
1 2
3 4
34© 2008 Hitachi Data Systems
Migration zur nächsten Generationen
Volume Migration
Kopieren der Daten per Storagemittelvon einer Generation zur nächsten
35© 2008 Hitachi Data Systems
HiCommand Tiered Storage Manager in Aktion
Exchange DB
Exchange Log
Order Entry DB
Web Commerce
Appl. Development
Transaction logs
Reservation Sys
Manufacturing DB
Archiv / HCAP
Food Distribution
Scheduling
Logistics
Mapping
USP mit externen Speicher
Storage-Infrastruktur
erscheint wie ein Speicher-Reservoir
Applikationsdatenwerden an die
passenden Speicherschichten
gespeichert
Korrektur der Daten lokation
Relokierung einer Applikation
Konsolidieren
Ausscheiden eines Array
Hinzufügen eines Array
Archiviere Inhalte
…
36© 2008 Hitachi Data Systems
… und wie findet man seine Informationen wieder?
37© 2008 Hitachi Data Systems
HNAS
HNAS + HDDS
HDDS
HCAP
HCAP Search
HCAP + Search
Data Discovery Suite stellt eine einzige Suchoberfläche für die Suche über verschiedene Hitachi High-Performance NAS Plattform und Hitachi Content Archive
ISVs können alle Funktionalitäten der Data Discovery Suite durch CLIs und APIs inklusive Suche, Risiko Berechnung ACL Filtern und Datei Einstufung nutzen
Hitachi Data Discovery Suite
38© 2008 Hitachi Data Systems
File Tiering
• Ziel: Verschiebung aller MP3s von Tier 1 Storage zu Tier 2 Storage
• nötigen Schritte:1. Erzeugung eines MP3s Query und speichern2. Öffnen Sie den “File Migration Wizard”3. Folgen Sie dem “Migration Wizard” und wählen
Sie den gespeicherten Query und die Migrations-Policy
4. Bestätigen Sie die Policy und erstellen wählen Sie eine Erfolgsinformationsoption
39© 2008 Hitachi Data Systems
Hitachi Data Discovery Suite Funktionen, Möglichkeiten, Nutzen
• Funktionen– Datenzugriff basierend auf Microsoft Active Directory und LDAP Rechten– Windows Vista Gadget oder Webfrontend
• Möglichkeit– Verschiedene Nutzer können direkt ihre autorisierten Dateien
wiederherstellen.
• Nutzen– Hilft beim reduzieren der Betriebskosten – „File-Based Tiered Storage“– Stellt Datenschutz zur Verfügung!
• Was ist einmalig an dieser Funktion?– Zentralisierte Authentifizierung durch die Integration von LDAP oder Active
Directory.
40© 2008 Hitachi Data Systems
Hitachi Content Archive Platform Services
• Implementation Service• Replication Service• Assessment Service• Migration Service
41© 2008 Hitachi Data Systems
The Hitachi Content Archive Platform:ISV Ecosystem Partners: 70+ partners, 85+ applications
Email File/Classification ECM/ERM
Database/ERP
Mainframe
Health care
Security Info MgtAudit, & Compliance
Call Center
** Mobius, FileNet certified but not yet ‘forma; members of ISV Program
42© 2008 Hitachi Data Systems
Nondisruptive Service
• SelbstschutzRegeln erzwingen eine Dokumentenaufbewahrungszeit, Authentifizierung und Objektreplikation zur Sicherung von digitalem Vermögen
• Selbst-KonfigurierendEinfachste Installation und Integration durch das Setzen von Systemkonfigurationen durch High – Level Policies
P
• FernwartungDiagnose, Patches und Upgrades können per Modem oder VPN durchgeführt werden
• SelbstheilungDie Architektur federt den Ausfall von Einzelkomponenten ab, ohne einen Einfluss auf die Datenintegrität, bzw. den Zugriff auf die Daten
• Self-BalancingPasst sich automatisch an die Umgebung an, durch die ständige Kontrolle sämtlicher Aktivitäten und Kapazitäten der einzelnen Knoten
• DatensicherheitSämtliche Daten werden auf in der Industrie bewährten SAN – Speichersystmen abgelegt.Grundsätzlich Hardware RAID geschützt!
© 2008 Hitachi Data Systems
Fragen…