almacenamiento y backup open source de rango empresarial - whitebearsolutions #openexpoday 2014

Ignacio GilartCEO & Co-founderWhiteBearSolutions® genuinely open (WBSgo®)

Almacenamiento y backup open source de rango empresarial

2©WhiteBearSolutions - 2014

Agenda

Sobre WhiteBearSolutions (WBSgo)

Conceptos Almacenamiento y ZFS

Sobre Bacula

WBSAirback: módulos y características

Caso de estudio

Preguntas

Sobre WhiteBearSolutions (WBSgo)

Sobre WBSgo®

Hace 10 años...

Sobre WBSgo®

Compañía local y pequeña

Productos OpenSource

Pocas referencias

Gran compañíamultinacional

Productos Legacy

+1000 Referencias

Sobre WBSgo®

Actualmente...

Sobre WBSgo®

● 2 áreas de negocio: Storage & Backup | LDAP & IdM

● Parte del Grupo Cibernos

● Oficinas en España y Latam

● Cibernos OutSourcing Backup Services

● Referencias en todos los sectoresNew !!!

Sobre WBSgo®

Nuestro secreto...

Sobre WBSgo®

● Inversión en I+D > 1M€

● Plataforma Appliance

● OpenSource y estándares abiertos

● Sólidos acuerdos y alianzas

● 100 % orientados al servicio

Sobre WBSgo®

Y por supuesto...

Nuestro equipo...

Nuestros Partners...

Nuestras Alianzas...

WBSgo® - Principales Clientes

● Banca y Seguros

● Utilities y servicios

● Telco y Media

● Administración pública

● Tecnologías de la Información

WBSgo® - Principales Clientes

● Educación

Conceptos de almacenamiento

Un sistema de almacenamiento es cualquier dispositivo

(interno o externo) que nos permita almacenar datos.

Ejemplos: Discos duros, Memorias Flash, cintas LTO,

Arrays de discos, etc.

Conceptos almacenamiento

Los distintos tipos de almacenamiento remoto utilizan diferentes protocolos y medios de comunicación.

Sistema de comunicación NAS

NFSCIFSFTP

HTTP (WebDAV)

Sistema de comunicación SAN

Fibre ChannelFCoEiSCSIATAoE

Sistema de comunicación DAS

SASFibre Channel

USBFireWire

Un sistema de archivos es una parte integral de cualquier

sistema operativo y posee la capacidad de gestionar

almacenamiento a largo plazo.

● Presenta una vista lógica (abstracta) de ficheros y

directorios.● Facilita el uso eficiente de los dispositivos que componen

los sistemas de almacenamiento.

Ejemplos: NTFS, XFS, ext3/4, ZFS, etc.

Los sistemas de archivos se caracterizan por:

– Mecanismos de seguridad o permisos– Mecanismo para evitar la fragmentación– Capacidad de enlaces simbólicos o duros – Integridad del sistema de archivos (Journaling) – Soporte para archivos dispersos – Soporte para cuotas de discos – Soporte de crecimiento del sistema de archivos

nativo

Metadatos: Existen datos asociados a los archivos que es necesario almacenar.

– Tamaño.– Fecha de creación.– Fecha de últimos acceso.– Propietario.– Permisos…

– Algunos sistemas de archivo incluso permiten asociar nuevos atributos.

Existen básicamente 4 tipos de sistemas de archivos :

– Sistemas de archivos de disco.– Sistemas de archivos de red.– Sistemas de archivos de propósito especial.– Sistemas de archivos de Almacenamiento

compartido (SAN Filesystems).

Un sistema de archivo de disco está diseñado para el

almacenamiento de archivos en una unidad de disco, que

puede estar conectada directa o indirectamente al

ordenador.

A continuación se muestran algunos ejemplos de

sistemas de archivo de disco.

● FAT (File Allocation Table, usado en WINDOWS).● HFS+ (Sistema jerárquico de archivos, utilizado en MacOSX) .● NTFS (NT File System) ● XFS (Linux)● ReiserFX (Linux)● Ext3/4 (Linux)● UFS (Unix filesystem, BSD).● ZFS (Solaris, Linux, BSD).● ISO9660 (CD Rom)● UDF (Universal disk Format, CD, DVD, Blue-Ray).

Un sistema de archivos de red es el que accede a sus

archivos a través de una red. Dentro de esta clasificación

encontramos dos tipos de sistemas de archivos:

- Sistemas de archivos distribuidos (no proporcionan E/S

en paralelo)

- Sistemas de archivos paralelos (proporcionan una E/S

de datos en paralelo).

A continuación se muestran algunos ejemplos de sistemas de archivo de red:

● Distribuidos : AppleShare, CIFS (también conocido como SMB o Samba) y NFS (Network File Systems).

● Paralelos : pNFS (Parallel NFS), Lustre, PVFS.

Sistemas de archivos de uso específico:

● Google File System, GmailFS, WBFS (Wii Backup File

System)...

Optimizados para dispositivos de estado sólido: ● exFAT, JFFS...

Encriptados: ● EFS, ecryptFS...

Sistemas de archivos de Almacenamiento compartido

(SAN Filesystems): Principalmente utilizados en redes de

área de almacenamiento, en las que los nodos acceden

directamente a nivel de bloque.

● CXFS (Cluster XFS)● MPFS (EMC Celerra)● HP Cluster File System (CFS)● Oracle Cluster file system (OCFS)● VMFS (VMWARE /EMC)● WAFL, Write Anywhere File Layout (NetApp)

¿Qué hay que proteger en un sistema de almacenamiento?

● Integridad: Mediante Raid, Backup, Replicación.

● Disponibilidad: Mediante Hot-Spare, Cluster.● Acceso: Mediante Redundancia de paths.

Almacenamiento open source ZFS

ZFS es un sistema de archivos y volúmenes desarrollado por Sun Microsystems originalmente para su sistema operativo Solaris.

ZFS integra los conceptos anteriormente separados de sistema de ficheros y administrador de volúmenes en un solo producto.

ZFS: Introducción

Por qué nace ZFS:

- Los costes de la gestión de la información son elevados, requiriéndose un gestor de volúmenes.

- La información cada vez es más crítica y se producen problemas de corrupción con los sistemas de archivos existentes hasta entonces.

- La información crece de manera exponencial.

ZFS: Introducción

ZFS destaca por:

- sistema de archivos de gran capacidad, - nueva estructura sobre el disco, - sistema de archivos ligero y - administración de espacios de almacenamientosencilla.

ZFS: Introducción

ZFS puede ser desplegado en múltiples plataformas:

- Solaris / OpenSolaris / illumos.- FreeBSD / BSD.- Linux.- OS X.

ZFS: Implementaciones

ZFS fué diseñado para proporcionar:

- Una gestión del almacenamiento basada en Pools (eliminación de la noción de volúmenes).

- Integridad de datos extremo a extremo.

- Una operación transaccional (manteniendo la consistencia de datos en el disco y reordenando las transacciones para mejorar el rendimiento).

ZFS: Principios

ZFS: File Systems

Enfoque tradicional Enfoque con ZFS

ZFS: Deduplicación

- Target.

- in-line.

- 256 bit hash.

ZFS: Deduplicación

Para mejorar el redimiento se basa en un sistema de cachés:

- ARC: caché primaria que almacena los bloques que se leen de forma más común de manera que acelera las operaciones de lectura. Siempre reside en memoria.

ZFS: Deduplicación

- L2ARC: caché secundaria de lectura pensada para alojar en dispositivos más baratos (aunque rápidos) una ampliación de la ARC. Los dispositivos utilizados son SSD del tipo MLC y puede ser grande para alojar el mayor número de bloques posible. No permance tras el reinicio con lo cual se pueden notar perdidas de rendimiento después de reiniciar el sistema. La L2ARC requiere algo de memoria para operar. Una porción de la ARC será utilizada para indexar y administrar el contenido de la L2ARC. Por lo general se necesitarán 1-2GB de ARC por cada 100GB de L2ARC.

ZFS: Deduplicación

- ZIL: caché de escritura pensada para acelerar las escrituras de tipo síncrono. Conformada por dispositivos rápidos de pequeño tamaño (no es necesario que esta caché sea muy grande). Muy importante que sean discos SSD de tipo SLC. Puesto que si se pierde antes de volcar a disco se producirá una perdida de datos, es muy recomendable que esté en mirror.

ZFS: Compresión

ZFS permite aplicar además de algoritmos dededuplicación, algoritmos de compresión. Los ahorros de espacio pueden venir dados por la combinación de ambas técnicas. En concreto ZFS permite los siguientes algoritmos :

- GZIP.- LZJB.- ZLE.- LZ4 (recomendado).

ZFS: Snapshots y Clones

Como ZFS no sobrescribe datos, las instantáneas se toman rápidamente y son eficientes desde el punto de vista del espacio, pues comparten los datos sin modificar con el sistema de ficheros.

Se pueden crear instantáneas modificables (llamadas clones).

Backup open source: Bacula

Sobre Bacula

● Software open source para Enterprise Backup & Recovery.

● Disponible desde 2002.

● 1000s de usuarios, >1.3M downloads.

● Bacula Systems fundada en Julio de 2008.

● HQ en Yverdon, Switzerland.

Sobre Bacula

● Dos versiones:

– Community.– Enterprise.

● Gran número de plugins en la versión Enterprise.

WBSAirback® Backup & Storage Appliance

Backup Overview

¿Que tenemos que tener en cuenta?

● Cuantos datos estoy dispuesto a perder (Como de reciente es el dato).

– RPO : Recovery Point Objective

● Cuanto tardaré en volver a dar servicio.– RTO : Recovery Time Objective

Backup Overview

Tiempo de Restore.

RPORecovery

Point Objective

Al recuperar de disco sereduce el RTO

Haciendo copias frecuentementese reduce el RPO

RTORecovery

Time Objective

WBSAirback® Overview

Classic Backup approach...

WBSAirback® Overview

WBSAirback® approach...

WBSAirbackV14

OpenSource Deduplicated

Unified Storage

OpenSource Enterprise Backup(Bacula Enterprise

Enhanced)

ContinuousData Protection

ManagementInterfaces

Interoperability(REST API)

Monitoring&

Security

WBSAirbackV14

Unified Storage

Enhanced)

Monitoring&

Security

WBSAirback® Módulos & Características

Single Management Point

Principal Browsers Access

Multiple concurrent users

OS independent

Mobile browsers supported

HTML5, JS frameworks...

Management InterfacesWeb Interface

Based in Bconsole

SSH access

Management InterfacesCLI Interface

WBSAirbackV14

Unified Storage

Enhanced)

Monitoring&

Security

WBSAirback® REST Interface offers:

Programming Languaje Independency

Legacy Applications Integration

Interoperability (REST API)

WBSAirback® REST Interface offers:

Complete Storage Management

Complete Backup Management

System Monitoring

Interoperability (REST API)

WBSAirbackV14

Unified Storage

Enhanced)

Monitoring&

Security

Detects uncommon situations

Corrects uncommon situations If is there any defined

protocol

Reports about them and aboutexecuted actions

Monitoring & Security(WatchDog)

Based in standard SNMP

Push Mode: Sending TRAPS

Pull Mode: Connecting to publiccommunity

Monitoring & Security(SNMP)

Two Modes supported :

Quorum Based Cluster

Sync Node Based Cluster

Monitoring & Security(HA)

LUNCluster

Master Slave

Multiple Access Roles

Https access web/REST interface

SSH CLI Access

AD / LDAP Autenthication

Secure Updates (VPN)

Secure Support Access On-Demand (VPN)

Monitoring & Security(Others)

WBSAirbackV14

Unified Storage

Enhanced)

Monitoring&

Security

OpenSource Deduplicated Unified Storage

SAN / DAS NASREST TAPE

Heterogeneous Storage Management

Storage virtualization with multiples File Systems

Thin ProvisioningSnapshots

DeduplicationCompression

Volumes Export

iSCSINFSCIFSFTP

Data Replication

WBSAirbackV14

Unified Storage

OpenSource Enterprise Backup

(Bacula Enterprise Enhanced)

Monitoring&

Security

OpenSource Enterprise Backup (Bacula Enterprise)

Bacula Enterprise Plugins

OpenSource Enterprise Backup (Bacula Enterprise Enhanced)

Tier1 Tier3Tier2

Backup Tiering with chained jobs

Data BackupSnapShot

Storage/OS/Application Vendors Integration (Advanced Backup)

Vmware Plugin Interface

Error Management

Three clicks updates

WBSAirbackV14

Unified Storage

OpenSource Enterprise Backup

(Bacula Enterprise Enhanced)

Monitoring&

Security

Private Cloud Backup Service for remote servers

Files / DBs / Mail / VMs

Continuous Data Protection – Remote Branch Offices

Continuous Data Protection – Laptop and Desktop Backup

Private Cloud Backup Service for Mobility

Files/PSTs

Continuous Data Protection - Sync&Share

Private Storage Service for File Sync&Share

Caso de estudio

A continuación se muestra un caso de estudio realizado con la plataforma WBSAirback®:

- Cliente: Entidad Financiera. - Entorno: preproducción Windows y Linux.- Datos diarios a proteger: 5TB.- Tipo de backup: LAN 10GbE.- Jobs diarios: 500 (225 Fulls y 275 incrementales).

Caso de estudio

27/05/2014 29/05/2014 31/05/2014 02/06/2014 04/06/20140

Allocated

Referenced

Preguntas

Gracias !!!

Ignacio GilartCEO & Co-founder WBSgo® Ignacio.gilart@wbsgo.com

almacenamiento y backup open source de rango empresarial - whitebearsolutions #openexpoday 2014

archivos distribuidos

sus archivos

archivos en una unidad

open wbsgo conceptos

sobre wbsgo inversin

sobre wbsgo y por supuesto

archivos es una parte

sobre wbsgo hace

Technology

espectro audible rango dinamico

almacenamiento de aceros

manual rango a (castellano)

05 dispositivos de almacenamiento

capítulo viicambio en la definición de las direcciones de...

dispositivos de almacenamiento

dispositivos de almacenamiento...env

introducción a angularjs #openexpoday 2014

typo3 #openexpoday 2014

rango de condensadores smd

storwize ibm - almacenamiento

hdr (alto rango dinámico)

fungicide tm rango miticide...

nivelador de almacenamiento vertical brochure_es.pdf ·...

almacenamiento bartholdi 2005

jquery #openexpoday 2014

9328_3ed_en manual vuelo vis rango

rango de funcionamiento típica

series unity & sc de dell emc · global sponsors series...

sistemas de almacenamiento raid