solidq business analytics day | escalabilidad “ilimitada” con sql server
DESCRIPTION
Presentación de Eladio Rincón durante el SolidQ Business Analytics Day en Valencia (España) el pasado 13 de Marzo 2013. - Casos más impactantes y sus retos - El caso de la Servilleta... y la otra servilleta - En qué te podemos ayudar www.bisql.comTRANSCRIPT
Escalabilidad “ilimitada” con SQL Server
Eladio Rincón Director Depto. Relacional, SolidQ SQL Server MVP [email protected]
2
Producto
Hardware
Aplicaciones
Combinación
Factores que Limitan la Escalabilidad
Baseline
Identify bottlenecks
Make Changes
Measure Performance
Agenda
Casos más Impactantes y sus Retos
El Caso de la Servilleta
… y la otra servilleta
En qué te podemos ayudar
3
4
Los números… VLDB Mission Critical HA/DR DW High OLTP
> 30,000 DB tx/Second
100% uptime (2008)
100% uptime (2009)
100% uptime (2010)
180M incremental
fact rows/day
7x24x365 Synchronous
Mirroring Solution >15B
tx/yr
> peta-byte
≈ 1 trillion rows
Asynch Mirroring > 400 miles
< 60 sec. recovery
>1 peta-byte
>10B rows in 1 table
>80GB daily growth
>50 TB by end of 2010
>90GB daily growth
Critical operations
at > 2200 facilities
Critical operations
with > 15,000 users
Mission Critical
database > 4 TB
Critical operations
with > 1,000,000,000 tx/day
Large U.S. Financial Organization
Mission Critical
table > 1.9 billion rows
COMING SOON!
(10+1 Clusters)
Centipede
490TB
9 data nodes
70GB daily growth
<= 3s query response (80%)
700 million rows/day
Incremental growth
5TB Analysis Services data
50TB federated environment
> 3,000 tx/Second
> 2B CLR calculations/day
12.4M users (2.7M regular)
> 23k batch requests/sec
> 125K tx/second
< 50ms latency
Large U.S. Financial Organization
4.4M concurrent users
130M monthly users
SAP | geo-cluster > 5 miles
No Data Loss | No Down Time
5
…traducido en Caracteristicas Necesidad Característica Versión SQL Server
VLDB Particionado 2000 – 2012
Compresión 2005 – 2012
BD en Memoria 2013+
HA / Tier – 1 Hadron / AlwaysON 2008 – 2012
Utilizar los
secundarios
2005 – 2012
DW Scale Scale Out (2008) – 2012
FTDW, Vertipaq (2008) – 2012
6
Servidores
Apps
Usuarios
Listener
Scale Out – El Caso de la Servilleta
Scale Out – La otra Servilleta Protección y escalabilidad a nivel de grupos de bases de datos
Mejora la Productividad y ROI
• Multi-database
distribuir la carga entre los secundarios , Reportings y backups
Mejor Disponibilidad
Sin dependencia de aplicaciones
A A
A A
A Application A
Primary Replica
Application A
Secondary Replica
Synch. Data
Movement
Asynch. Data
Movement
A
Scale Out – Caso Práctico
• Grupo de bases de datos que gestionamos conjuntamente (e.g. failover conjunto)
• Definimos la replicación conjuntamente
Availability Group (AG)
• Copia fisica del conjunto de bases de datos definidas en el Availability Group
Availability Replica (AR)
• Permite escritura y lectura
Nodo Primario
• Permite conexiones solo lectura
• Es la copia de backup de los datos
Nodo Secundario
Dimensiones: Replicadas TD
SD
PD
MD
SF
01-08 Time Dim
Date Dim ID
Calendar Year
Calendar Qtr
Calendar Mo
Calendar Day
Store Dim
Store Dim ID
Store Name
Store Mgr
Store Size
Product Dim
Prod Dim ID
Prod Category
Prod Sub Cat
Prod Desc
Sales Facts
Date Dim ID
Store Dim ID
Prod Dim ID
Mktg Camp Id
Qty Sold
Dollars Sold
Mktg Campaign
Dim
Mktg Camp ID
Camp Name
Camp Mgr
Camp Start
Camp End
TD
SD
PD
MD
SF
09-16
TD
SD
PD
MD
SF
17-24
TD
SD
PD
MD
SF
25-32
TD
SD
PD
MD
SF
33-40
Scale Out – SQL Server 2012 PDW
Scale Out – SQL Server 2012 PDW Hechos: Distribuidos
TD
SD
PD
MD
SF
01-08 Time Dim
Date Dim ID
Calendar Year
Calendar Qtr
Calendar Mo
Calendar Day
Store Dim
Store Dim ID
Store Name
Store Mgr
Store Size
Product Dim
Prod Dim ID
Prod Category
Prod Sub Cat
Prod Desc
Sales Facts
Date Dim ID
Store Dim ID
Prod Dim ID
Mktg Camp Id
Qty Sold
Dollars Sold
Mktg Campaign
Dim
Mktg Camp ID
Camp Name
Camp Mgr
Camp Start
Camp End
TD
SD
PD
MD
SF
09-16
TD
SD
PD
MD
SF
17-24
TD
SD
PD
MD
SF
25-32
TD
SD
PD
MD
SF
33-40
Compresión / Almacenamiento Columnar
Disponible en SQL 2012 y PDW
VertiPaq
C1 C2 C3 C5 C6 C4
…
Páginas
Almacenamiento
Tradicional
(row store)
Almacenamiento
Columnar
SELECT key2, key3, SUM (measure1) Ventas FROM tabla GROUP BY key2, key3;
Almacenamiento Columnar – Menos E/S
Disponible en SQL 2012 y PDW
• Se recupera sólo las columnas necesarias
• Datos comprimidos
• Menos E/S
• Mejor ratio de acierto en caché
key1
key2
key4 key5 key6
key3
-- -- columnstore index -- CREATE COLUMNSTORE INDEX idx_cs_fact ON dbo.Fact ( key1, key2, key3, key4, key5, key6, key7, key8, measure1, measure2, measure3);
Tecnología en Memoria Proyecto Heckaton
• Objetivo cuando el hardware no da más
>= 15.000 reqs/sec
• Soporte Completo ACID
Tablas en Memoria SPs en Memoria
15
Repaso de los números… VLDB Mission Critical HA/DR DW High OLTP
> 30,000 DB tx/Second
100% uptime (2008)
100% uptime (2009)
100% uptime (2010)
180M incremental
fact rows/day
7x24x365 Synchronous
Mirroring Solution >15B
tx/yr
> peta-byte
≈ 1 trillion rows
Asynch Mirroring > 400 miles
< 60 sec. recovery
>1 peta-byte
>10B rows in 1 table
>80GB daily growth
>50 TB by end of 2010
>90GB daily growth
Critical operations
at > 2200 facilities
Critical operations
with > 15,000 users
Mission Critical
database > 4 TB
Critical operations
with > 1,000,000,000 tx/day
Large U.S. Financial Organization
Mission Critical
table > 1.9 billion rows
COMING SOON!
(10+1 Clusters)
Centipede
490TB
9 data nodes
70GB daily growth
<= 3s query response (80%)
700 million rows/day
Incremental growth
5TB Analysis Services data
50TB federated environment
> 3,000 tx/Second
> 2B CLR calculations/day
12.4M users (2.7M regular)
> 23k batch requests/sec
> 125K tx/second
< 50ms latency
Large U.S. Financial Organization
4.4M concurrent users
130M monthly users
SAP | geo-cluster > 5 miles
No Data Loss | No Down Time
Qué proponemos para acercarte a
esos números
Baseline
Identify bottlenecks
Make Changes
Measure Performance
4 Medidas
• Sintéticas
• Unitarias
• Concurrencia
• Vida Real
“Cuando quieres realmente una cosa, todo el Universo conspira para ayudarte a conseguirla”
Autor: Tú (con permiso de Paulo Coelho)
Medidas Sintéticas
• Recursos:
Arquitecturas de
Referencia FTDW
• Herramientas:
Fabricantes de
hardware y software
(SQLIO, IOMeter)
• Busca los
límites
• No es Barato
Pruebas Unitarias
• Funcionales del software Visual Studio, Telerik, Nunit, xUnit, Pex: MS Research
• Las cosas no van mal
• …pero pueden ir
Pruebas de Concurrencia
• Cómo se comporta el software con otros al lado ERPs, CRMs, Transaccionales, Analíticos, Reporting, …
• Analizar (S y H) Profilers
PerfMon
• Concluir
• Medidas
Vida Real • Seguir
midiendo Tools
• Entender
la realidad Cruzar datos
• Reaccionar
rápido Proactivo
© SolidQ 2013 22
• Replicación para mejorar rendimiento
• Migraciones
• Rápidas
• Seguras
• Escalables
Pinceladas de Casos de Estudio
© SolidQ 2013 23
Usando Replicación de Datos para mejorar Rendimiento
© SolidQ 2013 24
Migración a 2008 Muy Rápida
© SolidQ 2013 25
Migraciones Medidas y Seguras…
© SolidQ 2013 26
… en Sistemas Seguros …
© SolidQ 2013 27
… y Escalables y con Fast Track
© SolidQ 2013 28
• Los números están ahí
• Ayudan a asustar fantasmas
• Outside – In
• Comprende lo que ves fuera y ajústalo a tu Organización
Resumen
Eladio Rincón
© SolidQ 2013 30
Agenda
9:30: 10:00 Una nueva plataforma de gestión de
la información: SQL Server 2012
10:00 – 11:00 ¿Sabes hasta dónde puede llegar
SQL Server?
11:00 – 11:30 Coffee – Break
11:30 – 12:15 Enterprise Information Management:
Jugando con SSIS, DQS y MDS
12:15- 13:00 ¿Cómo de Big son tus datos?:
HDInsight
© SolidQ 2013 31
Túneles de viento
http://www.rectademeta.com/primer-tunel-de-viento-en-espana.html
http://angelesenlacabeza.blogspot.com.es/2012/10/tuneles-de-viento-ese-gran-desconocido.html
http://www.autobild.es/reportajes/ferrari-una-factor%C3%AD-de-sue%C3%B1os
Entrenamientos
http://www.lasprovincias.es/20110203/deportes/motor/vida-kilometros-hora-201102030951.html
http://www.elmundo.es/albumes/2013/02/08/delarosa_ferrari_estreno/index.tml
Entrenos oficiales
http://www.abc.es/20121102/deportes-f1/abci-libres1-abudabi-201211021156.html
Carrera
http://www.flickr.com/photos/97302051@N00/155461458/sizes/z/in/photostream/
http://beyondtheredline.org/formula-1-fernando-alonso-the-rain-master/
Créditos imágenes
Si quieres disfrutar de las mejores sesiones de
nuestros mentores de España y Latino América,
ésta es tu oportunidad.
http://summit.solidq.com/madrid/
Síguenos:
© SolidQ 2013 32