my sql ha-fina_lv2

MySQL

Pedro Andrade

[email protected]

Strategic Accounts

Manuel Contreras

[email protected]

Senior Consultant

Linux, Virtualization, MySQL

Global Business Unit

Colombia Bogotá Abril ‘13

Agenda

MySQL Replication: Introducción

MySQL + Java: como escalar masivamente

aplicaciones.

Beneficios de MySQL, Java & GlassFish

Application Server.

Arquitecturas de Referencia MySQL

Donde encontrar más Información

QA

MySQL Replication

MySQL Replication: recap Funcionalidad Integrada a MySQL Server

Copia updates / inserts desde un Master Server hacia uno o

varios Slaves Servers.

Usos comunes:

High Availability

Backup On-line

Asíncrono

Semi-Sync en 5.6

updatecustomer

updatecustomer

Asynchronous Replication

Synchronous Replication

Customer Inquiry

Customer Inquiry

MySQL Replication Web / App Servers

Writes & Reads

MySQL Master Server

Writes

Index & Binary Log Rotation

MySQL Slave Server

Writes

Reads

Replication Relay Log

MySQL Replication: scale-out

MySQL

Master

Slave 1 Slave 2 Slave 3 Slave 4 Slave N

Web / App Servers

Writes

Slave Farm

Writes

Reads

http://mysql.com/why-mysql/white-papers/mysql-wp-replication.php











Replication ~ Topologías Flexibilidad para escalar

Multiple

Single Chain

Circular

Master

Slave

© 2010 Oracle Corporation – Proprietary and Confidential

MySQL Enterprise

MySQL Enterprise – Valor agregado

– Workbench, monitor, query analyzer, performance advisors - Facilidad de uso y mejor control de la plataforma

– Soporte Técnico 24x7 Oracle Support – Mitigación de riesgos

– Actualizaciones de software - Estabilidad y mejor desempeño en MySQL

Server

Open-source server with pluggable APIs

Monitoring

Enterprise manager

Query analysis

Hot fixes

Service packs

Best practices rules

Knowledge base

24x7 support

Load balancer

MySQL Enterprise Edition

MySQL Community Server

MySQL Enterprise - Performance

20x Mejor escalabilidad MySQL Enterprise MySQL 5.5.16

Oracle Linux 6.1, Unbreakable Kernel 2.6.32 2 sockets, 24 cores, 2 X 12-core Intel(R) Xeon(R) X5670 2.93GHz CPUs 72GB DDR3 RAM 2 X LSI SCSI Disk (MR9261-8i) (597GB)

Default Connection Pool

Users/Clients

Connection 1

Default

Connection Pool

Connections

/statements

assigned

to Threads

for life

Connection 1 Execution Thread

Connection 2 Connection 2 Execution Thread

• Connections assigned to 1 thread for the life of the connection

• Same thread used for all connection statement executions (single threaded)

With Thread Pool Enabled

Thread Pool (and thread groups)

Connection 1 Execution Threads

Users/Clients

Connection 1

Connection 2

Connection 1

Threads 1 - 4096

Connection 2

Threads 4097 - 8193

Connection 2 Execution Threads

• Pool contains configurable number of thread groups (default = 16), each manages up to 4096 re-usable threads

• Each connection assigned to thread group via round robin

Connection N

Threads 8194 - N

Ensures better, sustained performance as user loads continue to grow.

MySQL Enterprise Monitor: Query Analyzer

MySQL Enterprise Backup

• Online Backup for InnoDB

• Full, Incremental, Partial Backups

• Compressed Backup

• Point in Time Recovery (PITR)

• High Performance

• Unlimited Database Size

• Cross-Platform (Windows, Linux, Unix)

MEB Backup Files

MySQL Database Files

mysqlbackup

16 © 2012 Oracle Corporation – Proprietary and Confidential

MySQL Workbench Tweets from real users after 5.2 release

“MySQL Workbench – I think I love you. Exporting backups and managing mass connections is so simple. Bootiful!” “MySQL Workbench 5.2 is impressive.

SQL Development, Data Modeling, and Server Administration all integrated”

Copyright © 2012, Oracle and/or its affiliates. All rights reserved.

MySQL Workbench

• SQL Development

– SQL Editor - Color Syntax Highlighting

– Object Management - Import/Export, Browser, Edit

– Connection Management - Wizard, SSH Tunnel

– Multi-Pane Results View, In-grid data edits

• Data Modelling

– Visual Design

– Forward/Reverse Engineer

• Database Administration

– Status, Configuration, Start/Stop, Replication

– Users, Security, Session Management

– Import/Export Dump Files

New! Database Migration Wizard for SQL Server, Sybase, PostgreSQL

18

MySQL Enterprise Security

19

MySQL Enterprise Audit

20

MySQL Enterprise Audit

Java La plataforma de desarrollo

Java

Java

- Simple, facil de usar

- 100% orientado a objetos, API clases

- Administración automática de memoria

- Independiente a la plataforma

- Orientado a un contenedor JRE ( JVM )

–Maquina virtual Java que administra multi-threading, seguridad, memoria, class loader, manejo de excepciones ( errores en tiempo de ejecución )

- Oracle Glassfish Application Server es la implementación de referencia para Java EE

- 9 millones de desarrolladores en el mundo

- Java es gestionado por el Java Community Process

El lenguaje de programación independiente a la plataforma

http://www.oracle.com/technetwork/java/javase/jdk7-relnotes-418459.html

Java 7.0

Java 7.0, incorpora mejoras orientadas para aumentar el desempeño de aplicaciones corriendo en servidores con gran capacidad en RAM, y CPU multi-cores.

– Manejo de memoria mas eficiente

- Memoria es divida en varios Heap - First Gargabe collector: divide la memoria en varios

heap memory, aumentando el desempeño en su acceso

– Nueva funcionalidad en API de JDBC, para conectividad a bases de datos RowSet, Statement y Connection implementan la

interfaz Closeable, AutoCloseable

Java 7.0 – potencializa el desempeño de Java en Servidores

Java & MySQL ~ la mejor combinación

Mecanismos para establecer conexiones a MySQL Server, con Java:

- Pool Connection / Data Source

- Persistence Framework

– Hibernate, Spring

– Memcached ( Not-Only SQL MySQL 5.6 & MySQL Cluster 7.2 )

– NoSQL ( Not Only SQL )

– ClusterJ & Memcached Java APIs

– MySQL Server 5.6 ( InnoDB )

– MySQL Cluster ( NDB Cluster )

Prácticas Recomendadas para Java Developers

JDBC | Java Database Connectivity Prácticas Recomendadas para Java Developers

JDBC | Java Database Connectivity

Pool Connection / DataSource

- Un conjunto de conexiones, siempre esta listo en el pool

- Método: getConnection() en Java, obtiene una conexión lista del pool, sin delay en abrir físicamente una conexión al motor de BD.

- Método closeConnection() en Java, NO cierra la conexión, únicamente la retorna al pool, para que otro Thread pueda re-utilizarla


JDBC | DataSource Glassfish

http://blogs.oracle.com/psterk/entry/creating_and_configuring_a_mysql

JDBC | DataSource Glassfish

http://blogs.oracle.com/psterk/entry/creating_and_configuring_a_mysql

El Servidor Java EE de aplicaciones, Glassfish Application Server administra las conexiones en el Pool: Automáticamente cierra conexiones en estado idle. Obtiene conexiones sobre demanda, según las requiera el aplicativo. Configuración centralizada desde JDBC Resource Manager, en el Java Application Server.



Data Source



Data Source (2)


Recap: JDBC | Java Database Connectivity

JNDI Data Source

- Pro: flexibilidad en parámetros de configuración, gestión de conexiones por el contenedor Java EE

- Consideración: requiere de un application server ( container )

Persistence Framework

- Pro: mapping entre OO & ER

- Consideración : requiere mayor configuracion ( XML config params )

-NoSQL ( Memcached, ClusterJ )

Pro: Key-Value access repository

Consideración : No FK’s, NO ACIDity


Recap: MySQL – Replicación Master – Slave


JDBC – MySQL Master, Slave1, Slave2, SlaveN – Round Robin


- Balanceo de Lectura en servidores Slave

- Servidor Master para Read & Writes

- Slaves para Read Only

- JDBC Connector automáticamente, selecciona un

Slave de la lista de Slaves

http://dev.mysql.com/doc/refman/5.5/en/connector-j-reference-replication-connection.html




- Import de Librerías

- Configura Driver para uso en RoundRobin Load Balancing




- Insert Datos en Master ( Read Only False )




- Select Datos en uno de los Slaves ( Read Only True )

MySQL Enterprise Monitor • Replication Monitor

• Vista única consolidada del ambiente MySQL

• Auto descubrimiento de servidores MySQL, replicación y topologías

• Alertas y monitoreo adaptable y basado en reglas

• Identificación de problemas antes de que ocurran

• Reducción de riesgo y tiempo de inactividad

• Facilidad para escalamiento horizontal sin requerir más DBAs

MySQL Enterprise Monitor

Un asistente DBA Virtual para MySQL

http://mysql.com/products/enterprise/monitor.html

MySQL Enterprise Monitor • Java Connector plugin

• Java Connector plugin

– MySQL Enterprise Monitor, a través de conector JDBC Java

•Obtiene información de queries para su análisis, desde la aplicación

– Utilizado por Query Analyzer de MySQL Monitor

MySQL Enterprise Monitor

http://dev.mysql.com/doc/mysql-monitor/2.3/en/mem-qanal-using-cj.html

MySQL Replication

Clustering & Virtualization

Clustering & Geo Replication

DRBD

TCO

& M

ore

Co

mp

lex

Alta Disponibilidad

% 9 9 9 9 35 dias 4 days 50 min 5 min 8 horas

eCommerce

Telecoms, Militar

. 9

4 dias

ISPs &

Corporativo On-Line

Services

MySQL Replication

Manual Failover

Hardware o software load balancers [ F5,

ultramonkey (software) ]

Linux-ha.org / Linux Heartbeat

Linux Enterprise Cluster Suite

Windows Clustering Service

Built-in MySQL Connector Failover (Connector J )

A nivel a aplicación

- Try connection A, then try connection B

Recap: MySQL – Replicación Master – Slave


Shared Storage (SAN)


Shared-Disk Clustering Architectures

= Private IP =

10.10.10.21

Active Server Passive Server

Cluster Management

= Virtual IP =

10.10.10.10

= Private IP =

10.10.10.20

Cluster Agent

SAN

Cluster Agent


DRBD Distributed Replicated Block

Device

Linux Heartbeat, DRBD and MySQL

= Private IP = 10.10.10.21

Active Server Passive Server

= Private IP = 10.10.10.20

Primary DRBD Secondary DRBD DRBD

Linux Heartbeat = Virtual IP = 10.10.10.10

• Certified and fully supported by Oracle – DRBD integrated into Oracle Linux

Unbreakable Enterprise Kernel R2

– Pacemaker and Corosync for clustering & failover

– Updates to stack via ULN channel

• Based on distributed storage, not a SAN – Synchronous replication eliminates

risk of data loss

• Open source, mature & proven

MySQL Enterprise High Availability Oracle Linux + DRBD Stack

MySQL: Sakila & el Chavo del 8 en Facebook

MySQL apoya a el Chavo del 8 con:

- Soporte técnico 24x7, para el cluster de 10 nodos.

- Revisión de configuración & puesta a punto de la plataforma productiva.

- Actualizaciones de software al binario MySQL Cluster CGE v 7.2.X

- Disminución de 30% de saturación & consumo de CPU.

- Detección de fallas & monitoring a través de MySQL Enterprise Monitor.

- Afinación del ambiente MySQL Cluster, para mejorar el desempeño del juego.

MySQL Cluster CGE

Introducción

Botero en Medellin Colombia

http://www.flickr.com/photos/dfinnecy/2092541057/

MySQL Cluster CGE – Características generales

- ACID, datos distribuidos en memoria – BDs distribuida en memoria, auto-partitioning (sharding).

Write-Scalable & Real-Time –Procesamiento en nodos Activo – Activo, con replicación síncrona de datos.

Alta Disponibilidad, 99.999%

–SQL & Not Only SQL (NoSQL), interfaces.

–Arquitectura Shared-nothing, con soporte a replicación local & geográfica.

•

Mejora el TCO Open-source, herramientas para administración, monitoring, &

escalabilidad horizontal en commodity hardware.

MySQL Cluster CGE

Auto

Fragmentación de

Datos

Machu Picchu Perú

http://www.flickr.com/photos/94875862@N00/95345836/in/photostream/

MySQL Cluster CGE Auto-Sharding –

Introducción

•Partitioning - Sharding ocurre automáticamente y de forma

transparente para la aplicación

•Conocimientos básicos de como funciona, puede incrementar el

desempeño de la aplicación

•Escalable de forma horizontal, con soporte para agregar mas nodos

en linea

•No es necesario, agregar lógica en la aplicación para tomar ventaja

del Sharding

http://www.mysql.com/why-mysql/white-papers/mysql_wp_cluster_perfomance.php

MySQL Cluster CGE

Scaling-Out

Escalabilidad

Horizontal

9 de Julio BsAs Argentina

http://www.flickr.com/photos/fvyague/2538963317/

• Certified and fully supported by Oracle – DRBD integrated into Oracle Linux

Unbreakable Enterprise Kernel R2

– Pacemaker and Corosync for clustering & failover

– Updates to stack via ULN channel

• Based on distributed storage, not a SAN – Synchronous replication eliminates

risk of data loss

• Open source, mature & proven

MySQL Enterprise High Availability Oracle Linux + DRBD Stack

• Cluster managed through MS Failover Cluster Management snap-in GUI

• Loss of service = couple of seconds + InnoDB recovery time

– App sees temporary loss of connection and reconnects on same IP address

– Replication slave recovers automatically

App

Virtual IP

Data Bin

Slave App App

Vote

MySQL Enterprise High Availability

• Kernel based heartbeat and monitoring

• SPARC and x86. Solaris Virtualization-aware

• MySQL agent included with Oracle Solaris Clusterl

MySQL Enterprise High Availability Oracle Solaris Clustering

MySQL Enterprise Backup

• Respaldo en linea para MySQL databases • Alto performance en Respaldo y Restauración de Info • Respaldos Full, Incremental, Partial

- Compressed Tables - Partition Files - In-memory database

• Compresión de datos • Point in Time Recovery • Cross Platform • Unlimited Database size

• Mejora de 3.5x, sobre tiempos de backup con mysqldump • Mejora de 16x, sobre tiempos de restore con mysqldump

MySQL Workbench

http://www.mysql.com/products/workbench/

Software Open Source @

Oracle Pedro Andrade

[email protected]

Strategic Accounts

Manuel Contreras

[email protected]

Senior Consultant

Linux, Virtualization, MySQL

Global Business Unit

Colombia Bogotá Abril ‘13

my sql ha-fina_lv2

Documents