azure data overview

Azure Data OverviewFabricio Catae

Technical Evangelist

Microsoft Azure

Vinicius SouzaTechnical Evangelist

Azure Data1. Virtual Machines2. SQL Database3. DocumentDB4. RedisCache5. Storage Account6. StorSimple7. Azure Search8. SQL Data Warehouse

NOSQL x SQLStorage do AzureCenários Avançados

SQLNOSQLEis a questão

NoSQL: Geralmente mais escalável

Arquitetura baseada em “scale-out”

Modelo simplificado de “transação”

Não há “schema” fixo

IaaSPhysical Virtual PaaS

Diferentes Armazenamentos

Virtual MachineSQL

Azure Data: Virtual Machine

Virtual Machine

Liberdade para escolha de produto

Virtualização do hardware

Disponibilidade do Azure Marketplace

Administração do Servidor

Qualquer produto, qualquer versão

Configuração do Sistema Operacional

Aplicação de patches e hotfixes

Você é o Administrador

SQL DB

Azure Data: SQL Database (SQL DB)

SQLDB não é uma máquinaSQL

Server2014

Máquina

SQL DB Porta TCP/IP

Arquitetura

Camada Cliente

Serviços e Roteamento

Plataforma: Database

Infraestrutura: Hardware e SO

Infrastructure Layer

PHP WCF Data Services

SQL ServerApplications

and Tools

ODBC ADO.NETTabular Data Stream (TDS)

Client Layer

Services Layer

Provisioning

Billing and Metering

Connection Routing

Provisioning

Billing and Metering

Connection Routing

Provisioning

Billing and Metering

Connection Routing

…

…

…

TDS+SSL

Platform Layer

SQL Server

SQL Database

FabricManagemen

t Services

SQL Server

SQL Database

FabricManagemen

t Services

SQL Server

SQL Database

FabricManagemen

t Services

…

…

…

Por que SQLDB?Serviço de backup

Alta Disponibilidade

Possibilidade de ”scale-

up”

Banco de dados relacional

Escolha o modeloService Tier

Performance Level

Common App Pattern

Performance Business Continuity

Max DB Size

Trans. Perf. Objective

DTUs PITR DR / GEO-Rep

Basic Basic Small DB 2 GB Reliability / Hr. 5 7

DaysDB Copy + Manual Export

Standard S0-S3 Cloud app 250

GBReliability / Min.

10-100

14 Days

DB Copy + Manual Export

Premium P1-P11

Mission Critical, High volume, Many concurrent Users

500 GB

Reliability / sec.

125-1750

35 Days

Active Geo-replication

Elastic Pool Basic, Standard, Premium

DemoBanco de dados Relacional

NoSQL

Sem “Schema”Desenvolvimento iterativo

Produção e consumo rápido de dados

A validação de dados pode ser postergada

Variação brusca de tráfego com altos e

baixos

Azure NoSQL

Azure Tables é um serviço NoSQL baseado em Row Store

MongoDB é um repositório NoSQL de documentos (JSON)

Cassandra é um NoSQL com armazenamento Columnar

HBase é a base do Hadoop e HDInsight

DocumentDB

Azure Data: DocumentDB (NoSQL)

DocumentDB na Microsoft

99.95% de disponibilidade

Backend dos usuários do MSN.com

10TB de documentos do OneNote API

Funcionalidades Disponíveis

Consultas usando a sintaxe SQL

Stored Procedures em Javascript

Ajuste no nível de consistência transacional

Redis Cache

Azure Data: RedisCache (NoSQL)

Web Tier

Data

Storage

SQL

Data

Cache de Dados

Web Tier

Cache

DataData

Storage

SQL

- High Throughput- Low Consistent Latency 50% : <3ms 99% : <10ms

AzureRegion

Redis (REmote DIctionary Server)Simples: baseado em “chave-valor” (Key-Value)

Baixa latência de resposta

Limite entre Cache e NoSQL

DemoBancos de dados NoSQL

Problemas Resolvidos com NoSQLDemora para exibir itens na Home Page

Implementação eficiente para Ranking

Troca de mensagens com expiração

Análise em tempo real

Não há “schema” fixo

FIRST LAST BIRTHDATE

Wade Wegner 2/2/1981

Nathan Totten 3/15/1965

Nick Harris May 1, 1976

FAV SPORT

Canoeing

Storage do Azure

Azure Data: Storage do Azure

Arquitetura

Massive Scale Out & Auto Load Balancing Index Layer

Distributed Replication Layer

Blob/Disk QueueTable

REST REST REST REST

File Share

SMB

“Microsoft Azure Storage: A Highly Available Cloud Storage Service with Strong Consistency”, ACM Symposium on Operating System Principals (SOSP), Oct. 2011

Table Storage

EntityTableAccount

contoso

Name =…Email = …

Name =…EMailAdd=

customers

Photo ID =…Date =…

photos

Photo ID =…Date =…

PARTITIONKEY(CATEGORY)

ROWKEY(TITLE) TIMESTAMP MODELYEAR

Bikes Super Duper Cycle … 2009

Bikes Quick Cycle 200 Deluxe … 2007

… … … …Canoes Whitewater … 2009Canoes Flatwater … 2006

PARTITIONKEY(CATEGORY)

ROWKEY(TITLE) TIMESTAMP MODELYEAR

Rafts 14ft Super Tourer … 1999

… … … …

Skis Fabrikam Back Trackers … 2009

… … … …Tents Super Palace … 2008

PARTITIONKEY(CATEGORY)

ROWKEY(TITLE) TIMESTAMP MODELYEAR

Bikes Super Duper Cycle … 2009

Bikes Quick Cycle 200 Deluxe … 2007

… … … …Canoes Whitewater … 2009Canoes Flatwater … 2006Rafts 14ft Super Tourer … 1999… … … …

Skis Fabrikam Back Trackers … 2009

… … … …Tents Super Palace … 2008

Particionamento de Tabela

Server ATable = Products

Server BTable = Products

[Canoes - MaxKey)

Server ATable = Products

[MinKey - Canoes)

Queue

2 1

C1

C2

1234

Publicadores Assinantes

P2

P1

3 12

Blob StorageBlobContainerAccount

http://<account>.blob.core.windows.net/<container>/<blobname>

Pages/ Blocks

contoso

PIC01.JPG

Block/Page

Block/Page

PIC02.JPGimages

VID1.AVIvideos

Azure FilesSuporte aos protocolos REST, SMB 2.1 e 3.0

DemoStorage Account

CenáriosAvançados

StorSimple

Custo do Storage

Acce

ss

SSD HDD Cloud

Time

Working set data

Inactive data

45

Conectando com a NuvemApplications in Physical or Virtual Servers

StorSimple Hybrid Storage Array

Customer Data Center

StorSimple

Manager

46

StorSimple

Appliance (Hardware e Software)

StorSimple Virtual Array (Software)

Transparente: Não requer alteração dos aplicativos

Solução ideal para “File Share”

Azure Search

MICROSOFT CONF IDENT IAL – INTERNAL ONLY

FuncionalidadesCategorizaçãoFiltrosRankingDados geospacial56 linguagens

ArquiteturaBaseado no Apache Lucene

Componentes• Index Writer•Query Parser• Index Searcher

51

Conteúdo

XML

HTML

Powerpoint

Media Services

SQL Data Warehouse

Escalabilidade

Arquitetura Massive Parallel Processing (MPP)Escalonamento flexível de acordo com suas necessidades

Diferenciação entre CPU e Armazenamento

Elastic scale & performance

Powered by the Cloud

Market Leading Price & Performance

PauseO processamento é suspenso, mas os dados não são apagados

$$$$

55

Visão Complementar•Agregar os dados de múltiplos sources•NoSQL, Hadoop, SQLDB, File Share

•Conectar ao Machine Learning e usar scripts R

•Visualização gráfica e iterativa com o PowerBI

DemoSQL Data Warehouse

Azure Data

58Visite: mva.microsoft.com

© 2014 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.