nosql onde vivem e como se alimentam ? (evento yolab s03e01 03/2014)

NoSQL Onde vivem e

Como se alimentam?

Alvaro Viebrantz

"A DBA walks into a NoSQL bar, but turns and leaves because he could't find a Table."

Webtonull

Alvaro Viebrantz Analista de TI - Sefaz-MT

!Blog = ?

[email protected]

!@alvinhuuu

Afinal o que é NoSQL ? Pensamentos iniciais.

NoSQL - Onde Vivem e Como se Alimentam

“Finalmente estou livre (de schema) !!!”Desenvolvedor que não curte ficar modelando tabelas.

“É melhor que qualquer banco relacional !!! ”Desenvolvedor utilizando pela primeira vez MongoDB.

Afinal o que é NoSQL ? Pensamentos iniciais.


“Mas que diabos é isso que está querendo acabarcom meu emprego ?”

DBA em sua zona de conforto.

“NoSQL resolvem todos os problemas do mundo.”Eu, quando comecei a estudar NoSQL.

O que é NoSQL então ?

• Surgiu por conta da nova leva de aplicações que surgiram com a Web 2.0.

• Modelos de dados diferenciado.

• Grande quantidade de dados.

• Distribuição de dados.

• Escalabilidade.


Not Only SQL

Trade offs• NoSQL

• BASE • Consistencia Eventual • Modelo flexível ( Schemaless ) • Escalabilidade Horizontal • Disponibilidade


• SQL • ACID = Transações • Consistência Forte • Modelo rigido (Schema) • Escalabilidade Vertical

X

Primeiras Especies Encontradas


!‣ Onde foi encontrado ?

‣ Amazon ‣ Familia

‣ Orientado a Chave-Valor ‣ Aplicações

‣ Session ‣ Carrinho de compras ‣ Catalogo de Produtos

‣ Descendente ‣ Riak

DynamoDB

Primeiras Especies Encontradas


BigTable ‣ Onde foi encontrado ?

‣ Google ‣ Familia

‣ Orientado a Colunas ‣ Aplicações

‣ Analytics ‣ Email ‣ Maps

‣ Descendente ‣ HBase

BigTable

Familias principais de NoSQL


http://www.nosql-database.org/




BigTable GraphKey Value Store Document



RelacionamentosModelos Agregados



BigTable GraphKey Value Store Document



Familia Key-Value Store• Basicamente armazena qualquer coisa a partir de uma chave.

• Completamente sem Schema (Schemaless)

• Operações básicas

• Get, Set, Delete

• Outras operações especificas por implementação


Familia Key-Value Store• Basicamente armazena qualquer coisa a partir de uma chave.

• Completamente sem Schema (Schemaless)

• Operações básicas

• Get, Set, Delete

• Outras operações especificas por implementação


ValueKeyeventos.meta.yolab.s03e01

Redis Especie rara de Key-Value

• Servidor de Estruturas de Dados

• Listas, Filas, Conjuntos, etc…

• Chaves podem ter tempo de expiração.

• Chaves podem ser consultadas com wildcard.


Redis Especie rara de Key-Value

• Servidor de Estruturas de Dados

• Listas, Filas, Conjuntos, etc…

• Chaves podem ter tempo de expiração.

• Chaves podem ser consultadas com wildcard.


AplicaçõesEmpresas

Controle de Sessão InstagramCache StackOverflow, Twitter e Instagram

Filas de Processamento Github e Várias libs Contagem de Notificações Tumblr e Instagram

Não tenha medo de usar

• Empresa brasileira

• Boo-Box

• Empresa de publicidade em mídias sociais


http://www.slideshare.net/f_mafra/usando-redis-para-otimizar-o-sistema-boobox

AplicaçõesArmazenamento de sessões de usuários

Cache de produtos de terceiros Busca em catálogos de produtos de terceiros

Validação de visualizações e clicks de produtos

http://www.slideshare.net/f_mafra/usando-redis-para-otimizar-o-sistema-boobox

Redis Exemplo de aplicação

• Mostrar em tempo-real usuários online vendo um produto/página nos últimos X minutos ou horas.

• E-Commerce, Leilões, Compras Coletivas, etc.


Ebay





Ebay

pages:{pageURLHash}:{userSession}1h





Ebay

pages:{pageURLHash}:{userSession}1h

pages:{pageURLHash}:*

Quantidade de usuários na ultima

hora.

• Key-Value com um pouco mais de estrutura

• Valor armazenado utiliza formatos como XML, JSON, BSON

• Estrutura de documentos flexíveis.

• Consultas por campos dos documentos.

• Inserção de documentos e atualização de campos

Familia Document Store


Familia Document Store


Aplicações

• Agregados de dados, Desnormalização e Compatibilidade de Modelos


Produtoid

titulovalor

Usuarioid

nome

Enderecoid

descricaocidade_idusuario_id

n1

Pedidoid

endereco_idusuario_id

Itemid

produto_idpedido_id

qtde valor

n

1

n1

n 1

n

1

Aplicações

• Agregados de dados, Desnormalização e Compatibilidade de Modelos


Produtoid

titulovalor

Usuarioid

nome

Enderecoid

descricaocidade_idusuario_id

n1

Case Brasileiro - globo.com• Utilizando MongoDB ao invés de MySQL em alguns projetos.

• Porque ?

• Performance

• Administração simples e transparente

• Principalmente modelo de dados


http://www.gonow.com.br/blog/2011/07/29/o-mongodb-aplicado-ao-cartolafc-da-globo-com/

http://globo.com


Case Brasileiro - globo.com• Utilizando MongoDB ao invés de MySQL em alguns projetos.

• Porque ?

• Performance

• Administração simples e transparente

• Principalmente modelo de dados


Catalogo de videos

Receitas (Duh!)


Mural

http://globo.com


Outras Aplicações

• Logs de vários tipos

• Real-time Analytics

• Log de dados temporais

• Visitas, Crash, Busca, etc


Outras Aplicações

• Logs de vários tipos

• Real-time Analytics

• Log de dados temporais

• Visitas, Crash, Busca, etc


Real-time Analytics para Apps moveis

Logs de buscas Metadados

- Logs de atividades (Login, pagamentos,etc)

- Alimentam o sistema de detecção de fraudes

Familia Column Store Clones do BigTable

• Bilhões de linhas x Milhões de colunas

• Orientado a coluna x Orientado a linhas

• Dados esparsos

• Quantidade massiva de dados


Facebook Pai Twitter Contar coisas (Botão de Tweet) Netflix Distribuição por Região e Disponibilidade

Facebook Messages Twitter Analytics Netflix Consistencia e Distribuição

Familia Graph Store Foco em relacionamentos

• Mas os banco relacionais não são feitos de relacionamentos ?

• Custoso

• Inserções comprometidas

• Buscas Complexas

• “Poucos dados” mas muitas ligações


Familia Graph Store Funcionamento

• Armazenamento de nós e seus arestas.

• Teoria dos Grafos

• Nós e arestas podem possuir atributos


Qual o Menor Caminho entre Cuiabá e Brasilia ?

Familia Graph Store Aplicação

• Recomendações em geral

• Amigos em rede sociais


Paulo

João

Familia Graph Store Aplicação


• Amigos em rede sociais


João e Paulo são amigos ?

Familia Graph Store Aplicação (continuação)


• Produtos baseados em compras passadas


Alvaro

Familia Graph Store Aplicação (continuação)


• Produtos baseados em compras passadas


Alvaro gostaria de um produtoque seus amigos também compraram ?

Big PlayersNoSQL - Onde Vivem e

Como se Alimentam

Analise de Impacto

LogisticaDetecção de Fraude

Gerenciamento de Data Center

Recomendação de Seguidores FlockDB

Ecossistema Poliglota

• Escolher a melhor ferramenta para o trabalho.

• Nenhuma ferramenta deve resolver todos os problemas.


Ecossistema Poliglota

• Escolher a melhor ferramenta para o trabalho.

• Nenhuma ferramenta deve resolver todos os problemas.


X

SQL NoSQL

Persistencia Poliglota

• Resolve problemas específicos

• Torna possível novas formas de obtenção de dados e de valor no que o usuário produz.


Redis

User Session

MongoDB

Catalogo Produtos

RDBMS

Financeiro

Neo4J

Recomen dações

Dynamo

CarrinhoRDBMS

Relatórios

RDBMS

Financeiro

Cassandra

LogAtividades


Perguntas e Respostas

That`s all folks


Perguntas e Respostas

nosql onde vivem e como se alimentam ? (evento yolab s03e01 03/2014)

Data & Analytics

estudar nosql

nosql bar

visualizaes e

documentos e atualizao

anal o que nosql

o que nosql ento

twitter e instagram

noticaes tumblr e instagram