cargas dinamicas - ssis

Desenvolvendo Cargas de Dados Dinâmicas e Incrementais com Integration Services

Apresentação

Senior BI Analyst at Comp Line

BI and Database Consultant and Instructor - One Way Solution

Writer – SQL Magazine

OLAP and ETL Consultant and Instructor – BI do Brasil

Microsoft Certified Professional

Agenda

Extract, Transformation and Load – Introdução

Conhecendo o MS Integration Services Arquitetura do MS Integration Services Conhecendo alguns componentes do SSIS Constraints, Variáveis, Parâmetros e

Expressões Foreach Loop Container Desenvolvendo cargas Padrões com SSIS Processo de carga Dinâmico – Arquitetura e

Criação Implementando a carga incremental no

SSIS

Extract, Transformation and Load - Introdução

O ETL visa trabalhar com toda a parte de extração de dados de fontes externas, transformação para atender às necessidades de negócios e carga dos dados dentro do Data Warehouse.

Em tempo de execução ele é divido em Extração, Transformação e Carga de dados.

Conhecendo o MS Integration Services

O Microsoft Integration Services é responsável por permitir a construção de cargas de integração de dados e ETL para Data Warehouse;

ProjectSolution

Package Control

FlowData Flow

Arquitetura do MS Integration Services

Solution

Project 1

Project 2

Project 3

Recipiente Macro;

Dentro de uma Solução é possível criar vários projetos da solução Microsoft – SSIS, SSAS, SSRS;

Arquitetura do MS Integration Services

Project

Package 1

Package 2

Connection 1

Recipiente onde se cria os pacotes de ETL a seremdesenvolvidos;Criação das conexões globais;

Arquitetura do MS Integration Services

Recipiente para desenvolvimento dos Fluxos de controle e de dados.

Package

Control Flow

Arquitetura do MS Integration Services

Control Flow Recipiente onde se cria o

fluxo de Dados;

Possibilidade de fazer algumas configurações. Exemplo - EmailContainer

Execute SQL

Send Mail

Data Flow

Arquitetura do MS Integration Services

Data Flow

Task usada para trabalho a nível de Dados.

Inúmeras possibilidades;

Lookup

Merge Join

Sort

Merge

…

Arquitetura do MS Integration Services

Destino 2

Destino 1

Condição

Mesclar

Origem 2

Origem 1

Task usada para trabalho a nível de Dados.

Arquivo txt

Data Flow Task

Destino 3

Execute SQL TaskUsado para executar comandos em SQL padrão ANSI

e/ou T-SQL;

Destino 1

Destino 2

Origem

COMPLETION FAILURESUCCESS

Precedência de Constraints

Destino 3

A precêdencia COMPLETION

Exige apenas que o executável de precedência seja 

concluído, independente do resultad

o.

Precedência de Constraints

Destino 1

Origem

COMPLETION

A precêdencia SUCCESS exite que o executável de

precedência seja executado com sucesso.

Precedência de Constraints

Destino 2

Origem

SUCCESS

A precêdencia FAILURE exige que o executável

de precedência deve falhar. Geralmente utilizado

para tratamento de erros.

Precedência de Constraints

Origem

FAILURE

Destino 3

Passo 3

Passo 1 Passo 2

AND

Passo 2

Multiplas de Constraints

OR

Passo 1 Passo 2

Passo 3

Se a opção AND for ativada em seu Control

Flow, você estará indicando logicamente

que SOMENTE se os dois primeiros passos tiverem

sido concluídos, o Controle pode prosseguir

para o Passo 3.

Multiplas de Constraints

AND

Passo 2Passo 1 Passo 2

Passo 3

Se a opção OR for ativada em seu Control Flow, você

estará indicando logicamente para que caso

um dos dois primeiros passos tiverem sido

concluídos, o Controle pode prosseguir para o

Passo 3.

Multiplas de Constraints

Passo 3

Passo 1 Passo 2

OR

Dentro da ferramenta do Integration Services é possível trabalhar com dois tipos de variáveis:

Variáveis de Usuário – Criadas dentro do Pacote pelo desenvolvedor.

Variáveis de Sistema – Guardam dados em tempo de execução do pacote.

DadosVariável

Variável

Parâmetros são recipientes que recebem o valor corrente de uma determinada variável e aplica esse valor em uma determinada situação.

Dentro do SSIS um parâmetro é mapeado através do character ‘?’

VariávelParâmet

ro

Parâmetro

Uma expressão é uma combinação de símbolos (identificadores, literais, funções e operadores) gera um único valor de dados.

Expressões

Funções Matemáticas Funções de String Funções de Data e Hora Funções para tratamento de NULL Funções para conversão de tipo de dados Operadores

Expressões

Foreach Loop Container irá se repetir para cada elemento retornada de uma matriz.

Loop

Elemento 1Elemento 2Elemento 3

Foreach Loop Container

1. Diretório2. Listagem Manual3. Linhas retornadas de um Objeto4. Tabelas de banco de dados5. Variável6. XML7. Objetos do Banco (tabelas, views)

Foreach Loop Container

Desenvolvendo Cargas Padrões com SSIS

Processo de Carga Dinâmico - Arquitetura e Criação

Acha Parâmetros

Habilita a Trace Flag

610Desabilita a Trace Flag

610

Retorna Colunas

Carrega Tabela

Container

Implementando a carga incremental no SSIS

Acha Parâmetros

Habilita a Trace Flag

610

Container

Habilita a Trace Flag Desabilita a Trace

FlagRetorna Colunas

Retorna Colunas

Retorna Colunas

Retorna Colunas

Valida Dipo de Carga

Referências

https://msdn.microsoft.com/en-us/library/ms141134.aspx

https://msdn.microsoft.com/en-us/library/ms137681.aspx

https://msdn.microsoft.com/en-us/library/ms141261.aspx

https://msdn.microsoft.com/en-us/library/ms139733.aspx

Contatos

Email - arthurjosemberg@gmail.com

Linkedin – Arthur Luz

Twitter - @arthurjosemberg

Skype - arthurjosemberg

Blog – arthurluz.wordpress.com