manual tecnico dgn olap - final

OSINERGMIN

MANUAL TECNICO

SOLUCION BUSINESS INTELLIGENCE PARA EL AREA DE LA GERENCIA ADJUNTA DE REGULACION TARIFARIA.

26/05/2011

Documento que detalla técnicamente el desarrollo de la solución de Business Inteligencie para la Gerencia Adjunta de Regulación Tributaria

Manual Técnico Solución BI

Contenido1. INTRODUCCION.....................................................22. MODELO DIMENSIONAL..........................................2

2.1. DISEÑO LOGICO......................................................22.1.1. DIMENSIONES...............................................................22.1.2. HECHOS.........................................................................3

2.2. DISEÑO FISICO.......................................................42.2.1. DESCRIPCION DE ATRIBUTOS DE TABLAS................52.2.2. DESCRIPCION DE VISTAS..........................................112.2.3. DESCRIPCION DE PROCEDIMIENTOS.......................11

3. PROCESO DE ETL.................................................143.1. ORIGEN Y DESTINO DE DATOS...........................14

3.1.1. BASE DE DATOS FUENTE..........................................143.1.2. BASE DE DATOS DESTINO.........................................14

3.2. REGLAS DE CARGA...............................................143.3. FLUJO ETL..............................................................15

3.3.1. PAQUETE ETL_DGN....................................................153.3.2. PAQUETE DEPLOY_DGN.............................................163.3.3. CONEXIÓN BASE DE DATOS DATAMART.................173.3.4. CONEXIÓN ANALISIS SERVICE.................................18

3.4. DEFINICION DE JOBS............................................193.4.1. CREAR JOB...................................................................193.4.2. DEFINIR PASOS..........................................................20

4. PROCESO OLAP...................................................254.1. PROPIEDADES DEL PROYECTO...........................264.2. ORIGENES DE DATOS...........................................274.3. VISTA DE ORIGEN DE DATOS..............................294.4. CUBOS...................................................................294.5. DIMENSIONES.......................................................30

4.5.1. UBIGEO........................................................................314.5.2. EMPRESA.....................................................................324.5.3. FORMATO....................................................................324.5.4. TIEMPO........................................................................334.5.5. RUTA............................................................................344.5.6. ESTRATO......................................................................35

4.6. MEDIDAS...............................................................364.6.1. PROPIEDADES DE MEDIDAS.....................................374.6.2. DISTRIBUCION............................................................374.6.3. PROUCCION.................................................................384.6.4. TRANSPORTE..............................................................394.6.5. ESTRATO......................................................................404.6.6. CALCULOS...................................................................414.6.7. PROPIEDADES DE CALCULOS...................................424.6.8. RELACION DIMENSION VS MEDIDAS.......................43

4.7. PARTICIONES........................................................444.8. ROLES....................................................................44

1. INTRODUCCION.

1


El Sistema de Business Intelligence tendrá como fuente de datos el sistema transaccional de comercialización de gas natural que almacena información para los sectores de Producción, Transporte y Distribución, se debe extraer información de esta fuente para transformarla y cargar a la nueva fuente de datos para dejarla lista para que pueda ser analizada.

2. MODELO DIMENSIONAL.2.1. DISEÑO LOGICO.

2.1.1. DIMENSIONES.

NOMBRE DEFINICIONDIMENSION EMPRESA Esta dimensión almacenara todos los

datos correspondientes a las empresas, tipo de empresa, zona, lote, tipo de cliente, cliente, actividad, categoría, y contrato.

DIMENSION FORMATO Esta dimensión almacenara todos los datos correspondientes a la estructura de los formatos.

DIMENSION UBIGEO Esta dimensión almacenara todos los datos correspondientes a la ubicación geográfica como Departamento, Provincia, Distrito y la sub zona. Asimismo almacenara datos sobre los suministros.

2


DIMENSION TIEMPO Esta dimensión almacenara todos los datos correspondientes al tiempo desde el más mínimo nivel que es el día.

DIMENSION RUTA Esta dimensión almacenara todos los datos correspondientes al origen y destino de un determinado transporte.

2.1.2. HECHOS.

NOMBRE DEFINICIONFACT PRODUCCION Hecho que almacenara todos los datos

medibles correspondientes al sector Producción.

FACT TRANSPORTE Hecho que almacenara todos los datos medibles correspondientes al sector Transporte.

FACT DISTRIBUCION Hecho que almacenara todos los datos medibles correspondientes al sector Distribución.

3


2.2. DISEÑO FISICO.

4


2.2.1. DESCRIPCION DE ATRIBUTOS DE TABLAS.

ATRIBUTOS DESCRIPCION EJEMPLOid_empresa Clave Principal

autoincremental.

codigo_tipoCódigo del tipo de empresa.

2

descripcion_tipoDescripción del tipo de empresa.

PRODUCTOR

codigo_empresa Código de la empresa. 5

nombre_empresaDescripción de la empresa.

Olympic Peru Inc.

codigo_zona

Código de la zona donde opera la empresa.

2

descripcion_zona

Descripción de la zona donde opera la empresa.

NORTE

codigo_lote

Código del lote de empresas productoras.

15

descripcion_lote

Descripción del lote de empresas productoras.

12

codigo_tipoclienteCódigo del Tipo de cliente consumidor.

16

descripcion_tipocliente

Descripción del tipo de cliente consumidor.

CONSUMIDORES INDEPENDIENTES

codigo_clienteCódigo del cliente consumidor.

12

nombre_clienteNombre del cliente consumidor.

ALICORP S.A.A.

ciiuCódigo del giro de negocio del cliente.

1514

codigo_actividadCódigo de la actividad del cliente.

65

descripcion_actividadDescripción de la actividad del cliente.

INDUSTRIA

codigo_categoriaCódigo de la categoría del cliente.

87

descripcion_categoriaDescripción de la categoría del cliente.

CATEGORIA TARIFARIA E

codigo_contrato Código de contrato 12

5


del cliente.

descripcion_contratoDescripción del contrato del cliente

100501

codi_tipo_estrato

Identificador del tipo de estrato al que está asociado, útil para el análisis por estrato.

OT = Otros, IN = Industria, GV = Gas Vehicular.

ATRIBUTOS DESCRIPCION EJEMPLOid_estrato Clave Principal

autoincremental

descripcionTexto que describe el rango del estrato.

30 – 60

desdeValor inicial del rango de estrato.

30

hastaValor final del rango de estrato.

60

orden

Indica la posición en la que se mostrara al realizar el análisis.

3

finalIndica si es el rango final.

0 = Normal, 1 = Final.

tipo

Indica el tipo de estrato definida según la actividad del cliente.

OT = Otros, IN = Industria, GV = Gas Vehicular.

ATRIBUTOS DESCRIPCION EJEMPLOid_formato formato Indica el formato

según sector.D1

nombre_formatoTitulo largo del formato.

BALANCE DE ENTRADA Y SALIDA - D1

orden Orden en el que se mostrar el ítem.

1

item Descripción del ítem contiene el ítem por delante del texto.

1 VOLUMEN RECEPCION DE TGP

6


unidad Unidad de medida con la que se analizara la información.

MM3

descripcion_unidad Texto que describe la unidad de medida

Mil m3

descripcion_corta Texto corto del ítem BALANCEformato_item Texto calculado que

concatena el formato y el ítem.

D1 - 1 VOLUMEN RECEPCION DE TGP

ATRIBUTOS DESCRIPCION EJEMPLOid_ruta Clave Principal

autoincrementalorigen Lugar de donde se

inicia el transporte.Lurín

destino Lugar hacia donde se dirige el transporte.

MAU – 95001

ATRIBUTOS DESCRIPCION EJEMPLOid_tiempo Clave Principal

autoincrementalFech_Dia

Día del mes

9/1/2001 12:00:00 AM

Codi_Dia Número del día en el mes 1Codl_YyyyMmDd Día en formato

Yyyy.Mm.Dd2001.09.01

Codl_DdMmYyyy Día en formato Yyyy/Mm/Dd

01/09/2001

Codi_Mes Nro del mes en el año 9CODI_MES_ANNO 21Codl_Mes Septiembre Codl_Dia_Semana 6Codi_Anno 2001Codl_Anno 2001 Codi_Dia_Laboral 425Ind_Dia_Feriado TrueInd_Fin_Mes FalseInd_Ultimo_Dia_Laborable_Mes FalseInd_Dia_Proceso FalseCodi_Sema_Dia Sáb-01

7


Codi_Seme 2Codi_Trim 3Codl_Trim

3er Trimestre

Codi_Bim 5Codl_Bim

5to Bimestre

Codi_Sema 35Desc_Sema

2001-Semana - 35

Año_Mes Sep-01 ind_proc_alta NULLind_proc_actv 1Dia_Max 639Dia_Max_Labo 445Mes_Año 09/2001

ATRIBUTOS DESCRIPCION EJEMPLOid_ubigeo Clave Principal

autoincremental.codigo_departamento Código de departamento. 15descripcion_departamento Texto del nombre del

departamento.LIMA

codigo_provincia Código de provincia. 1501descripcion_provincia Texto del nombre del

provincia.LIMA

codigo_distrito Codigo de distrito. 150121descripcion_distrito Texto del nombre del

distrito.PUEBLO LIBRE

subzona Texto que describe la subzona del suministro

I-8

codigo_suministro Código de suministro 17917descripcion_suministro Texto que describe el

suministro." 11,147 "

direccion

Dirección del sumistro.

BRIGIDA SILVA DE OCHOA -239 BLOCK-A

ATRIBUTOS DESCRIPCION EJEMPLOid_proceso Clave Principal

8


autoincremental.descripcion Texto que indica el formato

a procesar.FORMATO D1

anio Indica el año a procesar. 0 = Todosmes Indica el mes a procesar. 0 = Todosflag_proceso

Indica si se procesa o no.

0 = No Procesa, 1 = si procesa

ATRIBUTOS DESCRIPCIONid_empresa Código de la dimensión

Dim_Empresa.id_formato Código de la dimensión

Dim_Estructura_Formato.id_tiempo Código de la dimensión

Dim_Tiempo.id_ubigeo Código de la dimensión

Dim_Ubigeo.cantidad Indica el volumen distribuido.dinero Indica la facturación por el volumen

distribuido.gn_boca_pozo Gas Natural en Boca de Pozo

transporte_red Transporte de Red Principal

distribucion_otras_redes Distribución de Red Principal

acometida Acometidas

otros Otros

cantidad_trab Cantidad de trabajadores.tarifa Valor de la Tarifa de distribución.codigo_cliente Código cliente.sol_cantviables Cantidad de Solicitudes Calificadas

Viablessol_cantnoviables Cantidad de Solicitudes Calificadas

no Viablessol_noaplican Cantidad de Solicitudes que no

aplicansol_finviable Monto Por Financiamiento de Obra

Calificada Viablesol_reembolso Monto Por Aportes Reembolsables

Dinerariossol_recviable Monto Por Financiamiento de Obra

Calificada Viable

9


sol_recreembolso Monto Por Aportes Reembolsables Dinerarios

sol_ejecucion Monto Por Aportes Reembolsables de Ejecución de Obras

id_estrato Código de la dimensión Estrato balance Volumen del balance.

ATRIBUTOS DESCRIPCIONid_empresa Código de la dimensión

Dim_Empresa.id_formato Código de la dimensión

Dim_Estructura_Formato.id_tiempo Código de la dimensión

Dim_Tiempo.cantidad Indica el volumen producido.dinero Indica la facturación por el volumen

producido.tarifa Valor de la tarifa de producción.balance Volumen del balance.

ATRIBUTOS DESCRIPCION

id_empresaCódigo de la dimensión Dim_Empresa.

id_formatoCódigo de la dimensión Dim_Estructura_Formato.

id_tiempoCódigo de la dimensión Dim_Tiempo.

id_ubigeoCódigo de la dimensión Dim_Ubigeo.

id_ruta Código de la dimensión Dim_Ruta.cantidad Indica el volumen transportado.

dineroIndica la facturación por el volumen transportado.

poder_calorifico Valor del poder calorífico.tarifa Valor de la tarifa de transporte.

volumen_firmeVolumen que se debería transportar.

volumen_inter Volumen que se transportó.balance Volumen del balance.

2.2.2. DESCRIPCION DE VISTAS.

10


NOMBRE DESCRIPCIONv_dim_tiempo v_fact_estrato

2.2.3. DESCRIPCION DE PROCEDIMIENTOS.

NOMBRE DESCRIPCIONDW_EMPRESA Procedimiento que realiza la carga

de los datos de empresa, lote, tipo empresa y zona de la base de datos fuente bddgn2. Para ello se debe verificar que la empresa no fue cargada previamente.

DW_EMPRESA_D2 Procedimiento que realiza la carga de los datos de empresas relacionadas al fomato D2, tipo empresa, zona, actividad económica, categoría tarifaria, cliente, contrato, tipo cliente de la base de datos fuente bddgn2. Para ello se debe verificar que la empresa no fue cargada previamente.

DW_EMPRESA_D3 Procedimiento que realiza la carga de los datos de empresas relacionadas al fomato D3, tipo empresa, zona, actividad económica, categoría tarifaria, cliente, contrato, tipo cliente de la base de datos fuente bddgn2. Para ello se debe verificar que la empresa no fue cargada previamente.

DW_EMPRESA_P2 Procedimiento que realiza la carga de los datos de empresas relacionadas al fomato P2, tipo empresa, zona, actividad económica, lote, cliente, contrato, tipo cliente de la base de datos fuente bddgn2. Para ello se debe verificar que la empresa no fue cargada previamente.

DW_EMPRESA_T2 Procedimiento que realiza la carga de los datos de empresas relacionadas al fomato T2, tipo empresa, zona, actividad económica, cliente, contrato, tipo

11


cliente de la base de datos fuente bddgn2. Para ello se debe verificar que la empresa no fue cargada previamente.

DW_EMPRESA_TIPO_ESTRATO Procedimiento que realiza la actualización del campo codi_tipo_estrato de la DIM_EMPRESA.

DW_ESTRUCTURA_FORMATO Procedimiento que realiza la carga de la estructura de los formatos, se genera registros por cada unidad de medida establecida para el análisis ( MM3 = Mil m3, MMPC = Millones Pie3, MMPCD = Millones Pie3xDia)

DW_FACT_DISTRIBUCION_D1_MM3 Procedimiento que realiza la carga de las medidas para el formato D1 en Miles M3.

DW_FACT_DISTRIBUCION_D1_MMPC Procedimiento que realiza la carga de las medidas para el formato D1 en Millones Pie3.





DW_FACT_DISTRIBUCION_E1 Procedimiento que realiza la carga de las medidas para el formato E1 en Miles M3.

DW_FACT_DISTRIBUCION_ESTRATO Procedimiento que realiza la actualización del campo id_estrato de la tabla de hechos FACT_DISTRIBUCION para lo cual se debe verificar el rango de estrato en el que se encuentra el volumen.

DW_FACT_PRODUCCION_P1_MM3 Procedimiento que realiza la carga de las medidas para el formato P1 en Miles M3.

DW_FACT_PRODUCCION_P1_MMPC Procedimiento que realiza la carga de las medidas para el formato P1

12


en Millones Pie3.DW_FACT_PRODUCCION_P2_MM3 Procedimiento que realiza la carga

de las medidas para el formato P2 en Miles M3.

DW_FACT_PRODUCCION_P2_MMPC Procedimiento que realiza la carga de las medidas para el formato P2 en Millones Pie3.

DW_FACT_TRANSPORTE_T1_MM3 Procedimiento que realiza la carga de las medidas para el formato T1 en Miles M3.

DW_FACT_TRANSPORTE_T1_MMPC Procedimiento que realiza la carga de las medidas para el formato T1 en Millones Pie3.

DW_FACT_TRANSPORTE_T2_MM3 Procedimiento que realiza la carga de las medidas para el formato T2 en Miles M3.

DW_FACT_TRANSPORTE_T2_MMPC Procedimiento que realiza la carga de las medidas para el formato T2 en Millones Pie3.

DW_ITERATEDW_PROCESOS Procedimiento que realiza la

ejecución de todos los procedimientos que se utilizan para la carga de medidas.

DW_RUTA Procedimiento que realiza la carga de los datos de las rutas de transporte.

DW_TIEMPO Procedimiento que realiza la carga de la dimensión tiempo. Este proceso se realiza solo una vez.

DW_UBIGEO Procedimiento que realiza la carga de los datos de la ubicación geográfica.

3. PROCESO DE ETL.3.1. ORIGEN Y DESTINO DE DATOS.

3.1.1. BASE DE DATOS FUENTE.

13


La base de datos transaccional del Sistema Comercial de Gas Natural llamado bddgn2.

3.1.2. BASE DE DATOS DESTINO.Es la base de datos construida para almacenar los datos transformados para el análisis OLAP llamado dm_dgn2.

3.2. REGLAS DE CARGA.

Previo a la carga de datos primero se debe ejecutar el procedimiento DW_TIEMPO Para realizar la carga de los formatos se debe verificar si en la tabla de PROCESOS

está activo el flag de proceso. Cargar los datos en Miles de Metros cúbicos y Millones de Pies cúbicos. Verificar que los registros de dimensiones no fueron cargados previamente. Realizar una eliminación previa de los registros de las tablas de hechos que serán

cargados.

3.3. FLUJO ETL.

14


Para la construcción del flujo de carga de datos se creó un proyecto llamado SSIS_DGN con dos paquetes y dos conexiones a la fuente destino y al Análisis Services respectivamente.

3.3.1. PAQUETE ETL_DGN

Flujo para realizar la carga y transformación de los datos del sistema fuente, cada tarea SQL ejecuta un procedimiento almacenado.

La siguiente tabla se indica las tareas y cuáles son los procedimientos que ejecutan al realizar la carga de los datos.

15


TAREA PROCEDIMIENTO BASE DE DATOS

PROCESO_EMPRESA DW_EMPRESA dm_dgn2PROCESO_EMPRESA_D2 DW_EMPRESA_D

2dm_dgn2

PROCESO_EMPRESA_P2 DW_EMPRESA_P2 dm_dgn2PROCESO_EMPRESA_D3 DW_EMPRESA_D

3dm_dgn2

PROCESO_RUTA DW_RUTA dm_dgn2PROCESO_UBIGEO DW_UBIGEO dm_dgn2PROCESO_EMPRESA_T2 DW_EMPRESA_T2 dm_dgn2PROCESOS_DGN DW_PROCESOS dm_dgn2

3.3.2. PAQUETE DEPLOY_DGN

Paquete desarrollado para ejecutar luego de realizar la carga de datos con la finalidad de implementar las Dimensiones y el Cubo OLAP de este modo mantener la información actualizada para el análisis.

16


3.3.3. CONEXIÓN BASE DE DATOS DATAMART.

Esta conexión se utiliza para ejecutar cada tarea del flujo ETL en la base de datos destino dm_dgn2.

3.3.4. CONEXIÓN ANALISIS SERVICE.

Luego de cargar los datos se debe prepararlos para que esté lista para el análisis. Para ello se utiliza la siguiente conexión.

17


3.4. DEFINICION DE JOBS.

Los JOBS permitirán que los datos se procesen periódicamente, así mismo se podrá procesar cuando sea necesario a través del administrador de base de datos.

18


3.4.1. CREAR JOB.

19


3.4.2. DEFINIR PASOS.

Se define dos pasos para la ejecución de los paquetes creados en el proyecto de Integración (ETL_DGN y DEPLOY_DGN). Para ello se debe seguir la secuencia que se ilustra a continuación.

20


21


22


23


24


4. PROCESO OLAP.Para este proceso se creó el proyecto SSAS_DNG2.

25


4.1. PROPIEDADES DEL PROYECTOEstas propiedades nos permiten cambiar el servidor de base de datos para el procesamiento OLAP.

26


4.2. ORIGENES DE DATOS

El Origen de datos nos permite conectarnos a la base de datos dimensional para poder visualizar nuestras tablas de dimensiones y hechos.

27


28


4.3. VISTA DE ORIGEN DE DATOS

Esta vista usa la conexión creada en el paso anterior para seleccionar las tablas de dimensiones y hechos que se usaran en la construcción del cubo.

4.4. CUBOS

Para el diseño de la estructura del cubo se muestra un panel con tres secciones:

Medidas. Muestra las medidas agrupados por tabla de hecho. Dimensiones. Muestra las dimensiones con sus respectivos atributos y jerarquías. Vista de Origen de Datos. Muestra las dimensiones y hechos usados por el cubo.

29


4.5. DIMENSIONES

Para el diseño de la estructura de las dimensiones se muestra un panel con tres secciones:

Atributos. Muestra los campos de la dimensión y te permite una mejor organización de los campos.

Jerarquías. Muestra las jerarquías y te permite crear otras adicionales de acuerdo a la necesidad

Vista de Origen de Datos. Muestra los campos disponibles para organizarlos.

30


4.5.1. UBIGEO

31


4.5.2. EMPRESA

4.5.3. FORMATO

32


4.5.4. TIEMPO

33


4.5.5. RUTA

34


4.5.6. ESTRATO

35


4.6. MEDIDAS

Las medidas se muestran agrupadas por tabla de hecho.

36


4.6.1. PROPIEDADES DE MEDIDAS

Cada medida posee una lista de propiedades como las que se detalla a continuación:

DataType. Tipo de Dato DisplayFolder. Folder en el que se muestra durante el análisis. Visible. Si esta visible para el análisis. Name. Nombre de la medida. FormatString. El Formato con el que muestra durante el análisis. AggregateFunction. Método de agregación (Suma, Promedio, Count, etc)

4.6.2. DISTRIBUCION

37


4.6.3. PROUCCION

38


4.6.4. TRANSPORTE

39


4.6.5. ESTRATO

4.6.6. CALCULOS

A continuación se muestra las formulas adicionales que se crearon para un análisis mas especializado a través de 2 vistas.

VISTA FORMULARIOS

40


VISTA SCRIPT

4.6.7. PROPIEDADES DE CALCULOS

Estos cálculos se pueden agrupar en carpetas para ello se debe seguir las indicaciones que se ilustra a continuación:

41


4.6.8. RELACION DIMENSION VS MEDIDAS

42


4.7. PARTICIONES

Se Crearon particiones para todas las tablas de hecho siendo la de Distribución que cuenta con más particiones (3) debido al gran volumen de información que almacena.

43


4.8. ROLES

Para que los usuarios tengan acceso al cubo de Comercialización de gas Natural deben contar con los permisos correspondientes como se detalla a continuación:

44


45


46

manual tecnico dgn olap - final

Documents

datos fuente

datos destino

datos datamart

los formatos

origen y destino

la gerencia adjunta

distrito y

y contrato