FUNDAMENTOS DE APLICACIONES BUSINESS INTELLIGENCE

Introduccin al Business Intelligence

Qu es Business Intelligence?

Historia y Evolucin de los conceptos de BI

Conceptos y Terminologa BI: OLTP, OLAP, Data Warehouse, Datamart, Metadata

Qu es Business Intelligence?

Business Intelligence o Inteligencia de Negocios, consiste en el proceso de transformacin de datos en informacin, haciendo uso de tcnicas de Extraccin, Transformacin y Carga (ETL), proporcionando informacin validada para una adecuada toma de decisiones y de manera oportuna.

El valor de la Informacin?

Transformacin AscendenteDATOSINFORMACIONINTELIGENCIACONOCIMIENTOSABIDURIA

El valor de la Informacin?Asignacin de valor: Ley de oferta y demanda?Preguntas claves:Qu influencia la compra y la demanda?Qu productos me generan ms ingresos?En dnde hay oportunidades de negocio?Cmo segmento mis clientes segn su comportamiento comercial?Qu es lo que mueve la calidad del producto y la demanda de los clientes?Era de la Informacin, la informacin tiene un valor monetario.

Las Organizaciones y sus Requerimientos de S.I.Las empresas al querer contar con una mayor automatizacin en sus procesos, implementan dentro de su organizacin una gran infraestructura tecnolgica.

Sistemas de Procesamiento de Datos (SPD)Administracin de Recursos Empresariales (ERP)Sistemas de Informacin Ejecutiva (EIS)Sistemas de Soporte a Decisiones (DSS)Manejo de Relacin con Clientes (CRM)

Qu informacin se necesita?Antiguamente:Toma de decisiones = INTUICIN , BASADA EN LA EXPERIENCIA

Actualmente:Ms personas toman decisionesDeben tener informacin OPORTUNA Y DE CALIDAD

Requerimientos Informativos en la Piramide OrganizacionalAnalistasConsumidores de InformacinExploradores de Informacin5-10% de los usuarios15-25% de los usuarios65-80% de los usuariosNivel EstratgicoNivel TcticoNivel Operacional

Historia y Evolucin de los conceptos de BIConceptos de Business Intelligence

Incas, Fenicios, persas, egipcios y otros pueblos usaban informaciones obtenidas de la naturaleza en beneficio propio

MareasPeriodos de SequasLluviasPosicin de los astros

Historia y Evolucin de los conceptos de BIConceptos de Business Intelligence

Despus de la conquista de Amrica, se crea en Espaa la "Casa del Oro

Las nuevas tecnologas tales como, almacenamiento en tarjetas perforadas, Bases de Datos lineales y Lenguajes de Cuarta Generacin (4GL), permitieron darle al usuario la facilidad de tener el control directo de los sistemas y de la informacin.

Historia y Evolucin de los conceptos de BI

En los 70s se da un gran salto al aparecer :Los dispositivos de Acceso Directo (DASD)Acceso veloz a los datos y Bsquedas directas y No lineales Administracin de Bases de Datos (DBMS)permita al desarrollador el acceso a la informacin, al encargarse del almacenamiento e ndices.

En los 90s las grandes empresas contaban con Centros de Informacin (CI).Funcionaban como repositorio de datos, Informacin poco disponibleConceptos de Business Intelligence

Historia y Evolucin de los conceptos de BIConceptos de Business Intelligence

El concepto de Data Warehouse nace entre los aos 1992 y 1993 como base del desarrollo de soluciones Business Intelligence. repositorio

En 1996 el concepto de Business Intelligence empez a difundirse como una evolucin de los Executive Information Systems (EIS).

Historia y Evolucin de los conceptos de BIConceptos de Business Intelligence

El trmino Business Intelligence se extendi hacia otras herramientas como: EIS (sistema de informacin ejecutiva)DSS (sistema de soporte a las decisiones)Balanced Scorecad (indicadores de gestin)Dashboard (cuadros de mandos)ER (reporteadores empresariales) Data Marts, Data Mining, Herramientas OLAP

Resumen : Activar la capacidad de tomar decisiones, afinar estrategias de relaciones con los clientes y satisfacer las necesidades del sector empresarial.

Historia y Evolucin de los conceptos de BIConceptos de Business Intelligence

Los sistemas de Planeamiento de Recursos Empresariales o Enterprise Resource Planning (ERP), tienen como funcin principal dar soporte a la parte operativa de las diferentes reas de la organizacin, y se encuentra muy ligada con la historia del Business Intelligence.

Actualmente los ERP se convierten en el principal origen de datos para soluciones Business Intelligence

ERP

El reto es unir elementos de las reas y proporcionarle a los usuarios una manera universal de utilizar la informacin almacenada en diferentes sistemas.

Utiliza la informacin a travs de la organizacin de forma ms proactiva en reas claves.

Conceptos y Terminologa BI:

OLTPOLAPData WarehouseDatamartMetadata

On Line Transacction Processing (OLTP)OLTP esta encargado de dar soporte a los procesos diarios de ingreso y mantenimiento de datos en tiempo real.

Caractersticas

Diseo orientado a la transaccin.Volatilidad de los datos.Proporciona soporte muy limitado a la toma de decisiones.

Ejemplos:

Cobranzas.Sistema de control de asistencia.Control de almacn.

On Line Analytical Processing (OLAP) OnLine Analytical Processing (OLAP) es un proceso en el que se usan herramientas netamente anliticas, que facilitan el anlisis de la informacin del negocio. Se halla organizada en entidades y mtricas, que permiten al usuario flexibilidad en la ejecucin de consultas complejas.

OLAP Los servicios OLAP proveen de mltiples niveles de anlisis entre los cuales podemos mencionar, adems de tener la capacidad de realizar consultas complejas:

Realizar actividades intensivas de comparacin de datosAnlisis de tendenciasReportesAislar un grupo de datos con caractersticas especficas

De forma amigable, rpida y confiable.

OLAP Caractersticas

Es consolidada. La data se agrupada desde todas las res de la organizacin y almacenada en un repositorio central y nico.

Es consistente. Todos los usuarios deben obtener la misma versin de los datos independientemente de donde provengan o cuando hallan sido procesadas.

Es orientada al objetivo. Slo debe contener informacin importante que permita la toma de decisiones.

OLAP Caractersticas

Es histrica. Toda la informacin de la empresa es almacenada como fotografas en el repositorio nico de datos.

Es de solo lectura. El sistema OLAP es exclusivamente slo para consultas.

No es atmica. La data OLAP principalmente contiene data sumirazada y resumida.

OLAP

OLAP. Un ejemplo Ejemplo:Una cadena de tiendas de alquiler de videos muestra el siguiente cuadro mensual, con las cantidades de videos alquilados por cada una de sus sucursales.

OLAP. Un ejemplo Sin embargo, la tienda de alquiler de videos tambin deseara ver como se desarrollan las ventas en el tiempo.

OLAP Las mismas celdas de datos se visualizan mediante un cubo.TiempoTiendaCategora

OLAP Cunto se alquila por categora de video en cada tienda en un mes dado? Resp.: Categora de video por tienda en un mes dado

Qu tiendas han mejorado sus alquileres de video a travs del tiempo? Resp. : Tienda por tiempo de una categora de video dado.

Modelos de Almacenamiento OLAP Relacional (ROLAP)

OLAP Multidimensional (MOLAP)

OLAP Hbrido (HOLAP)

OLAP de Escritorio (DOLAP)

OLAP Local (LOLAP)

ROLAP OLAP Relacional (ROLAP) es un sistema en el cual los datos se encuentran almacenados en una base de datos relacional.

Tpicamente, los datos son detallados, evitando las agregaciones y las tablas se encuentran normalizadas.

Los esquemas ms comunes sobre los que se trabaja son estrella o copo de nieve, aunque es posible trabajar sobre cualquier base de datos relacional.

ROLAP es utilizada en DataMarts con grandes volmenes de datos como por ejemplo : Las empresas de telecomunicacionesBanca, entre otros.

ROLAPLa arquitectura ROLAP est compuesta por un servidor de base de datos Relacional y un motor OLAP en un servidor dedicado.

Esta arquitectura est diseada para almacenar gran volumen de datos, debido a que su almacenamiento es relacional.

MOLAPEn un sistema OLAP multidimensional (MOLAP) los datos se encuentran almacenados en una estructura multidimensional.

Para optimizar los tiempos de respuesta, el resumen de la informacin es usualmente calculado por adelantado. Estos valores precalculados o agregaciones son la base de las ganancias de desempeo de este sistema.

Algunos sistemas utilizan tcnicas de compresin de datos para disminuir el espacio de almacenamiento en disco debido a los valores precalculados.

MOLAP es utilizada en DataMarts con pequeos volmenes de datos como por ejemplo : Medianas empresasreas especificas de una organizacin

La arquitectura MOLAP est compuesta por un motor OLAP en un servidor dedicado.

Esta arquitectura est diseada para almacenar poco volumen de datos lo cual generar una limitacin respecto al tamao de BD.

Esta arquitectura permitir mejoras enormes en la performance con respecto a los tiempos de consulta logrando un anlisis ms fcil y rpido

MOLAP

HOLAP Un sistema OLAP Hbrido (HOLAP) mantiene los registros detallados en la base de datos relacional, mientras que los datos resumidos o agregados se almacenan en una base de datos multidimensional separada.

Este mtodo de almacenamiento es una combinacin de los dos anteriores e intenta rescatar lo mejor de cada uno.

HOLAP es utilizada en DataMarts con grandes volmenes de datos como por ejemplo : BancaRetailSegurosEntre otros.

La arquitectura HOLAP est compuesta por un servidor de base de datos Relacional y un motor OLAP en un servidor dedicado.

Esta arquitectura permite que el espacio fsico, la performance de las consultas y el procesamiento sea menor que MOLAP y mayor que ROLAP.HOLAP

DOLAP y LOLAP Las Desktop Online Analytical Processing (DOLAP) y Local Online Analytical Processing (LOLAP) se almacena en la estacin de trabajo del cliente (que puede ser una PC comn).

Este tipo de cubos de informacin envan al servidor relacional instrucciones SQL desde una estacin de trabajo y reciben los datos almacenndolos como micro cubos los cuales son analizados de manera local.

Entre sus desventajas es que el cubo offline no puede ser muy grande y al estar almacenado en la pc del cliente pueden presentarse problemas de seguridad.

ARQUITECTURAS OLAPLos usuarios que requieren de un alto nivel de detalle necesitarn de una arquitectura ROLAPLos usuarios que requieren de datos agregados y sumarizados necesitarn de una arquitectura MOLAP Los analista que requieran ambos tipos de anlisis necesitarn una arquitectura HOLAP.

OLTP vs OLAPDifieren en arquitectura y uso.

Entre los numerosos puntos de diferencias se encuentran:

Los objetivos principalesLa orientacin de los datosLa integracinLa historicidadEl acceso de datos y manipulacinLos patrones de usoLa granularidad de los datosEl perfil de los usuariosLa metodologa de desarrollo, etc.

OLTP vs OLAPObjetivos principales de construccin

Los OLTP estn orientados a dar soporte a las operaciones diarias del negocio. Las aplicaciones OLAP se orientan a asistir en el anlisis del negocio (consultas).

OLTP vs OLAPAlineacin de datos

Los OLTP estn orientados a aplicaciones o sistemas los cuales poseen distintos tipos de datos y diferentes y estructurados para registrar las trascancciones diarias del negocio.

Los sistemas OLAP estn alineados por rea o tema y estn orientados a la consulta del analista de negocio. Se orientan totalmente a las consultas.

OLTP vs. OLAPOLTPOLAPPor ejemplo :

En las financieras existen numerosas aplicaciones de cuentas y colocaciones a nivel operacional mientras que en un Data Warehouse la informacin estara organizada por cliente, funcionario, tipo de cuenta y tiempo.

En las comercializadoras existen aplicaciones sobre registro de ventas, registro de compras, manejo de inventario o stock y presupuesto. En un Data Warehousing hablaramos de productos, sucursales, proveedores, tiempo y las diferentes mtricas propias de negocio (unidades vendidas, monto neto, etc)

OLTP vs. OLAPIntegracin de datos

En los OLTP, los datos se encuentran dispersos, son calificados como datos base o datos operacionales. Estos datos son estructurados en forma aislada uno de otros, pudiendo tener diferentes estructuras de llaves y nombres.

En los ambientes OLAP, los datos deben estar integrados, consolidados y orientados a un tema o rea de anlisis.

OLTP vs. OLAPAcceso y manipulacin de los datos

Los sistemas operacionales realizan operaciones con los datos fila por fila usando genaralmente sentencias inserts, updates y deletes. Adems requieren de rutinas de validacin como son el commit y el rollback, los bloqueos de registros, etc.

Los sistemas OLAP tienen una carga y acceso masivo de datos, haciendo uso principalmente de sentencias select. Es por esta razn que la estructura de la BD analtica es desnormalizada rompiendo los esquemas clsicos operacionales para beneficiar el tiempo de consulta y proceso.

OLTP vs. OLAPGranularidad de los datos

Los sistemas OLTP se encuentran los datos a nivel atmico (transaccin por transaccin). Los sistemas OLAP tienen adicionalmente de data detallada, datos sumarizados y agregados.

Sistemas OLTP vs OLAP

Data WarehouseRalph Kimball: un data warehouse es una copia de los datos transaccionales especficamente estructurados para consultas y anlisis.

Data WarehousingA Warehouse is a place, Warehousing is a process [R.Hackathorn]

Existe una gran cantidad de procesos detrs de una arquitectura de Data Warehouse de suma importancia para el mismo. Estos comprenden desde procesos de extraccin que estudian y seleccionan los datos fuente adecuados para el Data Warehouse hasta procesos de consulta y anlisis de datos que despliegan la informacin de una forma fcil de interpretar y analizar.

A continuacin pasaremos a explicar los procesos bsicos de una Data Warehouse: Extraccin, Transformacin, Carga e Indices, Chequeo de Calidad, Liberacin/Publicacin, Consulta, Feedback, Auditoria, Seguridad, Respaldo y Recuperacin.

Extraccin

El proceso de extraccin consiste en estudiar y entender los datos fuente, tomando aquellos que son de utilidad para el Data Warehouse.

TransformacinUna vez que los datos son extrados, stos se transforman. Este proceso incluye correccin de errores, resolucin de problemas de dominio, borrado de campos que no son de inters, generacin de claves, aumento de informacin, etc.Carga e ndicesAl terminar el proceso de transformacin, se cargan los datos en el Data Warehouse.Chequeo de CalidadUna vez ingresada la informacin al Data Warehouse, se realizan controles de calidad para asegurar que la misma sea correcta.Data Warehousing

ConsultaEl usuario final debe disponer de herramientas de consulta y procesamiento de datos. Este proceso incluye consultas ad hoc, reportes, aplicaciones DSS, Data Mining, etc.FeedbackMuchas veces es aconsejable seguir el camino inverso de carga. Por ejemplo, puede alimentarse los sistemas legales con informacin depurada del Data Warehouse o almacenar en el mismo alguna consulta generada por el usuario que sea de inters.AuditoriaLos procesos de auditora permiten conocer de donde proviene la informacin as como tambin qu clculos la generaron.Data Warehousing

SeguridadUna vez construido el Data Warehouse, es de inters para la organizacin que la informacin llegue a la mayor cantidad de usuarios pero, por otro lado, se tiene sumo cuidado de protegerla contra posibles 'hackers', 'snoopers' o espas. El desarrollo de Internet a incrementado este dilema.Respaldo y RecuperacinSe deben realizar actividades de backup y restore de la informacin, tanto la almacenada en el Data Warehouse como la que circula desde los sistemas fuente al Data Warehouse.Data Warehousing

DatamartUn Datamart es un Data Warehouse mas pequeo.Normalmente la informacin contenida en un datamart es un subconjunto de un datawarehouse.

DatamartCaractersticasOrientado a un departamento dentro de la organizacinPuede ser implementado como una solucin para problemas inmediatosNo es necesario para construir un Data Warehouse.Beneficios

Implementacin rpida y sencillaMenor costo de implementacinCubre necesidades especificas del NegocioRespuestas rpidas por el menor volumen de informacinAsegura la consistencia de los datos

DatamartDesventajasInadvertidamente se puede usar datos no compatibles con otros Datamarts que luego alarguen el tiempo de unificacin

Si el Data Warehouse es construido primero, se requiere de hardware adicional para soportar Datamarts individuales.

Datos descentralizados debido a que cada Datamart corresponde a una base de datos individual por tema o por rea.

MetadataEs un componente muy valioso para el Data Warehouse; los datos provenientes de la metadata se sita en una dimensin diferente al de otros datos del data warehouse, debido a que su contenido no es tomado directamente desde el ambiente operacional.

La Metadata abarca todos los procesos de Data Warehousing y contiene:Nombres de campos y definicionesMapeo de los datosTablasndicesCronogramas de extraccin y cargaCriterios de seleccinClculos de los datos derivadosTransformacin de los datosMetadata

Existen 3 tipos de Metadatos:Metadata del Negocio: Contiene los modelos lgicos y las reglas de negocio.

Metadata Tcnica: Contiene los nombres fsicos de las tablas, ubicacin de almacenamiento, relaciones, llaves, etc.Metadata Operacional: Contiene la programacin de cargas, fechas de actualizacin de datos, seguridad.

Metadata

Qu beneficios puede brindarle a una empresa el Business Intelligence?

Habilidad de tomar las decisiones correctas en el momento correctoPor medio de las herramientas necesarias para poder comparar y analizar tendenciasEl tiempo invertido en la realizacin de presentaciones ejecutivas se ve reducido de forma significativa

El trmino Business Intelligence fue adoptado: Por los principales consultores europeos porque comprobaron que la historia del Viejo Continente traa consigo este concepto en diversos episodios.

Para que los conceptos que surgieron con las siglas EIS, DSS y SIG puedan abarcar cada vez ms, dentro de un proceso natural de evolucin de tecnologas y metodologas. Para sustituir la nomenclatura ofrecida a los proyectos de Data Warehouse y Datamart cuando se los disea por separado.

Preguntas

Segn la pirmide organizacional, cules son los 3 niveles de informacin que se necesitan.

Nivel EstratgicoNivel TcticoNivel OperacionalNombre tres (3) diferencias entre OLTP vs OLAP.

La integracinLa historicidadLa granularidad de los datos

La tecnologa OLAP creci y se multiplic originando las herramientas:

ROLAPMOLAPHOLAPDOLAP y LOLAP

Preguntas

Un vistazo a un cubo OLAPPreguntas