24 hop edición español - asegurando la calidad del dato en mi proyecto de bi - mary arcia
Post on 06-Jul-2015
92 Views
Preview:
TRANSCRIPT
Asegurando la Calidad del
Dato en mi Proyecto de BIMary Arcia
MCTS SQL Server
SQL PASS Venezuela
maryarcia@hotmail.com
Moderador: David Sanchez
Gracias a nuestros auspiciadores
Database Security as Easy as A-B-C
http://www.greensql.com
Hardcore Developer and IT Training
http://www.pluralsight.com
SQL Server PerformanceTry PlanExplorer today!
http://www.sqlsentry.com
Próximos SQL Saturday
24 de Enero de 2015 https://www.sqlsaturday.com/346/register.aspx
18 de Abril de 2015 https://www.sqlsaturday.com/368/register.aspx
9 de Mayo de 2015 https://www.sqlsaturday.com/373/register.aspx
6 de Diciembre de 2014 https://www.sqlsaturday.com/351/register.aspx
4
Capítulo Global PASS en Español
4
Reuniones semanales todos los miércoles a
las 12PM UTC-5 (Hora de Colombia)
https://www.facebook.com/SpanishPASSVC
5
Asistencia Técnica
Si requiere asistenciadurante la sesión debe usar la sección de preguntas que esta en el menú de la derecha.
Use el botón de Zoom para ajustar su pantalla al tamaño deseado
Escriba sus preguntas en la sección de preguntas que esta en el menú de la derecha
Mary es Especialista de Business Intelligence en Grupo de Desarrollo GD,
Caracas, Venezuela
Lleva +12 años trabajando en proyectos de Business Intelligence y
Administracion de Bases de Datos.
Colaborador activo de eventos SQL Server para LATAM (IT Woman PASS
LATAM, 24 Horas de PASS en español)
Coordinador del Cápítulo de PASS en Venezuela.
7
o Qué es la Calidad del Dato
o Cinco estilos de BI que impactan la calidad del dato
o Procesos para asegurar la Calidad del Dato
o Qué es Data Quality Services
o Proyectos de Data Quality Services
7
Agenda
CALIDAD DE DATOS EN
BUSINESS INTELLIGENCE
9
Qué es calidad de datos
Se refiere a los procesos, técnicas, algoritmos y operaciones
encaminados a mejorar la calidad de los datos existentes en las
empresas y organizaciones.
Según el TDWI
Se define como la medida de correspondencia y exactitud
entre los datos de un sistema de información y su valor y
significado en el mundo real.
9
10
Etapas de Madurez de los datos
10
Conocimiento
Información
Datos
• Información Consolidada para la toma de decisiones
• Datos combinados y agregados para responder preguntas sencillas del negocio
• Aplicaciones ERP, CRM y otros sistemas que guardan la transaccionabilidad
Soporte aDecisiones estratégicas
Soporte aOperativa Del negocio
1111
Problemas de la mala calidad de los datos
Calidad de Dato Problema Ejemplo
Formato Tenemos un formateo consistente
en los estándares?
Nro de teléfono:
(xxx)-xxx-xxxx,
58+ xxx.xxx.xx.xx, xxx-xxxx
Estandarización Son los elementos de dato
definidos y se comprenden sus
valores?
Código de Género:
M, F, U,
0, 1, 2
Consistencia Representan los valores lo mismo?
Tienen el mismo significado?
Consumos representados en
Bs, $, reales o pesos
Completitud Se encuentra completa toda la data
que necesitamos?
20% de los apellidos de los
clientes están en blanco, 50%
de las direcciones no tienen
código postal
1212
Problemas de la mala calidad de los datos (cont)
Calidad de Dato Problema Ejemplo
Exactitud Representa la data la realidad
exacta? Son las fuentes
verificables?
Los clientes no se encuentran
en las direcciones registradas.
Los proveedores listados como
activos no lo están desde hace
6 años
Validez Se encuentran los valores entre los
rangos aceptables?
Los límites de crédito de los
clientes no corresponden a su
perfil
Duplicidad Los datos aparecen varias veces? Los clientes Maria Alejandra
Pérez y Marialejandra Pérez
son lo mismo
13
Características de nuestros sistemas de BI …
o Datos extraídos de sistemas y aplicaciones dispares.
o Único punto de consulta o reporting en la organización.
o Información correcta expresada de otra forma.
o Reflejo de la realidad de lo que está pasando en la empresa.
13
14
o Cuadros de Mando y Tablas de Resultados
o Reporting Empresarial
o Análisis de Cubos OLAP
o Análisis Avanzado-Predictivo
o Notificaciones y Alertas
14
Implementaciones comunes en BI y sus requisitos de
calidad de datos
15
Por qué prestar atención a la calidad de los datos?
o Los datos necesitan estar accesibles y ser agregados para poder
consumirse por el BI.
Independientemente del formato donde sea que el usuario los necesite
o Las acciones que los usuarios emprenden están influenciadas por la
precisión de los datos en los informes.
o La confianza en los datos es un aspecto crítico entre los equipos de IT y los
usuarios de BI
La confianza debe ganarse y los datos no son la excepción
15
16
o Los conocimientos empresariales obtenidos a través del BI se convierten en
útiles con mayor rapidez.
o Los directivos, responsables y usuarios de negocio pueden actuar
inmediatamente ante nuevos patrones y tendencias con una granularidad y
precisión mas elevada.
o Identificar sobrecostes y oportunidades para ahorrar y reducir gastos.
o Se incrementa la auditabilidad y visibilidad del dato para futuras revisiones y
monitoreo.
o El ROI sobre el BI es directo e inmediato.
16
Por qué prestar atención a la calidad de los datos? (Cont)
17
Qué podemos hacer para asegurar la calidad de los datos
17
1. Descubrir
2. Perfilar
3. Limpiar
4. Match
5. Consolidar
6. Monitorizar
Identificar y medir la calidad de los datos
Definir reglas y objetivos
de la calidad de los datos
Diseñar los procesos de
mejora de la calidad de los
datos
Matcheo de información y
estadísticas
Implementar los
procesos de mejora
de calidad
Monitorear la calidad
de los datos vs los
objetivos
DEMOVisualizando Datos de mala calidad
DATA QUALITY SERVICES
20
Data Quality Services (DQS) es una solución
basada en el conocimiento de la calidad de datos
que permite a los administradores de datos y
profesionales de IT la mejora de la calidad de sus
datos fácilmente.
20
Qué es Data Quality Services
2121
En qué nos apoya Data Quality Services?
Conocimiento
Limpieza
Consolidación
Aporte de Valor
2222
Arquitectura Básica de DQS
CLIENTE SERVIDOR
Data Quality Services Client
Componente IntegrationServices
DQS_MAIN
DQS_PROJECT
DQS_STAGING
BASES DE CONOCIMIENTO
2424
Bases de Conocimiento
Bases de Conocimiento
Dominios Compuestos
Dominios
Reglas de matching
ValoresReglas y
RelacionesDominio
Referencias Externas
DEMOConstruyendo una base de conocimiento
PROYECTOS DE DQS
2727
Proyectos de Matching
Creación de Reglas
Matching Exportación
Política de comportamiento del
motor DQS
Lógica DifusaAgrega Metadatos
Datos que quedan en el modelo
SQL Server, Excel, DQS
2828
Proyectos de Cleansing
Limpieza de datos
Información Extra
Base de Conocimiento
en la NubePartiendo de la Base
de Conocimiento
Sobre las decisiones que toma Consumir datos
DEMOReglas y proyectos de matching
30
o Qué es la calidad de los datos
o Implementaciones de BI y sus requisitos de calidad de datos
o Qué es Data Quality Services
o Desarrollo de Bases de Conocmiento
o Proyectos de Data Quality Services
30
Resumen
31
o Al adoptar un enfoque de calidad de datos en toda la empresa, los estrategas y arquitectos
de la solución de BI pueden diseñar e implementar estilos de BI con mucha mayor
confianza.
o Data Quality Services es una herramienta que permite velar por la integridad de los datos
basada en una base de conocimiento diseñada a partir de valores y reglas de negocio y con
el propósito de conseguir datos de mayor calidad de una manera fácil e intuitiva para el
trabajo en conjunto entre equipo de IT y usuarios de negocio.
o El despliegue exitoso de la calidad de datos ayuda a una organización a maximizar los
retornos sobre sus inversiones de BI, mediante la mejora de su capacidad para aprovechar
el BI impulsando la ventaja competitiva y el liderazgo de mercado.
31
Conclusiones
Preguntas?
Patrones de busquedas aceleradas con Lookup entre periodos con IntegrationServices
Expositor: Ricardo Estrada
A continuación …
Gracias por participar
top related