monitorizando ssisdb like a boss
TRANSCRIPT
#SQSummit
Montorizando SSISDB
Pau Sempere Sanchez
Data Platform Architect
@pausempere
Like a boss!
400
Agenda
•Estructura del catálogo
•El catálogo con Power BI
•Gemas escondidas
Estructura del catálogo
Claves• Operations
• ExecutionsoData Statistics
oComponent Phases
• ProjectsoPackages
• Event Messages
Estructura del catálogo
¿Qué tenemos hasta ahora?
• SSIS Dashboard
• Proyectos independientes
Estructura del catálogo
Pros
• Integrado
• Gran nivel de detalle• Nivel de logging
• Fácil de usar
Contras
Estático
Gran nivel de detalle
Muerte por chocolate
SSIS Dashboard
Demo
SSIS Dashboard
El catálogo con Power BI
Power BI• Perspectiva análitica
• Modelo interactivo
• Métricas avanzadas
• Cross-filtering
• Gráficos personalizados
El catálogo con Power BI
SSISDB
Demo
Enriqueciendo el dashboard
Niveles de logging
• None
• Basic
• Performance
• Verbose
En SQL Server 2016, háztelo tú mismo
Expandiendo el modelo
• Filas afectadas por paquete• ¿Más filas más tiempo?
• Uso de memoria• Límite de la máquina
• ¿Afecta al rendimiento?
Expandiendo el modelo
• Patrones• Degradación de rendimiento en horas de backup
• Uso de paquetes ad-hoc
• Competencia por recursos
Demo
Uso de paquetes
Fases de ejecución – Data Flow
• AcquireConnections
• Validate
• ReleaseConnections
• PrepareForExecute
• PreExecute
• ProcessInput
• PrimeOutput
• Cleanup
AcquireConnections
Validate
ReleaseConnections
PrepareForExecute
PreExecute
ProcessInput
PrimeOutput
Cleanup
Fases de ejecución - Data Flow
PreExecute
• Resuelve las queries en origen
• Carga Lookups
• Importa datos para calcular el tamaño de buffers
Fases de ejecución - Data Flow
ProcessInput
• Recibe datos del (de los) componente(s) anterior(es)
• Procesa el dato
• Puede llamarse varias veces• ¡Buffer disponible!
Fases de ejecución – Process Input
Fases de ejecución - Data Flow
PrimeOutput
• Añade datos a la salida
• Componentes bloqueantes / semi-bloqueantes
Demo
Análisis por fases
Lookups
• Elemento común en paquetes BI
• Muy sensible a malas prácticas
• Full cache carga todo el dato en memoria• ¿Cuánta?
Lookups
• No existe “catalog.lookup_usage”
• Bucear en los mensajes de diagnóstico
Demo
Lookups
Presión de memoria
• SSIS basa su potencia en el procesamiento en memoria
• Si se queda sin ella, pagina buffers a disco (swapping)
• Esto es MALO
Presión a memoria
Demo
Presión a memoria
Ralentización de reservas
• Antes de paginar, SSIS detecta la presión
• Baja el ritmo de creación de buffers para mantener la memoria estable
• ¡Alerta de rendimiento!
Gestión de memoria
Demo
Ralentización de reservas de memoria
Contadores de rendimiento
• BLOB bytes read
• BLOB bytes written
• BLOB files in use
• Buffer memory
• Buffers in use
• Rows read
• Buffers spooled
• Flat buffer memory
• Flat buffers in use
• Private buffer memory
• Private buffers in use
• Rows written
Siguientes pasos
• Convertirlo a proactivo (TR)• Direct Query
• PowerShell usando API
• Event Hubs + Azure Stream Analytics
• Alertas en Power BI móvil (sólo iOS ahora mismo)
• Convertirlo en predictivo• SSAS Data Mining
• Azure ML
También puedes preguntar tus dudas con el
hashtag #SQSummit en Twitter
ADAPTIVE BI FRAMEWORK
Te ayudaremos a mejorar la velocidad de desarrollo de tu plataforma de analítica de negocio basada en nuestra experiencia:
•Diseña antes de construir
•Automatización de procesos por ETL
•Servicios de mentoring para ayudarte a conseguir mejores prácticas para la construcción de procesos específicos y plataformas de analítica de negocio
•Muy fácil de mantener
SOLIDQ FLEX SERVICES
Con SolidQ Flex Services evitarás sustos, consiguiendo que tus sistemas sean estables. Desde una solución sencilla de monitorización, hasta un servicio de atención de incidencias 24/7, mantenimiento proactivo, resolución de problemas y línea de soporte.
Todo con un coste fijo mensual… y tú dedica el tiempo a las cosas importantes.