pandora fms: analizador de logs avanzado

Pandora FMSManual de Administrador

Monitorización LogParser

Manual de Administración Monitorización LogParser

© Artica Soluciones Tecnológicas 20052012

Indice1Changelog...........................................................................................................................................32Introducción........................................................................................................................................43Requisitos...........................................................................................................................................54Matriz De Compatibilidad .................................................................................................................65Módulos de agentes software generados............................................................................................76Instalación...........................................................................................................................................87Monitorización ..................................................................................................................................9

7.1.Parametros generales...............................................................................................................107.1.1.include..............................................................................................................................107.1.2.index_dir..........................................................................................................................107.1.3.logfile...............................................................................................................................10

7.2.Parametros específicos de log ................................................................................................107.2.1.log_begin y log_end.........................................................................................................107.2.2.log_module_name............................................................................................................107.2.3.log_description.................................................................................................................107.2.4.log_type............................................................................................................................117.2.5.log_rotate_mode...............................................................................................................117.2.6.log_force_readall.............................................................................................................117.2.7.log_location_exec............................................................................................................117.2.8.log_location_filename......................................................................................................11

7.3.Parametros específicos de la regexp.......................................................................................117.3.1.log_regexp_begin y log_regexp_end...............................................................................117.3.2.log_regexp_rule...............................................................................................................127.3.3.log_regexp_severity.........................................................................................................127.3.4.log_regexp_message........................................................................................................127.3.5.log_regexp_action............................................................................................................12

1 CHANGELOG

Fecha Autor Cambio Versión

02/03/11 Sancho Primera Version v1r1

22/11/12 Mario P. Segunda Revision v1r2

2 INTRODUCCIÓN

Este documento tiene como objetivo la descripción de la monitorización genérica de logs basados

en el plugin Enterprise de parsing de logs, totalmente diferente del plugin de la version OpenSource.

Este plugin está diseñado para trabajar con la version 3.2.1 o superior.

3 REQUISITOS

El plugin tiene como requisitos para poder funcionar:

• Elaborar la configuracion en un fichero de configuración, al que el plugin tenga acceso (se le

pasa como parámetro).

• Poder escribir ficheros temporales (por cada log analizado) para almacenar la última

posición de lectura, inodo o firma md5 (para identificación de rotado). Por defecto se usa el

directorio /tmp pero este es un parámetro que se puede especificar en el fichero de

configuración.

• Poder leer los ficheros a procesar con el usuario con el que se ejecuta Pandora, o llamar a un

script que a su vez llame el plugin con todos sus parámertos, para que este pueda leer

completamente el log. En caso de que se use un script externo, este tendrá que tener

permisos para que el plugin pueda generar sus ficheros índice (ver punto anterior)

4 MATRIZ DE COMPATIBILIDAD La matriz de compatibilidad del agente es la siguiente

Sistemas donde se ha probado • Linux (SUSE, Debian, Ubuntu...)

Sistemas donde deberia funcionar

• Solaris (con Perl 5.8)• HPUX (con Perl 5.8)• AIX (con Perl 5.8)• Windows

5 MÓDULOS DE AGENTES SOFTWARE GENERADOS

Se creara un modulo por cada uno de los parametros que lo indiquen en el fichero de configuracion

necesario para su ejecucion.

El plugin viene parametrizado por un fichero de configuracion externo. Este fichero de

configuracion tiene una serie de parámetros “generales”, una serie de parametros especificos para

cada log, y una serie de parametros específicos para cada bloque de expresion regular.

6 INSTALACIÓN

Copiar el plugin al directorio de plugins del agente, o distribuirlo con file collections. Lo mismo con

el archivo conf. La llamada desde el agente será similar a esta, pero usando los paths donde esté

instalado el plugin y el conf.

module_plugin perl /var/opt/PandoraFMS/etc/pandora/plugins/pandora_logparser.pl /var/opt/PandoraFMS/etc/pandora/collections/fc_23/log_example.conf

7 MONITORIZACIÓN El plugin viene parametrizado por un fichero de configuracion externo. Este fichero de

configuracion tiene una serie de parámetros “generales”, una serie de parametros especificos para

cada log, y una serie de parametros específicos para cada bloque de expresion regular.

A fin de poder entender bien cada elemento, se presenta a continuación un fichero de configuracion

de ejemplo:

Fichero de configuración de ejemplo

# Include, to load extenal/aditional configuration files # include /tmp/my_other_configuration.conf

# Directory where temporal indexes will be stored (/tmp by default) #index_dir /tmp

# Log problems with the logparser, (/tmp/pandora_logparser.log by default) #logfile /tmp/pandora_logparser.log

log_begin

log_module_name errores_apache

# This force to process all the log at the beginning log_force_readall

#log_location_exec /tmp/miscript.sh | cut -f 2 log_location_file /var/log/apache2/error_log

log_description This is a nice sample of how powerful is the new logparser

# log rotation detection mode (md5 or inode change), inode by default # log_rotate_mode md5 # log_rotate_mode inode

#log_type return_lines log_type return_ocurrences #log_type return_message

log_regexp_begin log_regexp_rule Critical - ($1)\-($2) log_regexp_rule Critical - ($1)

#log_regexp_severity NORMAL #log_regexp_severity WARNING log_regexp_severity CRITICAL log_return_message Encontrado error CRITICO en bloque $1 seccion $2 log_action <mycommand> log_regexp_end

log_regexp_begin log_regexp_rule Error -($1)\-($2) [0-9a-zA-Z]* log_regexp_severity WARNING log_return_message Otro bonito texto de error log_regexp_end

log_regexp_begin log_regexp_rule File\sdoes\snot\sexist log_regexp_severity WARNING log_regexp_end

log_end

log_begin log_force_readall

log_module_name hits_apache log_location_file /var/log/apache2/access_log log_description Access log from Apache, we will get the integria access log_type return_lines

log_regexp_begin log_regexp_rule pandora\.css log_regexp_severity WARNING log_return_message Dispongo de barcos log_regexp_end

log_end

7.1. Parametros generales

7.1.1. includeHace una llamada a otro fichero de configuración. Se pueden anidar sin límite, y su orden de carga

es secuencia. Es importante llamar a los ficheros con rutas absolutas.

7.1.2. index_dirUtiliza ese directorio para guardar los ficheros índices. El plugin debe poder escribir y leer en dicho

directorio.

7.1.3. logfileFichero log del plugin.

7.2. Parametros específicos de log

7.2.1. log_begin y log_endEstablecen las marcas de principio y fin de definición de un fichero logparser.log

7.2.2. log_module_nameNombre del modulo que generará el plugin.

7.2.3. log_descriptionDescripción del módulo que hace referencia al fichero log .

7.2.4. log_typeTipo de modulo de log, puede ser de tres tipos:

• return_ocurrences: Devuelve un dato numérico con el nº de ocurrencias.

• return_lines: Devuelve las líneas del log que hacen match.

• return_message: Devuelve un mensaje especificado por el fichero de configuración.

7.2.5. log_rotate_mode

Puede ser de tipo inode o de tipo md5. Esto es el tipo detección que se hace para saber si un log ha

rotado o no.

7.2.6. log_force_readallCuando este token está presente, el parser de log procesa todo el log desde el principio si todavia no

lo ha hecho (es la primera vez que lo abre o detecta una rotación). NOTA: Puede generar grandes

volúmenes de datos.

Cuando este token no está presente, el parser de log no procesa todo el log desde el principio al

ejecutarlo la primera vez, si no que guarda la posicion final la primera vez y lo empieza a ejecutar a

partir de ahi.

7.2.7. log_location_execEjecuta el comando espeficicado para obtener el nombre (absoluto!) del fichero a procesar.

7.2.8. log_location_filenameEspecifica el nombre (absoluto) del fichero log a procesar.

7.3. Parametros específicos de la regexp

7.3.1. log_regexp_begin y log_regexp_endEstablecen las marcas de principio y fin de definición de una expresion regular para la definicion del

fichero log dentro de la cual están.

7.3.2. log_regexp_ruleDefinen la expresion regular. NOTA: no se usan los marcadores / / sino directamente la expresion

regular extendida (Tipo Perl). Algunos ejemplos

File\sdoes\snot\sexist → Busca “File does not exist”

[0-9]*\serrores → Busca cadenas del tipo “043 errores”

7.3.3. log_regexp_severityEnviará en el XML una severidad, puede ser WARNING; CRITICAL o NORMAL (en mayúsculas). Es

OPCIONAL.

7.3.4. log_regexp_messageTexto que enviará al encontrar al menos una ocurrencia (si encuentra varias solo enviará un

mensaje). Se pueden usar los modificadores $1 ..$2 para campos previamente identificados con una

expresion regular que haga búsqueda de campo sintaxis () →

7.3.5. log_regexp_actionComando que ejecutará al encontrar al menos una ocurrencia (si encuentra varias solo ejecutará

una vez).

Al definir un log se pueden definir varios bloques de expresiones regulares. Cada bloque de expresion

regular puede tener ademas varias expresiones regulares. En el caso de coincidencia múltiple, se hará

un conteo de cada incidencia, pero sólo se enviará un mensaje o ejecutará una acción. En caso de estar

definidas varias, se ejecutará la que haga el último “match”.

pandora fms: analizador de logs avanzado

Technology