Using Incremental Principal Component Analysis to Learn a Gender Classifier Automatically

M. Castrillón, O. DÉNIZ, D. Hernández, J. Lorenzo

Contenidos

• Motivación

• Descripción del sistema

• Detección: ENCARA2

• Detección de elementos faciales

• Selección de ejemplares

• Representación y clasificación

• Esquema de aprendizaje

• Resultados

• Conclusiones

Motivación

El rostro humano:

• Importante canal de comunicación entre humanos

• Los humanos somos expertos leyendo rostros

• Proceso aprendido, los bebés detectan rostros pero requieren unos años hasta caracterizarlos de forma robusta

• Familiaridad, other race effect

• Esquema de aprendizaje supervisado y multimodal

Motivación

Los sistemas automáticos obvian ese largo aprendizaje.

• Problemas detectando rostros en tiempo real

• Problemas entrenando en caliente

Sin embargo disponemos actualmente de herramientas para abordar este enfoque: Detectores, esquemas incrementales

¿Qué pasaría si intentamos emplear ese esquema evolutivo a un sistema automático?

Descripción del sistema

Visión global:

• Se dispone de un sistema de detección facial

• Se hace uso de un esquema de representación y clasificación basado en PCA+SVM

• El espacio de representación evoluciona con la experiencia (PCA incremental)

• Sólo interviene un supervisor humano para corroborar o rechazar la clasificación aportada por el sistema

• Actualización del clasificador en caliente con bajo coste computacional

Detección de personas

Técnicas:

• Implícitas o basadas en patrones, p.e. Viola-Jones [1]• Explícitas o basadas en conocimiento: movimiento, color, coherencia temporal, etc.

[1] P. Viola and M. J. Jones. Rapid Object Detection using a Boosted Cascade of Simple Features. In Computer Vision and Pattern Recognition, 2001. [2] H. Kruppa, M. Castrillón, B. Schiele. "Fast and Robust Face Finding via Local Context" VS-PETS Joint IEEE International Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance, Nice (France), 2003.[3] Clasificadores para OpenCV disponibles

Esquema de Viola-Jones aplicado a:

• Rostros frontales [1]• Cabeza y hombros [2]• Elementos faciales: ojos, nariz y boca [3].

Descripción del sistema: ENCARA2

ENCARA2 combina distintas técnicas con el objetivo de aprovechar sus ventajas individuales:

• Detectores basados en el marco de Viola-Jones [2,3], sirven de inicializadores.

• Distintas técnicas (Color de piel, seguimiento multinivel, ojos, rostro, etc.) se combinan de forma robusta haciendo uso de la coherencia temporal en vídeo.

[1] M. Castrillón, O. Déniz, C. Guerra, M. Hernández "ENCARA2: Real-time Detection of Multiple Faces at Different Resolutions in Video Streams“ Journal of Visual Communication and Image Representation, ISSN 1047-3203, vol 18, issue 2, pp. 130-140, April 2007. [2] P. Viola and M. J. Jones. Rapid Object Detection using a Boosted Cascade of Simple Features. In Computer Vision and Pattern Recognition, 2001. [3] H. Kruppa, M. Castrillón, B. Schiele. "Fast and Robust Face Finding via Local Context" VS-PETS Joint IEEE International Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance, Nice (France), 2003.

Descripción del sistema: ENCARA2

patpatpos

patpospatpos

patposcolor

facemouthmouth

nosenosereyereye

leyeleyetshirtgreenredsizeposf

,,

,,,,

,,,,,,,

Una primera detección permite la creación del modelo particular para la cara detectada:

La coherencia temporal se emplea en las imágenes posteriores.

Descripción del sistema: ENCARA2

Una detección provoca una búsqueda localizada en las siguientes imágenes, aplicando primero las técnicas más rápidas.

Descripción del sistema: eltos. faciales

Ampliando la detección de elementos faciales de ENCARA2

Clasificadores individuales de libre disposición obtenidos a partir de 7000 rostros anotados manualmente.

Múltiples candidatos de elementos faciales se escogen en base a la estructura promedio.

Clasificadores para OpenCV disponibles

Descripción del sistema: Ejemplares

ENCARA2 proporciona para cada sesión de intereacción, IS, una serie de hilos de detección, dt, uno por cada individuo detectado.

Cada hilo contiene las caras detectadas para un individuo:

Los posibles ejemplares son aquellos que no han podido ser seguidas por medio de seguimiento ocular

ndtdtdtIS ...21

pmp xxdt ...1

Descripción del sistema: Ejemplares

Descripción del sistema: Ejemplares

Cada hilo de detección, dt, se clasifica ponderando, en base a su persistencia, pe, la clasificación binaria de los distintos ejemplares que lo representan:

Los ejemplares con una persistencia reducida, o con un error PCA mayor que la media no son considerados.

p

p

s

nn

j

s

jjk

pk

pe

peeCP

dtCP

1

1

Descripción del sistema: Representación

Se requieren esquemas veloces de representación y clasificación.

PCA ha sido un esquema muy utilizado.

Usamos 7000 rostros para calcular un espacio PCA

Descripción del sistema: Representación

¿Qué ratio se obtiene con un esquema offline? ¿Qué dimensión utilizar para representar?

Colección de 7000 rostros. Elementos faciales anotados. Mitad entreno, mitad test. Clasificación con SVM.

Descripción del sistema: Representación

Utilizar un esquema de representación fijo es restrictivo.

Comprobamos la evolución haciendo uso de un esquema fijo y otro incremental.

Emplearemos distintas zonas del rostro, así como resoluciones:

Cropped A(59x65)

Cropped A-IN [1](59x65)

Uncropped(75x90)

Eyes(45x11)

Cropped B(75x90)

1/4

1/8

1/2

[1] Xudong Xie and Kin-Man Lam. An efficient illumination normalization method for face recognition. Pattern Recognition Letters, 27(6) 2006.

Descripción del sistema: Aprendizaje

p

p

s

nn

j

s

jjk

pk

pe

peeCP

dtCP

1

1

Para clasificar un hilo de detección:

Un supervisor humano proporciona la clase para el individuo, Cp:

if P(Cp|ej)!=1, then ej se añade al conjunto de entrenamiento.

El espacio PCA se actualiza si fuera necesario.

El clasificador SVM se reentrena.

Aplicaciones

• Reconocimiento

Aprendizaje desde cero.

Extracción automática de los ejemplares.

Supervisión para aumentar la experiencia del sistema.

Aproximación basada en PCA incremental y SVM.

M. Castrillón, O. Déniz, J. Lorenzo, M. Hernández: “Learning to recognize faces by successive meetings”,: Journal of Multimedia, vol 1, issue 7, pp 1-8, 2006

Resultados: Reconocimiento del género

•1130 encuentros.•PCA, PCA incremental (IPCA) e IPCA con normalización•Tendencia de reducción del error.•Entrenamiento (15 msegs), actualización PCA 50-80 msegs.

Resultados

•1130 encuentros.•sólo IPCA•Distintas zonas del rostro: Cropped A, Cropped A – IN, Cropped B, with context, eyes•Tendencia de reducción del error.•Entrenamiento (15 msegs), actualización PCA 50-80 msegs.

Resultados

•Distintas resoluciones para las tres mejores

Resultados

•Con un conjunto de test independiente de 7000 imágenes

Conclusiones

Mejor rendimiento con IPCA

Peor resultado que offline, unos 10 puntos menos, pero empleando sólo un 10% de imágenes en el conjunto de entrenamiento.

Suficientemente rápido para aplicar en línea

Mejor rendimiento con más área del rostro. Buenos resultados hasta tamaño aprox. 20x20