a model of saliency-based visual attention for rapid scene analysis hauptseminar aufmerksamkeit und...

A Model of Saliency-Based Visual Attention for Rapid Scene Analysis

Hauptseminar

Aufmerksamkeit und ObjekterkennungSS 2000 - 15.05.2000

Rebecca Fay

15.05.2000 - SS 2000Seminar Aufmerksamkeit & Objekterkennung

Rebecca Fay 2

Modell - Übersicht


Rebecca Fay 3

ModellVorgehensweise

Getrenntes Betrachten der Eigenschaften Farbe, Intensität und Orientierung (Parallele Eigenschaftsextraktion)

Erstellen von Eigenschaftskarten–Erstellen von Gauss- bzw. Gaborpyramiden

–Bestimmung der Zentrums-Umgebungs-Differenzen

–Normalisierung

Erstellen von Auffälligkeitskarten–Kombinieren der Eigenschaftskarten

–Normalisierung

Erstellen einer Salienzkarte

Aufmerksamkeit entsprechend abnehmender Salienz verschieben

ZielSchnelles Bestimmen von herausragenden Punkten

Beschleunigung der Szenen Analyse (Bildinterpretation)


Rebecca Fay 4

EigenschaftenFarbe

4 Farben (rot, grün, blau, gelb)

–3 ursprüngliche Farbkanäle (rot, grün, blau)

–Ableiten eines 4. Farbkanals (gelb)

2 Gegenfarbpaare (rot/grün, blau/gelb)

Intensität (Helligkeit)

Orientierung4 Orientierungen (0°, 45°, 90°, 135°)


Rebecca Fay 5

Lineare FilterungVorgehensweise

Verwenden von Gauss- bzw. Gaborfiltern

Erstellen von neunstufigen Gauss- bzw. Gaborpyramiden

Ergebnis9 Pyramiden

ZielGlätten (Herausfiltern von Rauschen)


Rebecca Fay 6

Zentrums-Umgebungs-DifferenzenVorgehensweise

Bestimmung der Differenzen zwischen einzelnen Ebenen der Pyramiden zueinander

Interpolieren der Bilder mit der gröberen Auflösung auf die Größe des zu vergleichenden Bildes

Punktweises Subtrahieren

ZielKontrastbestimmung (Für Punkte mit starkem Kontrast zu ihrer Umgebung entstehen große Differenzen)


Rebecca Fay 7

NormalisierungVorgehensweise

Bestimmen des absoluten Maximums M der betrachteten Karte

Normalisierung (Abbildung des Wertebereichs der Karte auf das Intervall [0..M])

Bestimmen der lokalen Maxima mi

Bilden des Mittelwerts der lokalen Maxima mi (ohne Berücksichtigung des absolute Maximums M)

Multiplizieren der Karte mit der quadrierten Differenz des absoluten Maximums und des Mittelwertes

ZielVergleichbarkeit der unterschiedlichen Karten

Stärkere Gewichtung von Karten mit aufmerksamkeitserzeugendem Kontrast

m

( )²M m


Rebecca Fay 8

Normalisierung


Rebecca Fay 9

EigenschaftskartenVorgehensweise

Bestimmen der Zentrums-Umgebungs-Differenz

Normalisierung

Ergebnis42 Eigenschaftskarten

ZielVerteilung von Zentrums-Umgebungs-Kontrasten bei unterschiedlichen Auflösungsstufen für die einzelnen Eigenschaften


Rebecca Fay 10

AuffälligkeitskartenVorgehensweise

Reduzieren aller Eigenschaftskarten auf die Auflösung 1:16

Addieren der Eigenschaftskarten

Normalisierung

Ergebnis3 Auffälligkeitskarten

–Farbe

–Intensität

–Orientierung

ZielAuffälligkeitsverteilung getrennt nach Eigenschaften


Rebecca Fay 11

SalienzkarteVorgehensweise

Kombinieren der Auffälligkeitskarten

ZielSalienzverteilung (welchen Kontrast zu ihrer Umgebung weisen die einzelnen Bildbereiche auf?)


Rebecca Fay 12

AufmerksamkeitsverschiebungVorgehensweise

Neuronales „winner-take-all“ Netzwerk

Richten der Aufmerksamkeit auf den Punkt, für den die größte Salienz berechnet wurde

–Dieser Punkt weist hinsichtlich Farbe, Intensität oder Orientierung den größten Kontrast zur Umgebung auf.

Inhibition of Return

–Hemmen der Neuronen, die dieser Stelle zugeordnet sind

ZielVerhindern, daß die Aufmerksamkeit mehrmals auf den selben Punkt gerichtet wird

Verschiebung der Aufmerksamkeit entsprechend abnehmender Salienz


Rebecca Fay 13

Beispiel 1a - Eingabe + Ergebniskarten


Rebecca Fay 14

Beispiel 1b - Focus of Attention


Rebecca Fay 15

Beispiel 2 - Eingabe + Salienzkarten

a) Eingabe: Farbbilder

b) Ergebnis: Salienz-Karten


Rebecca Fay 16

Referenz

IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 11, November 1998 - Laurent Itti, Christof Koch, Ernst Niebur

http://www.klab.caltech.edu/~itti/attention/publications/98_PAMI/pami_final.html

a model of saliency-based visual attention for rapid scene analysis hauptseminar aufmerksamkeit und...

Documents