shutova, ekaterina, douwekiela, and jean maillard. black ... · shutova, ekaterina, douwekiela, and...
TRANSCRIPT
![Page 1: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/1.jpg)
Shutova, Ekaterina, Douwe Kiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual features.” (2014)
Universität Heidelberg
Institut für Computerlinguistik
HS: Figurative Language Resolution
Prof. Dr. Katja Markert
Vortragende: Antonia von Hassell
![Page 2: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/2.jpg)
Gliederung
1. Ein Blick zurück2. Motivation3. Das Modell im Überblick4. Die Metaphererkennung5. Die Datensätze6. Das multi-modale Modell
1. Die Fusionsstrategien7. Resultate8. Fazit
![Page 3: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/3.jpg)
Ein Blick zurück
![Page 4: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/4.jpg)
Papers mit thematischem Schwerpunkt der Metaphererkennung
![Page 5: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/5.jpg)
Papers mit thematischem Schwerpunkt der Metaphererkennung
![Page 6: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/6.jpg)
Papers mit thematischem Schwerpunkt der Metaphererkennung
Concreteness/Abstractness
![Page 7: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/7.jpg)
Papers mit thematischem Schwerpunkt der Metaphererkennung
Concreteness/Abstractness
(Turney et al., 2011)
![Page 8: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/8.jpg)
Papers mit thematischem Schwerpunkt der Metaphererkennung
Concreteness/Abstractness
(Turney et al., 2011)
(Koeper et al., 2017)
![Page 9: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/9.jpg)
Papers mit thematischem Schwerpunkt der Metaphererkennung
Concreteness/Abstractness
(Turney et al., 2011)
(Koeper et al., 2017)
Crosslingual
![Page 10: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/10.jpg)
Papers mit thematischem Schwerpunkt der Metaphererkennung
Concreteness/Abstractness
(Turney et al., 2011)
(Koeper et al., 2017)
(Tsvetvkovet al., 2014)
Crosslingual
![Page 11: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/11.jpg)
Papers mit thematischem Schwerpunkt der Metaphererkennung
Concreteness/Abstractness
(Turney et al., 2011)
(Koeper et al., 2017)
(Tsvetvkovet al., 2014)
Crosslingual
Property-basedsemanticrepresenations
![Page 12: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/12.jpg)
Papers mit thematischem Schwerpunkt der Metaphererkennung
Concreteness/Abstractness
(Turney et al., 2011)
(Koeper et al., 2017)
(Tsvetvkovet al., 2014)
Crosslingual
Property-basedsemanticrepresenations
(Bulat et al., 2017)
![Page 13: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/13.jpg)
Papers mit thematischem Schwerpunkt der Metaphererkennung
Concreteness/Abstractness
(Turney et al., 2011)
(Koeper et al., 2017)
(Tsvetvkovet al., 2014)
Crosslingual
Property-basedsemanticrepresenations
(Bulat et al., 2017)LINGUIST
ISCHE
MODEL
LE
![Page 14: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/14.jpg)
Papers mit thematischem Schwerpunkt der Metaphererkennung
Concreteness/Abstractness
(Turney et al., 2011)
(Koeper et al., 2017)
(Tsvetvkovet al., 2014)
Crosslingual
Property-basedsemanticrepresenations
(Bulat et al., 2017)LINGUIST
ISCHE
MODEL
LEVISUELLE
MODELLE
![Page 15: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/15.jpg)
Papers mit thematischem Schwerpunkt der Metaphererkennung
Concreteness/Abstractness
(Turney et al., 2011)
(Koeper et al., 2017)
(Tsvetvkovet al., 2014)
Crosslingual
Property-basedsemanticrepresenations
(Bulat et al., 2017)LINGUIST
ISCHE
MODEL
LEVISUELLE
MODELLE
Concreteness/Abstractness
![Page 16: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/16.jpg)
Papers mit thematischem Schwerpunkt der Metaphererkennung
Concreteness/Abstractness
(Turney et al., 2011)
(Koeper et al., 2017)
(Tsvetvkovet al., 2014)
Crosslingual
Property-basedsemanticrepresenations
(Bulat et al., 2017)LINGUIST
ISCHE
MODEL
LEVISUELLE
MODELLE
x
Concreteness/Abstractness
![Page 17: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/17.jpg)
Motivation
![Page 18: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/18.jpg)
- Erkenntnis aus Kognitionswissenschaften (Barsalou, 2008; Louwerse, 2011):
Bedeutungsrepräsentation des menschlichen Gehirns basiert nicht nur auf
linguistischer Exposition, sondern auch auf dem Wahrnehmungssystem und
der Sensomotorik
Motivation
![Page 19: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/19.jpg)
- Erkenntnis aus Kognitionswissenschaften (Barsalou, 2008; Louwerse, 2011):
Bedeutungsrepräsentation des menschlichen Gehirns basiert nicht nur auf
linguistischer Exposition, sondern auch auf dem Wahrnehmungssystem und
der Sensomotorik
à Versuch, Bedeutungsrepräsentation des Gehirns computergestützt zu modellieren
Motivation
![Page 20: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/20.jpg)
- Erkenntnis aus Kognitionswissenschaften (Barsalou, 2008; Louwerse, 2011):
Bedeutungsrepräsentation des menschlichen Gehirns basiert nicht nur auf
linguistischer Exposition, sondern auch auf dem Wahrnehmungssystem und
der Sensomotorik
à Versuch, Bedeutungsrepräsentation des Gehirns computergestützt zu modellieren
à Erstellung eines multi-modalen Modells
Motivation
![Page 21: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/21.jpg)
Das Modell im Überblick
![Page 22: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/22.jpg)
Input: Auszug ausWikipedia
Skipgram[mit Word2Vec (Mikolov et al.,
2013))]
Output: Vektoren
- word-level- phrase-level
Input: Auszug aus
Google Images
Deep Convolutional
Neural Network[nach (Kiela und Bouttou, 2014)]
Output: Vektoren
- word-level- phrase-level
Multi-modalesModell
VISUELLES MODELLLINGUISTISCHES MODELL
![Page 23: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/23.jpg)
Input: Auszug ausWikipedia
Skipgram[mit Word2Vec (Mikolov et al.,
2013))]
Output: Vektoren
- word-level- phrase-level
Input: Auszug aus
Google Images
Deep Convolutional
Neural Network[nach (Kiela und Bouttou, 2014)]
Output: Vektoren
- word-level- phrase-level
Multi-modalesModell
VISUELLES MODELLLINGUISTISCHES MODELL
![Page 24: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/24.jpg)
Input: Auszug ausWikipedia
Skipgram[mit Word2Vec (Mikolov et al.,
2013))]
Output: Vektoren
- word-level- phrase-level
Input: Auszug aus
Google Images
Deep Convolutional
Neural Network[nach (Kiela und Bouttou, 2014)]
Output: Vektoren
- word-level- phrase-level
Multi-modalesModell
VISUELLES MODELLLINGUISTISCHES MODELL
![Page 25: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/25.jpg)
Input: Auszug ausWikipedia
Skipgram[mit Word2Vec (Mikolov et al.,
2013))]
Output: Vektoren
- word-level- phrase-level
Input: Auszug aus
Google Images
Deep Convolutional
Neural Network[nach (Kiela und Bouttou, 2014)]
Output: Vektoren
- word-level- phrase-level
Multi-modalesModell
VISUELLES MODELLLINGUISTISCHES MODELL
![Page 26: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/26.jpg)
Input: Auszug ausWikipedia
Skipgram[mit Word2Vec (Mikolov et al.,
2013))]
Output: Vektoren
- word-level- phrase-level
Input: Auszug aus
Google Images
Deep Convolutional
Neural Network[nach (Kiela und Bouttou, 2014)]
Output: Vektoren
- word-level- phrase-level
Multi-modalesModell
VISUELLES MODELLLINGUISTISCHES MODELL
![Page 27: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/27.jpg)
Input: Auszug ausWikipedia
Skipgram[mit Word2Vec (Mikolov et al.,
2013))]
Output: Vektoren
- word-level- phrase-level
Input: Auszug aus
Google Images
Deep Convolutional
Neural Network[nach (Kiela und Bouttou, 2014)]
Output: Vektoren
- word-level- phrase-level
Multi-modalesModell
VISUELLES MODELLLINGUISTISCHES MODELL
![Page 28: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/28.jpg)
Input: Auszug ausWikipedia
Skipgram[mit Word2Vec (Mikolov et al.,
2013))]
Output: Vektoren
- word-level- phrase-level
Input: Auszug aus
Google Images
Deep Convolutional
Neural Network[nach (Kiela und Bouttou, 2014)]
Output: Vektoren
- word-level- phrase-level
Multi-modalesModell
VISUELLES MODELLLINGUISTISCHES MODELL
![Page 29: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/29.jpg)
Input: Auszug ausWikipedia
Skipgram[mit Word2Vec (Mikolov et al.,
2013))]
Output: Vektoren
- word-level- phrase-level
Input: Auszug aus
Google Images
Deep Convolutional
Neural Network[nach (Kiela und Bouttou, 2014)]
Output: Vektoren
- word-level- phrase-level
Multi-modalesModell
VISUELLES MODELLLINGUISTISCHES MODELL
![Page 30: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/30.jpg)
Die Metaphererkennung
![Page 31: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/31.jpg)
Die Metaphererkennung
- Anwendung arithmetischer Operationen auf Vektoren
![Page 32: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/32.jpg)
Die Metaphererkennung
- Anwendung arithmetischer Operationen auf Vektoren- Berechnung von Ähnlichkeiten zwischen Wörtern und Phrasen
![Page 33: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/33.jpg)
Die Metaphererkennung
- Anwendung arithmetischer Operationen auf Vektoren- Berechnung von Ähnlichkeiten zwischen Wörtern und Phrasen- Idee: Ähnlichkeit bei wörtlichen Ausdrücke höher, bei Metaphern
niedriger
![Page 34: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/34.jpg)
Die Metaphererkennung
- Anwendung arithmetischer Operationen auf Vektoren- Berechnung von Ähnlichkeiten zwischen Wörtern und Phrasen- Idee: Ähnlichkeit bei wörtlichen Ausdrücke höher, bei Metaphern
niedrigerà bei wörtlichen Ausdrücken: beide Wörter in gleicher Domäne
![Page 35: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/35.jpg)
Die Metaphererkennung
- Anwendung arithmetischer Operationen auf Vektoren- Berechnung von Ähnlichkeiten zwischen Wörtern und Phrasen- Idee: Ähnlichkeit bei wörtlichen Ausdrücke höher, bei Metaphern
niedrigerà bei wörtlichen Ausdrücken: beide Wörter in gleicher Domäneà bei Metaphern: Wörter in unterschiedlicher Domäne
![Page 36: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/36.jpg)
Metaphererkennung: Wortebene
![Page 37: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/37.jpg)
Metaphererkennung: Wortebene
• WORDCOS: sim(word1, word2)
![Page 38: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/38.jpg)
Metaphererkennung: Wortebene
• WORDCOS: sim(word1, word2)
àKosinusähnlichkeit:
cos(x,y) = x·y||x|| ||y||
![Page 39: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/39.jpg)
• PHRASCOS1: cos(phrase − word1, word2)
Metaphererkennung: Phrasenebene
![Page 40: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/40.jpg)
• PHRASCOS1: cos(phrase − word1, word2)• PHRASCOS2: cos(phrase − word2, word1)
Metaphererkennung: Phrasenebene
![Page 41: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/41.jpg)
• PHRASCOS1: cos(phrase − word1, word2)• PHRASCOS2: cos(phrase − word2, word1)• PHRASCOS3: cos(phrase, word1+word2)
Metaphererkennung: Phrasenebene
![Page 42: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/42.jpg)
Die Datensätze
![Page 43: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/43.jpg)
Verwendung für Evaluation:
Die Datensätze
![Page 44: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/44.jpg)
Verwendung für Evaluation:
❋ Mohammad et al. (MOH)[2016]basiert auf WordNet, Metaphern manuell annotiert
Die Datensätze
![Page 45: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/45.jpg)
Verwendung für Evaluation:
❋ Mohammad et al. (MOH)[2016]basiert auf WordNet, Metaphern manuell annotiert
❋ Tsvetkov et al. (TSV)[2014]basiert auf TenTen Web Corpus, Metaphern manuell annotiert
Die Datensätze
![Page 46: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/46.jpg)
Wortpaare Beispiel: literal Beispiel: metaphorisch
Verb-Subjekt Breathe person Breathe wine
Verb-Objekt Boost voltage Boost economy
Modifizierer-Nomen Foggy night Foggy brain
Die Datensätze
![Page 47: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/47.jpg)
Wortpaare Beispiel: wörtlich Beispiel: metaphorisch
Verb-Subjekt Breathe person Breathe wine
Verb-Objekt Boost voltage Boost economy
Modifizierer-Nomen Foggy night Foggy brain
Die Datensätze
![Page 48: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/48.jpg)
Wortpaare Beispiel: wörtlich Beispiel: metaphorisch
Verb-Subjekt Breathe person Breathe wine
Verb-Objekt Boost voltage Boost economy
Modifizierer-Nomen Foggy night Foggy brain
Die Datensätze
![Page 49: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/49.jpg)
Wortpaare Beispiel: wörtlich Beispiel: metaphorisch
Verb-Subjekt Breathe person Breathe wine
Verb-Objekt Boost voltage Boost economy
Modifizierer-Nomen Foggy night Foggy brain
Die Datensätze
![Page 50: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/50.jpg)
Google Images Search: “foggy night”
Die Datensätze
![Page 51: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/51.jpg)
Google Images Search: “foggy night”
Die Datensätze
![Page 52: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/52.jpg)
Google Images Search: “foggy brain”
Die Datensätze
![Page 53: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/53.jpg)
Google Images Search: “foggy brain”
Die Datensätze
![Page 54: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/54.jpg)
Das multi-modale Modell
![Page 55: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/55.jpg)
Input: Auszug ausWikipedia
Skipgram[mit Word2Vec (Mikolov et al.,
2013))]
Output: Vektoren
- word-level- phrase-level
Input: Auszug aus
Google Images
Deep Convolutional
Neural Network[nach (Kiela und Bouttou, 2014)]
Output: Vektoren
- word-level- phrase-level
Multi-modalesModell
VISUELLES MODELLLINGUISTISCHES MODELL
![Page 56: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/56.jpg)
Die Fusionsstrategien
- GemeinsamesLernen der uni-modalen Modelle-hier nichtbehandelt
Early Fusion
- Getrenntes Lernender uni-modalenModelle- Konkatenieren der Vektoren- Anwendung der arithmetischenOperationen auf konkateniertenVektoren
Middle Fusion
- Getrenntes Lernender uni-modalenModelle- GetrennteAnwendung der arithmetischenOperationen- Anschließend: Errechnung der Mittelwerte
Late Fusion
![Page 57: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/57.jpg)
Die Fusionsstrategien
- GemeinsamesLernen der uni-modalen Modelle-hier nichtbehandelt
Early Fusion
- Getrenntes Lernender uni-modalenModelle- Konkatenieren der Vektoren- Anwendung der arithmetischenOperationen auf konkateniertenVektoren
Middle Fusion
- Getrenntes Lernender uni-modalenModelle- GetrennteAnwendung der arithmetischenOperationen- Anschließend: Errechnung der Mittelwerte
Late Fusion
![Page 58: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/58.jpg)
Die Fusionsstrategien
- GemeinsamesLernen der uni-modalen Modelle-hier nichtbehandelt
Early Fusion
- Getrenntes Lernender uni-modalenModelle- Konkatenieren der Vektoren- Anwendung der arithmetischenOperationen auf konkateniertenVektoren
Middle Fusion
- Getrenntes Lernender uni-modalenModelle- GetrennteAnwendung der arithmetischenOperationen- Anschließend: Errechnung der Mittelwerte
Late Fusion
![Page 59: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/59.jpg)
Die Fusionsstrategien
- GemeinsamesLernen der uni-modalen Modelle-hier nichtbehandelt
Early Fusion
- Getrenntes Lernender uni-modalenModelle- Konkatenieren der Vektoren- Anwendung der arithmetischenOperationen auf konkateniertenVektoren
Middle Fusion
- Getrenntes Lernender uni-modalenModelle- GetrennteAnwendung der arithmetischenOperationen- Anschließend: Errechnung der Mittelwerte
Late Fusion
![Page 60: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/60.jpg)
Die FusionsstrategienBasisoperationen
WORDCOS und WORDPHRAS1
![Page 61: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/61.jpg)
Die Fusionsstrategien
WORDMIDPHRASMID
Middle FusionWORDLATEPHRASLATEMIXLATE
Late Fusion
Basisoperationen
WORDCOS und WORDPHRAS1
Kombinationen
![Page 62: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/62.jpg)
Die Fusionsstrategien
WORDMIDPHRASMID
Middle FusionWORDLATEPHRASLATEMIXLATE
Late Fusion
Basisoperationen
WORDCOS und WORDPHRAS1
Kombinationen
![Page 63: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/63.jpg)
Resultate
![Page 64: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/64.jpg)
- erste Methode zur Metaphererkennung mit visuellen Features
- ressourcen-unabhängig (da Wissen automatisiert
extrahiert wurde)
- erzielt bessere Performance als rein linguistische Modelle
Fazit
![Page 65: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/65.jpg)
- erste Methode zur Metaphererkennung mit visuellen Features
- ressourcen-unabhängig (da Wissen automatisiert
extrahiert wurde)
- erzielt bessere Performance als rein linguistische Modelle
Mögliche weitere Forschungsfragen:
- Erweiterung des Modells mit Videomaterial, um Verben besser zu
erfassen
Fazit
![Page 66: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/66.jpg)
- erste Methode zur Metaphererkennung mit visuellen Features
- ressourcen-unabhängig (da Wissen automatisiert
extrahiert wurde)
- erzielt bessere Performance als rein linguistische Modelle
Mögliche weitere Forschungsfragen:
- Erweiterung des Modells mit Videomaterial, um Verben besser zu
erfassen
Kritik:
- Angabe der Google Images wäre interessant, damit Nachvollziehbarkeit gewährleistet ist
Fazit
![Page 67: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/67.jpg)
Danke für Eure Aufmerksamkeit!Gibt es Fragen?
![Page 68: Shutova, Ekaterina, DouweKiela, and Jean Maillard. Black ... · Shutova, Ekaterina, DouweKiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual](https://reader036.vdocument.in/reader036/viewer/2022062507/5fc2ff3bd35600768f0c224c/html5/thumbnails/68.jpg)
Referenzen
• Bulat, Luana, Stephen Clark & Ekaterina Shutova (2017). Modelling metaphor with attribute-based semantics. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 523–528.
• Bruni, Elia, Nam-Khanh Tran, and Marco Baroni. "Multimodal distributional semantics." Journal of Artificial Intelligence Research 49 (2014): 1-47.
• Köper, Maximilian, and Sabine Schulte im Walde. "Improving verb metaphor detection by propagating abstractness to words, phrases and individual senses." Proceedings of the 1st Workshop on Sense, Concept and Entity Representations and their Applications. 2017.
• Shutova, Ekaterina, Douwe Kiela, and Jean Maillard. "Black holes and white rabbits: Metaphor identification with visual features." Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2016.
• Tsvetkov, Yulia, et al. "Metaphor detection with cross-lingual model transfer." Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Vol. 1. 2014.
• Turney, Peter D., et al. "Literal and metaphorical sense identification through concrete and abstract context." Proceedings of the Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 2011.