einführungsvortrag 'semantic multimedia', seminar ss2010, hpi
DESCRIPTION
Einführungsvortrag zum Seminar 'Semantic Multimedia' am Hasso-Plattner-Institut, Potsdam, Sommersemester 2010TRANSCRIPT
SEMANTIC MULTIMEDIA
SeminarDr. Harald Sack / Jörg Waitelonis
Zalan Kramer / Johannes HercherHasso-Plattner-Institut für Softwaresystemtechnik
Universität PotsdamSommersemester 2010
Die nichtkommerzielle Vervielfältigung, Verbreitung und Bearbeitung dieser Folien ist zulässig (Lizenzbestimmungen CC-BY-NC).
Dienstag, 11. Mai 2010
1. Videosuche mit Yovisto
2. Linked Data und das Semantic Web
3. Explorative Videosuche
4. Evaluationsverfahren und Aufgabenstellung
Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität Potsdam
2
Semantic Multimedia
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia1. Videosuche mit yovisto
3 Videosuchmaschinen - prinzipielle Architektur
VideoDatabase
MetadataServer
MPEG-Dekoder
temporaleVideo-
segmentierung
Extraktion vonMPEG-7
Deskriptoren
Inde
xier
ung
Retrieval
User-interfaceQuery input, Player, Timeline, Summary,...
Metadatengenerierung
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
4 yovisto.com• Videosuchmaschine mit dem Schwerpunkt
akademischer Lehrveranstaltungen
• aktuell mehr als 8.000 Vorlesungen undwissenschaftliche Vorträge aus der ganzen Welt
• automatische Segmentierung und Videoanalyse
• benutzergenerierte Co-Annotation
• Social Tagging
• Diskussionen
• Rezensionen
• Wikis
• Lernmaterialien
• Zielgenauer Zugriff auf gesuchte Videoinhalte
Semantic Multimedia1. Videosuche mit yovisto
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
5 yovisto.com - Arbeitsweise
WWWWWW
upload your ownacademic videorecording
analyze and link toany available academic video recording in the WWW
video analysis andsearch index creation
search forvideo content
browse, play, and annotate video results
search engine frontend
Semantic Multimedia1. Videosuche mit yovisto
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
6 Metadatengewinnung
Semantic Multimedia1. Videosuche mit yovisto
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
6
ICR / OCR
Metadatengewinnung
Semantic Multimedia1. Videosuche mit yovisto
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
6
ICR / OCR
ASR
Metadatengewinnung
Semantic Multimedia1. Videosuche mit yovisto
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
6
ICR / OCR
ASR
Dic
tiona
ry
Keyterm Spotting
Metadatengewinnung
Semantic Multimedia1. Videosuche mit yovisto
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität Potsdam
7
Semantic Multimedia1. Videosuche mit yovisto
■Semantische Annotation
timeMetadata Extraction
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität Potsdam
7
Semantic Multimedia1. Videosuche mit yovisto
■Semantische Annotation
timeMetadata Extraction
e.g., person xy
location yz
event abc
Entity Recognition/ Mapping
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität Potsdam
7
Semantic Multimedia1. Videosuche mit yovisto
■Semantische Annotation
timeMetadata Extraction
e.g., bibliographical data,geographical data,encyclopedic data, ..
e.g., person xy
location yz
event abc
Entity Recognition/ Mapping
Dienstag, 11. Mai 2010
1. Videosuche mit Yovisto
2. Linked Data und das Semantic Web
3. Explorative Videosuche
4. Evaluationsverfahren und Aufgabenstellung
Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität Potsdam
8
Semantic Multimedia
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
9
Semantic Multimedia2. Linked Data und das Semantic Web
Vom World Wide Web zum Web of Data„The Web was designed as an information space, with the goal that it should be useful not only for human-human communication, but also that machines would be able to participate and help… “
Voraussetzung:
• Inhalte können maschinell gelesen und korrekt interpretiert (=verstanden)werden
Tim Berners-Lee, Semantic Web Roadmap, Sept 1998
Semantic Web• (Natürlichsprachliche) Web-Inhalte
werden explizit mit Hilfe von semantischen Metadaten annotiert
• semantische Metadaten tragen die Bedeutung (Semantik) der Web-Inhalte und lassen sich maschinell lesen und korrekt interpretierenNatural Language Processing
• Techniken kommen im klassischen Information Retrieval (WWW-Such-maschinen) zum Einsatz
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
10
Semantic Multimedia2. Linked Data und das Semantic Web
Inhalte im Semantic Web maschinell „verstehen“
Text: „Frühling“
Frühling Jahreszeit
Disambiguierung
FrühlingKantate von
Rachmaninow
Carl Frühlingösterreichischer
Komponist (1868-1937)
Tim Frühling Deutscher Radio-und TV-Moderator
?
?
?
?
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
11
Semantic Multimedia2. Linked Data und das Semantic Web
Inhalte im Semantic Web maschinell „verstehen“
Text: „Frühling“
Frühling (Instanz)
Jahreszeit
ist ein
(Klasse)
Zeitperiode
ist eine
(Klasse)
Superklasse
Subklasse
ist eine
Klassen-zugehörigkeit
Entitäten-zuweisung
•Die Bedeutung (Semantik) der Entitäten, Klassen und Relationen muss ebenfalls explizit definiert werden.
•Bedeutung wird über geeignete Wissens-repräsentationen (Ontologien) kodiert
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
12
Semantic Multimedia2. Linked Data und das Semantic Web
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
13
Semantic Multimedia2. Linked Data und das Semantic Web
Linked Data■ Begriff wurde von Tim Berners-Lee geprägt
(Tim Berners-Lee, Linked Data, 2006, http://www.w3.org/DesignIssues/LinkedData.html)
□ Menge von Best practices zur Veröffentlichung und Verknüpfung von strukturierten Daten im Web
□ Grundannahme:
□ Der Wert (Nützlichkeit) von Daten im Web steigt je stärker diese mit Daten aus anderen Datenquellen verknüpft sind.
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
14
Semantic Multimedia2. Linked Data und das Semantic Web
(RDF)
(URI)
M.Hausenblas, Quick Linked Data Introduction, http://www.slideshare.net/mediasemanticweb/quick-linked-data-introduction
Linked Data■ Begriff wurde von Tim Berners-Lee geprägt
(Tim Berners-Lee, Linked Data, 2006, http://www.w3.org/DesignIssues/LinkedData.html)
The Web of data is abouta dataand namingmodel on the Web
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
15
Semantic Multimedia2. Linked Data und das Semantic Web
Linked Data
■ technische Grundprinzipien:
□ URIs identifizieren Ressourcen eindeutig (nicht nur Dokumente)
□ HTTP URIs (URLs) als global eindeutige Namen erlauben das „Nachschlagen“ der zugehörigen Information im Web
□ RDF als universelles Datenmodell zur Veröffentlichung strukturierter Daten im Web
□ Alle URIs in RDF-Graphen aus dem Web dereferenzierbar machen
□ RDF-Verweise zwischen Daten in verschiedenen Datenquellen setzen, um (inhaltlich) zusammenhängende Informationen zu finden
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Linked Data□ Die Anwendung der genannten Prinzipien führt zur Entstehung eines
,Web of Data‘
16
Semantic Multimedia2. Linked Data und das Semantic Web
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
17
Semantic Multimedia2. Linked Data und das Semantic Web
Linking Open Data■ Publiziere öffentlich verfügbare strukturierte Daten als Linked Data und
■ Verlinke die unterschiedlichen Datenquellen miteinander
LOD-WikiPage: http://esw.w3.org/topic/SweoIG/TaskForces/CommunityProjects/LinkingOpenData/
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
18
Semantic Multimedia2. Linked Data und das Semantic Web
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
19
Semantic Multimedia2. Linked Data und das Semantic Web
Datenbanktechnologie vs. Linked Data
Datenbanken Linked Data
Relationales Modell(Tabellen)
URI, RDF
SQL DDL(create table...)
RDFS, OWL
SQL Query Language(select * from ...)
SPARQL
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
20
Semantic Multimedia2. Linked Data und das Semantic Web
Uniform Resource Identifiers - URI■ Namen (Identifikation) für beliebige Ressourcen
■ Dereferenzierbare URI = HTTP URI (URL)
■ Nutze qualifizierte Namen (QNames, Qualified Names) via XML Namespace
■ Bsp: xmlns:pers=“http://hpi-web.de/Personal# -> pers:HaraldSack
http://hpi-web.de/HaraldSack http://moresemantic.blogspot.com/
Ressource Ressource
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
21
Semantic Multimedia2. Linked Data und das Semantic Web
Resource Description Framework - RDF• definiert Datenmodell zur Beschreibung maschinen-
verarbeitbarer Semantik von Daten
• erlaubt Assoziation einfacher Semantik mit verwendeten Elementen
Objekt(Ressource)
Eigenschaften(Properties)
Wertzuweisungen(Ressource / Literal)
Aussage(Statement)
URI
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
22
Semantic Multimedia2. Linked Data und das Semantic Web
Resource Description Framework (RDF)■ Grafische Repräsentation als Knoten-Kante-Knoten
hatTelefonNr. +331-5509-527
http://hpi-web.de/HaraldSack
http://moresemantic.blogspot.com/hatBlog
Literal
Ressource
Ressource
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
23
Semantic Multimedia2. Linked Data und das Semantic Web
Von der Datenbank zu RDF■ Stellen wir uns eine ganz normale Datenbanktabelle vor...
URL Vorname Name TelefonNr Blog
http://hpi-web.de/JoergWaitelonis Jörg Waitelonis +331-5509-537 http://yovisto.blogspot.com/
http://hpi-web.de/HaraldSack Harald Sack +331-5509-527 http://moresemantic.blogspot.com/
... ... ... ... ...
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
24
Semantic Multimedia2. Linked Data und das Semantic Web
Von der Datenbank zu RDF■ Zeilen (Rows) repräsentieren Ressourcen (Dinge)
URL Vorname Name TelefonNr Blog
http://hpi-web.de/JoergWaitelonis Jörg Waitelonis +331-5509-537 http://yovisto.blogspot.com/
http://hpi-web.de/HaraldSack Harald Sack +331-5509-527 http://moresemantic.blogspot.com/
... ... ... ... ...
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
25
Semantic Multimedia2. Linked Data und das Semantic Web
Von der Datenbank zu RDF■ Spalten (Columns) repräsentieren Eigenschaften (Properties)
URL Vorname Name TelefonNr Blog
http://hpi-web.de/JoergWaitelonis Jörg Waitelonis +331-5509-537 http://yovisto.blogspot.com/
http://hpi-web.de/HaraldSack Harald Sack +331-5509-527 http://moresemantic.blogspot.com/
... ... ... ... ...
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
26
Semantic Multimedia2. Linked Data und das Semantic Web
Von der Datenbank zu RDF■ Die Schnittmenge liefert und Eigenschaften von einer Ressource
URL Vorname Name TelefonNr Blog
http://hpi-web.de/JoergWaitelonis Jörg Waitelonis +331-5509-537 http://yovisto.blogspot.com/
http://hpi-web.de/HaraldSack Harald Sack +331-5509-527 http://moresemantic.blogspot.com/
... ... ... ... ...
hatTelef
onNr. +331-5509-527
http://hpi-web.de/HaraldSack
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
27
Semantic Multimedia2. Linked Data und das Semantic Web
Von der Datenbank zu RDF■ Jetzt wählen wir mehrere Eigenschaften aus...
URL Vorname Name TelefonNr Blog
http://hpi-web.de/JoergWaitelonis Jörg Waitelonis +331-5509-537 http://yovisto.blogspot.com/
http://hpi-web.de/HaraldSack Harald Sack +331-5509-527 http://moresemantic.blogspot.com/
... ... ... ... ...
hatTelef
onNr. +331-5509-527
http://hpi-web.de/HaraldSack
http://moresemantic.blogspot.com/hatBlog
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
28
Semantic Multimedia2. Linked Data und das Semantic Web
RDF Serialisierung■ RDF/XML
hatTelefonNr. +331-5509-527
http://hpi-web.de/HaraldSack
http://moresemantic.blogspot.com/hatBlog
Literal
Ressource
Ressource<xml version=“1.0“ encoding=“utf-8“><rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#“ xmlns:pers=“http://hpi-web.de/Personal#“> <rdf:Description rdf:about=“http://hpi-web.de/HaraldSack“> <pers:hatTelefonNr>+331-5509-527</pers:hatTelefonNr> </rdf:Description> <rdf:Description rdf:about=“http://hpi-web.de/HaraldSack“> <pers:hatBlog> <rdf:Description rdf:about=“http://moresemantic.blogspot.com/“></rdf:Description> </pers:hatBlog> </rdf:Description></rdf:RDF>
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
29
Semantic Multimedia2. Linked Data und das Semantic Web
RDF Serialisierung■ RDF/Turtle Syntax
hatTelefonNr. +331-5509-527
http://hpi-web.de/HaraldSack
http://moresemantic.blogspot.com/hatBlog
Literal
Ressource
Ressource
<http://hpi-web.de/HaraldSack> <http://hpi-web.de/Personal#hatBlog> <http://moresemantic.blogspot.com/>.
<http://hpi-web.de/HaraldSack> <http://hpi-web.de/Personal#hatTelefonNr> “+331-5509-527“.
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
30
Semantic Multimedia2. Linked Data und das Semantic Web
RDF Schema• Erster W3C Draft im April 1998,
W3C Recommendation seit Feb. 2004.
• RDFSchema spezifiziert ein Datenmodell, über das RDF-Statements entworfen werden können
• Abstrakter Datentyp (Klasse)
• Hierarchisches Klassenmodell und Vererbung (Subklassen)
• Syntax für gemeinsamen Datenaustausch
• = „Beschreibungssprache zur Definition strukturierter Vokabularien…“
• RDFSchema erlaubt:• Klassendefinitonen
• Klasseninstantiierung in RDF via <rdf:type>
• Festlegung von Eigenschaften und Restriktionen (Properties)
• Festlegung von Hierarchiebeziehungen
• Subklassen und Superklassen
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
31
Semantic Multimedia2. Linked Data und das Semantic Web
RDF Schema -- ein Beispiel
wird betreut vonhttp://hpi-web.de/ws0910#semanticweb http://hpi-web.de/HaraldSack
Vorlesung
Mitarbeiter
Prof. SeniorResearcher
Person
Lehrveranstaltung
Seminar
wird betreut von
domainrange
subClassOf
subClassOf
subClassOfsubClassOf
class
classclass class
classproperty
class
class
subClassOf
rdf:type rdf:type
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
32
Semantic Multimedia2. Linked Data und das Semantic Web
Wie kommt Semantik ins WWW? -> RDFa• RDFa = RDF in HTML attributes
• bringt generische RDF-Annotationen in XHTML-Dokumente
• RDFa nutzt
•bereits vorhandene XHTML-Attribute
•href, content, rel, rev, und src
•neue XHTML-Attribute
•about, datatype, property, resource und typeof(aus XHTML2 Metainformation Attributes)
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
33
Semantic Multimedia2. Linked Data und das Semantic Web
RDFa • Unterscheidet grundsätzlich 2 Varianten von RDF-Triples
•Triple mit URI als Objekt•Triple mit Literal als Objekt
Subjekt Prädikat Objekt
Literal als Objekt about propertycontent oder
#PCDATA
URI als Objekt about rel href
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
34
Semantic Multimedia2. Linked Data und das Semantic Web
RDFa
• <span about=”subject”>...</span>
...erzeugt ein temporäres Subjekt für ein/mehrere Triples
• <a href=”object” rel=”predicate”>...</a>...definiert ein verlinktes Triple
• <span property=”predicate”>object</span>...definiert ein unverlinktes Triple
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
35
Semantic Multimedia2. Linked Data und das Semantic Web
RDFa - ein kleines Beispiel
...
<div xmlns:dc="http://purl.org/dc/elements/1.1/">
I'm currently reading
<span about=”urn:ISBN:0-596-00027-8”>
<span property="dc:title">Programming Perl</span>
by
<span property="dc:creator">Larry Wall</span>
</span>.</div>...
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
36
Semantic Multimedia2. Linked Data und das Semantic Web
RDFa - noch ein kleines Beispiel...<div typeof="foaf:Person" xmlns:foaf="http://xmlns.com/foaf/0.1/"> <p property="foaf:name"> Alice Birpemswick </p> <p> Email: <a rel="foaf:mbox" href="mailto:[email protected]"> [email protected]</a> </p> <p> Phone: <a rel="foaf:phone" href="tel:+1-617-555-7332"> +1 617.555.7332</a> </p> <p> <img src="photo1.jpg" rel="dc:creator" rev="foaf:depicts" href="http://www.blogger.com/profile/1109404" /> </p></div>...
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
36
Semantic Multimedia2. Linked Data und das Semantic Web
RDFa - noch ein kleines Beispiel...<div typeof="foaf:Person" xmlns:foaf="http://xmlns.com/foaf/0.1/"> <p property="foaf:name"> Alice Birpemswick </p> <p> Email: <a rel="foaf:mbox" href="mailto:[email protected]"> [email protected]</a> </p> <p> Phone: <a rel="foaf:phone" href="tel:+1-617-555-7332"> +1 617.555.7332</a> </p> <p> <img src="photo1.jpg" rel="dc:creator" rev="foaf:depicts" href="http://www.blogger.com/profile/1109404" /> </p></div>...
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
37
Semantic Multimedia2. Linked Data und das Semantic Web
Linked Data für Mensch und Maschine■ URI soll sowohl für Menschen als auch für Computer interpretierbare Informationen
liefern, d.h.
URI
Accept: application/rdf+xml
http://dbpedia.org/resource/Ernest_Hemingway
Accept: text/html
(Thing)
(RDF data) (HTML page)
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
38
Semantic Multimedia2. Linked Data und das Semantic Web
66 Linked Data für Mensch und Maschine■ Server liefert unterschiedliche HTTP Responses in Abhängigkeit vom HTTP-Accept-
Header (Content Negotiation)
http://www4.wiwiss.fu-berlin.de/bizer/pub/LinkedDataTutorial/
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
39
Semantic Multimedia2. Linked Data und das Semantic Web
66 Linked Data für Mensch und Maschine■ Üblicherweise verwende entsprechende Namen für unterschiedliche
Repräsentationsformen
http://dbpedia.org/resource/Ernest_Hemingway
Accept: application/rdf+xml
http://dbpedia.org/resource/Ernest_Hemingway
Accept: text/html
http://dbpedia.org/data/Ernest_Hemingway.rdf
http://dbpedia.org/page/Ernest_Hemingway
(Thing)
(RDF data) (HTML page)
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
40
Semantic Multimedia2. Linked Data und das Semantic Web
66
http://dbpedia.org/resource/Ernest_Hemingway
Dereferenzierung von URIs■ Bsp.: FOAF (Friend-of-a-Friend)
<rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#" xmlns:rdfs="http://www.w3.org/2000/01/rdf-schema#" xmlns:foaf="http://xmlns.com/foaf/0.1/" xmlns:dbpedia=“http://dbpedia.org/resource/“></rdf:RDF>...<foaf:Person rdf:ID=“http://hpi.uni-potsdam.de/meinel/sack/foaf.rdf#harald“>
<foaf:name>Harald Sack</foaf:name><foaf:homepage rdf:resource="http://www.hpi.uni-potsdam.de/meinel/sack.html"/><foaf:based_near rdf:resource="dbpedia:Potsdam“/>
...</foaf:Person>...
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Dereferenzierung von URIs■ Bsp.: FOAF (Friend-of-a-Friend)
41
hpihs:harald foaf:Personrdf:type
Harald Sackfoaf:name
foaf:based_neardbpedia:Potsdam
GET /resource/Potsdam HTTP/1.0Accept: application/rdf+xml
Semantic Multimedia2. Linked Data und das Semantic Web
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Dereferenzierung von URIs42
hpihs:harald foaf:Personrdf:type
Harald Sackfoaf:name
foaf:based_neardbpedia:Potsdam
dbpedia:Potsdamdp:population
skos:subject
dp:Cities_in_Germany
150.833
GET /resource/Potsdam HTTP/1.0Accept: application/rdf+xml
Semantic Multimedia2. Linked Data und das Semantic Web
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Dereferenzierung von URIs43
hpihs:harald foaf:Personrdf:type
Harald Sackfoaf:name
foaf:based_neardbpedia:Potsdam
dp:population
skos:subject
dp:Cities_in_Germany
150.833
dbpedia:Berlin
dbpedia:Potsdam
skos:subject
skos:s
ubject
Semantic Multimedia2. Linked Data und das Semantic Web
Dienstag, 11. Mai 2010
1. Videosuche mit Yovisto
2. Linked Data und das Semantic Web
3. Explorative Videosuche
4. Evaluationsverfahren und Aufgabenstellung
Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität Potsdam
44
Semantic Multimedia
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
45
Semantic Multimedia3. Explorative Videosuche
“Information-Retrieval Systeme
•verarbeiten Dateien mit Informationsressourcen und Informationsanfragen,
• identifizieren und liefern aus diesen Dateien bestimmte
Informationsressourcen als Antwort auf eine Informationsanfrage.
•Das Finden (Retrieval) bestimmter Ressourcen hängt von der Ähnlichkeit
der Ressourcen und den Anfragen ab,
gemessen am Vergleich bestimmter Attributwerte.”
(nach Salton,G., McGill, M.J.: Introduction to Modern Information Retrieval. McGraw-Hill, New York 1983)
Menge von Anfragen
informationrequests
Menge von Dokumenten
files of records
Indexierungs-sprache
similarityIndexierungAnfrage-
formulierung
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
46
Semantic Multimedia3. Explorative Videosuche
Key Advances in Google Search
Steven Levy: Exclusive: How Google’s Algorithm Rules the Web, Wired Magazin, 22. Feb. 2010, http://www.wired.com/magazine/2010/02/ff_google_algorithm/all/1
Backrub[Sept 1997]Stanford Search Engine wird in Google umbenannt. Durchbruch gelingt mit RelevanzrankingBasierend auf Anzahl und Qualität eingehender Links.
Neuer Algorithmus[Aug 2001]Suchalgorithmus wird komplett runderneuert, um neue Ranking-Kriterien einfacher einbinden zu können.
Analyse lokaler Konnektivität[Feb 2003]Googles erstes Patent wird gewährt auf Algorithmus der Links von autoritativen Quellen höheres Gewicht gibt.
Fritz[Sommer 2003]Initiative mit dem Ziel, den Google Index permanent im laufenden Betrieb upzudaten anstelle von offline Batchläufen.
Personalisierung[Juni 2005]Nutzer können Google Erlaubnis zur Analyse des eigenen Suchverhaltens gewähren, um personalisierte Ergebnisse zu ermöglichen.
Bigdaddy[Dezember 2005]Engine Update, erlaubt effizienteres und gebündelteres Web-Crawling
Universal Search[Mai 2007]Ergebnisse aus Bild-, Video-, News- und Buchsuche als gemeinsames universelles Suchergebnis auf derselben Seite.
Real-Time Search[Dez 2009]Ergebnisse aus Blogs und Twitter werden sofort nach Publikation im Suchergebnis berücksichtigt.
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
The World According to Google....
• Gezielte Suche
• Suche nach einem/mehreren speziellen Dokument(en)
• Benutzer weiß, was er/sie sucht
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
The World According to Google....
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
The World According to Google....
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
The World According to Google....
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
The World According to Google....
Was aber, wenn ich nach einem Dokument suche, das in der Ergebnisliste auf Position 1.123.456 ist ...?
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
The World According to Google....
• Was aber, wenn der Benutzer nicht genau weiß, welches Dokument bzw. was er/sie überhaupt finden möchte
• „was gibt es denn alles zu einem Thema?“
• „wo fängt das Thema an, wo hört es auf?“
• „wie befriedige ich meine Neugierde?“
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
Semantisch unterstütztes Information Retrieval• Traditionelle Metadaten werden ergänzt durch semantische Annotationen
• Semantische Annotation unterstützt Schlüsselwort-basierte Suche mit
• (semi-)automatische Erweiterung / Präzisierung der Suchergebnisse
• Herleitung von impliziten Informationen
• Herstellung von Querverweisen (Cross-Referencing)
• Nutzung von inhaltlichen Beziehungen zur
• Visualisierung und
• Navigation durch den Suchraum (Explorative Suche)
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
Erweiterung/Verfeinerung der Suchergebnisse• Suche liefert nicht alle inhaltlich relevanten Suchergebnisse zu einer Suchphrase
Synonyme, Metaphern und Umschreibungen
• Suche liefert zu viele inhaltlich nicht relevante Suchergebnisse zu einer Suchphrase Mehrdeutigkeit, Kontext und Pragmatik
• (semi-)automatische Erweiterung der Suchphrase (Query Refinement)• Nutzung von Wörterbüchern, Thesauri und Domain Ontologien
• Synonyme, Ober- und Unterbegriffe
• Meronyme, Holonyme, Assoziationen
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
Erweiterung/Verfeinerung der Suchergebnisse• Suche liefert nicht alle inhaltlich relevanten Suchergebnisse zu einer Suchphrase
Synonyme, Metaphern und Umschreibungen
• Suche liefert zu viele inhaltlich nicht relevante Suchergebnisse zu einer Suchphrase Mehrdeutigkeit, Kontext und Pragmatik
• (semi-)automatische Erweiterung der Suchphrase (Query Refinement)• Nutzung von Wörterbüchern, Thesauri und Domain Ontologien
• Synonyme, Ober- und Unterbegriffe
• Meronyme, Holonyme, Assoziationen
Bsp.: Suchphrase: Bank
Mögliche Erweiterung: Bank ∧ Kreditanstalt oder Bank ∧ Sitzgelegenheit oder Bank ∧ Sediment
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
Herstellung von Querverweisen□ Bereitstellung von Suchergebnissen, die zwar den Suchbegriff nicht
notwendigerweise enthalten, aber mit diesem in inhaltlichem Zusammenhang stehen
□ Nutzung von Domain Ontologien, Linked Data, Thesauri und Kookurrenzanalysen repräsentativer Dokumentenkorpora
Bsp.: Suchphrase: Hemingwayermittelter Oberbegriff zu Hemingway: amerikanischer AutorAusweitung der Suche auf andere amerikanische Autoren
dbpedia:Ernest_Hemingway
dbpedia:AmericanNovelists
rdf:type
Hemingway
Instanzerkennung
dbpedia:Edgar_Allen_Poe
rdf:type
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
Herstellung von Querverweisen
Bsp.: Suchphrase: Hemingwayermittelter Oberbegriff zu Hemingway: amerikanischer AutorOberbegriff zu amerikanischer Autor: Ausweitung der Suche auf andere amerikanische Autoren
dbpedia:Ernest_Hemingway
yago:AmericanNovelists
rdf:type
Hemingway
Instanzerkennung
dbpedia:Edgar_Allan_Poe
rdf:type
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
Herstellung von Querverweisen
Bsp.: Suchphrase: Hemingwayermittelter Oberbegriff zu Hemingway: amerikanischer AutorOberbegriff zu amerikanischer Autor: Ausweitung der Suche auf andere amerikanische Autoren
dbpedia:Ernest_Hemingway
yago:AmericanNovelists
rdf:type
Hemingway
Instanzerkennung
dbpedia:Edgar_Allan_Poe
rdf:type
rdfs:subClassOf
yago:Novelist110363573
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
Herstellung von Querverweisen
Bsp.: Suchphrase: Hemingwayermittelter Oberbegriff zu Hemingway: amerikanischer AutorOberbegriff zu amerikanischer Autor: Ausweitung der Suche auf andere amerikanische Autoren
dbpedia:Ernest_Hemingway
yago:AmericanNovelists
rdf:type
Hemingway
Instanzerkennung
dbpedia:Edgar_Allan_Poe
rdf:type
rdfs:subClassOf
yago:Novelist110363573yago:EnglishNovelistsrdfs:subClassOf
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
Herstellung von Querverweisen
Bsp.: Suchphrase: Hemingwayermittelter Oberbegriff zu Hemingway: amerikanischer AutorOberbegriff zu amerikanischer Autor: Ausweitung der Suche auf andere amerikanische Autoren
dbpedia:Ernest_Hemingway
yago:AmericanNovelists
rdf:type
Hemingway
Instanzerkennung
dbpedia:Edgar_Allan_Poe
rdf:type
rdfs:subClassOf
yago:Novelist110363573
dbpedia:Rudyard_Kipling
rdf:type
yago:EnglishNovelistsrdfs:subClassOf
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
Herstellung von Querverweisen
Bsp.: Suchphrase: Hemingwayermittelter Oberbegriff zu Hemingway: amerikanischer AutorOberbegriff zu amerikanischer Autor: Ausweitung der Suche auf andere amerikanische Autoren
dbpedia:Ernest_Hemingway
yago:AmericanNovelists
rdf:type
Hemingway
Instanzerkennung
dbpedia:Edgar_Allan_Poe
rdf:type
rdfs:subClassOf
yago:Novelist110363573
dbpedia:Rudyard_Kipling
rdf:type
dbpedia-owl:Person/influencedBy
yago:EnglishNovelistsrdfs:subClassOf
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
Explorative Suche• Was, wenn der Benutzer nicht weiß, welches Keyword er/sie benutzen soll?
• Was, wenn der Benutzer komplexere Antworten sucht?
• Was, wenn der Benutzer das Wissensgebiet, über das er sich informieren will, nicht gut kennt?
• Was, wenn der Benutzer wissen möchte, welche Dokumente es insgesamt zu einem speziellen (komplexen) Thema in einem Repository gibt?
• Das Problem ist nicht neu
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
56 Explorative Suche• Ist ein spezieller Weg der Informationsrecherche, der von Informationssuchenden
beschritten wird, die
(a) nicht mit dem Themengebiet ihres Suchziels vertraut sind,d.h. sie müssen zuerst einiges über das Suchthema lernen, um zu verstehen, wie sie ihr Suchziel erreichen können
(b) unsicher darüber sind, auf welchem Weg das Suchziel zu erreichen ist (bzgl. des Suchvorgangs und der Suchtechnologie)
(c) oder überhaupt unsicher bzgl. ihres Suchziels sind, d.h. Sie wissen gar nicht genau, wonach sie suchen.
White, R.W., Kules, B., Drucker, S.M., and schraefel, M.C.Supporting Exploratory Search, Introduction to Special Section of Communications of the ACM, Vol. 49, Issue 4, (2006), pp. 36-39.
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
57 Explorative Suche• Abkehr vom klassischen „Google Paradigma“
• Ermöglicht es dem Benutzer
• Suchergebnisse „zufällig“ zu entdecken, die er eigentlich gar nicht gesucht hat (Serendipity)
• einen besseren Überblick über den Suchraum / Ergebnisraumzu gewinnen
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
57 Explorative Suche• Abkehr vom klassischen „Google Paradigma“
• Ermöglicht es dem Benutzer
• Suchergebnisse „zufällig“ zu entdecken, die er eigentlich gar nicht gesucht hat (Serendipity)
• einen besseren Überblick über den Suchraum / Ergebnisraumzu gewinnen
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
58 ■How to Explore the Web of Data?
dbpedia:Ernest_Hemingway
Wie soll das semantischeNetzwerk um dbpedia:Ernest_Hemingwayherum durchsucht werden?
http://dbpedia.org/page/Ernest_Hemingway
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
59 ■Welche Fakten sind relevant/interessant?
■ e.g., Ernest Hemingway■ > 600 facts (triples)■ > 80 properties■ no ranking■ no relevance
http://dbpedia.org/page/Ernest_Hemingway
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
60
Waitelonis, Sack: Augmenting Video Search with Linked Open Data, in Proc. I-Semantics , Graz 2009.
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
60
history
Waitelonis, Sack: Augmenting Video Search with Linked Open Data, in Proc. I-Semantics , Graz 2009.
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
60
history
search term
Waitelonis, Sack: Augmenting Video Search with Linked Open Data, in Proc. I-Semantics , Graz 2009.
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
Semantic Multimedia3. Explorative Videosuche
60
history
search term
related resources with properties
Waitelonis, Sack: Augmenting Video Search with Linked Open Data, in Proc. I-Semantics , Graz 2009.
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
61
Semantic Multimedia3. Explorative Videosuche
Explorative Suche in yovisto
• Exploratives Browsen des yovisto Video-Repositories
• Wie geht man dazu vor?
• Suche Videos über US-amerikanische Präsidenten
• Wer waren die US Präsidenten von 1776 - heute?
• Mögliche Suchbegriffe
• ,Barack Obama‘, George Washington‘ ,President‘, ,USA‘, ....
• Aufgabe: Erstelle ein Referat über die Geschichte der US-amerikanischen Präsidenten
Dienstag, 11. Mai 2010
4. Tele-TASK Symposium, 25-26.02.2010, Dr. Harald Sack, HPI Potsdam
29
Semantische SuchtechnologienExplorative Suche in audiovisuellen Daten
Dienstag, 11. Mai 2010
4. Tele-TASK Symposium, 25-26.02.2010, Dr. Harald Sack, HPI Potsdam
29
Semantische SuchtechnologienExplorative Suche in audiovisuellen Daten
Dienstag, 11. Mai 2010
4. Tele-TASK Symposium, 25-26.02.2010, Dr. Harald Sack, HPI Potsdam
29
Semantische SuchtechnologienExplorative Suche in audiovisuellen Daten
Dienstag, 11. Mai 2010
4. Tele-TASK Symposium, 25-26.02.2010, Dr. Harald Sack, HPI Potsdam
29
Semantische SuchtechnologienExplorative Suche in audiovisuellen Daten
Dienstag, 11. Mai 2010
4. Tele-TASK Symposium, 25-26.02.2010, Dr. Harald Sack, HPI Potsdam
29
Semantische SuchtechnologienExplorative Suche in audiovisuellen Daten
Dienstag, 11. Mai 2010
4. Tele-TASK Symposium, 25-26.02.2010, Dr. Harald Sack, HPI Potsdam
29
Semantische SuchtechnologienExplorative Suche in audiovisuellen Daten
Dienstag, 11. Mai 2010
4. Tele-TASK Symposium, 25-26.02.2010, Dr. Harald Sack, HPI Potsdam
29
Semantische SuchtechnologienExplorative Suche in audiovisuellen Daten
Dienstag, 11. Mai 2010
4. Tele-TASK Symposium, 25-26.02.2010, Dr. Harald Sack, HPI Potsdam
29
Semantische SuchtechnologienExplorative Suche in audiovisuellen Daten
Dienstag, 11. Mai 2010
4. Tele-TASK Symposium, 25-26.02.2010, Dr. Harald Sack, HPI Potsdam
29
Semantische SuchtechnologienExplorative Suche in audiovisuellen Daten
Dienstag, 11. Mai 2010
1. Videosuche mit Yovisto
2. Linked Data und das Semantic Web
3. Explorative Videosuche
4. Evaluationsverfahren und Aufgabenstellung
Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität Potsdam
68
Semantic Multimedia
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
69
Semantic Multimedia4. Evaluationsverfahren und Aufgabenstellung
Allgemeine Evaluation von Information Retrieval Systemen
• Definieren eines Portfolios unterschiedlicher Suchaufgaben
• Für jede Suchaufgabe
• Manuelle Bestimmung eines korrekten Ergebnisses, d.h. einer Menge für die Suchabfrage relevanter Dokumente(„Gold Standard“)
• Automatische Bestimmung eines Ergebnisses mit Hilfe des Information Retrieval Systems, d.h. einer Menge für die Suchabfrage gefundener Dokumente
• Durch Vergleich der Testergebnisse mit den manuell ermittelten (korrekten) Ergebnissen können Qualitätskriterien für das Information Retrieval System ermittelt werden
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
70
Semantic Multimedia4. Evaluationsverfahren und Aufgabenstellung
Evaluation von Information Retrieval Systemen
relevante Dokumente gefundene Dokumente
relevante Dokumente, die gefunden wurden
R P
Recall=| R ∩ P |
|R|
Precision=| R ∩ P |
|P|
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
70
Semantic Multimedia4. Evaluationsverfahren und Aufgabenstellung
Evaluation von Information Retrieval Systemen
relevante Dokumente gefundene Dokumente
relevante Dokumente, die gefunden wurden
R P
Recall=| R ∩ P |
|R|
Precision=| R ∩ P |
|P|
Text REtrieval Conference (TREC)Workshop Series (1992 - 2010) that encourages research in information retrieval by providing•large test collection, •uniform scoring procedures, and a •forum for organizations interested in comparing their results. •Workshop Tracks include •cross-language retrieval, retrieval of web documents, multimedia retrieval, and
question answering all in various domains.
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
71
Semantic Multimedia4. Evaluationsverfahren und Aufgabenstellung
Evaluation der Explorativen Suche
• Problem bei der explorativen Suche
• Das „korrekte“ Ergebnis steht nicht unbedingt von Anfang an fest
• Je nach Interesse/Neigung des Suchenden können unterschiedliche Strategien verfolgt werden
• Komplexe Suchaufgaben mit individuell verschiedener Zielsetzung/Interpretation
• Wie definiert man einen explorativen „Gold Standard“?
• Wie soll man explorative Suche evaluieren?
• Quantitative Evaluation
• Qualitative Evaluation
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
72
Semantic Multimedia4. Evaluationsverfahren und Aufgabenstellung
IDEE: Evaluation mit Hilfe geeigneter Spiele
■ Problem: hoher manueller Aufwand notwendig zuraussagekräftigen und objektiven Evaluation der Ergebnisse
■ Können Evaluationsprobleme in Form von einfachen Spielen ,verpackt‘ werden?
■ Spiel soll Benutzer motivieren, spielerisch Evaluationsaufgaben zu lösen und zur Gesamtevaluation beizutragen
■ Spiel soll dabei keine Experten-Vorkenntnisse verlangen
■ Spiel soll ,Spaß‘ machen = hohe Motivation bieten
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
73
Semantic Multimedia4. Evaluationsverfahren und Aufgabenstellung
Was genau soll evaluiert werden?
■ Qualität der Heuristiken zur explorativen Suche
■ Relevanzbewertung Properties
■ Relevanzbewertung assoziierte Instanzen
■ Generelle Disambiguierungsprobleme
■ Visuelle Analyse
■ Was ist zu sehen?
■ Gesichter (finden, erkennen, vergleichen)
■ Text (finden, erkennen)
■ Genre
■ Geoinfo
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
74
Semantic Multimedia4. Evaluationsverfahren und Aufgabenstellung
Qualität der Heuristiken zur explorativen Suche
■ Relevanzbewertung der Properties-Heuristiken
■ Gegeben ist ein Entity
■ ,z.B.: freie Auswahl‘ von ,wichtigen‘ Properties aus allen DBpedia Properties
■ z.B: Bewertung welche von n Property-Heuristiken ist die bessere
■ Bsp.: Was ist wichtiger?(a) Albert Einstein ist ein Physiker(b) Albert Einstein ist ein amerikanischer Vegetarier(c) Albert Einstein ist Pazifist(d) Albert Einstein ist Patentgutachter(e) ...
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
75
Semantic Multimedia4. Evaluationsverfahren und Aufgabenstellung
Generelle Disambiguierungsprobleme
■ Gegeben ist der folgende Satz:„Der New Yorker Flughafen John F. Kennedy ist von der Stadt aus sehr leicht zu erreichen“
■ Worum geht es?(a) um John F. Kennedy(b) um New York(c) um die Stadt(d) um den Flughafen(e) um den New Yorker Flughafen John F. Kennedy(f) ...
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
76
Semantic Multimedia4. Evaluationsverfahren und Aufgabenstellung
Visuelle Analyse I - Bilderkennung
Was ist das?(a) Hasso Plattner Institut, Potsdam (b) Bundestag, Berlin(c) Petersdom, Rom (c) Pantheon, Rom
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
77
Semantic Multimedia4. Evaluationsverfahren und Aufgabenstellung
Visuelle Analyse II - Objektdetektion
Finden und Markieren von Gesichtern und/oder Objekten?
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
78
Semantic Multimedia4. Evaluationsverfahren und Aufgabenstellung
Visuelle Analyse III - Objektidentifikation
Verknüpfen mit Instanzen und Konzepten
<http://dbpedia.org/resource/Cattle>
<http://dbpedia.org/resource/Motorcycle>
<http://dbpedia.org/resource/J%C3%B6rg_Waitelonis>
dbpedia-owl:Person
dbpedia-owl:Animal
opencyc:en/VehicleType
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
79
Semantic Multimedia4. Evaluationsverfahren und Aufgabenstellung
Visuelle Analyse - Face Identification
Wer ist das?(a) Angela Merkel (b) Christoph Meinel(c) Edgar Alan Poe (d) Ernest Hemingway
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
80 Visuelle Analyse IV - Character/Text Detection/Recognition
(1) Finden von Text im Video (2) ‘Entziffern’ von Text
Semantic Multimedia4. Evaluationsverfahren und Aufgabenstellung
EIN FILM DES Defa Studios für Wochenschau und Dokumentarfilme ....
Dienstag, 11. Mai 2010
Visuelle Analyse V - Face/Object Recognition
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
81
Semantic Multimedia4. Evaluationsverfahren und Aufgabenstellung
Vergleichen von Bildern (z.B. Gesichter)
=
=
=
/
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
82
Semantic Multimedia4. Evaluationsverfahren und Aufgabenstellung
Geoinformation
Wo ist das?(a) Eisenach, Iowa, USA(b) Eisenach, Thüringen, Germany(c) Eisenach, Rheinland-Pfalz, Germany
Wartburg
Dienstag, 11. Mai 2010
1. Videosuche mit Yovisto
2. Linked Data und das Semantic Web
3. Explorative Videosuche
4. Evaluationsverfahren und Aufgabenstellung
Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität Potsdam
83
Semantic Multimedia
Dienstag, 11. Mai 2010
Seminar: Semantic Multimedia, Hasso-Plattner-Institut, Universität Potsdam
84
Literatur
» P. Hitzler, M. Krötzsch, S. Rudolph, Y. Sure Semantic Web Grundlagen, Springer, 2008.
Semantic Multimedia
Dienstag, 11. Mai 2010