clever search: a wordnet based wrapper for internet search engines peter m. kruse, andré naujoks,...

18
Clever Search: A WordNet Based Wrapper for Internet Search Engines Peter M. Kruse, André Naujoks, Manuela Kunze, Dietmar Rösner Otto-von-Guericke-Universität Magdeburg

Upload: magdalena-langenfeld

Post on 05-Apr-2015

109 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Clever Search: A WordNet Based Wrapper for Internet Search Engines Peter M. Kruse, André Naujoks, Manuela Kunze, Dietmar Rösner Otto-von-Guericke-Universität

Clever Search: A WordNet Based Wrapper forInternet Search Engines

Peter M. Kruse, André Naujoks, Manuela Kunze, Dietmar Rösner

Otto-von-Guericke-Universität Magdeburg

Page 2: Clever Search: A WordNet Based Wrapper for Internet Search Engines Peter M. Kruse, André Naujoks, Manuela Kunze, Dietmar Rösner Otto-von-Guericke-Universität

Manuela Kunze

2

GermaNet-Workshop 2005

Überblick

Einleitung

Clever Search

Pre-Filter

Post-Filter

Zusammenfassung

Page 3: Clever Search: A WordNet Based Wrapper for Internet Search Engines Peter M. Kruse, André Naujoks, Manuela Kunze, Dietmar Rösner Otto-von-Guericke-Universität

Manuela Kunze

3

GermaNet-Workshop 2005

Einleitung

Probleme herkömmlicher Suchmaschinen im Web

Ergebnisse beinhalten nicht relevante Seiten fehlende Gruppierung der Ergebnisse

Page 4: Clever Search: A WordNet Based Wrapper for Internet Search Engines Peter M. Kruse, André Naujoks, Manuela Kunze, Dietmar Rösner Otto-von-Guericke-Universität

Manuela Kunze

4

GermaNet-Workshop 2005

Intelligente Suchmaschinen

Vivísimo (http://vivisimo.com )

Clusty (http://clusty.com)

basierend auf textuelle und semantische Ähnlichkeit (Heuristiken)

Page 5: Clever Search: A WordNet Based Wrapper for Internet Search Engines Peter M. Kruse, André Naujoks, Manuela Kunze, Dietmar Rösner Otto-von-Guericke-Universität

Manuela Kunze

5

GermaNet-Workshop 2005

Vivísimo/Clusty

Page 6: Clever Search: A WordNet Based Wrapper for Internet Search Engines Peter M. Kruse, André Naujoks, Manuela Kunze, Dietmar Rösner Otto-von-Guericke-Universität

Manuela Kunze

6

GermaNet-Workshop 2005

Vivísimo/Clusty

Page 7: Clever Search: A WordNet Based Wrapper for Internet Search Engines Peter M. Kruse, André Naujoks, Manuela Kunze, Dietmar Rösner Otto-von-Guericke-Universität

Manuela Kunze

7

GermaNet-Workshop 2005

Vivísimo/Clusty

Problem:viele Clusterzu detailliert

Lösung: Bestimmung von relevanten Termen

Anfrage spezifizierenGruppierung von Ergebnissen

Page 8: Clever Search: A WordNet Based Wrapper for Internet Search Engines Peter M. Kruse, André Naujoks, Manuela Kunze, Dietmar Rösner Otto-von-Guericke-Universität

Manuela Kunze

8

GermaNet-Workshop 2005

Clever Search

Integration von WordNet

2 Modi verfügbarErweiterung der Anfrage: pre-filterGruppieren der Ergebnisse: post-filter

Page 9: Clever Search: A WordNet Based Wrapper for Internet Search Engines Peter M. Kruse, André Naujoks, Manuela Kunze, Dietmar Rösner Otto-von-Guericke-Universität

Manuela Kunze

9

GermaNet-Workshop 2005

Clever Search

Spezifizierung der Anfrage WordNet

Bestimmung der Cluster

Such-maschine

ErgebnislisteClustern der Ergebnisse

Ergebniscluster

pre-filter post-filter

Page 10: Clever Search: A WordNet Based Wrapper for Internet Search Engines Peter M. Kruse, André Naujoks, Manuela Kunze, Dietmar Rösner Otto-von-Guericke-Universität

Manuela Kunze

10

GermaNet-Workshop 2005

Clever Search: Pre-Filter

Suchanfrage wird spezifiziert

Nutzung konzeptueller InformationenHypernyms (Hyponyms)

Erweiterung der Anfrage um die Konzepte der selektierten Lesart

Page 11: Clever Search: A WordNet Based Wrapper for Internet Search Engines Peter M. Kruse, André Naujoks, Manuela Kunze, Dietmar Rösner Otto-von-Guericke-Universität

Manuela Kunze

11

GermaNet-Workshop 2005

Clever Search: Pre-FilterBeispiel: ham

Page 12: Clever Search: A WordNet Based Wrapper for Internet Search Engines Peter M. Kruse, André Naujoks, Manuela Kunze, Dietmar Rösner Otto-von-Guericke-Universität

Manuela Kunze

12

GermaNet-Workshop 2005

Clever Search: Pre-Filter

Page 13: Clever Search: A WordNet Based Wrapper for Internet Search Engines Peter M. Kruse, André Naujoks, Manuela Kunze, Dietmar Rösner Otto-von-Guericke-Universität

Manuela Kunze

13

GermaNet-Workshop 2005

Clever Search: Post-Filter

Einordnung der Ergebnisseiten in Cluster

Festlegung der Cluster anhand der Informationen aus WordNet

Berechnung der Cluster-Zugehörigkeit der Ergebnisseiten anhand

Vorkommen der Konzepte aus den SynsetsHypernyms, Hyponyms, Meronyms, Holonyms

Page 14: Clever Search: A WordNet Based Wrapper for Internet Search Engines Peter M. Kruse, André Naujoks, Manuela Kunze, Dietmar Rösner Otto-von-Guericke-Universität

Manuela Kunze

14

GermaNet-Workshop 2005

Wichtung der Ergebnisseiten

SuchbegriffListe aller Konzepte

aus WordNet

WordNetKonzepte aus den Synsets der Relationen: Hypernym, Hyponym, Meronym, Holonym

Wichtung der Konzepte

für jedes Cluster/Lesart in WordNet

Such-maschine

Ergebnisseiten

Anzahl der Vorkommen der Konzepte

Clusterwert

Page 15: Clever Search: A WordNet Based Wrapper for Internet Search Engines Peter M. Kruse, André Naujoks, Manuela Kunze, Dietmar Rösner Otto-von-Guericke-Universität

Manuela Kunze

15

GermaNet-Workshop 2005

Clever Search: Post-Filter

Page 16: Clever Search: A WordNet Based Wrapper for Internet Search Engines Peter M. Kruse, André Naujoks, Manuela Kunze, Dietmar Rösner Otto-von-Guericke-Universität

Manuela Kunze

16

GermaNet-Workshop 2005

Verbesserung der Bewertung

Anzahl der Vorkommen eines Konzeptes in verschiedenen Lesartennutzerbasierende Wichtung der konzeptuellen Relationen (z.B. Hypernym > Meronym)Berücksichtigung der Länge bzw. Anzahl der Token einer WebseiteBerücksichtigung der anderen ClusterwerteWorthäufigkeiten (TF, IDF)

Page 17: Clever Search: A WordNet Based Wrapper for Internet Search Engines Peter M. Kruse, André Naujoks, Manuela Kunze, Dietmar Rösner Otto-von-Guericke-Universität

Manuela Kunze

17

GermaNet-Workshop 2005

Integration von GermaNet möglich?

ja - durch Anpassungen Beschreibungen der Lesarten fehlen

Ersatz:Anzeige der Hypernym-, Hyponym-Konzepte

Page 18: Clever Search: A WordNet Based Wrapper for Internet Search Engines Peter M. Kruse, André Naujoks, Manuela Kunze, Dietmar Rösner Otto-von-Guericke-Universität

Manuela Kunze

18

GermaNet-Workshop 2005

Zusammenfassung

Aufsatz für herkömmlicher Suchmaschinen2 Modi basierend auf den WordNet-Informationen

pre-filter:Spezifizierung der Suchanfrage

post-filter:einfache Gruppierung der Ergebnisseiten

verfügbar unterhttp://oslo.cs.uni-magdeburg.de/~cegeie/