topic mapstopic maps, , , wandorawandora ja kourallinen ... · topic mapstopic maps, , ,...
TRANSCRIPT
Topic MapsTopic MapsTopic MapsTopic Maps, , , , WandoraWandoraWandoraWandoraja kourallinen julkaisuprojektejaja kourallinen julkaisuprojektejaja kourallinen julkaisuprojektejaja kourallinen julkaisuprojekteja
Grip Studios InteractiveGrip Studios InteractiveGrip Studios InteractiveGrip Studios Interactive, Aki Kivelä, Aki Kivelä, Aki Kivelä, Aki Kivelä14.11.200714.11.200714.11.200714.11.2007
2
Esitelmän rakenneTopic Maps
Teoriaa
Suhde muihin teknologioihin
Käyttösovelluksia
Wandora
SovellusprojektejaKiasmart
Valtion taidemuseon kokoelmaselain
3
Topic MapsISO –standardin mukainen tietämysrakenne
Tietoresursseista riippumaton tietämysverkko
Kartta tietoresursseihin
Kokoelma käsitteitä, käsitteiden välisiä yhteyksiä ja käsitteisiin liittyviä tietoresursseja
Tietoresursseihin liittyvää metatietoa
Dataresursseja
Aihekartta
4
Historiaa1991, UNIX –järjestelmätoimittajien hanke parantaa dokumentaatioiden laatua.Ongelmana hajautetusta dokumenttien tuotannosta johtuva terminologinen epäyhtenäisyys.
One major problem was how to provide master indexes for independently maintained, constantly changing technical documentation aggregated into system manual sets by the vendorsof such systems.
SOFABED – Standard Open Formal Architecture for Browsable Electronic Documents ! Topic Maps1995, ISOn käsittelyyn (ISO/IEC 13250).2000, XTM 1.0 XML Topic Maps: Creating and Using Topic Maps for the Web. ed. Jack Park; Sam Hunting.
Kappale 3: A Perspective On The Quest For Global Knowledge Interchange. Addison-Wesley, ISBN 0-201-74960-2
The HyTime Topic Maps (HyTM) Syntaxhttp://www.is-thought.co.uk/HyTM-Syntax-02.htm
XML Topic Maps (XTM) 1.0. TopicMaps.Org Specificationhttp://www.topicmaps.org
5
Aihekartta on kokoelmaAiheita (Topics)
Yhteyksiä (Associations)
Ilmentymiä (Occurrences)
TAO -malli
Teoriaa
Steve Pepper: The TAO of Topic Maps, finding the way in the age of infoglut, http://www.gca.org/papers/xmleurope2000/papers/s11-01.html
Topic Map
URI
TopicAssociation
Name
Media Documents
Occurrence
6
Aihe - TopicAihe (topic) voi olla mikä tahansa käsiteAiheella voi olla useita nimiä
Ainakin yksi perusnimi (base name)Perusnimellä voi olla useampia eri käyttöyhteyksiin tarkoitettuja variaatioita (kieli, näkökulma, konteksti jne.).
Aiheeseen voidaan liittää tunnisteitaSubject LocatorSubject Identifier
7
AssosiaatioAssosiaatio liittää kaksi tai useamman aiheen yhteen
Aiheiden välinen n-paikkainen relaatio
Assosiaatiolla on tyyppi
Jokaisella assosiaatiossa olevalla aiheella on rooli
HelsinkiSuomi
Maan pääkaupunki
kaupunki maa
8
Assosiaatio
SuomiHelsinki
MaaMaaMaaMaaKaupunkiKaupunkiKaupunkiKaupunki
Maan pääkaupunkiMaan pääkaupunkiMaan pääkaupunkiMaan pääkaupunki
Verkkoa havainnollisempi esitys assosiaatiolle voisi olla otsikoitu taulu:
9
Ilmentymä - OccurrenceIlmentymä on aiheeseen liittyvä resurssiIlmentymä voi olla aihekartan ulkopuolella
Viitataan URL-osoitteella
Ilmentymä voi olla aihekartan sisälläTekstiä
Ilmentymällä on tyyppi ja konteksti (scope).
10
Occurrence
Helsinki
Kaupungin vaakuna
suomenkielinen
11
ScopeTopicilla, assosiaatiolla tai occurrencella voi nimensä (external representation) puolesta olla useampia merkityksiä.
Esimerkiksi käsite maa voi käyttöyhteydestä riippuen tarkoittaa valtakuntaa, maapalloa tai maa-ainesta.
Merkitykset erotetaan scopella.
Scope määrittelee, missä yhteydessä aihe, assosiaatio tai occurrence on relevantti.
ScopellaPiilotetaan irrelevantti tieto
Keskitytään olennaiseen tietoon
12
Aihekartta Aihekartta
Scope – esimerkki
otetaan scope
käyttöön
13
Aihekartat ja XTMXMT on aihekarttojen esittämiseen tarkoitettu XML-formaatti.
XTM määrittelee miten aihekartan aiheet, yhteydet ja muut elementit esitetään XML-muodossa.
XTM-muotoa voidaan käyttää aihekarttojen Säilyttämiseen
Jakeluun
Muokkausmuotona
XML Topic Maps (XTM) 1.0. TopicMaps.Org Specificationhttp://www.topicmaps.org/xtm/index.html
14
Suhde muihin teknologioihin
Topic Maps ja RDF
Topic Maps ja Ontologiat
Topic Maps ja Semanttinen Web
15
Topic Maps ja RDFResource Description Framework (RDF) on W3C:n alaisuudessa kehitetty teknologia, joka on tarkoitettu Internet-resurssien annotointiin.
RDF myös XML-variantti
RDF käyttää annoitointiin Subjekti–Predikaatti–Objekti –kolmikoita
RDF on yksinkertaisempi (väljempi) tietämyksen esitysmalli kuin aihekartat.
RDF Topic MapsMahdollista, mutta ei yksikäsitteistä Ten Theses on Topic Maps and RDF
http://www.ontopia.net/topicmaps/materials/rdf.html
Topic maps, RDF, DAML, OIL, A comparisonhttp://www.ontopia.net/topicmaps/materials/tmrdfoildaml.html
Graham Moore. RDF and TopicMaps. An Exercise in Convergencehttp://www.topicmaps.com/topicmapsrdf.pdf
16
Topic Maps ja Ontologiat
Ontologia on eksplisiittisesti määritelty ja jaettu käsitteistö.
Aihekartat ovat yksi ontologioiden toteutusteknologia
Aihekartta ei sisällä kaikkia puhtaiden ontologiakielten ominaisuuksia
Ominaisuudet on mahdollista toteuttaa, mutta vaatii työtä
Toisaalta ontologiateknologiat ovat keskenäänkin hyvin erilaisia ja eri vahvuisia (vrt. esim. DAML ja KIF)
Semantic Webhttp://www.w3.org/2001/sw/
What is an Ontology?http://www-ksl.stanford.edu/kst/what-is-an-ontology.html
Martin Bryan. Thoughts on the relationship between ontologies and philosophieshttp://www.sgml.u-net.com/philosophy.doc
17
Topic Maps ja Semanttinen Web
The Semantic Web is an extension of the current web in which information is given well-defined meaning, better enabling computers and people to work in cooperation.Aihekartat ovat yksi semanttisen webintoteutusteknologioista.
Aihekartat ovat kuitenkin jääneet W3C:n omien teknologioiden (RDF(S), OWL) varjoon
Semantiic Wb @ W3Chttp://www.w3.org/2001/sw/
Tim Berners-Lee, James Hendler, Ora Lassila, The Semantic Web, Scientific American, May 2001http://www.scientificamerican.com/article.cfm?articleID=00048144-10D2-1C70-84A9809EC588EF21&catID=2
Using Topic Mapsfor the representation, management & discovery of knowledgehttp://www.gca.org/papers/xmleurope2000/papers/s22-01.html
18
Topic Maps ja Semanttinen Web
Unicode URI
XML, NS, xmlschema
RDF+RDF(S)
Ontologiat__
Logic
Proof
Topic MapTopic MapTopic MapTopic Map
19
Topic Maps - KäyttösovelluksiaTietämyksen kerääminen, yhdistely, hallinta ja julkaisu
Topic Map tietokantana
Web scraping, knowledge mashups jne.
Dokumenttien selaaminen, hallinta ja julkaiseminenTopic map dokumenttien metaverkkona
Datavirtojen hallinta ja ohjaaminenTopic Map datasiirtoformaattina
MallintaminenTopic Map mallinnuskielenä, prototyping
KieliteknologiaTopic Map corpuksena, terminologiana
20
Topic Maps ja dokumenttien julkaisu
Tuotetaan dokumenteista aihekartta
Dokumentit aiheiden ilmentyminä
Tuotetaan aihekartasta visualisointeja
Annetaan käyttäjän navigoida aihekarttassa (navigointiverkko)
Päästetään käyttäjä ilmentymädokumentteihin
Dataresursseja
Aihekartta
21
Topic Maps ja dokumenttien julkaisu
Miksi WWW-julkaisu ei riitä?Dokumentteihin ei haluta tai ei ole mahdollista liittää linkkejä
Dokumentteja on liian paljon päivitettäväksi
Dokumentit vaihtuvat usein
Dokumentteihin tarvitaan useita näkökulmia
Dokumenttien julkisuutta pitää rajoittaa dynaamisesti
Dataresursseja
Aihekartta
22
Julkaisu – Topic Mapin tuottaminenTopic mapin tuottaminen manuaalisesti
Henkilö tutustuu dokumenttiin ja liittää dokumenttia vastaavat aiheet ja yhteydet aihekarttaan (toimittaminen).
Vaativa ja henkilökeskeinen operaatio
Laatu pysyy hyvänä (ainakin alussa)
Muutosten tekeminen hidasta ja vaikeaa
Topic mapin automatisoitu tuottaminenOhjelma lukee dokumentin, pyrkii tulkitsemaan dokumentin aiheet ja yhteydet ja liittää ne aihekarttaan.
Erittäin nopea tuottaa
Altis tulkintavirheille, konetulkinnan semanttinen sokeus
23
Julkaisu – Topic Mapin tuottaminen
Topic Mapin tuottaminen puoliautomaattisestiHenkilöt kirjaavat dokumentteihin ohjeita konetulkinnalle (avustettu tulkinta).
Konetulkinnan apuna on käsin tuotettu aihealueen aihekartta tai ontologia, joka auttaa konetulkitsijaa erottamaan oleelliset käsitteet (opetettu tulkinta).
Konetulkki ymmärtää, milloin se on semanttisesti epävarmalla alueella ja osaa pyytää henkilöltä apua (oppiva tulkinta).
Helka Folch. Articulating conceptual spaces using the Topic Map standardhttp://www.idealliance.org/papers/xml02/dx_xml02/papers/06-03-02/06-03-02.html
Thomas Bandholtz. A Taxi in Knowledge Land. Use Case that Combines Topic Maps and Web Services in a Public Portalhttp://www.idealliance.org/papers/xmle02/dx_xmle02/html/abstract/03-05-03.html
Geir Ove Grønmo. Automagic Topic Maps. 1-2-3; Creating topic maps from existing data sourceshttp://www.idealliance.org/papers/xmle02/dx_xmle02/html/abstract/03-05-02.html
24
Julkaisu – visualisointi ja navigointiGraafinen visualisointi
Esitetään aihekartta verkkorakenteena esim. mind-mappinä
Ongelmana graafisten visualisointipakettien puute
WWW –julkaisun rajoitukset
HypertekstiesitysAihealueen huomioon ottaminen esityksessä parantaa huomattavasti esitystä.
Geneerisessä visualisoinnissa ongelmana tiedon visuaalinen yhtenäisyys.
Liike on tietoa!!!vrt. WWW-navigointi, jossa tieto saadaan vasta pysähdyttäessä
Bénédicte Desclefs-Le Grand, Michel Soto. Visualizing Topic Maps http://citeseer.nj.nec.com/desclefs-legrand00visualizing.html
WandoraWandoraWandoraWandoraGrip Studios InteractiveGrip Studios InteractiveGrip Studios InteractiveGrip Studios Interactive, Aki Kivelä, Aki Kivelä, Aki Kivelä, Aki Kivelä
14.11.200714.11.200714.11.200714.11.2007
26
WandoraYleinen tietämyseditori ja julkaisuohjelmistoTopic Map -editori
Työpöytäohjelma, Java
PiccoloTopic Mappien WWW-julkaisu, Java-servlet
Grip Studios Interactive 2000!Puolisen tusinaa sovellusprojektiaVapaasti ladattivissa ja kokeiltavissa
www.wandora.net
27
Wandora - ominaisuuksiaLayered Topic Map -paradigmaTukee useita tallennusalustoja
Tietokanta, muisti
Graafinen käyttöliittymäUseita visualisointimalleja Topic Mapeille
Lukee XTM-, LTM-, RDF-tiedostojaTiedon eristäminen
Esim. JPEG, email, BibTex, MediaWiki, MP3…
HTML-sivuston tuottaminen Topic MapistäStaattinen tai dynaaminen
Case 1: Case 1: Case 1: Case 1: KiasmartKiasmartKiasmartKiasmartGrip Studios InteractiveGrip Studios InteractiveGrip Studios InteractiveGrip Studios Interactive, Aki Kivelä, Aki Kivelä, Aki Kivelä, Aki Kivelä
10.11.200710.11.200710.11.200710.11.2007
29
Kiasmart
Kiasmaan 1999-2001 toteutettu infokioskijärjestelmä
Hajautetut mediatuotanto, keskitetty palvelin, kolme päätettä
Nykytaiteen teos- ja taiteilijatiedon jakaminen
Videoita, kuvia, tekstejä
30
Waonder -palvelin
Yleisön käytössä olevat Waonder -päätteet
Käyttöjärjestelmä jakäyttöliittymä
Mediapalvelimia
Dokumentit
Internet
31
Waonder -palvelin
Yleisön käytössä olevat Waonder -päätteet
Käyttöjärjestelmä jakäyttöliittymä
Mediapalvelimia
Dokumentit
Internet
MediapalvelimetInternetissä sijaitsevia tietokoneita, kuten WWW-tai tiedostopalvelimia, joilla säilytetään Kiasmartillaesitettäviä dokumentteja.
Kiasmart hakee dokumentit URL-osoitteiden avulla.
Dokumentit voivat olla esimerkiksiPDF-tekstejä
JPEG-kuvia
MPEG-videoita
RDF-tiedostoja
XTM-tiedostoja
32
Dokumenttien metatiedotKiasmart tarvitsee dokumentteihin liittyviä metatietoja ”ymmärtääkseen” dokumenttien välisiä yhteyksiä.
Metatiedot voidaan lukeaDokumenteista: JPEG-kuvat, PDF-tekstit
Erillisistä tiedostoista: RDF- ja XTM-tiedostot
Metatiedot voivat ollaRDF- tai XTM-muodossa
Dublin Corea
Strukturoitua tekstiä
Dokumenttien sisältöä ei yritetä tulkita!Vähentää virhetulkintoja
Korostaa annotoinnin merkitystä
Tulkinnan pohjana käytetään pientä käsin tuotettua aihekarttaa.
Waonder -palvelin
Yleisön käytössä olevat Waonder -päätteet
Käyttöjärjestelmä jakäyttöliittymä
Mediapalvelimia
Dokumentit
Internet
33
CrawlerOn ohjelmakomponetti, joka selaa mediapalvelimien dokumentteja ja liittää ne järjestelmään.
Crawler osaa seurata dokumenttien sisältämiä linkkejä uusiin käsiteltäviin tiedostoihin (HTML).
Uusien dokumenttien löytäminen
Lukee dokumenttien metatiedot ja tuottaa tiedoista XTM-fragmentteja.
Yhdistää XTM-fragmentit Topic Map–tiedostoksi.
Selaa dokumentit säännöllisesti
Säädettävä päivitystaajuus
Waonder -palvelin
Yleisön käytössä olevat Waonder -päätteet
Käyttöjärjestelmä jakäyttöliittymä
Mediapalvelimia
Dokumentit
Internet
34
Agentti selaadokumenttienmetatietoja
Kokoa ja serialisoiaihekarttafragmentit
Crawler-hakuagentti
JPEGHandler
RDFHandler
XMT
Aihekartta-fragmentteja
Dokumentit
Handlerrajapinta
Dokumenttivarastot
Waonder -palvelin
Yleisön käytössä olevat Waonder -päätteet
Käyttöjärjestelmä jakäyttöliittymä
Mediapalvelimia
Dokumentit
Internet
35
Topic Map ja yleisöliittymä
Yleisöliittymässä näytetään TopicMapin aiheita, yhteyksiä ja linkitettyjä dokumentteja.Yleisöliittymän navigointiverkko perustuu TopicMappiin metatiedoista rakentuneisiin assosiaatioihin.
Waonder -palvelin
Yleisön käytössä olevat Waonder -päätteet
Käyttöjärjestelmä jakäyttöliittymä
Mediapalvelimia
Dokumentit
Internet
Topic Map
URI
TopicAssociation
Name
Media Documents
Occurrence
36
Waonder -palvelin
Yleisön käytössä olevat Waonder -päätteet
Käyttöjärjestelmä jakäyttöliittymä
Mediapalvelimia
Dokumentit
Internet Asiakas näkeeHTML-visualisointeja, jotka esitetään
Räätälöidyllä WWW-selaimellaEi selaimen omia käyttöliittymäelementtejä.
Pääsy selaimen ulkopuolelle estetty.
WWW-selain on varustettu sopivin laajennuksin, joilla esitetään videoita, kuvia ja PDF-tekstejä.
Asiakas navigoi informaatiopalvelussa WWW-sivulinkein.
37
Waonder -palvelin
Yleisön käytössä olevat Waonder -päätteet
Käyttöjärjestelmä jakäyttöliittymä
Mediapalvelimia
Dokumentit
Internet
Yleisöpäätteet ovatKovalevyttömiä tietokoneita, jotka käynnistyvät ja lataavat kioskikäyttöön räätälöidyn X-ympäristön ja WWW-selaimen Kiasmart-palvelimelta.
Ei mekaanisia hajoavia osia (kovalevyt)
Keskitetyt ohjelmistojen päivitykset
Uusien päätekoneiden lisääminen helppoa
Turvallisuus
38
KiasmartOtettu käyttöön huhtikuussa 2002 Kiasmassa, nykytaiteen museossa.
>2100 valokuvaa (jpg)
48 videota (mpeg+rdf)
>320 tekstiä (pdf+rdf)
>5000 aihetta
>50000 assosiaatiota
3 yleisöpäätettä
1 palvelin
39
Kiasmart – käyttöesimerkki
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
Kiasmart – kokemuksiaHajautettu dokumenttien tuotanto
Toiminut kuvien osalta, tuotantomalli oli ennestään käytössä
AnnotoinnitEnnalta valitun asiasanaston korostuminen
Sensorin puute, inhimilliset virheet ja konetulkinnan vaikeus
Aineiston määräAihekartan yllättävän suuri koko
Prosessointiaikojen vaikutus järjestelmän käytettävyyteen
KieliversiotEpäsymmetrian hallinta
Grip Studios InteractiveGrip Studios InteractiveGrip Studios InteractiveGrip Studios Interactive, Aki Kivelä, Aki Kivelä, Aki Kivelä, Aki Kivelä10.11.200710.11.200710.11.200710.11.2007
Case 2: National Case 2: National Case 2: National Case 2: National Gallery CollectionsGallery CollectionsGallery CollectionsGallery Collections
57
What? When? Who?
Large-scale topic map application to promote art collections of Finnish National Gallery
37000 artworks, 3600 artists110 000 topics, 470 000 associations, 95 000 occurrences
2006-2007, Launch May 15th
Finnish National Gallery, Aimari Oy, and Grip Studios Interactive
Finnish National Galleryhttp://www.fng.fi
Grip Studios Interactive Oyhttp://www.gripstudios.com
58
The Big Picture!(very simplified version)
CollectingData
RefiningData
PublishingData
59
Data sources – Muusa
Information system developed by FNG and Aimari
Stores the definitive knowledge about artworks and artists
Used in 18 different art museums in Finland, >70 000 artworks
CIDOC Conceptual Reference Model (ISO 21127:2006)
Relational DatabaseMuusa
http://www.muusa.netCIDOC Conceptual Reference Model
http://en.wikipedia.org/wiki/CIDOC_Conceptual_Reference_Model
60
Data sources – Muusa Export
Definitive data package
SQL ! LTM
Why LTM?Easy to generate
Compact format, small file size
Imported to Wandora as a topic map layer
CollectingCollectingCollectingCollectingDataDataDataData
RefiningData
PublishingData
61
Data sources – Enrichments
Additional knowledge to spice, expand, and refine the Muusa Export
Manual construction with Wandoradesktop application
Data extractions
Topic map layer
CollectingCollectingCollectingCollectingDataDataDataData
RefiningData
PublishingData
62
Data sources – Layers
Muusa layerInformation from a huge relational database
Layer data is updated periodically by converting original database into a topic map
Enrichment layerManaged continuously
CollectingCollectingCollectingCollectingDataDataDataData
RefiningData
PublishingData
63
Deleting unnecessary topics and associations
Using Wandora’s layers toRename topics
Merge identical topics
Thin down dense categories with merge
Special tools toProcess complex associations (CIDOC CRM)
Refining the data
CollectingData
RefiningRefiningRefiningRefiningDataDataDataData
PublishingData
64
Fixing topic typesTypes used to group similar topics
Fixing subject identitiesEase ad hoc construction if subject identifiers
Inserting data chunksIconclass vocabulary (English and Finnish)
Muusa keyword – Iconclass bridge-associations
Refining the data
CollectingData
RefiningRefiningRefiningRefiningDataDataDataData
PublishingDataIconclass
http://www.iconclass.nl
65
Other resources – ImagesNeed for 8 different versions of single image!
Subject locators and scoped occurrences were tried but found unusable
Topic map size exploded
Immature tools to handle large collections of subject locators and occurrences.
Solution: Single image identifier and separate application to resolve and generate the requested image version.
CollectingData
RefiningRefiningRefiningRefiningDataDataDataData
PublishingData
66
Publishing dataWandora-Piccolo framework
Two actions: View topic and Search
Velocity templatesProducing HTML documents
>90 template files, template hierarchy depth ~4
Choosing template using topic’s type and subject identifier
CollectingData
RefiningData
PublishingPublishingPublishingPublishingDataDataDataData
67
Publishing data
Minimized code in Velocity templates
Java library class including useful methodsGet players of topic X where association type is Y and player’s role is Z.
Get topics from given collection havingassociation X.
Sort associations along player X.
etc.Collecting
DataRefining
DataPublishingPublishingPublishingPublishing
DataDataDataData
68
Publishing data
CollectingData
RefiningData
PublishingPublishingPublishingPublishingDataDataDataData
Special GUI topics defining
GUI properties
GUI texts (! No language dependent textsin templates)
Numerous invisible topics and associations
Topic map model not visible in HTML visuals
69
70
Lessons learned
Asymmetry of language versionsFinnish version > English version > Swedish version
Managing subject locatorsNo subject locators but specific application resolving external resources
Keyword bridgesMuusa keywords " ! Iconclass keywords
Metadata in topic mapTopics defining GUI properties and GUI texts
71
Lessons learnedPresentation of topics
Careful template design – avoid flat hierarchyNumerous invisible topics and associationsTopic != HTML pageTopic map model notnotnotnot visible in HTML visuals
ScalabilityDatabase topic maps vs. Memory topic maps
Numbers are badDates, measures etc.Occurrences ! Topics
Sightseeing tourScreenshots from the
FNG collections site
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
Grip Studios InteractiveGrip Studios InteractiveGrip Studios InteractiveGrip Studios InteractiveKristianinkatuKristianinkatuKristianinkatuKristianinkatu 15, FIN15, FIN15, FIN15, FIN----00170 Helsinki00170 Helsinki00170 Helsinki00170 Helsinki
office@office@office@office@gripstudiosgripstudiosgripstudiosgripstudios.com.com.com.com
DownloadDownloadDownloadDownloadWandora application fromWandora application fromWandora application fromWandora application from
www.www.www.www.wandorawandorawandorawandora.net.net.net.net