Learning Content Models for

Semantic Search Eran PeerHila Shalom

ContentsBrief overview of the system requirements.Detailed System architecture.Main classes and their relationships.Overview of User Interface.Overview of algorithms.Brief overview of the Tasks List.

Main Functional RequirementsEnd users: the user enters a query in natural

language. The user gets an answer that helps him navigate and understand the structure of the corpus.

Content manager: gets new documents and add them to a repository.

Administrator: gets statistics from the use of the system, learn from them and update the hierarchical division to topics accordingly.

Main Non-Functional RequirementsThe system works interactively with the users.The inputs come from the users.At our simulation, we will use beta-users that

will use the system and will help us make it more user-friendly.

The user should understand how to use the system in 10 minutes.

The user can prepare the input in 10 seconds.The user can interpret the output in 2.5

minutes.

System architectureClient

HTTP Client :Java script

GUI

Manager

SolR

HTTP Server : War

Full Text Index

Server

HTTP Server

Manager

LDA : Jar

Morphological Analyzer

TopicModel

OfflineAlgorithm

create

Archives

SolRJ

HTTP SolR Query

HTTP

XML Reque

st

Main classes

Manager

Article

Archives

MetaData

MorphologicalAnalysis

TopicNode

OfflineAlgorithm

MorphologicalAnalyzer

LDATopicModelSolR Manager

Servlet

End User

לחיפוש טקסט הקש

חפש

A Visual Example

לחיפוש טקסט הקש

, וחולשה צמרמורות לי יש הראש לי כואב

חפש

A Visual Example

:" , וחולשה " צמרמורות לי יש הראש לי כואב החיפוש עבור תוצאות

בירור שמצריך ומתמשך חזק ראש כאב : בת אני על לדעת שרציתם מה , 29כל כלל, בדרך בריאה

. שבר בעקבות ביד שעברתי אורתופדיים ניתוחים למעטאצלי להופיע התחילו האחרון ראש בחודש בעוצמה כאבי

. חזקה מאודכרוניים נושא: ראש אורתופדיים , כאבי ניתוחיםבילדים בגפיים ראש כאבי

עלולה והיא ילדים אצל שכיחה ראש כאבי על התלונה , או חום הופעת עם קשר ללא שנתיים בגיל כבר להופיע

... . ילדים אצל מתמשך ראש כאב אחרת נלווית מחלהילדים נושא: אצל שונים של , כאבים לוואי תופעות

לילדים כרוניים , תרופות ראש כאבי

: נושאים עץילדים ) • (20רפואת

אצל • שונים כאבים(10ילדים )

נגיפיות • מחלותילדים ) (7בקרב

ילדים )• אצל (3חוםכרוניים )• (12כאבים

אצל • שונים כאבים(10ילדים )

כרוניים • ראש כאבי(1)חוזרים )• בטן (1כאבי

נפש )• (8מחלות(4סכיזופרניה )•נפש • מחלות

טראומה בעקבות(2)(2פסיכואנליזה )•

A Visual Exampleחדש חיפוש

חפש בתוצאות

מאמרים 102נמצאו 2עד 1מאמרים : 1עמוד

הבא לעמוד האחרון ללכת לעמוד ללכת

חדש חיפוש

:" , וחולשה " צמרמורות לי יש הראש לי כואב החיפוש עבור תוצאותל שקשורים ילדים דברים אצל שונים כאבים

ילדים אצל עיניים דלקת על , בקרנית בלחמית להופיע עלולה ילדים אצל עיניים דלקת

. כתוצאה להיגרם יכולה עיניים דלקת בעפעפיים או . דלקת, של מוקדם אבחון מאלרגיה או וירוס מחיידק

ביעילות הבעיות את לפתור עשוי עינייםילדים נושא: אצל שונים עינים , כאבים רפואת

בילדים ראש כאביעלולה והיא ילדים אצל שכיחה ראש כאבי על התלונה

, או חום הופעת עם קשר ללא שנתיים בגיל כבר להופיע... . ילדים אצל מתמשך ראש כאב אחרת נלווית מחלה

ילדים נושא: אצל שונים של , כאבים לוואי תופעותלילדים כרוניים , תרופות ראש כאבי

מרחיבים נושאיםילדים ) (20רפואת

כרוניים ) (12כאבים

מצומצמים נושאיםילדים • אצל ראש כאבי

(4)ילדים • אצל שיניים כאבי

(3)בגיל • ילדים אצל כאבים

(2הרך )אצל • ברורים לא כאבים

(2ילדים )ילדים • אצל עיניים כאבי

(1)

A Visual Example

מאמרים 41נמצאו 2עד 1מאמרים : 1עמוד

הבא לעמוד האחרון ללכת לעמוד ללכת

חפש בתוצאות

ילדים אצל עיניים דלקת על

'מאת: " סטולוביץ חיים ר ד11.05.06 תאריך:

ילדים נושא: אצל שונים עיניים , כאבים רפואת

, או בקרנית בלחמית להופיע עלולה ילדים אצל עיניים דלקת , או. וירוס מחיידק כתוצאה להיגרם יכולה עיניים דלקת בעפעפיים

הבעיות. את לפתור עשוי עיניים דלקת של מוקדם אבחון מאלרגיהביעילות

, , , דביקה נפוחה כואבת מציקה הילד או התינוק של העין כאשר." " , עיניים דלקת מ סובל הוא כי להניח סביר הפרשות ומפרישה

, להן בגורמים הנבדלות עיניים דלקות של רבים סוגים ישנם. , ההחלמה זמן ובמשך הטיפול באופן שלהן בסימפטומים

, ובעפעפיים בקרנית בלחמית ממוקמת להיות יכולה עיניים דלקת . , רבה חשיבות ישנה אלרגיה או וירוס חיידק להיות יכול לה והגורם

, מתאים ולטיפול עיניים רופא ידי על הדלקת סוג של נכון לאבחון. הפיכים בלתי ונזקים סיבוכים למנוע כדי

A Visual Example

: מסמכים עוד ראה " חיים ר ד מאת

סטולוביץ'2006משנת

שונים בנושא: כאביםילדים רפואת , אצלעיניים

Context Manager

לחיפוש טקסט הקש

חפשהוספת מאמר

A Visual Example

לחיפוש טקסט הקש

, וחולשה צמרמורות לי יש הראש לי כואב

חפשהוספת מאמר

A Visual Example

:" , וחולשה " צמרמורות לי יש הראש לי כואב החיפוש עבור תוצאות

בירור שמצריך ומתמשך חזק ראש כאב : בת אני על לדעת שרציתם מה , 29כל כלל, בדרך בריאה

. שבר בעקבות ביד שעברתי אורתופדיים ניתוחים למעטאצלי להופיע התחילו האחרון ראש בחודש בעוצמה כאבי

. חזקה מאודכרוניים נושא: ראש אורתופדיים , כאבי ניתוחיםבילדים בגפיים ראש כאבי

עלולה והיא ילדים אצל שכיחה ראש כאבי על התלונה , או חום הופעת עם קשר ללא שנתיים בגיל כבר להופיע

... . ילדים אצל מתמשך ראש כאב אחרת נלווית מחלהילדים נושא: אצל שונים של , כאבים לוואי תופעות

לילדים כרוניים , תרופות ראש כאבי

A Visual Example

מאמרים 102נמצאו 2עד 1מאמרים : 1עמוד

הבא לעמוד האחרון ללכת לעמוד ללכת

מחק

מחק

: נושאים עץילדים ) • (20רפואת

אצל • שונים כאבים(10ילדים )

נגיפיות • מחלותילדים ) (7בקרב

ילדים )• אצל (3חוםכרוניים )• (12כאבים

אצל • שונים כאבים(10ילדים )

כרוניים • ראש כאבי(1)חוזרים )• בטן (1כאבי

נפש )• (8מחלות(4סכיזופרניה )•נפש • מחלות

טראומה בעקבות(2)(2פסיכואנליזה )•

חדש חיפושחפש בתוצאות

: נושאים עץילדים ) • (20רפואת

אצל • שונים כאבים(10ילדים )

נגיפיות • מחלותילדים ) (7בקרב

ילדים )• אצל (3חוםכרוניים )• (12כאבים

אצל • שונים כאבים(10ילדים )

כרוניים • ראש כאבי(1)חוזרים )• בטן (1כאבי

נפש )• (8מחלות(4סכיזופרניה )•נפש • מחלות

טראומה בעקבות(2)(2פסיכואנליזה )•

:" , וחולשה " צמרמורות לי יש הראש לי כואב החיפוש עבור תוצאות

בירור שמצריך ומתמשך חזק ראש כאב : בת אני על לדעת שרציתם מה , 29כל כלל, בדרך בריאה

. שבר בעקבות ביד שעברתי אורתופדיים ניתוחים למעטאצלי להופיע התחילו האחרון ראש בחודש בעוצמה כאבי

. חזקה מאודכרוניים נושא: ראש אורתופדיים , כאבי ניתוחיםבילדים בגפיים ראש כאבי

עלולה והיא ילדים אצל שכיחה ראש כאבי על התלונה , או חום הופעת עם קשר ללא שנתיים בגיל כבר להופיע

... . ילדים אצל מתמשך ראש כאב אחרת נלווית מחלהילדים נושא: אצל שונים של , כאבים לוואי תופעות

לילדים כרוניים , תרופות ראש כאבי

A Visual Example

מאמרים 102נמצאו 2עד 1מאמרים : 1עמוד

הבא לעמוד האחרון ללכת לעמוד ללכת

מחק

מחק

בהצלחה נמחק

OK

הערה

חדש חיפושחפש בתוצאות

לחיפוש טקסט הקש

חפשהוספת מאמר

A Visual Example

לחיפוש טקסט הקש

חפשאוספת מאמר

OK

קובץ חיפוש

C:\Article\MedicArticle

MedicArticle.txtEyePainArticle.txtHeadacheArticle.txtBlackDeathArticle.txtPlaguesArticle.txt

A Visual Example

לחיפוש טקסט הקש

חפשאוספת מאמר

OK

קובץ חיפוש

C:\Article\MedicArticle

MedicArticle.txtEyePainArticle.txtHeadacheArticle.txtBlackDeathArticle.txtPlaguesArticle.txt

EyePainArticle.txt

A Visual Example

לחיפוש טקסט הקש

חפשאוספת מאמר

המאמר על פרטים

נושא

מחבר

תאריך

OK

A Visual Example

לחיפוש טקסט הקש

חפשאוספת מאמר

המאמר על פרטים

החדשה העת בראשית עניים כאבי

כלשהוא" ר ד

1/4/2/07

נושא

מחבר

תאריך

OK

A Visual Example

לחיפוש טקסט הקש

חפשאוספת מאמר

בהצלחה הוסף

OK

הערה

A Visual Example

System Manager

לחיפוש טקסט הקש

חפשעץ עדכןהיררכיה

עדכן אלגוריתם

קבל סטטיסטיקות

A Visual Example

לחיפוש טקסט הקש

חפשעץ עדכןהיררכיה

עדכן אלגוריתם

קבל סטטיסטיקות

בהצלחה נבנה עץ

OK

הערה

A Visual Example

לחיפוש טקסט הקש

חפשעץ עדכןהיררכיה

החלף אלגוריתם

קבל סטטיסטיקות

A Visual Example

לחיפוש טקסט הקש

עץ חפש התחלהחלף

אלגוריתם קבל

סטטיסטיקות

Update

קובץ חיפוש

C:\Article\Alogrithms

BFS.JarDijkstra.JarNewLDA.JarMergeSort.JarBinarySearch.Jar

A Visual Example

לחיפוש טקסט הקש

עץ חפש התחלהחלף

אלגוריתם קבל

סטטיסטיקות

Update

קובץ חיפוש

C:\Article\Alogrithms

BFS.JarDijkstra.JarNewLDA.JarMergeSort.JarBinarySearch.Jar

NewLDA.Jar

A Visual Example

לחיפוש טקסט הקש

חפשעץ עדכןהיררכיה

החלף אלגוריתם

קבל סטטיסטיקות

בהצלחה הוחלף אלגוריתם

OK

הערה

A Visual Example

לחיפוש טקסט הקש

חפשעץ עדכןהיררכיה

החלף אלגוריתם

קבל סטטיסטיקות

A Visual Example

לחיפוש טקסט הקש

עץ חפש התחלהחלף

אלגוריתם קבל

סטטיסטיקות

Save

קובץ שמירת

C:\Statistic\

Statistic for march 2005.statStatistic for march 2008.stat

A Visual Example

לחיפוש טקסט הקש

עץ חפש התחלהחלף

אלגוריתם קבל

סטטיסטיקות

Save

קובץ שמירת

C:\Statistic\

Statistic for march 2005.statStatistic for march 2008.stat

A Visual Example

Statistic for June 2011

לחיפוש טקסט הקש

חפשעץ עדכןהיררכיה

החלף אלגוריתם

קבל סטטיסטיקות

בהצלחה נשמרו סטטיסטיקות

OK

הערה

A Visual Example

The Offline Algorithm1. Go over the archive, For each article - do

Morphological Analysis 2. Use the LDA algorithm to create the topic

model.3. Tag all the articles by the Topic Model.4. Insert the tagged articles to SolR.

The LDA Algorithm1. Go over the archive, For each article - do a

list of the words distribution. 2. Build key words for topics by sampling

words in the articles.3. Create the Topic Model for the topic and the

sampled words.4. The Topic Model tags each article with the

suitable topics.

Main Task ListDuration Starting Date Task

12/3/11 20/2/11 Build Basic Client (End User)

25/3/11 13/3/11 Build Basic SolR

30/4/11 26/3/11 First prototype of the Offline Algorithm

20/5/11 1/5/11 Improve the LDA algorithm

10/6/11 21/5/11 Build All clients

30/6/11 11/6/11 Finish the project

Any questions???