character recognition using neural networks
Post on 11-Jan-2016
61 Views
Preview:
DESCRIPTION
TRANSCRIPT
Character Recognition Using Neural Networks
Topics in Signal Processing, BGU, Winter 2003.
References
• Background:– A Brief Introduction to Neural Networks. (R.D. De Veaux & L.H. Ungar)
• Simulations:– Methods for Enhancing Neural Network Handwritten Character
Recognition. (M.D. Garris, R.A. Wilkinson, & C.L. Wilson)– OCR: Neural Network Analysis of Hand-Printed Characters. (A. Amin & S.
Singh)– A Neural Network For Recognizing Characters Extracted from Moving
Vehicles. (Jang-Hee Yoo, Byung-Tae Chun, & Dong-Pil Shin)– Applying Neural Networks To Character Recognition. (Eric W. Brown)
נושאים
רשתות נוירונים – מה זה?•מודלים ברשתות נוירונים.•לימוד/אימון.•אלגוריתם בסיסי.•סימולציות.•
מבוא לרשתות נוירונים
ניסיון לחקות את יכולות העיבוד של המוח.•מודל לעיבוד מידע.•מורכב מרכיבי עיבוד מקושרים.•שימוש במקרים של עיבוד "מסובך" מדי •
לאדם או למכונה.
מבוא לרשתות נוירונים - המשך
יתרונות:•בינה מלאכותית.–יכולת לימוד.–"התמחות" בנושא אשר עליו מתאמנת הרשת.–דינמיות במבנה הרשת.–עבודה בזמן אמת. )אין צורך להכיר את הבעיה(–יכולת "שיקום" חלקית.–
מבוא לרשתות נוירונים - המשך
חסרונות:•תוצאות לא צפויות.–יודעות לפתור רק מה שאומנו עליה.–
מודלים ברשתות נוירונים
איך עובדות רשתות נוירונים ביולוגיות?•נוירון )תא עצב(.–כניסות )דנדריטים(.–יציאה אחת לאקסון.–סינפסים בקצות אקסונים.–גירוי מספק מן הסינפסים גורם לאות חשמלי היוצא –
מתוך הנוירונים.הפעולות המתרחשות בסינפסים ניתנות לשינוי. )לימוד(–
מודלים ברשתות נוירונים – המשך
מודל מלאכותי מנוון מקביל:•
המורכבות הלא ידועה של תאי העצב •הביולוגים מתורגמת למודל פשוט למימוש.
מודלים ברשתות נוירונים - המשך
"רכיבי היסוד" של •המודל:
כניסות אל הרשת ויציאה –ממנה.
,Input שכבות נוירונים : 3–Hidden, Output.
מטריצות משקלים בין –השכבה הראשונה לשנייה,
ובין השנייה לשלישית.
מודלים ברשתות נוירונים - המשך
מודלים ברשתות נוירונים – המשך
קביעת סף גירוי בנוירון:•סף התגובה הראשוני של נוירון הוא אקראי. )תחת –
מגבלות(מכיוון שמשקל ה"דנדריטים" משתנה עם זמן –
הלימוד, ניתן לנרמל את המשקלים, ללא שינוי בסף הגירוי.
לימוד/אימון
ברשת נוירונים, ליחידה הבסיסית )נוירון( יש:•יציאה אחת–כניסות מרובות.–
קיימים שני מצבי שימוש : אימון/שימוש.•במצב של לימוד ניתן לאמן את הנוירון להגיב )או •
לא( עבור צירופי כניסה שונים..LUTכך נוצרת בנוירון •לגבי צירופים לא מוכרים בכניסה, מופעל שיקול •
(MSEאחר. )לרוב מובנה
Back PropogationBack Propogation
חזרה נשנית על אות כניסה מסוים, •וביצוע שינויים במערכת, עד לקבלת
output.רצוי
לימוד/אימון - המשך
קצב לימוד:•השינוי במשקלים הנשמרים ברשת נעשה בצורה –
איטרטיבית.הפקטור אשר קובע את גודל ההשפעה )גודל התנודות –
(Learning Rate)באיטרציה( הוא קצב הלימוד. .[0,1]ערך הפקטור בתחום –שיקולים :–
קצב לימוד איטי – משאבים.•קצב לימוד מהיר – סכנת "התבדרות". •
לימוד/אימון - המשך
מומנטום:•מעשית : קיימת קורלציה בין השינוי במשקלים –
באיטרציה כלשהי ובין השינוי באיטרציה אשר קדמה לה.
אם רוצים לשמר את הקורלציה, ניתן להגדיר פקטור –מומנטום.
Back propogation – Cont.
שיקולים:•סוג המידע.–קריטריון לשינוי המשקלים.–חזרות.–ריצות.–סיכונים.–
סיכונים
.local minimaהתכנסות ל-•לימוד ארוך מדי:•
יצירת תלות גדולה מדי של הרשת בסדרת הלימוד.–הרשת תדע לזהות רק את הסדרה עליה התלמדה.–
לימוד קצר מדי:•חוסר ניסיון.–מטריצות משקלים לא "מכונסות". )איטרטיבית(–
אלגוריתם בסיסי
.hidden layer, חשב את יציאות ה-inputבהינתן •.output layerבעזרת הנ"ל, חשב את יציאות ה-•.outputחשב את וקטור המרחק ב-•חשב מטריצות משקלים מחדש בעזרת הנ"ל.• בתוך הנוירון בהתאם לנ"ל.offsetהתאם •
המשך עד וקטור מרחק קטן כרצונך.•
אלגוריתם בסיסי - המשך
או... בעברית...•• i[], h[], o[]. – I/H/O layers neurons.• W1,W2 – weight matrixes.• F(x) – Sigmoid activation function.• lr, m – Learning Rate & Momentum,
respectively.• For a more generalized network, layer biases
can be used.
אלגוריתם בסיסי - המשך
W1_chngW1
W2_chngW2
1(-W1_chng)tmeilrW1_chng)t(
1(-W2_chng)tmdhlrW2_chng)t(
d} of{function // desired_h(,hdist)e
desired_o(,odist)d
(W2hF)o
(W1iF)h
Sigmoid Functions
פונקציות הסכימה בתוך הנוירון.•פונקציות אופייניות:•
2
11
1()
11
2()
2
Whx
Wixe
xF
exF
x
x
Feature Extraction
רשת הנוירונים אינה נוטלת חלק • ,Preprocessing (Segmentation, Filteringב-
Normalization).אותות הכניסה מהווים מידע אבסולוטי.•דוגמאות לסוגי כניסות :•
–Character pixels. (8x8, 16x16, 7x5)–FFT coefficients, Gabor Coefficients של אות( .
הכניסה, עבור תמונה בכלל( בעזרת קוים ישרים או קמורים.Characterייצוג של –
נתונים מסימולציות
•Gabor Functions: מרחביים.Gaborאותות הכניסה הם מקדמי – 49נעשה שימוש בכמה סדרות של כתב, מאת –
כותבים, בעלי שונויות גבוהות ונמוכות בכתב..inputs, 15 hidden, 10 outputs 32מבנה הרשת : – הושג 1400 ספרות, ואימון על 2000עבור לימוד של –
.92.1%זיהוי של –FE – 13.7[ms] – 19; זיהוי[ms] )לכל ספרה( .
נתונים מסימולציות - המשך
ייצוג ע"י קווים ועקומים:• עקומים, מעגל. ייצוג אות ע"י רצף.4 קווים, 4–.inputs, 120 hidden, 52 outputs 7מבנה הרשת : – 10% מהמסד, אימון על 90%שיטה : לימוד של –
פעמים.10הנותרים. ביצוע הנ"ל בסימולציה נוספת בוצע כנ"ל, אך בכל שלב הוסף –
רעש גאוסי אקראי לאות הכניסה.
נתונים מסימולציות - המשך
אחוז תוצאות:•הצלחה
אימון מספר
85 1
87 2
87 3
84 4
86 5
86 6
85 7
85 8
88 9
85 10
85.8 ממוצע
אחוז הצלחה
אימון מספר
85 1
81 2
74 3
75 4
71 5
58 6
56 7
51 8
48 9
52 10
65.1 ממוצע
נתונים מסימולציות - המשך
זיהוי לוחיות רישוי:•TypeTopologyTrainingTestingRecognition Rate
Letters14x14x1420010095.0%
Letters14x14x1480040098.3%
Numerals25x25x101527894.9%
Numerals25x25x10482290.9%
סטטוס נוכחי
.OOPמימוש תיאורטי של רשת נוירונים ב-•בהמשך:•
מימוש של אחת מן הסימולציות אשר הובאו –כדוגמה.
בדיקת יעילות הרשת תחת רעש משתנה.–
שאלות?
top related