ΑΝAΚΤΗΣΗ ΕΓΓΡAΦΩΝ ΒAΣΕΙ ΠΕΡΙΕΧΟΜEΝΟΥ ΚΑΙ MPEG-7 ΜΕΤΑΔΕΔΟΜEΝΩΝ
Διδακτορική Διατριβή: Κωνσταντίνος Ζαγόρης2009
ΔΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ
ΕΡΓΑΣΤΗΡΙΟ ΑΝΑΛΥΣΗΣ ΗΛΕΚΤΡΙΚΩΝ ΚΥΚΛΩΜΑΤΩΝ
Περιεχόμενα Διατριβής
2
Μείωση των Χρωματικών Αποχρώσεων Συνδυάζοντας το Kohonen Self-Organized Feature Map και τον Ασαφή Αλγόριθμο Gustafson – Kessel
Αλγόριθμος Ανάδρασης με βάση τη Συνάφεια Εντοπισμός Κειμένου σε Εικόνες Έγραφα
Χρησιμοποιώντας τα Δομικά Συστατικά των Εγγράφων και Support Vector Machines
Ανάκτηση Εγγράφων - Εικόνων Με την Τεχνική Εντοπισμού των Λέξεων
Συνεπτυγμένος Περιγραφέας Σχήματος Στα πρότυπα των Περιγραφέων Σχήματος του MPEG-7
Ανάκτηση Εικόνων με βάσει το Περιεχόμενο
3
H Αναζήτηση και Παρουσίαση Παρόμοιων Εικόνων από μία Βάση Δεδομένων Εικόνων που είναι Σχετικές με το Αίτημα του Χρήστη
Χωρίς Οποιαδήποτε Επιπλέον Πληροφορία εκτός από αυτήν που Προέρχεται από την Ανάλυση των Εικονοστοιχείων της Εικόνας
Το Γενικό Πρόβλημα της Ανάκτησης Εικόνας
4
Η Ποιότητα Ανάκτησης (Ακρίβεια – Ανάκληση)
Η Ταχύτητα Ανάκτησης (Εξαγωγή Χαρακτηριστικών - Δημιουργία Περιγραφέα – Σύγκριση Περιγραφέα)
Μέγεθος Περιγραφέα (κόστος αποθήκευσης και κατανάλωσης μνήμης)
Γενικό Διάγραμμα Συστήματος Ανάκτησης Εικόνας
5
Συνδυάζοντας το Kohonen Self-Organized Feature Map και τον ασαφή αλγόριθμο Gustafson – Kessel
ΜΕΙΩΣΗ ΤΩΝ ΧΡΩΜΑΤΙΚΩΝ ΑΠΟΧΡΩΣΕΩΝ
6
1.
Ορισμός του Προβλήματος
7
Η κβαντοποίηση των χρωματικών αποχρώσεων είναι σημαντικό και χρήσιμο εργαλείο για την συμπίεση, εμφάνιση και την μετάδοση μίας εικόνας
Η μείωση των χρωματικών αποχρώσεων μίας εικόνας είναι σημαντική διαδικασία για την διαδικασία κατάτμηση μίας εικόνας
Προτείνεται μία Color Clustering τεχνική, η οποία αποτελείται από τον συνδυασμό ενός νευρωνικού δικτύου και ενός ασαφούς αλγορίθμου
Παράδειγμα Μείωσης των Χρωματικών Αποχρώσεων
8
Αρχική Εικόνα RGB χρωματική κατανομή
Εικόνα με μόνο 20 κύρια χρώματα Κατανομή των 20 χρωμάτων
Διάγραμμα της Προτεινόμενης Τεχνικής
9
Αρχική Εικόνα
Δειγματοληψία
Ορισμός του Πλήθους των
Τελικών Χρωμάτων
Εκπαίδευση του KSOFM
Ταξινόμηση με τον KSOFM
Aρχικοποίηση του GK με τα εξαγόμενα αποτελέσματα του
KSOFM
Εκτέλεση του GK
Tελική Ταξινόμηση με τον GK
Τελική Εικόνα
Μορφοκλασματική Δειγματοληψία – Καμπύλη του Hilbert
10
ΠΛΕΟΝΕΚΤΗΜΑΤΑ Μικρός αριθμός των
εικονοστοιχείων – δειγμάτων εκπαίδευσης
Η σχέση των γειτονικών εικονοστοιχείων διατηρείτε
j k jky arg min x w
Kohonen Self Organized Featured Map (KSOFM)
Ο λογάριθμος εκπαίδευσης του KSOFM στηρίζεται στην Ανταγωνιστική Εκμάθηση
11
X1
Xk
X3
X2
Yj
Y3
Y2
Y1
Competitive LayerInput Layer
......
......
Wj1
Wj2
Wj3
Wjk
Ο νικητής νευρώνας εξόδου μεταβάλουν τα βάρη των συνδέσεων τους:
jk k jkw n x w
Ασαφής Αλγόριθμος Gustafson - Kessel
Ο ασαφής αλγόριθμος Gustafson – Kessel (GK) είναι μια προέκταση του ασαφή C-Mean αλγορίθμου.
Δημιουργεί ελλειψοειδείς κλάσεις χρησιμοποιώντας έναν πίνακα συνδιακύμανσης
Στηρίζεται στην Mahalanobis απόσταση
12
2 Tik k i i k id x v A x v
13
Παράδειγμα 1
Original Image22410 colors
FCM4 colors
KSOFM4 colors
Median Cut4 colors
KSOFM – GK4 colors
15
Παράδειγμα 2
Original Image33784 colors
FCM5 colors
KSOFM5 colors
Median Cut5 colors
KSOFM – GK5 colors
16
Παράδειγμα 3
Original Image31655 colors
FCM4 colors
KSOFM4 colors
Median Cut4 colors
KSOFM – GK4 colors
Συμπεράσματα
18
Παρουσιάστηκε μία υβριδική (neuro-fuzzy) τεχνική μείωσης των χρωματικών αποχρώσεων μίας εικόνας
Έχει την ικανότητα να διατηρεί τα κύρια χρώματα μια εικόνας ακόμα και αν το πλήθος αυτών είναι πολύ μικρό
Ενοποιεί περιοχές που έχουν παρόμοια χρώματα
Μπορεί να θεωρεί ως μία ισχυρή τεχνική κατάτμησης ψηφιακής εικόνας
Για εικόνες που περιέχουν πολλά χρώματα και απεικονίζουν σκηνές
Αλγόριθμος Ανάδρασης με βάση τη Συνάφεια
19
2.
Αλγόριθμος Ανάδρασης Συνάφειας
20
Πολλές φορές ο χρήστης δεν ξέρει τι ακριβώς ψάχνει αλλά έχει μία γενική ιδέα
Ο χρήστης αλληλοεπιδρά με το Σύστημα Ανάκτησης
Το σύστημα ανάκτησης του δίνει ένα σύνολο αποτελεσμάτων
Ο χρήστης επιλέγει εκείνα που τον ενδιαφέρουν
Το Σύστημα Ανάκτησης χρησιμοποιεί αυτήν την πληροφορία για να βελτιώσει τα αρχικά αποτελέσματα της ανάκτησης
Προτεινόμενο Σύστημα Ανάδρασης Συνάφειας για Εικόνες Φύσης
21
Στηρίζεται στους τέσσερις παρόμοιους με τους MPEG-7 περιγραφείς που προτείνονται στην εργασία «ACCURATE IMAGE RETRIEVAL BASED ON COMPACT COMPOSITE DESCRIPTORS AND RELEVANCE FEEDBACK INFORMATION».
Αυτοί είναι: Color and Edge Directivity Descriptor (CEDD) Fuzzy Color and Texture Histogram (FCTH) Και οι Compact μορφές τους (C.CEDD, C.FCTH) Περιέχουν πληροφορίες υφής και χρώματος.
Η Διάταξη του Προτεινόμενου Αλγορίθμου
22
ΟΧρήστηςΕπιλέγειτηνΕικόναΕρώτημα
ΟΠεριγραφέαςτηςΕικόναςΕρώτημα
ΕμφάνισητωνΑποτελεσμάτων ΑνάκτησηςστοΧρήστη
Αρχικοποίησητουδιανύσματος W
ΟΧρήστηςΕπιλέγειΣυναφήΕικόνα απόταΑποτελέσματα
Μετασχηματισμόςστοδιάνυσμα X
ΜεταβολήτωνΤιμώντουδιανύσματος W
ΔημιουργίατουΝέου ΠεριγραφέαΕρώτημα
απότοΔιάνυσμαW
Αλγόριθμος Ανάδρασης Συνάφειας
23
Μετασχηματίζεται το μονοδιάστατο διάνυσμα των περιγραφέων σε ένα τρισδιάστατο διάνυσμα με βάση τα εσωτερικά χαρακτηριστικά τους
( )i k m x m y z
H x διάσταση αντιπροσωπεύει την υφή H y διάσταση αντιπροσωπεύει τα κύρια χρώματα
H z διάσταση αντιπροσωπεύει τις αποχρώσεις των κύριων χρωμάτων
Αλγόριθμος Ανάδρασης Συνάφειας
24
Το τρισδιάστατο διάνυσμα θα αποθηκεύει την πληροφορία που θα δίνεται από τον χρήστη
Οι αρχικές τιμές που περιέχει είναι οι τιμές του περιγραφέα της εικόνας – ερώτημα
Όταν ο χρήστης επιλέγει μία εικόνα από τα αποτελέσματα της αρχικής ανάκτησης, το διάνυσμα του περιγραφέα αλλάζει τις τιμές του τρισδιάστατου διανύσματος
25
Αλγόριθμος Ανάδρασης Συνάφειας
, , , ,
, ,
1xt yt zt xt yt zt
i xt yt zt
W t W t
L t X W t
, , , ,
1 , ,
1
, ,
xq yq zq xq yq zq
xt yt zt
W t W t
L t h xq yq zq X W t
Παρουσίαση Προτεινόμενης Τεχνικής
26
.NET Framework
ASP.NET / C#
AJAX/ HTML/ Javascript
Συμπεράσματα
27
Παρουσιάστηκε ένας Αλγόριθμος Ανάδρασης Συνάφειας
Βελτιώνει τα αποτελέσματα της αρχικής ανάκτησης
Είναι πολύ εύκολος στην υλοποίησή του Μικρό υπολογιστικό κόστος
Χρησιμοποιώντας τα δομικά συστατικά των εγγράφων και Support Vector Machines
Εντοπισμός Κειμένου σε Εικόνες Έγραφα
28
3.
Το Πρόβλημα Εντοπισμού Κειμένου σε Εικόνες - Έγγραφα
29
Στην σημερινή εποχή δημιουργούνται μεγάλες ποσότητες ψηφιακών εγγράφων χωρίς καμία μετα πληροφορία
Για την ανάλυσής τους από συστήματα όπως Οπτικής Αναγνώρισης Χαρακτήρων (OCR), Συστήματα Ανάκτησης Εγγράφων απαιτείται συνήθως ο εντοπισμός της θέσης του κειμένου στην εικόνα
Κάθε σύνολο από έγγραφα μπορεί να έχει τα δικά του ιδιαίτερα χαρακτηριστικά
Προτείνουμε
30
Προτείνουμε μία μέθοδο εντοπισμού ομοιόμορφου κειμένου
Στηρίζεται στα δομικά συστατικά των εγγράφων και στα Support Vector Machines
Έχει την ικανότητα να προσαρμόζεται στις ιδιαιτερότητες της κάθε βάσης εγγράφων - εικόνων
Διάγραμμα της Προτεινόμενης Τεχνικής
Εφαρμογή ενός φίλτρου Μεσαίας
Τιμής και μίας τεχνικής
δυαδικοποίησης
Εντοπισμός, Ενοποίηση και
Εξαγωγή Πλαισίων
Δημιουργία Περιγραφέα για κάθε Πλαίσιο
Εντοπισμός των Πλαισίων που
περιέχουν Κείμενο με τα Support
Vector Machines
Εξαγωγή ή Εντοπισμός των Πλαισίων της
Εικόνας που περιέχουν Κείμενο και Εμφάνισής
τους στον Χρήστη
31
Εντοπισμός, Ενοποίηση και Εξαγωγή Πλαισίων
32
Το Αρχικό Κείμενο Μετά την Διαδικασία Προ - Επεξεργασίας
Τα συνδεδεμένα Αντικείμενα Τα Επεκταμένα Συνδεδεμένα Αντικείμενα
Τα Τελικά Πλαίσια
Δημιουργία Περιγραφέα για κάθε Πλαίσιο
33
Ο Περιγραφέας αποτελείται από ένα σύνολο δομημένων στοιχείων του εγγράφου
Δομημένο Στοιχείο είναι ένα 3x3 δυαδικό παράθυρο
Υπάρχουν συνολικά 29 = 512 δομημένα στοιχεία
b0
b8 b7 b6
b5 b4 b3
b2 b1
Η σειρά εμφάνισης των εικονοστοιχείων των Δομημένων Στοιχείων
8
0
2ij jii
L b
Το Δομημένο Στοιχείο L142
Δημιουργία Περιγραφέα για Κάθε Πλαίσιο
34
Ο περιγραφέας του κάθε πλαισίου είναι το Ιστόγραμμα Εμφάνισης του κάθε Δομημένου Συστατικού
Αρχικά ο περιγραφέας έχει μέγεθος ίσο με 510. Όλα τα Δομημένα Συστατικά πλην του 1 και του 512
γιατί αυτά αντιστοιχούν σε καθαρά αντικείμενα φόντου και προσκηνίου.
Εφαρμόζεται μία τεχνική μείωσης του μεγέθους του περιγραφέα
Επιλέγονται αυτά τα Δομημένα Συστατικά που αυξάνουν την διαχωριστικότητα μεταξύ πλαισίων που περιέχουν κείμενο και αυτών που δεν περιέχουν.
Feature Standard Deviation Analysis of Structure Elements (FSDASE)
35
Υπολογισμός της Τυπικής Απόκλισης των Πλαισίων που περιέχουν κείμενο για κάθε ένα Δομημένο Στοιχείο
Υπολογισμός της Τυπικής Απόκλισης των Πλαισίων που δεν περιέχουν κείμενο για κάθε ένα Δομημένο Στοιχείο
Κανονικοποίηση των δύο παραπάνω μεγεθών Αφαιρούμε τα δύο παραπάνω μεγέθη για κάθε ένα
Δομημένο Στοιχείο Αυτό που έχει τη μεγαλύτερη τιμή παίρνει την πρώτη
θέση στον καινούργιο περιγραφέα, αυτό που έχει την δεύτερη μεγαλύτερη τιμή τη δεύτερη θέση κ.τ.λ.
Support Vector Machines
36
Βασίζονται στην Στατιστική Θεωρία της Μάθησης Χρειάζονται δεδομένα εκπαίδευσης Χωρίζουν το χώρο που βρίσκονται τα δεδομένα
εκπαίδευσης σε δύο κλάσεις Τα δεδομένα εκπαίδευσης θα πρέπει να είναι γραμμικά
διαχωρίσιμα
Support Vector Machines
37
Εάν δεν είναι, μετασχηματίζεται ο χώρος έτσι ώστε να είναι γραμμικά διαχωρίσιμα με την βοήθεια των “kernels”
Στην προτεινόμενη τεχνική χρησιμοποιήθηκε o kernel: Radial Basis Function (exp{-γ|x-x`|)
Εφόσον διαχωριστεί ο χώρος με βάση τα δεδομένα εκπαίδευσης, τα καινούργια δεδομένα καταχωρούνται αναλόγως που βρίσκονται στο διαχωρίσιμο χώρο
Η κύρια δυσκολία της εκπαίδευσης των Support Vector Machines έγκειται στην εύρεση των σωστών παραμέτρων
Στην προτεινόμενη τεχνική η εύρεση των παραμέτρων έγινε χρησιμοποιώντας την τεχνική Parameter Estimation Algorithm που χρησιμοποιείται στις μεθόδους δυαδικοποίησης
Αξιολόγηση της προτεινόμενης τεχνικής
38
Χρησιμοποιήθηκε μία γνωστή βάση Εγγράφων – Εικόνων
Document Image Database από το University of Oulu
Περιέχει 233 έγγραφα – εικόνες ποικίλης μορφής
Για να αξιολογηθεί η ευελιξία της προτεινόμενης τεχνικής δημιουργήθηκε μία καινούργια βάση από την παραπάνω και προστέθηκε Gaussian και Κρουστικός θόρυβος
Ποσοστό Επιτυχίας για τα Έγγραφα Εκπαίδευσης της Βάσης Oulu
Αξιολόγηση Προτεινόμενης Τεχνικής
1 21 41 61 81 10112114116118120122124126128130132134136138140142144146148150180
82
84
86
88
90
92
94
96
98
100
Μέγεθος Περιγραφέα Πλαισίου
Ποσοστό Επιτυχίας
39
Ποσοστό Επιτυχίας για τα όλα τα Έγγραφα της Βάσης Oulu
Αξιολόγηση Προτεινόμενης Τεχνικής
40
1 25 49 73 97 12114516919321724126528931333736138540943345748150580
82
84
86
88
90
92
94
96
98
100
Μέγεθος Περιγραφέα Πλαισίου
Ποσοστό Επιτυχίας
Ποσοστό Επιτυχίας για τα Έγγραφα Εκπαίδευσης της Βάσης που Περιέχει Θόρυβο
Αξιολόγηση Προτεινόμενης Τεχνικής
41
1 17 33 49 65 81 97 113129145161177193209225241257273289305321337353369385401417433449465481497
80
82
84
86
88
90
92
94
96
98
100
Μέγεθος Περιγραφέα Πλαισίου
Ποσοστό Επιτυχίας
Ποσοστό Επιτυχίας για Όλα τα Έγγραφα που περιέχονται στην Βάση με τον Θόρυβο
Αξιολόγηση Προτεινόμενης Τεχνικής
42
1 17 33 49 65 81 97 113129145161177193209225241257273289305321337353369385401417433449465481497
80
82
84
86
88
90
92
94
96
98
100
Μέγεθος Περιγραφέα Πλαισίου
Ποσοστό Επιτυχίας
Ο χρόνος ολοκλήρωσης της τεχνικής εντοπισμού κειμένου σε σχέση με το μέγεθος του περιγραφέα πλαισίου
Αξιολόγηση Προτεινόμενης Τεχνικής
43
1 19 37 55 73 91 10912714516318119921723525327128930732534336137939741543345146948750510
10.4
10.8
11.2
11.6
12
Μέγεθος Περιγραφέα Πλαισίου
Ποσοστό Επιτυχίας
Παράδειγμα 1
44
Αρχικό Έγγραφο - Εικόνα Το Εξαγώγιμο Αποτέλεσμα
Παράδειγμα 2
45
Αρχικό Έγγραφο - Εικόνα Το Εξαγώγιμο Αποτέλεσμα
Παράδειγμα 3
46
Αρχικό Έγγραφο - Εικόνα Το Εξαγώγιμο Αποτέλεσμα
Παράδειγμα 4
47
Αρχικό Έγγραφο - Εικόνα Το Εξαγώγιμο Αποτέλεσμα
Παράδειγμα 5
48
Αρχικό Έγγραφο - Εικόνα Το Εξαγώγιμο Αποτέλεσμα
Παρουσίαση Προτεινόμενης Τεχνικής
.NET Framework
WPF/XAML
C#
libSVM
49
Συμπεράσματα
50
Παρουσιάστηκε μία μέθοδο εύρεσης κειμένου σε έγγραφα – εικόνες χρησιμοποιώντας τα δομημένα στοιχεία εγγράφων
Μέσω μία τεχνητής υπολογίζεται ο κατάλληλος περιγραφέας
Με βάση αυτού τα Support Vector Machines αποφασίζουν εάν ένα πλαίσιο περιέχει κείμενο ή όχι.
Ο περιγραφέας μπορεί να μειωθεί ή να αυξηθεί αναλόγως τα όρια της υπολογιστικής ισχύς που διαθέτεται.
Επίσης αξιολογήθηκε η προτεινόμενη μέθοδος σε μία βάση την οποία προστέθηκε θόρυβος ώστε να αποδεχθεί η ευελιξία της.
Με την τεχνική εντοπισμού των λέξεων
Ανάκτηση Εγγράφων - Εικόνων
51
4.
Με την τεχνική εντοπισμού των λέξεων
Η Αρχιτεκτονική του συστήματος Ανάκτησης Εικόνων - Εγγράφων
53
Αρχικό Έγγραφο
Στάδιο Προεπεξεργασίας
54
Φίλτρο Μεσαίας Τιμής
Δυαδικοποίηση (Otsu Τεχνική)
55
Αναγνώριση όλων των Συνδεδεμένων Αντικειμένων (CCs)
Υπολογισμός του ποιο κοινού ύψους των Συνδεδεμένων Αντικειμένων που περιέχονται στο κείμενο (CCch)
Απόρριψη των CCs που έχουνε ύψος κάτω του 70% του CCch. Έτσι αφαιρούνται τα σημεία στίξης και ο θόρυβος.
Ανάπτυξη των αριστερών και δεξιών πλευρών κατά 20% του CCch
Οι λέξεις αποτελούν τα ενωμένα επικαλυπτόμενα CCs
Χρησιμοποιώντας την τεχνική των Ενωμένων Συστατικών
Κατάτμηση Λέξεων
Width to Height Ratio Word Area Density. Το ποσοστό των μαύρων
(αντικείμενο) εικονοστοιχείων που περιέχονται στο ορθογώνιο πλαίσιο της λέξης.
Center of Gravity. Η ευκλείδεια απόσταση από το κέντρο βαρύτητας μέχρι την πάνω αριστερή γωνία του ορθογώνιου πλαισίου της λέξης:
Χαρακτηριστικά
(1,0) (0,1)
(0,0) (0,0)
,x y
M MC C
M M
( , )qp
pqx y
x yM f x y
width height
56
Vertical Projection. Τα πρώτα είκοσι (20) βάρη του διακριτού μετασχηματισμού συνημίτονου (DCT) της λείας και εξομαλυμένης κάθετης προβολής.
Χαρακτηριστικά
Αρχική Εικόνα
Η Κάθετη Προβολή
Εξομαλυμένη και Κανονικοποιημένη Προβολή
57
Top – Bottom Shape Projections. Ένα διάνυσμα 50 στοιχείων Τα πρώτα 25 στοιχεία αποτελούνται από τα πρώτα 25 βάρη των διακριτού
μετασχηματισμού συνημίτονου της λείας και εξομαλυμένης Προβολής του Πάνω Σχήματος
Τα υπόλοιπα 25 στοιχεία αποτελούνται από τα πρώτα 25 βάρη του διακριτού μετασχηματισμού συνημίτονου της λείας και εξομαλυμένης Προβολής του Κάτω Σχήματος
Χαρακτηριστικά
58
Upper Grid Features είναι ένα δέκα διαστάσεων διάνυσμα με δυαδικές τιμές, το οποίο υπολογίζεται από το πάνω μέρος της λέξης.
Down Grid Features είναι ένα δέκα διαστάσεων διάνυσμα με δυαδικές τιμές, το οποίο υπολογίζεται από το κάτω μέρος της λέξης.
Χαρακτηριστικά
59
Upper – Down Grid Features
[0,0,0,1195 ,0,0,0,0,0,0][0,0,0,1 ,0,0,0,0,0,
0]
[0,0,0,0 ,0,0,0, 598 , 50 , 33 ]
[0,0,0,0 ,0,0,0,1,1,0] 60
Περιγραφέας
61
Η Δομή του Περιγραφέα
Ο χρήστης πληκτρολογεί μία λέξη - ερώτημα Το προτεινόμενο σύστημα δημιουργεί μία εικόνα της
παραπάνω λέξης με ύψος ίσο με το μέσο ύψος όλων των λέξεων-πλαισίων που υπολογίστηκαν στο στάδιο Κατάτμηση Λέξης στην Offline διεργασία.
Στην πειραματική βάση εγγράφων το μέσο ύψος είναι 50
Το όνομα της γραμματοσειράς της Εικόνας – Ερώτημα είναι Arial
Η εξομαλυσμένη και κανονικοποιημένη διαδικασία των χαρακτηριστικών εξαλείφει τις μικρές διαφορές που υπάρχουν μεταξύ των διαφόρων γραμματοσειρών
Δημιουργία της Εικόνας - Ερώτημα
62
100 εικόνες – έγγραφα δημιουργήθηκαν τεχνητά από διάφορα κείμενα
Έπειτα προστέθηκε Gaussian και Κρουστικός Θόρυβος (40%).
Πειραματική Βάση Εικόνων - Εγγράφων
64
Αξιολόγηση
Χρησιμοποιήθηκαν τα μετρικά μεγέθη: Average Precision και NMRR
30 αναζητήσεις σε 100 έγγραφα εικόνες
Γραμματοσειρά της εικόνας ερώτημα είναι «Arial”
65
Mean Average Precision: 99,519%
ANMRR: 0.0029%
1 2 3 4 5 6 7 8 9 10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
75
80
85
90
95
100
Average Precision
Ανακτήσεις
1 2 3 4 5 6 7 8 9 10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
0
0.2
0.4
0.6
0.8
1
NMRR
Ανακτήσεις
Average Precision
Αξιολόγηση - FineReader® 9.0 OCR Program
NMRR
Mean Average Precision: 58,421% ANMRR: 0,4032
66
1 2 3 4 5 6 7 8 9 10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
0102030405060708090
100
Average Precision
Ανακτήσεις
1 2 3 4 5 6 7 8 9 10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
00.10.20.30.40.50.60.70.80.9
1
NMRR
Ανακτήσεις
Average Precision
Αξιολόγηση – Διπλάσιο Ύψος της Εικόνας - Ερώτημα
NMRR
Mean Average Precision: 99,611% ANMRR: 0,0017
67
1 2 3 4 5 6 7 8 9 10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
84
86
88
90
92
94
96
98
100
Average Precision
Ανακτήσεις
1 2 3 4 5 6 7 8 9 10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
00.10.20.30.40.50.60.70.80.9
1
NMRR
Ανακτήσεις
Average Precision
Αξιολόγηση – Με γραμματοσειρά «Tahoma»
NMRR
Mean Average Precision: 99,519% ANMRR: 0,0029
68
1 2 3 4 5 6 7 8 9 10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
0102030405060708090
100
Average Precision
Αναζητήσεις
1 2 3 4 5 6 7 8 9 10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
00.10.20.30.40.50.60.70.80.9
1
NMRR
Αναζητήσεις
Implementation
69
Visual Studio 2008
Microsoft .NET Framework 2.0
C# Language
Microsoft SQL Server 2005
http://orpheus.ee.duth.gr/irs2_5/
Η λέξη – ερώτημα δίνεται από το χρήστη σε μορφή κειμένου και μετατρέπεται σε εικόνα
Το προτεινόμενο σύστημα εξάγει 9 ισχυρά χαρακτηριστικά τα οποία σχηματίζουν έναν περιγραφέα για κάθε εικόνα - λέξη.
Τα χαρακτηριστικά αυτά περιγράφουν ικανοποιητικά το σχήμα της λέξης ενώ ταυτόχρονα εξαλείφουν τις μικρές διαφορές λόγω του θορύβου, μεγέθους και τύπου γραμματοσειράς.
Με βάση τα πειραματικά αποτελέσματα το προτεινόμενο σύστημα αποδίδει καλύτερα από ένα εμπορικό OCR πακέτο.
Συμπεράσματα
70
Στα πρότυπα των περιγραφέων σχήματος του MPEG-7
Συνεπτυγμένος Περιγραφέας Σχήματος
71
5.
MPEG - 7
72
Ο σκοπός του είναι να καθορίσει ένα πρότυπο περιγραφής διαφόρων τύπων πολυμεσικής πληροφορίας
Ενώ τα άλλα πρότυπα (MPEG-1, MPEG-2, MPEG-4) αντιπροσωπεύουν το περιεχόμενο (the bits), το MPEG-7 αντιπροσωπεύει την πληροφορία που διαχέεται στο περιεχόμενο (the bits about the bits)
Επιπλέον, καθορίζει ένα πρότυπο αποθήκευσης (βάσεις δεδομένων) των περιγραφέων
Οι περιγραφείς που περιέχει υποστηρίζουν μία μεγάλη ποικιλία μορφών δεδομένων όπως ήχος, ομιλία, εικόνες, γραφικά, 3D μοντέλα, συνθετικό ήχο, βίντεο κ.τ.λ.
Αρχές των MPEG-7 Περιγραφέων
73
Καθορίζει τις αρχές που θα πρέπει να υπακούν οι περιγραφείς
Καλή Ακρίβεια στην Ανάκτηση Ευρεία Εφαρμογή Συνεπτυγμένη Μορφή
Ο υπολογισμός μπορεί πολύ εύκολα να παραλληλιστεί καθώς κάθε χαρακτηριστικό υπολογίζεται ξεχωριστά
Το μπλοκ διάγραμμα υπολογισμού του CSPD
74
Χαρακτηριστικά
75
Width To Height Ratio:
min{ , }
max{ , }
W HWHR
W H
Vertical – Horizontal Projections. Είναι ένα διάνυσμα 20 διαστάσεων Οι πρώτες 10 διαστάσεις αποτελούνται από τα πρώτα 10 κβαντισμένα
βάρη του διακριμένου μετασχηματισμού συνημίτονου της λείας και κανονικοποίημένης Κάθετης Προβολής
Τα υπόλοιπα 10 στοιχεία αποτελούνται από τα πρώτα 10 κβαντισμένα βάρη του διακριμένου μετασχηματισμού συνημίτονου της λείας και εξομαλυμένης Οριζόντιας Προβολής
Χαρακτηριστικά
76
Top – Bottom Shape Projections. Ένα διάνυσμα 20 διαστάσεων Οι πρώτες 10 διαστάσεις αποτελούνται από τα πρώτα 10 κβαντισμένα βάρη
του διακριμένου μετασχηματισμού συνημίτονου της λείας και κανονικοποίημένης Προβολής του Πάνω Σχήματος
Τα υπόλοιπα 10 στοιχεία αποτελούνται από τα πρώτα 10 κβαντισμένα βάρη του διακριμένου μετασχηματισμού συνημίτονου της λείας και εξομαλυμένης Προβολής του Κάτω Σχήματος
Χαρακτηριστικά
77
Κβαντοποίηση Περιγραφέα
78
Μειώνεται αρκετά το μέγεθος του περιγραφέα χωρίς να επηρεάζονται τα αποτελέσματα του.
Το MPEG-7 κβαντίζει αρκετούς από τους περιγραφείς που περιέχει
Επειδή οι τιμές συγκεντρώνονται σε μικρές περιοχές θα πρέπει να κβαντιστούνε μη – γραμμικά
Κάθε χαρακτηριστικό θα πρέπει να κβαντιστεί ξεχωριστά καθώς δεν σχετίζονται μεταξύ τους
Η κβαντοποίηση πραγματοποιήθηκε με τον ασαφή αλγόριθμο Gustafson – Kessel
Κάθε διάσταση του περιγραφέα αντιπροσωπεύεται με 3bits.
Οπότε το συνολικό μέγεθος είναι 3x41 = 123 bits
79
Επιλέγουμε ένα πλήθος εικόνων που περιέχουν σχημάτα και εξάγουμε από αυτά τον περιγραφέα.
Επιλέχθηκαν αυθαίρετα 1500 σχήματα και από αυτά χρησιμοποιήθηκαν 1500 δείγματα για το Width to Height Ratio και 15000 δείγματα (10x1500) για κάθε από τα υπόλοιπα χαρακτηριστικά
Ορίσθηκε το πλήθος των κλάσεων του Gustafson – Kessel ίσο με 8 (23)
O ασαφής αλγόριθμος Gustafson – Kessel δίνει 8 κέντρα κλάσεων και τους αντίστοιχους πίνακες Διασπορών
Μετατρέπονται οι συνεχές τιμές του σε δυαδικές τιμές εύρους [000, 1111] δυαδικές ή σε ακέραιες τιμές εύρους [0,7]
Κβαντοποίηση Περιγραφέα
Πίνακας Κβαντοποίησης
80
Width to Height (1st bin)
Value 000 = 0 001 = 1 010 = 2 011 = 3 100 = 4 101 = 5 110 = 6 111 = 7Center 0.194 0.358 0.478 0.606 0.733 0.815 0.89 0.975A 25.013 26.669 30.004 31.839 35.785 52.873 47.896 58.456Vertical Projection (2nd – 11th bin)
Value 000 = 0 001 = 1 010 = 2 011 = 3 100 = 4 101 = 5 110 = 6 111 = 7Center 0.504 -0.215 -0.09 -0.031 0.004 0.069 0.392 1.412
A 6.438 17.255 39.173 70.481 93.974 27.642 4.586 61.264Horizontal Projection (12th – 21th bin)
Value 000 = 0 001 = 1 010 = 2 011 = 3 100 = 4 101 = 5 110 = 6 111 = 7Center -0.456 -0.194 -0.09 -0.035 0.003 0.064 0.252 1.414
A 9.781 21.917 47.372 76.465 90.791 38.51 9.305 6984.45Top Shape Projection (22th – 31th bin)
Value 000 = 0 001 = 1 010 = 2 011 = 3 100 = 4 101 = 5 110 = 6 111 = 7Center -0.438 -0.126 -0.049 -0.014 0.003 0.054 0.505 1.413
A 4.204 24.39 66.304 133.712 162.913 31.417 3.587 94.665Bottom Shape Projection(32th – 41th bin)Value 000 = 0 001 = 1 010 = 2 011 = 3 100 = 4 101 = 5 110 = 6 111 = 7Center -0.677 -0.136 -0.003 0.079 0.206 0.436 0.885 1.413
A 4.045 15.185 51.367 31.653 21.257 11.209 6.465 155.284
Ως Επέκταση του Schema των MPEG – 7 Οπτικών Περιγραφέων
Schema του CSPD
81
Μέτρηση Ομοιότητας
82
Προτείνεται ως Μέτρηση Ομοιότητας την weight Minkowski L1:
3 10
, 1 1 10 1 10 10 1
10 11Q S k n k nk n
D Q S n Q S
Η παραπάνω απόσταση χρησιμοποιεί την ικανότητα του DCT να αποθηκεύει περισσότερη πληροφορία στα πρώτα βάρη
Πειραματικές Μετρήσεις έδειξαν ότι η προτεινόμενη απόσταση δίνει καλύτερα αποτελέσματα από ότι οι αποστάσεις:
normal Minkowski L1
Minkowski L2 (Euclidian Distance) Bhattacharyya The non-binary Tanimoto coefficient
Αλγόριθμος Ανάδρασης Συνάφειας
83
Υλοποιήθηκε ένας αλγόριθμος Ανάδρασης Συνάφειας που στηρίζεται στα Support Vector Machines
Αρχικά το σύστημα παρουσιάζει τα αποτελέσματα αναζήτησης με βάση το μετρητή ομοιότητας.
Ο χρήστης επιλέγει ποια θεωρεί σωστά και ποια όχι Οι περιγραφείς των σχημάτων που επέλεξε ο χρήστης χρησιμοποιούνται
ως δεδομένα εκπαίδευσης των Support Vector Machines Κανονικά, η έξοδος των Support Vector Machines είναι δυαδική, η οποία
καθορίζεται από το πρόσημο της συνάρτησης απόφασης Είναι πιθανόν να υπολογιστεί η συνάρτηση συμμετοχής ενός δεδομένου
στην μία κλάση και κατά συνέπεια η ομοιότητα του κανονικοποιώντας την συνάρτηση απόφασης
Αξιολόγηση Περιγραφέα
85
Τρείς διαφορετικές βάσεις MPEG-7 CE1 Set B. Αποτελείται από 1400
σχήματα. 20 σελίδες-εικόνες από τα Γραπτά του
George Washington από τη Βιβλιοθήκη του Κογκρέσου. Αποτελείται από 4847 χειρόγραφες λέξεις
Ελληνικά χειρόγραφα κείμενα που περιέχουν 173 λέξεις από διαφορετικούς ανθρώπους
Τα κίτρινα πλαίσια υλοποιήθηκαν μόνο για τα χειρόγραφα έγγραφα
H δομή του υλοποιημένου συστήματος ανάκτησης
Παρουσίαση Προτεινόμενης Τεχνικής
87
.NET Framework
WPF/XAML
C#
libSVM
Παρουσίαση Προτεινόμενης Τεχνικής
88
.NET Framework
WPF/XAML
C#
libSVM
89
Mean Average Precision για την Κάθετη
Προβολή
Mean Average Precision για την
Οριζόντια Προβολή
Mean Average Precision για
το Πάνω Σχήμα
Mean Average Precision για
το Κάτω Σχήμα
ANMRR για την Κάθετη
Προβολή
ANMRR για την Οριζόντια Προβολή
ANMRR για το Πάνω Σχήμα
ANMRR για το Κάτω Σχήμα
1 6 11 16 21 26 31 36 41 46
0
20
40
60
80
100
1 6 11 16 21 26 31 36 41 46
0
0.2
0.4
0.6
0.8
1
1 6 11 16 21 26 31 36 41 46
0
20
40
60
80
100
1 6 11 16 21 26 31 36 41 46
0
0.2
0.4
0.6
0.8
1
1 6 11 16 21 26 31 36 41 46
0
0.2
0.4
0.6
0.8
1
1 6 11 16 21 26 31 36 41 46
0
0.2
0.4
0.6
0.8
1
1 6 11 16 21 26 31 36 41 46
0
20
40
60
80
100
1 6 11 16 21 26 31 36 41 460
20
40
60
80
100
Πείραμα Κβαντοποίησης
90
0 10 20 30 40 50 60 70 80 90 1000
20
40
60
80
100
Recall/Precision Γράφημα
1 bit
2 bits
3 bits
4 bits
5 bits
1 bit 2 bits 3 bits 4 bits 5 bits0
0.5
1
ANMRR
Αριθμός bits Κβαντοποίησης
Πείραμα Μετρητή Ομοιότητας
91
0 10 20 30 40 50 60 70 80 90 1000
20
40
60
80
100
Recall/Precision Γράφημα
Weighted Minkowski L1
Minkowski L1
Minkowski L2
Bhattacharyya
Tanimoto
Weighted Minkowski L1
Minkowski L1 Minkowski L2 Bhattacharyya Tanimoto0.2
0.3
0.4
0.5
ANMRR
Πείραμα στην MPEG-7 CE1 Set B βάση σχήματος
92
0 10 20 30 40 50 60 70 80 90 1000
20
40
60
80
100
Recall/Precision Γράφημα
Initial Results
1st RF Iteration
2nd RF Iteration
Initial Results 1st RF Iteration 2nd RF Iteration0
0.1
0.2
0.3
0.4
ANMRR
Πείραμα στις Χειρόγραφες Λέξεις του George Washington
93
0 10 20 30 40 50 60 70 80 90 1000
20
40
60
80
100
Recall/Precision Γράφημα
Initial Results
1st RF Iteration
2nd RF Iteration
Initial Results 1st RF Iteration 2nd RF Iteration0
0.1
0.2
0.3
0.4
ANMRR
Ελληνικά Χειρόγραφα
94
0 10 20 30 40 50 60 70 80 90 1000
20
40
60
80
100
Recall/Precision Γράφημα
Initial Results
1st RF Iteration
2nd RF Iteration
Initial Results 1st RF Iteration 2nd RF Iteration0
0.2
0.4
0.6
ANMRR
Υπολογιστικό Κόστος
95
Windows Platform
Intel Core 2 6400 CPU
Χρησιμοποιήθηκαν και οι δύο πυρήνες του επεξεργαστή
Ο χρόνος υπολογισμού του προτεινόμενου περιγραφέα για 1400 σχήματα
Ολικός χρόνος υπολογισμού του προτεινόμενου περιγραφέα
Μέσος χρόνος υπολογισμού του προτεινόμενου περιγραφέα για κάθε σχήμα
4396 milliseconds 3.14 milliseconds
Συμπεράσματα
96
Παρουσιάστηκε ένας περιγραφέας σχήματος
Έχει πολύ μικρό μέγεθος (μόνο 123 bits) Έχει πολύ μικρό υπολογιστικό κόστος Έχει ευρεία εφαρμογής χωρίς να
περιορίζεται η ακρίβεια της ανάκτησης
Δημοσιεύσεις
K .Zagoris, N. Papamarkos and I. Koustoudis, Color Reduction using the combination of the Kohonen Self-Organized Feature Map and the Gustafson-Kessel fuzzy algorithm. International Conference on Machine Learning and Data Mining MLDM´2007, 2007.
Konstantinos Zagoris, Nikos Papamarkos, Christodoulos Chamzas: Web Document Image Retrieval System Based on Word Spotting. ICIP 2006: 477-480
K. Zagoris, E. Kavallieratou and N. Papamarkos, "Developing Document Image Retrieval System", "IADIS International Conference on Computer Graphics and Visualization 2008 ", July 22 to July 27, 2008, Amsterdam, The Netherlands.
Konstantinos Zagoris, Savvas A. Chatzichristofis, Nikos Papamarkos and Yiannis S. Boutalis, « img(Anaktisi): A Web Content Based Image Retrieval System», 2nd International Workshop on Similarity Search and Applications, Prague, Czech Republic, 2009.
Konstantinos Zagoris and Nikos Papamarkos, “Text Extraction using Document Structure Features and Support Vector Machines”, 2009 IEEE International Conference on Image Processing, Cairo, Egypt , November 7-11, 2009. Έχει σταλεί για πιθανή δημοσίευση
Konstantinos Zagoris, Nikos Papamarkos, Ioannis Koustoudis: Color Reduction using the Combination of the Kohonen Self-Organized Feature Map and the Gustafson-Kessel Fuzzy Algorithm. Trans. MLDM 1(1): 31-46 (2008)
S. A. Chatzichristofis, K Zagoris, Y. S. Boutalis and N. Papamarkos. «Accurate image retrieval based on compact composite descriptors and relevance feedback information.” International Journal of Pattern Recognition and Artificial Intelligence (IJPRAI), Έχει γίνει δεκτή για δημοσίευση, 2009.
Konstantinos Zagoris, Kavallieratou Ergina and Nikos Papamarkos. «A Document Image Retrieval System». Engineering Applications of Artificial Intelligence. Έχει σταλεί για πιθανή δημοσίευση.
Konstantinos Zagoris and Nikos Papamarkos.” Text Localization using Document Structure Elements and Support Vector Machines”, Έχει σταλεί για πιθανή δημοσίευση.
Konstantinos Zagoris, Kavallieratou Ergina and Nikos Papamarkos, “Image Retrieval Systems Based On Compact Shape Descriptor and Relevance Feedback Information”, Visual Communication and Image
Representation, Έχει σταλεί για πιθανή δημοσίευση.97
Συνέδρια Περιοδικά
Ευχαριστώ Πολύ!