Patrick S.P. Wang Pattern Recognition, Machine Intelligence and Biometrics

Patrick S.P. Wang

Pattern Recognition, Machine Intelligence and Biometrics With 605 figures, 4 of them in color

Editor Professor Patrick S.P. Wang CCIS, 360 Huntington Ave Northeastern University Boston, MA 02110,USA https://sites.google.com/site/mozart200 E-mails: patwang@ieee.org, pwang@acm.org ISBN 978-7-04-033139-4 Higher Education Press, Beijing ISBN 978-3-642-22406-5 e-ISBN 978-3-642-22407-2 Springer Heidelberg Dordrecht London New York Library of Congress Control Number: 2011931163 � Higher Education Press, Beijing and Springer-Verlag Berlin Heidelberg 2011 This work is subject to copyright. All rights are reserved, whether the whole or part of the material is concerned, specifically the rights of translation, reprinting, reuse of illustrations, recitation, broadcasting, reproduction on microfilm or in any other way, and storage in data banks. Duplication of this publication or parts thereof is permitted only under the provisions of the German Copyright Law of September 9, 1965, in its current version, and permission for use must always be obtained from Springer. Violations are liable to prosecution under the German Copyright Law. The use of general descriptive names, registered names, trademarks, etc. in this publication does not imply, even in the absence of a specific statement, that such names are exempt from the relevant protective laws and regulations and therefore free for general use. Printed on acid-free paper Springer is part of Springer Science+Business Media (www.springer.com)

Patrick S.P. Wang’s Brief Vitae

Patrick S.P. Wang, Fellow of IAPR, ISIBMand WASE , is a professor of Computer and Infor-mation Science at Northeastern University, USA,Shanghai East China Normal University Zi-JiangVisiting Chair Professor, research consultant atMIT Sloan School, and adjunct faculty of computerscience at Harvard University. He received PhD inC.S. from Oregon State University, M.S. in I.C.S.from Georgia Institute of Technology, M.S.E.E.from Taiwan University (Taipei) and B.S.E.E. fromChiao Tung University (Hsin-chu).

As IEEE and ISIBM Distinguished Achieve-ment Awardee, Dr. Wang was on the faculty at University of Oregonand Boston University, and senior researcher at Southern Bell, GTE Labsand Wang Labs prior to his present position. Dr. Wang was Otto-Von-Guericke Distinguished Guest Professor of Magdeburg University, Germany,and iCORE (Informatics Circle of Research Excellence) visiting professorof University of Calgary, Canada, Honorary Advisor Professor for China’sSichuan University, Xiamen University, and Guangxi Normal University. Inaddition to his research experience at MIT AI Lab, Dr. Wang has been avisiting professor and invited to give lectures, do research and present papersin a number of countries and areas, from Europe, Asia and many univer-sities and industries in the U.S.A. and Canada. Dr. Wang has publishedover 160 technical papers and 26 books on Pattern Recognition, A.I. Bio-metrics and Imaging Technologies and has 3 OCR patents by US and Eu-rope Patent Bureaus. One of his books is so important and widely citedthat the USA Department of Homeland Security(DHS) uses it as refer-ence for Call For Proposals 2010. For details please refer to DHS website:Image Pattern Recognition—Synthesis and Analysis of Biometrics (WSP):https://www.sbir.dhs.gov/PastSolicitationDownload.asp#101005.

As IEEE senior member, he has organized numerous international con-ferences and workshops including conference co-chair of the 18th IAPR ICPR(International Conference on Pattern Recognition) in 2006, Hong Kong,China, and served as reviewer for many journals and NSF grant proposals.Professor Wang is currently founding Editor-in-Chief of IJPRAI (Int. J. ofPattern Recognition and A.I.), and Machine Perception and Artificial Intel-ligence Book Series by World Scientific Publishing Co. and Imperial CollegePress, London, UK, and elected chair of IAPR-SSPR (Int. Assoc. for P.R.).Dr. Wang has been invited to give talks in many International Conferencesincluding AIA2007, Innsbruck, Austria; IAS2007, Manchester, UK; IEEE-SMC2007, 2009, 2010, Montreal, San Antonio, Istanbul, respectively; World-Comp2010, Las Vegas, USA; CIS2007, Harbin, China, eForensics2008, Ade-

vi Patrick S.P. Wang’s Brief Vitae

laide, Australia; ISI2008, Taipei, Taiwan, China; BroadCom2008, Pretoria,South Africa; VISAPP2009, Lisboa, Portugal; UKSim2011, Cambridge, UK,and IADIS2010, 2011, Freiburg, Germany, and Roma, Italy, respectively. Dr.Wang received IEEE Distinguished Achievement Award at IEEE-BIBE2007at Harvard Medical, for Outstanding Contributions in Bioinformatics andBioengineering.

In addition to his technical achievements and contributions, ProfessorWang has been also very active in community services, and has written sev-eral articles on Du Fu, Li Bai’s poems; Verdi, Puccini, Bizet, and Wagner’soperas; and Mozart, Beethoven, Schubert and Tchaikovsky’s symphonies. Acollection of selected proses was published in his book Harvard MeditationMelody by Jian-Shing Pub. Co., Taipei, which won best publication awardby Taiwan, China.

Lotfi A. Zadeh (left) and Patrick S.P. Wang (right)

Dear Patrick,

Many thanks for your message and the kind words.I appreciate very much what you wrote. As you know, I am highly im-

pressed by your achievements. With regard to the foreword, I have a problem.After my heart attack in December 2008 my vision and my hearing have ex-perienced a decline. Today, to read printed matter I have to use a magnifyingglass. Reading messages does not present a problem but reading a book does.This is why writing a foreword — even to a book dedicated to my admiredfriend, K.S.Fu, would be stressful. It is a source of great regret for me not tobe able to respond affirmatively to your invitation. Please keep in touch.

With my warm regards.

Sincerely,

Lotfi

————Lotfi A. ZadehProfessor in the Graduate SchoolDirector, Berkeley Initiative in Soft Computing (BISC)

King-Sun Fu (left) and Patrick S.P. Wang (right) in 1981 Int. Conf. AdvancedAutomation (ICAA1981), Taipei, China

Patrick S.P. Wang (left) and King-Sun Fu (right) in 1981 Int. Conf. AdvancedAutomation (ICAA1981), Taipei, China

In Honor and Memory of Late ProfessorKing-Sun Fu

The late Professor King-Sun Fu is one of the founding fathers of patternrecognition, who, with visionary insight, founded the International Associa-tion for Pattern Recognition around 1980. In the almost 30 years since then,the world has witnessed the rapid growth and development of this field.

King-Sun Fu

(10/2/1930 [Nanjing, China] – 4/29/1985 [D.C.,USA])

x In Honor and Memory of Late Professor King-Sun Fu

In Honor and Memory of Late Professor King-Sun Fu xi

xii In Honor and Memory of Late Professor King-Sun Fu

In Honor and Memory of Late Professor King-Sun Fu xiii

xiv In Honor and Memory of Late Professor King-Sun Fu

In Honor and Memory of Late Professor King-Sun Fu xv

Foreword By J.K. Aggarwal

It is again a pleasure and an honor to introduce this collection of papersin memory of the late Professor King-Sun Fu. Professor Fu contributed sig-nificantly to the growth of pattern recognition through teaching, research,scholarship and supervision of Ph.D. students at Purdue University. It is sadthat Professor Fu did not live to see the spectacular growth that we arewitnessing today in the use of pattern recognition and computer vision inindustry, military, and daily products. Professors Tzay Young and King-SunFu published a collection of papers entitled Handbook of Pattern Recognitionand Image Processing. The book was published in 1986 after Professor Fupassed away in 1985.

Professor Patrick S.P. Wang has followed in the spirit of the collectionpublished by Young and Fu.

The present book is fifth in the series published by Professor Patrick S.P.Wang and his co-editors. The earlier four collections are:(i) Handbook of Pattern Recognition and Computer Vision

Editors: C.H. Chen, L.F. Pau and P.S.P. Wang1993, World Scientific Publishing32 papers, 984 pages

(ii) Handbook of Pattern Recognition and Computer VisionEditors: C.H. Chen, L.F. Pau and P.S.P. Wang1999, World Scientific Publishing34 papers, 1019 pages

(iii) Handbook of Pattern Recognition and Computer VisionEditors: C.H. Chen and P.S.P. Wang2005, World Scientific Publishing33 papers, 639 pages

(iv) Pattern Recognition and Computer VisionEditor: P.S.P. Wang2010, River Publishers28 papers, 451 pagesThe present volume again honors the contributions of Professor Fu. He

was the founding editor of the IEEE Transaction on Pattern Analysis andMachine Intelligence. Today this transaction has the highest regard of re-searchers and developers. It is among the crown jewels of the publicationsof the IEEE. He also helped start the organization known as the Interna-tional Association for Pattern Recognition (IAPR) in the early 1970s. TodayIAPR has membership from 42 countries all over the globe. The family andfriends of Professor Fu created the King-Sun Fu Prize in his memory underthe auspices of the IAPR. IAPR awards this prize every two years at its In-ternational Conference on Pattern Recognition popularly known as ICPR. Itis noteworthy that seven winners of the King-Sun Fu Prize (out of a total of

xviii Foreword By J.K. Aggarwal

11 awarded so far) are among the authors in the book edited by ProfessorsYoung and Fu.

The present book consists of 30 papers clustered in five broad chapters.It consists of original contributions from a few coupled disciplines, includingpattern recognition, machine intelligence, computer vision, image processing,and signal processing. Authors review existing methodologies, propose newapproaches, and build systems on fairly diversified applications including facerecognition, activity recognition, and biometric authentication. The book willappeal to researchers, students, and technologists.

It is a pleasure to be part of the tribute to Professor King-Sun Fu.

J.K. AggarwalCullen Trust Professor

Department of Electrical and Computer EngineeringThe University of Texas at Austin

May 2011

Foreword By Brian C. Lovell

This is the second in a series of books on pattern recognition to honourthe memory of Professor King-Sun Fu. No one deserves more credit for thefounding of the International Association for Pattern Recognition than King-Sun Fu. In 1971, King-Sun Fu invited several leading researchers to set upa committee for an international conference on pattern recognition1 . Thisled directly to the First International Joint Conference on Pattern Recogni-tion (IJCPR) which was held in Washington, D.C., from 30th October to 1stNovember, 1973. Discussions at the Lyngby IJCPR in 1974 recommended theformation of an entirely new international society which would be a kind offederation of national organizations in pattern recognition. The name of theorganization would be “The International Association for Pattern Recogni-tion” as suggested by Herbert Freeman.

The IAPR came into official existence in January, 1978 with King-Sun Fuas the inaugural President. Today the IAPR has 43 member organisationsfrom all around the globe. It sponsors numerous pattern recognition confer-ences in many countries as well as organising the International Conferenceon Pattern Recognition (formerly IJCPR) conference series.

Thus it was a tremendous blow when King-Sun Fu died suddenly on 29April 1985 aged just 55. His untimely death was a loss to the whole communityand was keenly felt by his family, friends, students, and his IAPR colleagues.He, more than anyone, created the organization, serving as its inauguralpresident, and was a leading figure in the field of Pattern Recognition. In 1988the IAPR awarded the first K.S. Fu Prize to commemorate his achievements.The prize was to be given no more often than biennially to a living person“in recognition of a technical contribution of far-reaching significance andimpact on the field of pattern recognition or its closely allied fields made atany time in the past.” The K.S. Fu prize serves as the “Nobel Prize” forpattern recognition.

It is appropriate to commemorate King-Sun Fu’s achievements with thissecond edition of collected works representing emerging aspects of the ex-citing field of pattern recognition which he did so much to establish. Thesechapters cover diverse topics ranging from biometrics to image forensics anddata mining. They give an insight into just how much the field of patternrecognition has advanced since the foundational works of King-Sun Fu in the1970s.

Brian C. LovellPresident of the IAPR, 2008 – 2010

May 2011

1 Freeman, H., Detailed History of the IAPR, http://www.iapr.org/docs/IAPR-History.pdf, [last visited: March 2011]

Foreword By Sargur N. Srihari

My memories of King-Sun Fu date from the early 1970’s when I was a grad-uate student beginning my studies in pattern recognition. At that time Fu’swork at Purdue University was very influential for anyone interested in en-tering the field.

Fu was synonymous with a new area of pattern recognition called syntac-tic pattern recognition1 . Statistical pattern recognition was already an estab-lished field with the appearance of the pre-print of Duda and Hart’s textbookin 19722. Syntactic pattern recognition was an alternative approach to rec-ognizing visual patterns, such as handwritten characters, based on formalgrammars. Fu was a vigorous advocate of the syntactic approach as an al-ternative to purely statistical models. The goal was to exploit knowledge ofstructure in designing pattern recognition algorithms. There existed a smallbody of work such as that of R. Narasimhan at the University of Illinois whoproposed a full set of grammatical rules for the English alphabet3 . Others in-cluded R. A. Kirsch of the National Bureau of Standards who proposed rulesfor shapes4 and A. Joshi of the University of Pennsylvania who suggested treegrammars5. While Fu and Narasimhan, who both did their graduate workat the University of Illinois-Urbana/Champaign, were interested in syntac-tic pattern recognition , Fu took it to the next stage by proposing the useof probabilities with grammatical rules. The explanatory powers associatedwith such methods were attractive to the field of Artificial Intelligence whichwas just beginning to take off. Today pattern recognition and the associatedfield of machine learning have enormous applications in every field. It is quitecommon to see both syntactic and statistical pattern recognition being usedin the same system, e.g., domain-specific rules written by linguists and maxi-mum entropy Markov models are both used in a single commercially availableinformation extraction system6 .

Fu also made important contributions to an area he named as sequentialpattern recognition7 . The goal here was to build pattern recognition algo-rithms which could take features as input one at a time and stop when asufficient level of confidence was reached. He adapted Abraham Wald’s se-

1 K.S. Fu, Syntactic Methods in Pattern Recognition, Academic Press, 1974.2 R.O. Duda and P.E. Hart, Pattern Recognition and Scene Analysis, Wiley-Inters-

cience, 1973.3 R.A. Narasimhan, “Syntax-directed Interpretation of Classes of Pictures”, Communi-

cations of the ACM, vol. 9, issue 6, 1966.4 R.A. Kirsch, “Computer interpretation of English text and picture patterns”, IEEE

Trans. Elect. Comp., EC-13 (Aug. 1964), pp. 363 – 376.5 A. Joshi, S.R. Kosaraju, H. Yamada, “String Adjunct Grammars”,Proceedings Tenth

Annual Symposium on Automata Theory, Waterloo, Canada, 1969.6 K.S. Fu,Sequential Methods in Pattern Recognition and Machine Learning, Academic

Press, 1968.7 R.K. Srihari, W. Li, C. Niu and T. Cornell, “InfoXtract: A Customizable Interme-

diate Level Information Extraction Engine”, Journal of Natural Language Engine-

ering, Cambridge U. Press , 14(1), 2008, pp.33 – 69.

xxii Foreword By Sargur N. Srihari

quential probability ratio test, known primarily to statisticians, and broughtit to the attention of the pattern recognition community. Today sequentialmodels have developed much further and are at the heart of machine learningmethods such as hidden Markov models, conditional random fields and lineardynamical systems.

Arguably, the biggest legacy of Fu was the establishment of the IEEETransactions on Pattern Analysis and Machine Intelligence (IEEE-TPAMI)which began publication in 1981. It was an almost single-handed effort tobuild a community of researchers. Previously papers on pattern recognitionwould go to IEEE Transactions on Computers (IEEE-TC) which was domi-nated by digital circuits research. In fact the first I heard about IEEE-TPAMIwas after I had submitted a paper to IEEE-TC, I received a call from King-Sun Fu asking whether it would be appropriate to transfer it to the newlyestablished IEEE-TPAMI. I readily agreed and was pleased to have had apaper in the first issue of IEEE-TPAMI8 .

It was not surprising that Fu chose to use the phrase Pattern Analysissince that reflected both statistical methods and grammatical rules. The termMachine Intelligence reflected the inclusion of Artificial Intelligence (AI). Atthat time AI was thought of as consisting of algorithms based on logic, heuris-tics and expert rules. The phrase “machine intelligence” was less used but ithad been the title of an influential series of volumes emerging from EdinburghUniversity9 . The term “machine” avoided negative connotations of artificialintelligence such as whether natural intelligence was superior to artificial in-telligence. Today IEEE-PAMI is the pre-eminent transactions of the IEEE.It has the highest impact factor of all Artificial Intelligence journals. PerhapsIEEE-PAMI itself is a tribute to King-Sun Fu’s foresight.

Finally I had two other interactions with King-Sun Fu. As a graduatestudent I wrote to him about some fine points in the sequential models heespoused. I received a prompt response from him clarifying it and sendingme a helpful pre-print. My only occasion to meet him in person was at aComputer Vision and Pattern Recognition (CVPR) conference in Chicago in1979.

The present volume reflects many of the same themes and applicationsthat were foreseen by King-Sun Fu in the early days of syntactic patternrecognition, sequential models and the pre-eminent journal that he founded.

Sargur N. SrihariSUNY Distinguished Professor

University at Buffalo, The State University of New YorkMay 2011

8 S.N. Srihari, “Recursive Implementation of a Two-step Nonparametric DecisionRule,” IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE-TPAMI, vol. 1, no. 1, 1981, pp. 90 – 94.

9 D. Michie, On Machine Intelligence, Edinburgh University Press, 1974.

Preface

In our time of rapidly changing Information Technology (IT) age, there isgrowing interest in Pattern Recognition and Machine Intelligence and its ap-plications to Biometrics in academia and industries. Novel theories have beenfound, with new design of technology and systems, in hardware, softwareand mid-ware. They are extensively studied and widely used to our dailylife to solve realistic problems, including science, engineering, agriculture,e-commerce, education, robotics, government, hospital, games and anima-tion, medical imaging analysis and diagnosis, military, personal identifica-tion and verifications, and homeland security. The foundation of all thesecan be traced back to late Professor King-Sun Fu (10/2/1930�4/29/1985),one of the fathers of Pattern Recognition, who was visionary and foundedthe International Association for Pattern Recognition (IAPR) in 1978. Eversince then, after 33 years, the world has eye witnessed the rapid growth anddevelopment of this field, and most people can sense and be touched by itsapplications in our daily lives.

Today at the eve of his 81th birthday and 26th anniversary of unfortu-nate and untimely passing of Prof. Fu, we are proud to produce this volumeof collected works by the world renowned professionals and experts in Pat-tern Recognition, Machine Intelligence, and Biometrics (PRMIB) in honorand memory of the late Professor King-Sun Fu. We hope this book will helppromote further its course of not only fundamental principles, systems andtechnologies, but also its vast applications to help solving our daily life prob-lems.

There have been tons of complimentary remarks and praises about Profes-sor Fu’s extraordinary achievements on PRMIB, including hundreds of paperand book publications, numerous prestigious awards, founder of IEEE-PAMIand IAPR and an NSF Research centers and so on. Professor Fu is known asone of the greatest computer scientists and engineers. But actually more thanthat, he is also a great artist and music lover. He believes liberal arts educa-tion, and plays volleyball well. In his Lab at Purdue University, most, if notall his team, researchers and students’ popular entertainment or exercise is toplay volleyball. He also enjoys reading novels and poems. I remember whenhe came to Boston to give a seminar, we had some discussions on his mostrecent work then, on “towards a unification theory of statistical and syntacticpattern recognition”. He noticed on my desk that there was a paper clip ofmy article “On Puccini’s opera ‘Turandot’ and Chinese folk song ‘Jasmineflower’ ”. It immediately attracted his attention and interest to request a copy.Everywhere we met or communicated in USA, Canada, Europe or Asia, healways showed strong concerns on not only progress of pattern recognition,but also world affairs, humanity and environment. Although, regrettably, he

xxiv Preface

did not finish his ambitious plan to establish a theory towards unification ofstatistical, syntactical and structural pattern recognition, pretty much likeEinstein did not have time to finish his effort towards unification of forces,yet, Professor King-Sun Fu indeed was not only a distinguished professor,but also a great teacher from whom we do learn much. No wonder, as Pro-fessor Thomas Huang put it, in his King-Sun Fu Prize laureate speech at2002 ICPR, Quebec City, Canada, that “There is no so-called last student ofProfessor Fu. We all are his students”. Yes, indeed, Professor Fu, you live inour hearts forever.

This book of Pattern Recognition, Machine Intelligence and Biometricsin memory of Prof King-Sun Fu is divided into 4 parts as follows:

Part I: Pattern Recognition and Machine Intelligence begins withA Review of Applications of Evolutionary Algorithms in Pattern Recognitionby Luis Gerardo de la Fraga and Carlos A. Coello Coello, which shows some ofthe most representative work regarding techniques and applications of volu-tionary algorithms in pattern recognition. K.C. Wong, Dennis Zhuang, GaryC.L. Li and En-Shiun Annie Lee introduce Pattern Discovery and Recogni-tion in Sequences. In A Hybrid Method of Tone Assessment for MandarinCALL System by Yang Qu, Xin He, Yue Lu and Patrick S.P. Wang, anapproach based on forced alignment of Hidden Markov Model (HMM) is em-ployed to train utterances for obtaining model of getting accurate syllableboundary of utterances. Zheng Liu and Wei Wu present a state-of-art reviewof the fusion techniques for infrared images in Fusion with Infrared Imagesfor an Improved Performance and Perception. Janos Csirik and Horst Bunkeintroduce a general framework for pattern classification in wireless sensor net-works that aims at increasing the lifetime of the underlying system by using anumber of features as small as possible in Feature Selection and Ranking forPattern Classification in Wireless Sensor Networks. In Principles and Appli-cations of RIDED-2D— A Robust Edge Detection Method in Range Images,Jian Wang, et al. proposes a novel Rule-based Instantaneous Denoising andEdge Detection method (RIDED-2D) for preprocessing range images.

Part II: Computer Vision and Image Processing begins Lens Shad-ing Correction for Dirt Detection by Chih-Wei Chen and Chiou-Shann Fuh,presents a novel inspection framework to detect dirt and blemish in produc-tion line of optical fabrication automatically. In Using Prototype-Based Clas-sification for Automatic Knowledge Acquisition, Petra Perner and Anja Attigdescribe how prototype-based classification can be used for knowledge acqui-sition in image classification. Elena S’anchez-Nielsen and Mario Hern’andez-Tejera include experimental results with inside and outside video streamsdemonstrating the effectiveness and efficiency for real-time machine visionbased tasks in unrestricted environments. In Human Extremity Detection forAction Recognition, Elden Yu and J.K. Aggarwal propose that the locationof human extremities alone (including head, hands, and feet) provides an

Preface xxv

excellent approximation to body motion. Brian C. Heflin, et al. review in-fluential works along recent topics of ensemble learning approaches devisedfor recognizing and tracking objects in Tracking Learning for Object Recog-nition and Tracking. In Depth Image Based Rendering, Michael Schmeingand Xiaoyi Jiang give an introduction to Depth Image Based Rendering anddiscusses some challenges including proposed solutions.

Part III: Face Recognition and Forensics begins with Usman Tariq,Yuxiao Hu, and Thomas S. Huang’s Gender and Race Identification by Manand Machine, and details a comprehensive study on gender and race identi-fication from different facial representations. In Common Vector Based FaceRecognition, Ying Wen, Yue Lu, Pengfei Shi, and Patrick S.P. Wang studyan approach for face recognition based on the difference vector plus the ker-nel PCA (Principal component analysis). In A Look at Eye Detection forUnconstrained Environments, Brian C. Heflin, et al. take a look at eye de-tection for the latter, which encompasses problems of flexible authentication,surveillance, and intelligence collection. Weishi Zheng et al. introduce re-cent advanced developments of using KPCA for nonlinear image preprocess-ing in Kernel Methods for Facial Image Preprocessing. Sangita Bharkad andManesh Kokare give a brief survey of current fingerprint matching methodsand technical achievement in this area in Fingerprint Identification — Ideas,Influences, and Trends of New Age. Hong Huang gives a Comparative Studyof Face Recogition—Subspaces versus submanifolds. In Linear and NonlinearFeature Extraction Approaches for Face Recognition, Wensheng Chen, PongC. Yuen, Bin Fang and Patrick S.P. Wang introduce recent progress andexisting challenges in the area of face recognition (FR). In Facial OcclusionReconstruction Using Direct Combined Model, Chingting Tu and Jenn-JierJames Lien develop means to recover the occluded region(s) of the facial im-age such that the performance of these applications can be improved. SargurN. Srihari and Chang Su consider generative models for forensic evidencewhere the goal is to describe the distributions using graphical models and touse such models to compute probabilistic metrics for measuring the degreeof individuality of a forensic modality or of a piece of evidence in Gener-ative Models and Probability Evaluation for Forensic Evidence. In FeatureMining and Pattern Recognition in Digital Image Forensics, Qingzhong Liuet al. present some recent results on detecting JPEG steganograms, dou-bly compressed JPEG images, and resized JPEG images based on a unifiedframework of feature mining and pattern recognition approaches.

Part IV: Biometrics Authentication begins with Biometric Authenti-cation by Jiunn-Liang Lin, Ho-Ling Hsu, Tai-Lang Jong and Wen-Hsing Hsu,which introduces several biometric recognition technologies, including per-son’s face, eye pupil, sound, etc., the standardization development of biomet-rics technology, and recent projects in all countries for various applications.In Radical-Based Hybrid Statistical-Structural Approach for Online Hand-

xxvi Preface

written Chinese Character Recognition, Chenglin Liu and Longlong Ma de-scribe a new radical-based online handwritten Chinese character recognitionapproach which combines the advantages of statistical methods and radical-based structural methods. In Current Trends in Multimodal Biometric Sys-tem — Rank Level Fusion, Marina Gavrilova and Maruf Monwar provide anin-depth overview of traditional multimodal biometric systems and currenttrends in multimodal biometric fusion. In Off-line Signature Verification byMatching With a 3D Reference Knowledge Image— From Research to Ac-tual Application, Maan Ammar introduces a method for off-line verificationof signatures, which can verify signatures and detect skilled forgeries withoutstanding performance. In Unified Entropy Theory on Pattern Recogni-tion and Maximum MI Discrimination based Subspace Pattern Recognition,a unified entropy theory on Pattern Recognition is presented by Ding Xiao-qing. In Fundamentals of Biometrics— Hand Written Signature and Iris byRadhika K R and Sheela S V, they introduced a new method combining handwritten signature characteristics and iris texture variations to form an occur-rence vector to provide biohashing. In Recent Trends in Iris Recognition,Lenina Birgale and Manesh Kokare discusse recent trends of Iris Recognitionby means of Knowledge, Possession and Reality. In Using Multisets of Fea-tures and Interactive Feature Selection to Get Best Qualitative Performancefor Automatic Signature Verification, Maan Ammar reports the results ob-tained by using the MSF technique in case of using large number of featuresets. Last but not least, in Fourier Transform in Numeral Recognition andSignature Verification, Giovanni Dimauro presents the fundamentals of digi-tal transforms and their use in handwriting recognition.

A short description of each chapter evidently is not adequate to presentthe excellent contributions by all authors. The high-quality Publication ofHigher Education Press (HEP) and Springer-Verlag, however, provides a am-ple opportunity to let each chapter to speak for itself, and therefore readersare strongly encouraged to peruse individual chapters in detail. This monu-mental and milestone book is indeed very rich and stimulating of vibratingactivities in theory, applications, and system technologies in Pattern Recog-nition, Machine Intelligence and Biometrics (PRMIB).

Working out this book cannot be done by a single individual alone. It isthe result of dedicated team work. I would like to take this opportunity toshow my deepest appreciations to all contributors, without whom this bookcan never come out. I also want to thank all foreword writers (in alphabeticorder): Professors Jake Aggarwal, Brian Lovell, and Sargur Srihari, who areeither current or past President, Fellows, or King-Sun Fu Prize Laureates ofIAPR, the largest and most prestigious organization of its kind. I also wantto show my appreciation to Mrs. Meihua Wu Fu, who kindly provides somephotos of late Professor King-Sun Fu. Thanks also go to HEP and Springer,for their strong support of this book project. Jake and his student Elden

Preface xxvii

Yu’s suggestion to preface is also appreciated. Finally, I like to thank myparents, sons George Da-Yuan and David Da-Wen, for their understanding,encouragement and prayer. Above all, thank God for granting me life andsoul, without which I can never have today.

Patrick S.P. WangNortheastern University (Boston)

East China Normal University (Shanghai),Taiwan University of Science and Technology (Taipei)

May 2011

Contents

Part I: Pattern Recognition and Machine Intelligence

1 A Review of Applications of Evolutionary Algorithms inPattern Recognition · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 31.1 Introduction · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 31.2 Basic Notions of Evolutionary Algorithms · · · · · · · · · · · · · · · 41.3 A Review of EAs in Pattern Recognition · · · · · · · · · · · · · · · · 151.4 Future Research Directions · · · · · · · · · · · · · · · · · · · · · · · · · · 211.5 Conclusions · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 23References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 24

2 Pattern Discovery and Recognition in Sequences · · · · · · · · 292.1 Introduction · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 292.2 Sequence Patterns and Pattern Discovery –A Brief Review · · · 312.3 Our Pattern Discovery Framework · · · · · · · · · · · · · · · · · · · · 422.4 Conclusion· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 58References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 58

3 A Hybrid Method of Tone Assessment for MandarinCALL System · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 613.1 Introduction · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 613.2 Related Work · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 653.3 Proposed Approach · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 673.4 Experimental Procedure and Analysis · · · · · · · · · · · · · · · · · · 733.5 Conclusions · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 77References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 78

4 Fusion with Infrared Images for an ImprovedPerformance and Perception · · · · · · · · · · · · · · · · · · · · · · · · · 814.1 Introduction · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 814.2 The Principle of Infrared Imaging · · · · · · · · · · · · · · · · · · · · · 824.3 Fusion with Infrared Images · · · · · · · · · · · · · · · · · · · · · · · · · 834.4 Applications · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1024.5 Summary· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 104References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 105

5 Feature Selection and Ranking for PatternClassification in Wireless Sensor Networks · · · · · · · · · · · · · 1095.1 Introduction · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 109

xxx Contents

5.2 General Approach · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1125.3 Sensor Ranking · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1155.4 Experiments · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1185.5 Summary, Discussion and Conclusions · · · · · · · · · · · · · · · · · · 134References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 136

6 Principles and Applications of RIDED-2D– A RobustEdge Detection Method in Range Images · · · · · · · · · · · · · · 1396.1 Introduction · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1406.2 Definitions and Analysis · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1436.3 Principles of Instantaneous Denoising and Edge Detection · · · 1466.4 Experiments and Evaluations · · · · · · · · · · · · · · · · · · · · · · · · 1516.5 Discussions and Applications · · · · · · · · · · · · · · · · · · · · · · · · 1596.6 Conclusions and Prospects · · · · · · · · · · · · · · · · · · · · · · · · · · 163References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 165

Part II: Computer Vision and Image Processing

7 Lens Shading Correction for Dirt Detection · · · · · · · · · · · · 1717.1 Introduction · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1717.2 Background · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1747.3 Our Proposed Method · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1807.4 Experimental Results · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1847.5 Conclusions · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 194References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 194

8 Using Prototype-Based Classification for AutomaticKnowledge Acquisition · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1978.1 Introduction · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1978.2 Prototype-Based Classification · · · · · · · · · · · · · · · · · · · · · · · 1988.3 Methodology · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2048.4 Application · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2068.5 Results · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2088.6 Conclusion· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 211References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 211

9 Tracking Deformable Objects with Evolving Templates forReal-Time Machine Vision · · · · · · · · · · · · · · · · · · · · · · · · · · · 2139.1 Introduction · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2139.2 Problem Formulation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2169.3 Search Framework for Computing Template Position · · · · · · · 2189.4 Updating Framework for Computing Template Changes · · · · · 224

Contents xxxi

9.5 Multiple Object Tracking and Intensity Information· · · · · · · · 2279.6 Experiments and Results · · · · · · · · · · · · · · · · · · · · · · · · · · · 2299.7 Conclusions and Future Work · · · · · · · · · · · · · · · · · · · · · · · · 233References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 234

10 Human Extremity Detection for Action Recognition · · · · 23710.1 Introduction· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 23710.2 Relevant Works · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 23910.3 Extremities as Points on a Contour · · · · · · · · · · · · · · · · · · · 24110.4 Extremities as Image Patches · · · · · · · · · · · · · · · · · · · · · · · 25010.5 Experimental Results · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 25410.6 Conclusion · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 258References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 259

11 Ensemble Learning for Object Recognition andTracking · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 261

11.1 Introduction· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 26111.2 Random Subspace Method · · · · · · · · · · · · · · · · · · · · · · · · · 26411.3 Boosting Method · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 269References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 276

12 Depth Image Based Rendering · · · · · · · · · · · · · · · · · · · · · · 27912.1 Introduction· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 27912.2 Depth Image Based Rendering · · · · · · · · · · · · · · · · · · · · · · 28312.3 Disocclusions · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 28912.4 Other Challenges · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 30412.5 Conclusion · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 307References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 308

Part III: Face Recognition and Forensics

13 Gender and Race Identification by Man and Machine · · · 31313.1 Introduction· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 31313.2 Background · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 31413.3 Silhouetted Profile Faces · · · · · · · · · · · · · · · · · · · · · · · · · · · 31513.4 Frontal Faces · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 31913.5 Fusing the Frontal View and Silhouetted Profile View

Classifiers· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 32313.6 Human Experiments · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 32413.7 Observations and Discussion · · · · · · · · · · · · · · · · · · · · · · · · 32913.8 Concluding Remarks· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 330References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 331

xxxii Contents

14 Common Vector Based Face Recognition Algorithm· · · · · 33514.1 Introduction· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 33514.2 Algorithm Description · · · · · · · · · · · · · · · · · · · · · · · · · · · · 33914.3 Two Methods Based on Common Vector · · · · · · · · · · · · · · · 34714.4 Experiments and Results · · · · · · · · · · · · · · · · · · · · · · · · · · 35014.5 Conclusion and Future Research · · · · · · · · · · · · · · · · · · · · · 358References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 358

15 A Look at Eye Detection for UnconstrainedEnvironments · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 361

15.1 Introduction· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 36115.2 Related Work · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 36315.3 Machine Learning Approach · · · · · · · · · · · · · · · · · · · · · · · · 36415.4 Correlation Filter Approach · · · · · · · · · · · · · · · · · · · · · · · · 36815.5 Experiments· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 37015.6 Conclusions · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 385References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 386

16 Kernel Methods for Facial Image Preprocessing · · · · · · · · 38916.1 Introduction· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 38916.2 Kernel PCA · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 39116.3 Kernel Methods for Nonlinear Image Preprocessing · · · · · · · 39216.4 Face Image Preprocessing Using KPCA · · · · · · · · · · · · · · · · 39716.5 Summary · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 407References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 408

17 Fingerprint Identification – Ideas, Influences, andTrends of New Age · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 411

17.1 Introduction· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 41117.2 System Architecture and Applications of Fingerprint

Matching · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 41517.3 The Early Years · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 41917.4 Recent Feature Extraction Techniques –Addressing

Core Problem · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 42317.5 Conclusion and Future Directions · · · · · · · · · · · · · · · · · · · · 438References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 439

18 Subspaces Versus Submanifolds – A Comparative Studyof Face Recognition · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 447

18.1 Introduction· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 44718.2 Notation and Definitions · · · · · · · · · · · · · · · · · · · · · · · · · · · 44918.3 Brief Review of Subspace-Based Face Recognition

Contents xxxiii

Algorithms · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 45118.4 Submanifold-Based Algorithms for Face Recognition · · · · · · 45318.5 Experiments Results and Analysis · · · · · · · · · · · · · · · · · · · · 47218.6 Conclusion · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 480References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 481

19 Linear and Nonlinear Feature Extraction Approachesfor Face Recognition · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 485

19.1 Introduction· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 48519.2 Linear Feature Extraction Methods · · · · · · · · · · · · · · · · · · · 48819.3 Non-Linear Feature Extraction Methods · · · · · · · · · · · · · · · 48919.4 Conclusions · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 511References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 512

20 Facial Occlusion Reconstruction Using DirectCombined Model · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 515

20.1 Introduction· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 51520.2 Direct Combined Model Algorithm · · · · · · · · · · · · · · · · · · · 51820.3 Reconstruction System · · · · · · · · · · · · · · · · · · · · · · · · · · · · 52320.4 Experimental Results · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 52820.5 Conclusions · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 530References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 530

21 Generative Models and Probability Evaluation forForensic Evidence · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 533

21.1 Introduction· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 53421.2 Generative Models of Individuality · · · · · · · · · · · · · · · · · · · 53521.3 Application to Birthdays· · · · · · · · · · · · · · · · · · · · · · · · · · · 53821.4 Application to Human Heights · · · · · · · · · · · · · · · · · · · · · · 54021.5 Application to Fingerprints · · · · · · · · · · · · · · · · · · · · · · · · · 54421.6 Summary · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 557References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 559

22 Feature Mining and Pattern Recognition in MultimediaForensics –Detection of JPEG Image BasedSteganography, Double-Compression, Interpolations andWAV Audio Based Steganography· · · · · · · · · · · · · · · · · · · · 561

22.1 Introduction· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 56222.2 Related Works · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 56622.3 Statistical Characteristics and Modification · · · · · · · · · · · · · 56822.4 Feature Mining for JPEG Image Forensics · · · · · · · · · · · · · · 57322.5 Derivative Based Audio Steganalysis · · · · · · · · · · · · · · · · · · 576

xxxiv Contents

22.6 Pattern Recognition Techniques · · · · · · · · · · · · · · · · · · · · · 58122.7 Experiments· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 58422.8 Conclusions · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 600References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 601

Part IV: Biometric Authentication

23 Biometric Authentication · · · · · · · · · · · · · · · · · · · · · · · · · · · 60723.1 Introduction· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 60823.2 Basic Operations of a Biometric System· · · · · · · · · · · · · · · · 61623.3 Biometrics Standardization · · · · · · · · · · · · · · · · · · · · · · · · · 62123.4 Certification of Biometric System · · · · · · · · · · · · · · · · · · · · 62223.5 Cloud Service— Web Service Authentication · · · · · · · · · · · · 62423.6 Challenges of Large Scale Deployment of Biometric

Systems · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 62523.7 Conclusion · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 628References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 630

24 Radical-Based Hybrid Statistical-Structural Approach forOnline Handwritten Chinese Character Recognition· · · · · 633

24.1 Introduction· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 63324.2 Overview of Radical-Based Approach · · · · · · · · · · · · · · · · · 63524.3 Formation of Radical Models· · · · · · · · · · · · · · · · · · · · · · · · 63724.4 Radical-Based Recognition Framework· · · · · · · · · · · · · · · · · 64324.5 Experiments· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 65024.6 Concluding Remarks· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 653References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 654

25 Current Trends in Multimodal Biometric System —RankLevel Fusion · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 657

25.1 Introduction· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 65725.2 Multimodal Biometric System · · · · · · · · · · · · · · · · · · · · · · · 66025.3 Fusion in Multimodal Biometric System· · · · · · · · · · · · · · · · 66425.4 Rank Level Fusion · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 66725.5 Conclusion · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 672References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 672

26 Off-line Signature Verification by Matching with a 3DReference Knowledge Image —From Research to ActualApplication· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 675

26.1 Introduction· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 67526.2 Used Signature Data· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 676

Contents xxxv

26.3 Image Types Used for Feature Extraction and Evaluation · · · 67826.4 Skills of Forgery Creation of Used Forgeries · · · · · · · · · · · · · 68026.5 Previous Work and Motivation for 3D RKI · · · · · · · · · · · · · 68226.6 3D Reference Knowledge of Signature · · · · · · · · · · · · · · · · · 68926.7 Ammar Matching Technique · · · · · · · · · · · · · · · · · · · · · · · · 69126.8 Feature Extraction · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 69426.9 Distance Measure and Verification · · · · · · · · · · · · · · · · · · · · 69526.10 Experimental Results and Discussion · · · · · · · · · · · · · · · · · 69626.11 Limited Results are Shown and Discussed · · · · · · · · · · · · · 70226.12 AMT Features and Signature Recognition · · · · · · · · · · · · · 70326.13 AMT and Closely Related Works· · · · · · · · · · · · · · · · · · · · 70326.14 Transition from Research to Prototyping then Pilot

Project and Actual Use · · · · · · · · · · · · · · · · · · · · · · · · · · · 70426.15 Conclusions · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 706References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 707

27 Unified Entropy Theory and Maximum Discriminationon Pattern Recognition· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 709

27.1 Introduction· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 70927.2 Unified Entropy Theory in Pattern Recognition · · · · · · · · · · 71027.3 Mutual-Information—Discriminate Entropy in Pattern

Recognition · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 71527.4 Mutual Information Discrimination Analysis in Pattern

Recognition · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 71727.5 Maximum MI principle · · · · · · · · · · · · · · · · · · · · · · · · · · · · 71927.6 Maximum MI Discriminate SubSpace Recognition in

Handwritten Chinese Character Recognition · · · · · · · · · · · · 72127.7 Conclusion · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 725References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 731

28 Fundamentals of Biometrics— Hand Written Signatureand Iris · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 733

28.1 Prologue · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 73328.2 Fundamentals of Handwritten Signature · · · · · · · · · · · · · · · 73528.3 Acquisition · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 75028.4 Databases · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 75128.5 Signature Analysers · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 75228.6 Off-line Methods · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 75428.7 On-line Methods· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 75628.8 Fundamentals of Iris · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 76028.9 Feature Extraction · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 764

xxxvi Contents

28.10 Preprocessing · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 77128.11 Iris Image Databases· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 77628.12 Iris Analyzers · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 77628.13 Conclusion · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 780References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 781

29 Recent Trends in Iris Recognition · · · · · · · · · · · · · · · · · · · · 78529.1 Introduction· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 78529.2 Basic Modules of Iris Recognition · · · · · · · · · · · · · · · · · · · · 78629.3 Performance Measures · · · · · · · · · · · · · · · · · · · · · · · · · · · · 78929.4 Limitations of Current Techniques · · · · · · · · · · · · · · · · · · · · 79129.5 Future Scope · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 792References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 793

30 Using Multisets of Features and Interactive FeatureSelection to Get Best Qualitative Performance forAutomatic Signature Verification · · · · · · · · · · · · · · · · · · · · 797

30.1 Introduction· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 79730.2 Signature Data · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 79930.3 ASV Systems Using Threshold-Based Decision · · · · · · · · · · · 80130.4 MSF and Its Performance · · · · · · · · · · · · · · · · · · · · · · · · · · 80730.5 IFS and QP · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 81330.6 Conclusion · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 819References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 819

31 Fourier Transform in Numeral Recognition andSignature Verification · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 823

31.1 Concepts of Digital Transforms · · · · · · · · · · · · · · · · · · · · · · 82331.2 Orthonormal System of Trigonometric Functions · · · · · · · · · 82431.3 Introduction to Discrete Fourier Transform · · · · · · · · · · · · · 82831.4 Properties of DFT · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 83031.5 DFT Calculation Problem· · · · · · · · · · · · · · · · · · · · · · · · · · 83331.6 Description of a Numeral Through Fourier Coefficents · · · · · 83731.7 Numeral Recognition Through Fourier Transform· · · · · · · · · 84231.8 Signature Verification Systems Trough Fourier Analysis · · · · 84731.9 On-line Signature Verification System Based on

Fourier Analysis of Strokes · · · · · · · · · · · · · · · · · · · · · · · · · 851References · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 854

Index · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 859

Contributors

J.K. Aggarwal Department of Electrical and Computer Engineering,The University of Texas, U.S.A.

Maan Ammar Damascus University, Syria

Quanzhang An Changzhou EGing Photovoltaic Technology Co.,Ltd., China

Anja Attig Institute of Computer Vision and Applied ComputerSciences, IBaI, Germany

Sangita Bharkad S.G.G.S. Institute of Engg. and Technology, India

Lenina Birgale Shri Guru Gobind Singhji Institute of Engineeringand Technology, India

Terrance E. Boult University of Colorado at Colorado Springs, U.S.A.

Horst Bunke University of Bern, Switzerland

Chih-Wei Chen Taiwan University, Taipei, Taiwan, Chain

Wensheng Chen Shenzhen University, Shenzhen, China

Zhongxue Chen The University of Texas Health Science Center, Hous-ton, U.S.A.

Carlos A. Coello Coello Depto. de Computacion, Instituto Politecnico Na-cional, Mexico

Janos Csirik University of Szeged, Hungary

Luis Gerardo de la Fraga Depto. de Computacion, Instituto Politecnico Na-cional, Mexico

Giovanni Dimauro Universita degli Studi di Bari ‘Aldo Moro’, Diparti-mento di Informatica, Bari, Italy

Xiaoqing Ding Tsinghua University, China

Bin Fang Chongqing University, Chongqing, China

Chiou-Shann Fuh Taiwan University, Taipei, Taiwan, Chain

Marina L. Gavrilova University of Calgary, Canada

Mehrtash Harandi Australia The University of Queensland, School ofITEE, Australia

Xin He Motorola China Research Center, China

Brian C. Heflin University of Colorado at Colorado Springs, U.S.A.

Mario Hern’andez-Tejera Instituto de Sistemas Inteligentes y AplicacionesNumericas en Ingenierıa 35005 Las Palmas de G.C.,Spain

Ho-Ling Hsu STARTEK Engineering Inc., Hsinchu, China

Wen-Hsing Hsu Tsing Hua University, Hsinchu, Taiwan, China

Yuxiao Hu Microsoft Corporation, Redmond, U.S.A.

Thomas S. Huang University of Illinois at Urbana-Champaign, Urbana,U.S.A.

Hong Huang Chongqing University, China

Xiaoyi Jiang University of Munster, Department of Mathematicsand Computer Science, Germany

xxxviii Contributors

Tai-Lang Jong Tsing Hua University, Hsinchu, Taiwan, China

Manesh Kokare Shri Guru Gobind Singhji Institute of Engineeringand Technology, India

Jianhuang Lai Sun Yat-sen University, China

Gary C.L. Li PAMI Group, Department of System Design, Univer-sity of Waterloo, Canada

Enshiun Annie Lee PAMI Group, Department of System Design, Univer-sity of Waterloo, Canada

Yan Liang Sun Yat-sen University, China

Jenn-Jier James Lien Cheng Kung University, Tainan, Taiwan, China

Jiunnliang Lin Tsing Hua University, Hsinchu, China

Zheng Liu University of Ottawa, Ottawa, Canada

Qingzhong Liu Sam Houston State University, Huntsville, U.S.A.

Chenglin Liu Institute of Automation, Chinese Academy of Sci-ences, China

Brian C. Lovell School of Information Technology and Electrical En-gineering, The University of Queensland, Australia

Yue Lu Department of Computer Science and Technology,East China Normal University, China

Fangfang Lu Shanghai Jiao Tong University, China

Yue Lu East China Normal University, China

Longlong Ma Institute of Automation, Chinese Academy of Sci-ences, China

Lin Mei The Third Research Institute of Ministry of PublicSecurity, Shanghai, China

Md. Maruf Monwar University of Calgary, Canada

Petra Perner Institute of Computer Vision and Applied ComputerSciences, IBaI, Germany

Mengyu Qiao New Mexico Tech, Socorro, U.S.A.

Yang Qu Department of Computer Science and Technology,East China Normal University, China

Radhika K R B M S College of Engineering, India

Bernardete Ribeiro University of Coimbra, Coimbra, Portugal

Anderson Rocha University of Campinas (Unicamp), Brazil

Elena Sanchez-Nielsen Dpto. E.I.O. y Computacion. Universidad de La La-guna 38271 La Laguna, Spain

Walter J. Scheirer University of Colorado at Colorado Springs, U.S.A.

Patrick S.P. Wang Northeastern University, Boston, U.S.A.

Michael Schmeing University of Munster, Department of Mathematicsand Computer Science, Germany

Sheela S V B M S College of Engineering, India

Pengfei Shi Shanghai Jiao Tong University, China

Sargur N. Srihari The State University of New York at Buffalo, U.S.A.

Chang Su The State University of New York at Buffalo, U.S.A.

Andrew H. Sung New Mexico Tech, Socorro, U.S.A.

Contributors xxxix

Javid Taheri The University of Sydney,Australia

Usman Tariq University of Illinois at Urbana-Champaign, Urbana,U.S.A.

Ching-Ting Tu Cheng Kung University, Tainan, Taiwan, China

Jian Wang The Third Research Institute of Ministry of PublicSecurity, China

Ying Wen Columbia University, New York, U.S.A.

Andrew K.C. Wong PAMI Group, Department of System Design, Univer-sity of Waterloo, Canada

Wei Wu Sichuan University, Sichuan, China

Xiaohua Xie Sun Yat-sen University, China

Zhenqiang Yao Shanghai Jiao Tong University, Shanghai, China

Mingde Yin Nanjing University of Aeronautics and Astronautics,Nanjing, China

Elden Yu Department of Electrical and Computer Engineering,The University of Texas at Austin, U.S.A.

Pong C. Yuen Hong Kong Baptist University, Hong Kong, China

Weishi Zheng Sun Yat-sen University, Guangzhou China, andQueen Mary University of London, London UK

Yaojie Zhu Shanghai Yanfeng Visteon Automotive Trim SystemsCo., Ltd., China

Dennis Zhuang PAMI Group, Department of System Design, Univer-sity of Waterloo, Canada

Yaoxian Zou Sun Yat-sen University, China