An Electronic Field Guide:Plant Exploration in the 21st Century

Peter Belhumeur, Columbia University

David Jacobs, University of Maryland

John Kress, Smithsonian Institution

Steven Fiener, Columbia University

Ravi Ramamoorthi, Columbia University

Collaborators

Smithsonian Institute• John Kress• Rusty Russell• Ida Lopez• Norm Bourg

University of Maryland• Haibin Ling• David Jacobs

Columbia University• Sean White• Ravi Ramamoorthi• Steve Feiner

Dioscorides: “De Materia Medica” (77 A.D.)

“Codex Vindobonensis” (512 A.D.)

Abu Hanifa Al-Dinawari: “Kitab Nabat” (895)

Ibn Wahshiyya: “Al Filaha Nabatiya” (930) 

                                 النبطية الفالحة كتاب 

  المقّد�مة                                                    

�ة                        وحشي بن بكر آبو ترجمه  

سلم و صحبه و اله و محمّد �ّدنا سي على ا صلى و الرحيم الرحمن ا هللابســم هللاس ي ق ن ب ي ل ع ن ب د م ح ا كر ب و ب آا ة ّيي ب ر ع ل ا ى ل ا ن ي ي ن ا د س ك ل ا ن ا س ل ن م ه ل ق ن ة ّيي ط ب ن ل ا ة لاح ف ل ا ب ا كت ا ذ همن العرب تاريخ من ماتين و تسعين و احّدى سنة في �ة وحشي بابن المعروف القيسي الكسّدانيالملك عبّد بن محمّد بن احمّد بن علي بن الحسن بن احمّد طالب ابي بن على اماله و الهجرة

له فقال الهجرة من العرب تاريخ من ثلثماية و عشيرة ثماني سنة في �ات الزيالزرعو بالعربيةكتابافالحاالرضواصالح وجّدتمنكتبالكسّدانيينمترجمبترجمةمعناها الكتابفيجملةما بنيانيوجّدتهذا اعلميا   قصّدياالولوغردي ذلكخطاءغيرصوابمناجلاّن� فاستكبرتهواستطلتهوخطرببالياختصارهثمفكرتفاذا الشجروالثمارودفعاالفاتعنهاتباركوتعالىعنّدهمفيادراك فيهمليعرفوامقّدارعقولهمونعما هوايصالعلومهؤالءالقوماعنيالنبطالكسّدانيينمنهمالىالناسوبثها هللانماعجزعنهغيرهممناالمموذلكانيوصلتالىكتبهمفيزماّنقّددرسفيهذكرهموانمحتاخبارهموعّدمت العلومالنافعةالغامضةواستنباطمافوجدتها كتبهم طلب في اجتهدت ذلك رايت فلما يذكرها ممن معرفة بلا كالخرافات ذكرا علومهم بعض ذكر و فقط ذكرهم الا يبق لم حتى اعلامهموالجزعمن �تهمولغتهمووجّدتعنّدهممنالكتبوهمفينهايةالكتماّنواالخفاءوالحجورلها الكسّدانيينوعلىدينهموسن عنّدقومهمبقايالمارهمعكثيراحّدوذلكاننيمنهماعنيمن تعالىوجلقّدرزقنيقبلذلكمنالمعرفةبلغتهمالتيهيالسريانيةالقّديمةما وكاّنا هللاظهارهامناننيمنهموانني احببتمنكتبهمبهذهالوجوهالتيعّددتها تعالىمنالّدراهموالّدنانيرولهالحمّدفوصلتالىما �ننيا هللانسلبعضهمومك

فيها نظر و كتبهم من امكنني ما الى الحيلة لطيف و البدل و المدارة فاستعلمت المال من متمكن انني و بلغتهم عارفكانتالكافةمنهؤالءالقومالذينهمفيبقاياهمكالبقروالحميروالعاجزينعنفهمشيءمنالعلوم اذ فيها وهيفييّدهانهمحتاجالىفهمما\هعلىاالفراطفيكتماّن اّناالنساّنالذيوجّدتهذهالكتبمجموعةعنّدهيتميزعنهذهالجملةويتفضلعنحماريةهذهالكافةفلمت اسالفهماالمضى بمن فيه اقتديت تعمله الذي هذا و محاسنهم طمر و قومك ذكر درس هو شيء بفعل الاحتياط تريد انك له قلت و العلوم هذه خبي و الكتب هذهالفعلكاّنالطريقالىانّدراسذكر قبلكوانتوالماضينمحطينفيذلكعلىمنتقّد�ممنالعلمائكمالذينهمعلمايواسالفيمعكموهذاو عرفوامقّدارعلومنا الىالعربيةحتىينظرالناسفيها وغيوبةعلومهمعنالناسواختفاءمحاسنهمعنهمولوقّدنقلتهذهالكتباوبعضها اسالفنا

لنا الفخر من ضرب ذلك في صار و اسلافنا وضع بما انتفعوا

Captain James Cook (1768)

Charles Darwin (1859)

Lt. Charles Wilkes (1838)

Species Identification: A Pain-staking Process

• Physical specimens are loaned and available to only one scientist for year(s)

• Herbaria visited in person

• Or samples are collected and never or incorrectly identified

Our Goal: Accelerate Species Identification

• Photograph and Electronically Catalogue Herbaria

• Make data available in the field

• Assist in locating the right information– Zoomable user interface– Search with metadata (text, gps, ….)– Visual Search

• Not to build an autonomous system– Automatic species identification still out of reach– We want to enhance the capabilities of experts

Project I:

Digitizing the U.S. National Herbarium

Acquisition System

• Phase One H20 back on Hasselblad 502 with 80mm lens

• Resolution: 3600x5000 = 18M pixels

• Dynamic Range: 36 bits per pixel over 3 color channels

Specimen Images

• 95,000 Type Specimens

• 15,000 non-type specimens digitized

• Derivatives available on web– Thousands of hits a month

• Hi-resolution available online and DVD

• Special projects– Puerto Rico rarities, Mexican Boundary

Survey, Hawaii….

Acer politum

Greene

Textual InformationPublications

Decision TreesVerbal

DescriptionLocations

Other Specimens

(Not Types)

Photographs of live plants

3D Computer Models

Basic Type Specimen Digital CollectionEnhanced Type Specimen Digital

Collection

Digital Image of Type Specimen

Type Specimen Digital Collection

16

1/3 of the Earth’s Plants....

Project II:

Automating Visual Search

Our Work in Plant Identification

• We haven’t been trying to emulate botanists

• Expert judgments can rely on features that are hard to automate

• General purpose algorithms needed for basic analysis, though humans take these for granted.

• Experience in other recognition tasks

Plant ID: Visual Search Criteria

Search Criteria– Shape – our current focus– Texture

– Venation

Venation

Texture

Shape

Albrecht Dürer, “Four Books on Human Proportion” (1528)

D’arcy Thompson, “On Growth and Form” (1917)

D’arcy Thompson, “On Growth and Form” (1917)

D’arcy Thompson, “On Growth and Form” (1917)

24

Shape Matching in Computer Vision, abridged...

• Grenander ’81

• Mumford ‘91

• Fry ‘94

• Kimia, Tannenbuam, and Zucker ’95

• Basri, Costa, Geiger and Jacobs ’95

• Zhu and Yuille ‘96

• Liu, Geiger, and Kohn ’98; Geiger, Liu, and Kohn ‘03

• Belongie, Malik, Puzicha ‘01

• Osada, Funkhouser, Chazelle, Dobkin ‘03

24

Representations that Capture Part Structures

• The Euclidean distance

• The inner-distance: length of the shortest path between landmark points (see also Bronstein et al. 2003)

• Part relationships can vary

Inner-Distance Shape Context (IDSC)

θ1

5

Histogram for Point 1

Inn

er-

Dis

tan

ce Angle

IDSC: Histogram for Each Point

θ1

5

Histograms for All Points

Angle

(see also Belongie et. al 2001)

Experiment I: Swedish Leaf Dataset

How often is the algorithm correct on first guess?• Combination of simple features: 82% [Söderkvist 01]• Fourier descriptors: 89.60%• SC+DP: 88.12%• IDSC+DP: 94.13%

The Swedish leaf dataset contains leaf images from 15 species. Each species has 75 leaves, 25 training and 50 for testing.

Experiment I: Swedish Leaf Dataset

Project III:

Designing User Interfaces and Prototypes

Devices

wireless audio

location sensor

see-throughhead-worn display

hand-held computer

orientationsensors

32

Augmented Reality Versions

Rep. John Tanner

33

Prototype: Tablet + Camera

+

34

Prototype: UMPC Version

35

Prototype: Mobile Phone Version

36

Not-There-Yet-Prototype: iPhone

Project IV:

Digitizing Regional Floras

Plummers Island, MD

Complete Collection of Vascular Plants

Plummers Island dataset contains leaf images from 249 species, with 5000+ images.

40

Woody Plants of DC Area

41

Complete Collection of All Woody Plants

DC Woody dataset contains 245 species, 10,000+ images

System Performance

Demo

Video Demo: UMPC Prototype

44

In Use by Botanists in the Field

44

What’s Next?

46

What’s Next?

Temperate Floras:

– Trees of Central Park, NYC (158 species)– Woody Plants of U.S., (5000+ species)

47

4848

4949

5050

5151

52

What’s Next?

Neo-Tropical Floras:

– Barro Colorado Island, Panama– Yasuni National Park, Ecuador

– Amazon River Basin, Brazil

Plant ID: Visual Search Criteria

Search Criteria– Shape – our current focus– Texture

– Venation

Venation

Texture

Shape

54

Venation

55

Three Neo-tropical Species from BCI

Insects: Electronic Field Guide