ONPLAN/GERIPLAN AYIRIMI AMACLI BIR BOLUTLEMEYONTEMI

A SEGMENTATION ALGORITHM FOR FOREGROUND/BACKGROUNDEXTRACTION

Rusen Oktem, 2Esin Guldogan, 3MoncefGabbouj

'Atilim Universitesi, Incek, TURKIYE2,3Tampere University of Technology, Tampere, FINLAND

rusengatilimedutr, esin.guldogan ti1 mongefgabbou atutfi

Ozet e ,cali*mada da (goreceli olarak) hizli bir ,ekilde otomatikgeriplan/onplan ayirimi hedeflenmektedir.

Bu qali*mada ui, a*amali bir bolultleme ve onu izleyenonplan/geriplan ayirim yontemi sunulmaktadir. Bolultlemenin 2. Bolutlemetemel amaci onplan/geriplan ayirimi oldugu i,in, kusursuz Daha.nce de belirtilmi. olduu gibi geli*tirmeye qali*tigimizyerine, odak nesneleri (.rnegin kullanicinin geriplandan bolultleme yonteminin kusursuz bolutleme ger,ekle,tirmesiayirmak, veya bir taramada kullanmak isteyecegi nesneler) ve beklenmemektedir. Hizli bir ekilde kabaca odak nesnelerigeriplani kabaca ayiran bir ilem hedeflenmektedir...... . . .< , , .......... ~~geriplandan ayirmasi ye geri kalan oinemsiz ya da ,cok ku,cukB1illtleme sonucunda olu*an b6lltlere, agirlik merkezinin nesneleri de geriplanla birle,tirmesi tercih edilmektedir.konumu, ,er,eveleyen dikd6rtgen koordinatlarinin konumu, Yu.ntemin gelitirilmesi a*agidaki g6zlemlere dayanmaktadiruzaysal daginimi gibi ,zniteliklerine g,o.re puanlar verilir. * Nesne sinirlari, genellikle bir ayrit haritasinda,Toplam puana gore onplan/geriplan b6lOtleri belirlenir. biti.ik pikseller olarak ortaya .ikmaktadirlar.

* Nesneler genellikle renkleriyle de geriplandanAbstract farkedilir bir ,ekilde ayrilirlar.

* Bir resimdeki geriplan ya da onplan nesnelerininThis paper describes a three-pass segmentation algorithm buitulnliugiu ,ogu zaman goruinuimlerini kismi olarakfollowed by a foreground/background extraction rule. Being engelleyen diger nesnelerden dolayi bozulur (maviimperfect, the basic objective of the proposed segmentation is gokyuzunu bolen bir aga, ya da direk gibi). Tercihto enable the extraction of objects that may be of main interest edilen, uzaysal biti,iklikleri bozulmu, olsa da buto the user, and the background. The formed segments are ,ekilde bolunmu,s nesne ya da geriplani tek birassigned points, according to the location of their center of bolut olarak elde edebilmektir.mass and bounding box coordinates, and spatial dispersion. Sunulan bolutleme yontemi u,c a,amadan olu*maktadir. IlkEach segment is labelled as foreground or background in a,ama, yonlu sinir piksellerini ele alir, bu sinirlarin ikicompliance with the grade point they get. yonundeki baskin renk bilgisini kullanarak sinir

kom*uluklarinda kulmeler olu,turur. Ikinci a,ama geri kalan1. Giris pikselleri en yakin kulmeye atar. U,cincul a,ama ise yakin olan

Bolutleme, hemen bultuln otomatik imge tanimlama kulmeleri birle,tirerek odak nesneleri ve geriplani olu,turanuygulamalarinda kullanilan onemli bir oni,lemdir [1]. bolutleri ortaya ,ikarir.Imgelere nesnelere dayali eri,imi saglar. Diger bir,ok imge 2.1 Yakinlik ol egii,leme yonteminde oldugu gibi, bolultleme yontemlerinin 2 Y ieiperformans tanimi da kullanima gore degi,ir. Bu qali*mada Bolultlemenin her u,c a*amasinda da, gerek pikselleri, gereksesunulan yontem temel olarak ,okluortam veritabanlarinda kulmeleri diger kulmelerle birle,tirmek i,in bir yakinliknesneye dayali dizinleme ve eri,im [2,3,4] uygulamalarinda o1l,citune ihtiya, olmaktadir. Iki pikselin ya da iki kulmeninkullanima yoneliktir. (okluortam veritabanlarinda dizinleme butunle,tirilmesinde, hem renk benzerligi, hem de uzaysalve eri,im yontemleri genellikle imgelerin global yakinligin etkin olmasi gerektigi du,sunuldugunden, ,u ,ekildeozniteliklerine dayali olarak geli,tirilmektedir. Oysa nesneye bir yakinlik ol,cegi kullanilmaktadirdayali oznitelik tanimlama kullanicinin odak nesneleri i,eren D aDC + (I - aFDSimgelere ula*imini daha da etkinle,tirebilecektir [5,6]. '(P1, K=( )L/uNesneye dayali oznitelik tanimlama i,in de bir bolultleme 2ci,lemine ihtiya, duyulmaktadir. Bir ba,ka deyi,le, kusursuz DC = \/(R R) +(G - -B1)2

I I I I "I I 11 I 1 1 I -V

olmamakla birlikte, kullanicinin odaklanmak isteyeceginesneleri kabaca geri plandan ayirmak gerekmektedir. Benzeri D,j=jx- ( y)ama,clarla geli,stirilmi,s olan Blobworld yointemi, boilltlemeyiv12ger,cekle,stirdikten sonra odak nesnenin kulanici tarafindan R, C, B ile sirasiyla kirmizi, ye,sil, ye mavi renk kanallari,belirlenmesini talep etmektedir. [6]'da oinerilen yointem ise P ile ij dizinli piksel, x, y ile ise uzaysal kordinatlarimgeyi tek bir geriplan ye tek bir oinplan nesnesineayirmaktadir ye zaman karma,sikligi oldukca yulksektir. Bu kastedilmektedir. Bir piksel degil de bir kulme soizkonusu

oldugunda x, y kulme agirlik merkezinin koordinatlarina, RGB

1-4244-0239-5/06/$20.OO ©2006 IEEE

Authorized licensed use limited to: Tampereen Teknillinen Korkeakoulu. Downloaded on February 8, 2009 at 04:40 from IEEE Xplore. Restrictions apply.

ise kulme medyan (ya da ortalama) rengine kar*ilik ele alinan kulmenin kardinaliyle ters orantili bir e,ik degerigelmektedir. ac bir dulzenge, parametresidir ve renk kullanilarak bu i,lem geri kalan kulmeler i,in tekrarlanir. Bubenzerliginin mi yoksa uzaysal yakinligin mi daha ,ok durumda kardinal degeri yulkseldik,e ba,ka bir kulme ilevurgulanacagini belirler. butunle,me de gu,cle,ir. Bu i,lem bir iterasyonda hi,bir

birle,me olmayincaya kadar devam eder. Eger birle,me2.2. Birinci Apama sonucu kalan bolult sayisi yeterince az degil ise e,ik degeriBu a,amadaki temel ama, nesne sinirlarindan ba*layip l<k<2 ,arpani ile ,arpilarak iterasyon yeniden ba*latilir.belirgin nihai bolutlerin sinirlarini yapilandiracak olan Ornek sonu, $ekil 4'de sergilenmektedir.kulmeleri belirlemektir. Bu nedenle oncelikle yatay, dikey, ..saga egik ve sola egik olarak gruplandirilmi* ,ekilde nesne 3. Onpian/geriplan karmsinirlari kabaca belirlenir ($ekil L.a-c). Sinirlarin Onplan/geriplan .ikarimi i.in inerdigimiz y6ntem a*agidabelirlenmesinde ayrit haritasi kullanilir; yalitik ve 8-baglantili siralanan gozlemlere dayanir:kom,ulugunda ba,ka bir ayrit pikseli bulunan ayrit pikselleri o Kullanicinin odaklanmak isteyecegi nesneleratilir [1]. Kullanilan yontem a*agidaki sozde (pseudo) kod ile genellikle resmin ortasinda yeralirlar.Oizetlenebilir o Onplan nesneleri genellikle resmin belirli bir

o Pk k'inci yatay sinir pikseli, Nk ve Nk ise bolgesinde odaklanirken, geriplan resmin bulyulk birPekil.l.a'da belirtildigi gibi bu pikselinust ye alt kismina yayilmi* olur.ekoml pikselertindigiee gibig o elsuns. o Geriplan genellikle resmin bir sinirindan digerkom,su piksellerini i,ceren bolgeler olsun.

snrn aa znr

k sinirina kadar uzanir.o KOme2k_renk = vekt6r_medyant N. }[7] Ilk iki gozlem dogrultusunda, resim 9 adet (3x3) e,it alanli

k dikdortgen bolgeye ayrilir. Her bir bolut agirlik merkeziKOme2k+1_renk= vekt6r_medyant NI } koordinatinin bulundugu dikdortgene gore ceza puani alir

\VIATk ($ekil 5.a). Ornegin tam ortadaki dortgen tarafindan i,eriliyoro VPi e g ise en du,suk puani, 0, alir. Daha sonra her bolutun daginiklikD pi,Kilme2k) < D( p,K0me2k±i ye faktorune bakilir. Bolult daginiklik faktoru, $ekil 5.a'dakiD(Pi ,Kllme2k) (Pi, Umt2k vedikdortgen alanlar tarafindan i,erilen ve o boluite ait olan

D(p ,Kllme2k) <thr ise, eleman sayisinin bolut kardinalinin 1/30'undan az oldugudikdortgen alanlarin toplami olarak hesaplanir.

KOme2k= KOme2k U{pi }KOme2k renk degerini gulncelle; NgKOme2k agirlik merkezini gulncelle; Nk

D(pi,Kllme2k) > D(pj,K0me2k+) ve -

D( Pj ,Kame2k+±) < thr ise, Pk

KOme2k+I= KOme2k+1 U pi{p } _ _ _

KOme2k +1 renk degerini gulncelle; N kKOme2k+1 agirlik merkezini gulncelle. a.I

Bu yontem her bir egik sinir ikseli icin ust sol (Njk) ve alt N

sag (Nf, ) kom,u b6lge, du,sey sinir pikselleri i,in de sag

(Nr ) ve sol (N7) kom,u bolge ($ekil lb-c) taranmakuzere uygulanir. Bu a,amada sadece uzaysal yakinligi Nkbulunan pikseller degerlendirildiginden cx renk yakinligini Nrvurgulayacak bir dulzeyde (mesela 0.9) olarak se,ilir. $ekil k C.

2'de bir imge icin birinci a,ama sonucu gorulmektedir. b.

2.3. ikinci aEamaBirinci a,ama sonucunda herhangi bir kulmenin elemani 5kil]. Sznirpikselleri ve komuluklarlolarak atanmami* bultuln pikseller en yakin kulmeye atanirlar. U,icncul gozlem dogrultusunda ise resim $ekil 5.b'dekiYakinlik o1l,egi olarak Bolum 2.1 'de verilmi, olan denklem bolgelere ayrilir. Her bir boluit, onu i,ine alan en kiiuikkullanilir. En yakin kulmeye atama i,lemine, kulme dikdortgenin ko,e koordinatlarinin yeraldigi bolgenin imgeelemanlarina baglantili piksellerden ba*lanir, ve bolge sinirlarina yakinligina gore cezalandirilir. Toplamda enbulyultme yontemi kullanilir. Bu a,ama sonucunda olu,an bir yulksek puana sahip bolut birinci derece geriplan, en du,skimge oirnegi $ekil 3'de sergilenmektedir. c~= 0.5 olarak puana sahip boilut ise birinci derece oinplan olarak belirlenir.

4. Sonuvlar2.4. U,cuincu AEamaU,cuncu a,sama kendi i,cinde iki fazdan olu,sur. Birinci fazda Sunulan yo$ntem Corel yeritabanindan [8] se,cilen farklikardinali (eleman sayisi) du,suik olan kulmeler kendisine en oizelliklerdeki imgeler uzerinde denenmi,stir. Fil, at, bina, dagyakin kulme ile bultunle,stirilir. Ikinci fazda ise, uyarlamali ye ye gul resimlerinden olu,san toplam 150 384x256 boyutlu

Authorized licensed use limited to: Tampereen Teknillinen Korkeakoulu. Downloaded on February 8, 2009 at 04:40 from IEEE Xplore. Restrictions apply.

imge kullanilmi*tir. Kullanilan imgelerden bir kismi sunulan nedeni ozellikle bu hayvanlarin renklerinin ,ogu zamanyontem ve Blobworld bolutleme yontemi [5] sonu,lari ile bulunduklari ortamdaki geriplana ,ok yakin olmasibirlikte sirayla $ekil 6.sol-orta-sag sultunlarda (sayisal ol,icm olarak) ve bu nedenle geriplandansergilenmektedir. Orta sultundaki bolutlerden beyaz bolge ayirdedilmelerinin gui, olmasidir. Bolutleme yontemionplani (odak nesne), gri bolge arkaplani, siyah bolge ise geri etkinliginin du,suklugunun geriplan ayirimini ,okkalan buitun boluitleri (genellikle bir ya da iki bolutun etkilemedigi, buna kar,sin onplan ayirimini onemli ol,cudebirle,imi) gostermektedir. Iki yontemin gorsel sonu,lari engelledigi gozlemlenmi,tir. Geli,tirdigimiz bu yonteminkar*ila*tirildiginda Blobworld yonteminin ama,lanandan daha daha etkin hale getirilerek bolut tabanli ,oklu ortamfazla bolutleme yaptigi, ozellikle at ve bina imgelerinde odak dizinleme ve eri,im amacli bir sisteme tulmle,tirilmesinesnelerin farkedilmesini gu,cle,tirdigi gozlenmektedir. hedeflenmektedir.Bolutleme yonteminin optimiize edilmemi, C ger,eklenimi384x256 boyutlu imgelerde, 1.7GHz i,lemci uzerindeortalama 3sn'de qali*maktadir. Blobworld kodu MATLAB 5. KaynakVager,eklenimi oldugundan (192x128 boyutlu imgelerde ldk15sn) hiz y6nilyle kar*ila*tirma mulmklln olamamaktadir. [1] R. C. Gonzales, R. E. Woods, Digital Image Processing,

Prentice Hall, 2003.Bolultleme ve geriplan/onplan algoritmalarinin etkinligini [2] MUVIS: A System for Content-Based Multimediasayisal olarak degerendirme i,in yaygin olarak kullanilan Indexing and Retrieval in Multimedia Databases:standart bir yontem olmadigindan biz ,u sistemi kullandik:

3 tland,vR.W.tPicbolultleme sonu,larini her bir imge i,in nesne sinirlarinin ,ok [3] A. Pentland, R.W. Picard, S. Sclaroff, "Photobook: toolsnet ayirdedildigi imgeye 3, hi, ayirdedilemedigi imgeye 0 for content based manipulation of image databases",vermek uzere 0-1-2-3 olarak puanlandirdik. Geriplan/onplan Proc. ofSPIE Storage and Retrievalfor Image and Videoayirimi sonu,larini ise hatali geriplan ve hatali onplan Databases II, 1994.belirleme sayilarini kaydederek degerlendirdik. Bu degerler [4] 5. F. Chang, W. Chen, J. Meng, H. Sundaram and D.Tablo I'de sunulmaktadir. Gorulduigu! gibi bolultleme yontemi Zhong, "VideoQ: An Automated Content Based VideoFil ve At grubunda en du,uk etkinligi gostermektedir. Bunun Search System Using Visual Cues", Proc. of ACM

Multimedia, Seattle, 1997.[5] http://elib.cs.berkeley.edu/blobworld/[6] B. Sumengen, B. S. Manjunath, "Category Pruning in

Image Databases using Segmentation and DistanceMaps", EUSIPCO 2005.

[7] J. Astola, P. Haavisto, Y. Neuvo, "Vector MedianFilters", Proc. of the IEEE, vol. 78, no. 4, pp. 678-689,1990.

[8] Wang J. Z., Li J., Wiederhold G., "SIMPLIcity:

5ekil 2. Dinozor imgesi ve birinci bolutleme Semantics-sensitive Integrated Matching for Pictureasamasinin sonucu. Libraries," IEEE Trans. on Pattern Analysis and Machine

Intelligence, vol 23, no.9, 2001.

8 3 813 11 13

3 35 0 5

5 5 58 2 8

a b5ekil 5. a) Agirlik konumu merkezine gore ve b) en kucukdikdortgen sinirlarinin konumuna gore ceza puani daglimz

eki 3. Ikinci b6iatleme a~amasinin sonucu. Tablo I. Bolutleme ve geriplanl6nplan aylrlm yontemininetkinligi

Dag Gul Bina At Fil

Bolultleme 2.9 2.8 2.3 1.8 1.4puani4atali 3/2 1 /4 2/4 2/9 2/12

1l i l ~~~~~~~Hatal10/6 313 6/13 6/30 6/40

5ekil 4. LJcunc boilatleme asamasznzn sonucu |Toplam |30 |30 |30 |30 |30

Authorized licensed use limited to: Tampereen Teknillinen Korkeakoulu. Downloaded on February 8, 2009 at 04:40 from IEEE Xplore. Restrictions apply.

I X1~~~~~~~~~~~~~~~~1

Sekil 6. ('orta) Sunulan yointem lile elde edilen geriplan (grit) ve oinplan(beyaz) sonuflar (sag) Blobworld lile elde edilen boluatler.

Authorized licensed use limited to: Tampereen Teknillinen Korkeakoulu. Downloaded on February 8, 2009 at 04:40 from IEEE Xplore. Restrictions apply.