Aktif Kamera ile Gerçek Zaman Görüntülerde Hareketli Nesnelerin Bulunması ve Takip Edilmesi

Detecting and Tracking Moving Objects in Real Time Images via Active Camera

Murat Sürücü1, Dilek Sürücü1, Rıfat Hacıoğlu1

1. Elektrik-Elektronik Mühendisliği Bölümü Zonguldak Karaelmas Üniversitesi 67100 Zonguldak{msurucu,dileksurucu,hacirif}@karaelmas.edu.tr

ÖzetçeBu çalışmada gerçek zamanlı görüntülerde hareketli nesne takip yöntemleri incelenerek hareketli kamera donanımı ve yazılımı üzerinde durulmuştur. Hareketli nesne tespit ve takip yöntemleri, gürültü yok etme işlemi ile birlikte pan/tilt motorlara sahip aktif kamera içeren bütünleşik bir sistem oluşturulmuştur. Hareketli nesne takibi işlemi, bu amaç için kullanılan çerçeve farkı yönteminin iki yeni yaklaşıma uyarlanmasıyla yapılmıştır. Bu yaklaşımlar gecikmeli çerçeve farkı yöntemi ve köşe tespitli çerçeve farkı yöntemidir. Hareketli nesne tespiti için yapılan çerçeve farkı alma işlemi, birinci yaklaşımda belirli bir gecikme sonrası, sonraki yaklaşımda ise köşe tespit ve eşleştirme işlemleri sonrası yapılmaktadır. Son olarak gecikmeli çerçeve farkı yöntemi ve köşe tespitli çerçeve farkı yöntemi ile yapılan hareketli nesne takibi performansı karşılaştırılmıştır.

Abstract In this work, moving objects tracking methods in real-time images have been examined and emphasized on active camera hardware and software. An integrated system has been build together with moving objects detecting and tracking methods, noise reduction and active camera which includes pan/tilt servo motors. Moving object tracking process is achieved by adaptation of frame difference technique on two new approaches. These approaches are namely: delayed frame difference and edge detected frame difference approaches. Frame difference processes for moving object detection are accomplished after a specific delay for the first approach and after the edge detection and matching processes for the second approach. Lastly a performance analysis has been performed on moving object tracking considering the delayed frame difference and the corner detected frame difference approaches, and the results are compared.

1 GirişGörüntü işleme, verinin görüntüden oluştuğu sayısal işaret işleme türüdür. Çoğu görüntü işleme tekniği, görüntüyü iki boyutlu sinyal kabul ederek standart işaret işleme tekniklerinin bu işarete uygulanmasıyla geliştirilmiştir [1]. Bu çalışmada görüntü işleme içerisinde önemli bir yere sahip olan gerçek zaman görüntülerde hareketli nesnelerin bulunması ve takip edilmesi problemi üzerinde durularak,

yazılım ve donanımı ile birlikte entegre bir sistem oluşturulmuştur.

Günümüzde görüntü işleme, sabit bir görüntünün ayrıntılı analizinden (bilgisayarlı tomografi) hareketli görüntüdeki istenilen nesneleri takip etmeye (akıllı füze) kadar birçok amaca hizmet etmektedir. Gün geçtikçe daha performanslı ve daha tutarlı algoritmalar geliştirilmektedir. İşlemci hızlarının da artmasıyla birlikte görüntü işleme uygulamaları hayatımıza daha çok etki etmektedir.

Görüntü işleme uygulamalarında, işlenecek görüntünün analizini kolaylaştırmak için ana uygulamadan önce önişlem yöntemlerinin kullanımı genellikle tercih edilir. Bu yöntemler, görüntüdeki gürültüyü yok etme, nesne kesimleme, renk temelli filtreleme gibi işlemleri içerir [2-5].Bu yöntemler kullanıldığında başarım yükselebilmekte ve işlemci kullanım süresi düşebilmektedir. Yapılacak uygulamaya ve kullanılan donanıma uygun yöntem seçimi bu noktada önemlidir.

Görüntü işleme yöntemleriyle hareket tespiti ve takibigüvenlik ve robot görüsü gibi uygulamaların önemli bir bölümünü oluşturmaktadır. Hareketli kamera ve sabit kamera ile yapılabilen bu uygulamalar için farklı yöntemler izlenmektedir. Piccardi’nin [6] bahsettiği gibi sabit kameralardaki hareketli nesne tespitindeki problemler genellikle ışık değişimleri, kamera titreşimleri, gürültüler ve ağaç yaprakları gibi hızlı değişen artalana ait nesnelerden kaynaklanmaktadır. Hareketli kameralarla yapılan uygulamalarda ise sabit kameralı uygulamalarda karşılaşılan problemlere ilave olarak kamera hareketi sebebiyle artalanınkayması da büyük sorun oluşturmaktadır.

Kameranın hareketinden doğan artalan kaymasını düzeltmek için çeşitli çalışmalar yapılmıştır. Bunlardan Basu’nun [7] önerdiği yöntem, kameranın ne kadar hareket ettiğini kesin olarak bilmeye dayanmaktadır. Eğer kameranın taradığı açının büyüklüğü bilinirse, geometrik olarak artalanın bir sonraki konumda oluşturacağı kompozisyonu da tahmin edilebilir. Kameranın fiziksel pozisyonunu öğrenme şansının olmadığı, örneğin robot üzerinde bulunan kamera gibi uygulamalarda, görüntüdeki nesnelere ait bazı özelliklerin takip edilmesi gerekmektedir. Bu bağlamda nesnelerin şekilleri [2], kenarları [3], renkleri [4] veya köşe noktalarına göre [5] çeşitli çalışmalar yapılmıştır.

Kullanılan kamera sabit de olsa, hareketli de olsa son işlem olarak hareketi tespit veya hareketli nesneyi takip etmek için hareketli nesne ile artalan görüntüsünü birbirinden ayırmak gerekmektedir. Bu amaçla kullanılan çeşitli artalan fark alma yöntemleri bulunmaktadır.

764

SIU2010 - IEEE 18.Sinyal isleme ve iletisim uygulamalari kurultayi - Diyarbakir

978-1-4244-9671-6/10/$26.00 ©2010 IEEE

Bu çalışmada servo motorlar, USB web kamera ve USB mikrodenetleyici kullanarak ürettiğimiz donanım ve bu donanımı yöneten görüntü işleme yazılımının çerçeve farkı yönteminin hareketli kameraya uyarlaması olan gecikmeli ve köşe tespitli çerçeve farkı yöntemlerinin başarımı karşılaştırılmıştır.

2 Görüntü İşleme Bu bölümde, görüntü işlemede kullanılan temel işlemler, görüntüde bulunan gürültüyü yok etme yöntemleri, hareket tespiti ve nesne belirleme yöntemleri üzerinde durulacaktır.

2.1 Gürültü Yok Etme

Hareketli görüntülerde oluşabilecek farklı kaynaklardan gelen gürültüyü yok etmek için doğrusal ve doğrusal olmayan filtreler kullanılmaktadır. Buradaki doğrusal kelimesi, filtreleme işleminde komşu piksellerin sahip olduğu değerlerin doğrusal birleşimlerinin kullanıldığını tanımlamaktadır. Doğrusal filtrelere örnek olarak ortalama filtre ile Gauss filtre gösterilirken, doğrusal olmayan filtreye örnek olarak da orta değer filtresi verilebilir. Ortalama filtrenin frekans bölgesindeki karşılığı olan “Sinc” fonksiyonu yüzünden işlenen görüntüde bozulmalar olmaktadır. Bu bozulmaları önlemek amacı ile ağırlıklı ortalama veya Gauss filtreleri önerilmektedir [8]. Bu çalışmada kullanılan gürültü yok etme filtreleri hareketli nesne bulma işlemine yardımcı olan önişlem yaklaşımlarıdır.

2.2 Köşe Tanımlama

Görüntü işlemede köşe tanımlama, hareketli nesne takibinde olduğu gibi pek çok uygulama için de önem taşımaktadır [9]. Köşelerin tespiti sayesinde nesneler tanımlanabilmekte ve takip edilebilmektedir. Uzun yıllar boyunca çeşitli köşe bulma algoritmaları geliştirilmiştir. Moravec’in [10] önerdiği yaklaşımda ana fikir, köşe noktalarının etrafında ışık yoğunluğu farkı oluşmasına dayanmaktadır. Harris ve Stephens [11] köşe noktalarına ait yatay ve dikey türevlerinin oluşturduğu özilinti matrisinin (Denklem 1) determinantı ve izini kullanarak (Denklem 2) köşelik ölçüsü oluşturmuşlardır.

�� �

��

�

���

Ryx yyx

yxx

IIIIII

C,

2

2

(1)

� � � � � �CİzkCDetM yx2

, � (2)

Burada Ix, görüntünün ışık yoğunluğunu temsil eden I matrisinin x koordinatındaki türevi, Iy ise aynı I matrisinin y koordinatındaki türevidir. k katsayısı ise Harris ve Stephens [11] tarafından 0.14 olarak önerilen katsayıdır. Denklem 2’deki M matrisinin aldığı değerler sıfıra yakın ise ilgilenilen noktanın köşe ve kenar harici nokta olduğunu, sıfırdan küçük ise ilgilenilen noktanın kenar olduğunu, sıfırdan büyük ise de ilgilenilen noktanın köşe olduğunu anlarız. M matrisinin aldığı değerlerle tespit edilen örnek Şekil 1’de görülmektedir.

Şekil 1 Köşe tanımlama örneği.

2.3 Artalan Belirleme Yöntemleri

Hareket tespitinde ve hareketli nesne takibinde artalan seçimi en önemli adımlardan biridir. Artalan seçiminde amaç, hareketli nesneyi barındıran çerçevede bulunan hareketsiz alan ile ortak bir görüntüye sahip çerçeveyi seçebilmektir. Bu sayede hareketsiz olan ortak kısımlar haricinde kalan bölüm hareketli nesneyi bulmada veya hareket takibinde kullanılabilir.

2.3.1 Sabit Artalan Farkı

Sahneye ait çerçevelerden hareketli nesne barındırmayan biri sabit artalan seçilir. Hareketli nesne, o anki (i. zamanda) çerçeve ile sabit artalan arasındaki fark ile bulunur.

|Çerçevei-Artalan|>Th (3)

Burada Th eşik değeridir ve uygun seçilmez ise gürültüden etkilenme ve/veya hareketi tespit edememe gibi sonuçlar doğurabilir. Bu yöntemin uygulaması ile ilgili bir örnek Şekil 2’de görüldüğü gibi artalan, hareketli nesne ve sabit artalan ile farkı olacak şekilde verilmiştir.

Şekil 2 Sabit artalan farkı örneği.

2.3.2 Çerçeve Farkı

Çerçeve farkı yönteminde sahneye ait çerçevelerden (i. zamanda) hep bir önceki çerçeve (i-1. zaman) artalan olarak seçilir. Bu iki çerçeve arasındaki farka bakılarak belirli bir eşik değeri üstündeki değişim hareketli nesne olarak algılanır.

|Çerçevei-Çerçevei-1|>Th (4)

Bu yöntemin bir uygulaması Şekil 3’te i-1. çerçeve ile i. çerçeve ve bunların farkı olacak şekilde verilmiştir.

Şekil 3 Çerçeve farkı örneği.

765

SIU2010 - IEEE 18.Sinyal isleme ve iletisim uygulamalari kurultayi - Diyarbakir

3 Donanım Bu çalışmada amaçlanan hareketli nesne takibini gerçekleştirmek için yazılımla hareket ettirilebilen bir kamera düzeneğine ihtiyaç duyulmuştur. Hazır pan/tilt donanımlı kameraların maliyetinin yüksek olması ve ihtiyaca uygun donanım değişikliklerinin düşünülmesi sebebiyle donanım tasarımı yapılmıştır. Bu amaçla, elimizde mevcut olan USB kamerayı taşıyabilecek ve uygun hızda hareket ettirebilecek donanım oluşturulmuştur. Kamerayı zorlanmadan hareket ettirebilmesi için kullanılan motorlar yüksek torka sahip servo motor seçilmiştir. Ayrıca motor kontrol devresinin kamera ile aynı veri yolunu kullanması ve harici güç kaynağı gerektirmemesi için USB destekli olması tercih edilmiştir. Bütün bunlar göz önüne alınınca iki servo motordan oluşan pan/tilt motor aksamı ve USB destekli PIC mikrodenetleyiciden oluşan donanım oluşturulmuştur. Burada hareketli motorun tepki süresi denetleyici için hazırlanan yazılım ile belirlenmekte ve servo motor denetimi gerçekleştirilmektedir. Bu çalışmada kullanılan donanım Şekil 4’te görüldüğü gibidir.

Görüntü İşleme Programı Çalışan Bilgisayar

Kamera Açı KomutlarıM

otor Kontrolü

Görüntü

Şekil 4 Tasarlanan sistem donanımı.

4 Görüntü İşleme Yazılımı Hareketli nesneyi belirlemede karşılaşılan en büyük problem kameranın hareketinin ne zaman bittiğinin belli olmamasıdır. Kameraya pozisyon değişikliği komutu yollanması ile kameranın bu pozisyona ulaşması ve kalıcı duruma gelmesi arasında geçen süre, mevcut pozisyon ile gidilecek pozisyon arasındaki konum farkına bağlı olarak değişmektedir. Ancak kameranın titreşimi, hareket bittikten bir süre sonra daha devam ettiği için, pozisyona bağlı süre hesaplaması yeterli olmamaktadır. Bu sebeple hem motor hareketinin bitmesi için gerekli süreden güvenlik payı kadar fazla bekleyen gecikmeli çerçeve farkı yöntemi (GÇFY) üzerinde, hem de görüntünün belirleyici özelliklerini kullanarak hareketi tespit eden köşe tespitli çerçeve farkı yöntemi (KTÇFY) üzerinde çalışılmıştır.

4.1 Gecikmeli Çerçeve Farkı Yöntemi

Gecikmeli çerçeve farkı yöntemine dayalı algoritma, görüntü işlemenin kameranın hareketsiz olduğu düşünülen anlarda yapılmasına dayanmaktadır. Kameranın hareket etmediği düşünüldüğü anlarda seçilen artalan ve sonraki çerçeveler karşılaştırılarak hareketli nesne tespit edilir. Hesaplanan konuma gidilene kadar kameradan gelen veriler görüntü işlemeye tabi tutulmazlar. Kamera hareketi ve titreşiminin biteceği tahmin edilen süre kadar sonra artalan seçimi ve hareket tespiti alt programları tekrar aktive edilir. GÇFY’ne dayalı algoritma akış şeması Şekil 5’te görülmektedir.

4.2 Köşe Tespitli Çerçeve Farkı Yöntemi

Farklı açılardan alınan görüntüler için yapılan köşe belirleme işlemi sonucunda, takip edilebilen köşelerin konum farkları, kamera hareketinden kaynaklanan kayma ile uyumludur. Tespit edilen köşe hareketlerinin histogramı çıkartılarak hareketin çoğu köşe için durduğu an tespit edilmektedir. Hareketin bittiği çerçeve sonrası çerçeve farkı yöntemi kullanılarak hareketli nesne tespit edilmektedir Şekil 6’da KTÇFY’ne dayalı hazırlanan algoritma akış şeması görülmektedir.

Motorları başlangıç konumlarına

ayarla ve bekle

Geçerli çerçeveyi arkaplan olarak seç

Gerekli konuma ulaşmak için yeterli zaman geçti mi?

Programı sonlandır

EVETHAYIR

HAYIR EVET

Bir sonraki çerçeve ile arkaplanın farkını al

Hareket tespiti var mı?

Motorları gerekli konuma ayarla

Program sonlandırma isteği geldi mi?

EVET HAYIR

Şekil 5 GÇFY’ne dayalı algoritma.

Motorları başlangıç konumlarına ayarla ve bekle

Geçerli çerçeveyi arkaplan olarak seç

Programı sonlandır

EVET

HAYIR

Hareket tespiti var mı?

Motorları gerekli konuma ayarla

Program sonlandırma isteği geldi mi?

EVET HAYIR

Bir sonraki çerçeve ile farkını al

Köşe hareketi var mı?

HAYIREVET

Şekil 6 KTÇFY’ne dayalı algoritma.

766

SIU2010 - IEEE 18.Sinyal isleme ve iletisim uygulamalari kurultayi - Diyarbakir

5 Tasarlanan Sistemin Test Edilmesi Gerçek zaman görüntülerde gürültü yok etme gibi önişlemlerden geçirildikten sonra hareketli nesnelerin bulunması ve takip edilmesi amacı ile tasarlanan bu sistem kapalı bir ortamda test edilmiştir. Aktif kameranın normal hızla ilerleyen nesneleri tespit ederek takip edebildiği gözlenmiştir. GÇFY ile yapılan nesne takibinde elde edilen sonuçlar Şekil 7’de görülmektedir. Burada 6 çerçevelik sabit gecikme kullanılmıştır. Aynı zamanda KTÇFY ile elde edilen sonuçlar Şekil 8’de görülmektedir. Bu yaklaşımda ise 400 köşe eşlemesi yapılmıştır. Takip edilecek kişi normal ve hızlı adımlarla kameradan 1,5 metre mesafede, kameranın bulunduğu platforma paralel olacak şekilde geçişler yapmıştır. Normal adımla yapılan yürümelerde ortalama 0,59 m/sn’lik hız, hızlı adımlarla yapılan yürümelerde ise ortalama 1,22 m/sn’lik hız yapılmıştır. Sonuçların başarımı hareketli kişinin tamamının ekran içinde kalması ile ölçülmüştür. GÇFY ve KTÇFY ile normal ve hızlı adımlarla yürüyen kişinin takibinde her kategori için yirmi beş deneme yapılmıştır. Deneme başarımları Tablo 1’de görülmektedir. GÇFY algoritması, hareketli nesne tespiti ve takibinde daha başarılı sonuçlar vermiştir. Normal yürüme hızında %100 başarım, yüksek yürüme hızında ise %72 başarım göstermiştir. KTÇFY algoritması ise hareketli nesne tespitinde tutarsız bir başarım sergilemiştir. Normal yürüme hızında %68, yüksek yürüme hızında da %56 başarıma sahiptir.

Şekil 7 GÇFY’ne dayalı algoritma sonucu.

Şekil 8 KTÇFY’ne dayalı algoritma sonucu.

Tablo 1: Algoritmaların başarım karşılaştırmaları.

Algoritma Yürüme Hızı

Toplam Deneme

Başarılı Sonuçlar

Başarı Yüzdesi

GÇFY Normal 25 25 %100 GÇFY Hızlı 25 22 %72 KTÇFY Normal 25 17 %68 KTÇFY Hızlı 25 14 %56

6 Sonuçlar Bu çalışmada hareketli nesne tespiti için temel olarak çerçeve farkı yöntemi üzerinde çalışılmıştır. İki farklı algoritma ile çerçeve farkı yönteminin hareketli kameraya uyarlaması yapılmıştır. Bu algoritmalardan ilki gecikmeli çerçeve farkı yöntemi (GÇFY), ikincisi ise köşe tespitli çerçeve farkı yöntemidir (KTÇFY). GÇFY ve KTÇFY algoritmalarının test

edilmesi için kapalı ve yapay ışıklandırmalı ofis ortamında değişik hızlarda yürüyen kişinin takibi esas alınmıştır. GÇFY algoritması ön tanımlı sabit bir gecikme ile artalan ve çerçeve seçimi yapıyor olmasına rağmen, adaptif yaklaşıma sahip olan KTÇFY algoritmasından daha başarılı sonuçlar üretmiştir. Bunun ana sebebi ise KTÇFY algoritmasının yüksek işlem gücü gereksinimi ile algoritmaya bağımlı önlenemeyen hatalı köşe eşlemelerdir. KTÇFY algoritmasının iyileştirilmesiyle GÇFY algoritmasından daha iyi başarım sağlayabileceği düşünülmektedir. Bu iyileştirme, algoritmanın karmaşıklık derecesini düşürmeyi ve hatalı köşe eşlemelerini elemeyi içermelidir. Önerilen her iki yaklaşımda artalan tabanlı nesne takibi hedeflenirken farklı olarak nesnelerin şekilleri [2], kenarları [3], renkleri [4] veya köşe noktalarına göre de [5] çeşitli çalışmalar yapılmaktadır. Bu çalışmada amaç, genel olarak nesne takibine dayalı olduğu için nesne özelliklerini ön plana çıkaran diğer çalışmalarla kıyaslama yapılmamıştır. Gelecekte algoritmalar geliştirilerek daha kapsamlı uygulamalarda kullanılabilir. Özellikle akıllı sınıf, sunum, konferans gibi uygulamalar için yüz tanıma yöntemleri de algoritmalara dahil edilerek başarımı daha da arttırılabilir. Genel uygulamalara yönelik yazılmış olan algoritmalar, istenilen uygulamaya yönelik uygun önişlemlerden geçirilirse daha tutarlı ve hızlı işlem yapılabilir.

7 Kaynakça [1] Kang B. “A Review on Image and Video Processing”, International Journal of Multimedia and Ubiquitous Engineering, 2:49-63, 2007 [2] Loy G. and Barnes N. “Fast Shape-Based Road Sign Detection For A Driver Assistance System”, Intelligent Robots and Systems, pp. 70-75, 2004 [3] Kim K. K., Cho S. H., Kim H. J. and Lee J. Y. “Detecting and Tracking Moving Object Using An Active Camera”, Advanced Communication Technology, pp. 817-820, 2005 [4] Zuo F. and de With P. H. N. “ Real-Time Embedded Face Recognition for Smart Home”, IEEE Transactions on, Eindhoven Univ. of Technol., Netherlands, 51: 183-190, 2005 [5] Yu H., Ren C. and Qiao X. “A New Corner Matching Algorithm Based On Gradient, Signal Processing”, ICSP, pp. 1346-1349, 2008 [6] Piccardi M. “Background Subtraction Techniques: A Review”, IEEE international conference on systems, man & cybernetics, 4: 3099– 3104, 2004 [7] Basu A. “Active Calibration of Cameras: Theory and Implementation”, Telecommun. Res. Labs., pp. 256-265, 1995 [8] Seul M., O’Gorman L. and Sammon M. J. “Practical Algorithms for Image Analysis – Description, Examples, and Code”, Cambridge University Press, ISBN:0521660653, 2000 [9] Bastanlar Y. ve Yardimci Y. “Selecting Image Corner Points Using Their Corner Properties”, Signal Processing and Communications Applications, SIU IEEE 15th, Eskisehir, pp. 193-196, 2007 [10] Moravec H. P. “Towards Automatic Visual Obstacle Avoidance”, Proceedings of the 5th International Joint Conference on Artificial Intelligence, MIT, Cambridge, 584 pp., 1977 [11] Harris C. G. and Stephens M. “A Combined Corner and Edge Detector”, Proc. of Fourth Alley Vision Conference, Manchester, pp. 147-151, 1988

767

SIU2010 - IEEE 18.Sinyal isleme ve iletisim uygulamalari kurultayi - Diyarbakir