Review on Vehicle Detection Based on Video for Traffic Surveillance

Guolin Wang, Deyun Xiao, and Jason GuProceedings of the IEEE International Conference

on Automation and Logistics Qingdao, China September 2008

LUQMAN ABDUL MUSHAWWIRDipersiapkan Oleh

Isi

• Pendahuluan• Metoda seleksi region of interest (ROI)• Teknik deteksi kendaraan• Metoda untuk menghilangkan bayangan• Kesimpulan

PENDAHULUAN

Pendahuluan• Teknik deteksi kendaraan menjadi salah satu titik

lemah dalam pengawasan dan kendali lalu lintas– Meskipun banyak metoda yang dapat dipilih, seperti

supersonik, closed loop, radar, namun tidak dapat menyajikan informasi yang lengkap mengenai keadaan lalu lintas

– Deteksi melalui pemrosesan video menjadi lebih menjanjikan karena dapat menyelesaikan persoalan yang lebih kompleks dan dapat menyediakan informasi lebih banyak

• Deteksi kendaraan dengan pemrosesan video menjadi salah satu teknik menjanjikan untuk analisis data dan informasi lalu lintas

Penelitian Sebelumnya• Peneletian mengenai deteksi kendaraan berbasis

kamera video sudah dimulai dari akhir 1970an– Autoscope, sebuah sistem deteksi citra video diinisiasi di

University of Minnesota pada 1984• Kebutuhan untuk alat deteksi lalu lintas dengan biaya

pemasangan dan perawatan kecil namun dapat mengambil lebih banyak data aliran lalu lintas menjadikan pengembangan dari sistem deteksi berbasis computer vision– Pada tahun 1990, perbandingan yang dilakukan Minnesota

Department of Transportation menunjukkan bahwa deteksi berbasis kamera video lebih efektif dari segi biaya, namun

Peneletian Sebelumnya• Penilaian dari kondisi lalu lintas dapat digambarkan

dengan parameter:– Kecepatan rata-rata lalu lintas– Panjang antrian– Kerapatan lalu lintas

• Data ini dapat diambil dengan deteksi kendaraan dan teknik pelacakan– Teknik yang robust dan reliabel menjadi sangat penting

• Paper ini akan membahas mengenai deteksi dan pelacakan kendaraan berbasis kamera video– Dengan fokus pada sistem dengan kamera stasioner

dipasang pada jalan, bukan pada kendaraan

METODA SELEKSI ROI

Metoda Seleksi ROI

• Beberapa metode seleksi ROI telah diajukan dalam literatur, di antaranya:– Metoda frame subtraction (selisih antar frame)– Metoda background update (pembaruan latar)– Metoda virtual loop– Selain itu, ada juga metoda yang menggabungkan

metoda-metoda tersebut

Metoda Frame Subtraction• Menggunakan teknik threshold pada perbedaan antar

frame– Menggunakan perbedaan pixel atau blok antar frame pada

video• Teknik ini memanfaatkan perbedaan antara dua atau lebih

frame yang berurutan untuk memperoleh informasi ROI• Tujuan dari metoda ini adalah untuk mencari lokasi

kendaraan yang mungkin secara cepat untuk langkah deteksi dan pelacakan kendaraan selanjutnya

• Ada beberapa pendekatan, seperti metoda selisih antar frame, metoda pengujian statistika, dan metoda spatial markov random field

Metoda Selisih antar Frame• Metoda ini sangat populer

– Banyak digunakan untuk pemilihan ROI dalam computer vision• Mendeteksi daerah pergerakan objek dengan menghitung

selisih dari dua atau tiga frame yang berurutan– Untuk menentukan ROI, ditentukan kriteria batas (threshold)– Peta perbedaan biasanya di-biner-kan menggunakan threshold

tersebut• Keuntungan: mudah untuk diterapkan dan hanya sedikit

komputasi diperlukan• Kerugian: Efisiensi yang rendah, terutama ketika tidak ada

knowledge sebelumnya– Untuk mengatasinya, ada teknik adapted threshold

Metoda Pengujian Statistika• Terbatas pada keputusan pada pixel sebagai

lanjutan dari metoda sebelumnya• Mengasumsikan bahwa deteksi dari perubahan

temporal ekivalen dengan deteksi gerakan– Kelemahannya, hanya akan valid ketika perpindahan

besar muncul atau proyeksi objek cukup bertekstur– Untuk mengatasi kekurangan tersebut, diperkenalkan

filter dan mask untuk deteksi perubahan temporal (Gabor spatial-temporal change detectors)

– Dapat meningkatkan efisiensi dari algoritma deteksi perubahan, terutama ketika ada pengetahuan mengenai ukuran objek yang bergerak

Metoda Spatial Markov Random Field

• Diperkenalkan untuk mengatasi keterbatasan mengenai pengetahuan tentang ukuran kendaraan

• Pada metoda ini, deteksi pergerakan dianggap sebagai persoalan estimasi statistika

Metoda Pembaruan Latar (Background Update)

• Banyak digunakan untuk deteksi pergerakan dalam deteksi dan pelacakan kendaraan real-time

• Terdiri dari beberapa teknik– Metoda frame average– Metoda selective updating– Metoda minimum and maximum intensity value– Metoda mixture of gaussian– Metoda K-means clustering

Metoda Pembaruan Latar (Background Update)

• Pada pendekatan ini, perbedaan antara frame selanjutnya dengan citra latar yang terbentuk dihitung untuk mendeteksi objek-objek depan– Terdapat persoalan yaitu sangan sensitif terhadap

perubahan scene yang sangat dinamis karena pencahayaan dan kejadian lainnya

• Model latar yang robust banyak diajukan oleh peneliti untuk mengatasi persoalan tersebut, sekaligus memperbaiki efisiensi dan akurasi dalam memperoleh ROI

Metoda Frame Average• Metoda klasik dan terkenal untuk deteksi

kendaraan• Intinya adalah membangun frame latar untuk

memisahkan ROI dari citra sekarang kemudian ROI dapat dideteksi– Latar dibangun dengan menghitung rata-rata dari

beberapa frame yang berurutan– Kekurangannya adalah sulit untuk mendeteksi

kendaraan yang diam atau yang bergerak sangat lambat

– Kunci dari metoda ini adalah bagaimana memperbaharui latar secara adaptif

Metoda Selective Updating

• Untuk metoda ini, hanya daerah yang telah dipilih yang diperbaharui

• Wang mengajukan metoda yang memodelkan latar ke dalam daerah dinamis dan daerah quasi-static– Untuk memodelkan daerah quasi-static, digunakan

pendekatan eigen-space berbasis blok• Keuntungan dari metoda ini adalah lebih robust• Namun, harus memiliki pengetahuan mengenai

daerah yang diperbaharui

Metoda Minimum and Maximum Intensity Value

• Nilai intensitas minimum dan maksimum dan turunan maksimum terhadap waktu untuk setiap pixel digunakan untuk menginisialisasi model latar– Kemudian diperbaharui menggunakan kombinasi

metoda berbasis pixel dan objek– Kalman Filtering diajukan untuk menyesuaikan

variasi cuaca dan pencahayaan– Mixture of normal distribution dapat digunakan

untuk memodelkan sekuens citra latar

Metoda Mixture of Gaussian (MOG)

• MOG pada tingkatan pixel sangat efisien untuk memodelkan distribusi multi-modal dari latar– Dapat beradaptasi terhadap perubahan latar dan

mengimplementasi metoda secara real-time• Ide dasarnya adalah mengasumsikan bahwa observasi

seiring waktu pada suatu pixel tidak bergantung pada observasi pada pixel lain– Friedman dan Russell memodelkan nilai intensitas dari pixel

dengan menggunakan mixture dari tiga distribusi normal kemudian menerapkannya pada pengawasan lalu lintas

– Stauffer dan Grimson mempresentasikan metoda yang memodelkan intensitas pixel dengan mixture dari K Gaussian distribution

Metoda K-Means Clustering

• Analisis cluster dapat dilakukan pada ruang koefisien untuk membangun agregasi yang konsisten

• Dengan mempertimbangkan pixel yang berubah dalam daerah kendaraan, geometri kendaraan dapat diperkirakan

• Metoda ini tidak membutuhkan kalibrasi dari sekuens citra

Metoda Virtual Loop

• Menggunakan konsep inductive loop– Memonitor perubahan cahaya pada wilayah yang

ditentukan dalam frame– Biasanya pemilihan ROI dilakukan oleh manusia• Berupa jalur pada jalan raya

• Pemrosesan yang dilakukan menjadi cepat• Namun, sulit untuk di setup dan fungsinya

terbatas

TEKNIK DETEKSI KENDARAAN

Teknik Deteksi Kendaraan

• Masukan untuk teknik deteksi kendaraan adalah himpunan dari ROI yang telah dipilih

• Dapat dibagi menjadi tiga kategori:– Metoda berbasis pengetahuan, menggunakan

pengetahuan yang sudah ada untuk mendeteksi posisi kendaraan pada ROI

– Metoda berbasis pergerakan, mendeteksi kendaraan menggunakan aliran optik

– Metoda berbasis wavelet, menggunakan pendekatan wavelet neural network atau fungsi berbasis wavelet

Metoda Berbasis Pengetahuan• Menggunakan pengetahuan yang ada untuk

menentukan apakah ROI adalah kendaraan atau bukan

• Beberapa pendekatan menggunakan:– Simetri– Warna– Bayangan– Tepi vertikal/horizontal– Tekstur– Model 3D– Roda

Simetri

• Sebagai salah satu ciri khas benda buatan manusia, simetri telah digunakan dalam berbagai terapan deteksi objek dalam computer vision

• Pengamatan kendaraan dari kamera diam secara umum memiliki simetri baik pada arah horizontal maupun vertikal– Ciri inilah yang digunakan sebagai pembantu dalam

deteksi kendaraan• Kekurangannya adalah sensitif terhadap

gangguan

Warna• Meskipun sangat sedikit sistem yang menggunakan

warna untuk memperoleh informasi, namun warna merupakan tanda yang sangat berguna untuk deteksi kendaraan– Dapat digunakan untuk mencari jalur dan memisahkan

kendaraan dari latar– Segmentasi kendaraan dapat diperoleh dari selisih frame

sambil segmentasi warna• Y. Liu menerapkan kombinasi antara adaptive

background dengan pemetaan ruang warna HSV untuk beradaptasi dengan algoritma segmentasi fitur untuk mendeteksi objek bergerak pada scene luar ruangan dengan robust

Bayangan• Informasi bayangan dapat pula digunakan untuk

deteksi kendaraan– Area di bawah kendaraan lebih gelap daripada area lain

pada jalan aspal– Tzomakas dan Seelen menemukan bahwa bayangan di

bawah kendaraan merupakan tanda yang baik untuk deteksi kendaraan

• Berbagai metode diajukan untuk penggunaan dari bayangan yang bergerak untuk meningkatkan akurasi dari deteksi kendaraan– Cucchara et al menggunakan threshold berbasis

karakteristik ruang warna HSV– Xu menggunakan empat properti dari bayangan bergerak

Tepi Horizontal/Vertikal

• Kumpulan tepi horizontal atau vertikal pada citra dapat menjadi tanda yang baik untuk deteksi kendaraan– Deteksi berbasis gradien, seperti operator Sobel

dan Generalized Hough Transform (GHT)– Deteksi tepi morfologis• Memiliki kinerja lebih bagus• Menggunakan kombinasi dari operasi morfologi

matematis seperti dilatasi dan erosi• Menandai transisi tingkatan abu-abu dari citra masukan

Tepi Horizontal/Vertikal

• Memiliki masalah yaitu hilangnya informasi saat deteksi tepi– M Y Siyal mengajukan SMED (Separable

Morphological Edge Detector – Deteksi tepi morfologi yang dapat dibagi) untuk mengurangi ketergantungan pada arah tepi dan membuat deteksi kendaraan lebih robust

Tekstur• Keberadaan kendaraan pada citra akan menyebabkan perubahan

intensitas– Karena semua kendaraan kira-kira serupa, perubahan intensitas

tersebut membentuk sebuah pola tekstur tertentu– Informasi tektur ini digunakan untuk menemukan kendaraan yang

mungkin pada ROI• Entropi digunakan sebagai ukuran dalam deteksi tekstur

– Daerah yang memiliki entropi tinggi akan dimasukkan dalam pemrosesan selanjutnya

• Selain itu digunakan matriks kejadian untuk pemisahan berdasarkan tekstur

• Sun et al menggunakan klasifikasi Gabor untuk mengekstrak berbagai tekstur kemudian menggunakan SVM untuk klasifikasi

• Bertozzi et al menggunakan fitur pojok untuk membangun empat templat untuk mendeteksi kendaraan

Model 3D• Menurunkan pose 3D dari objek dengan memetakan data

citra kepada deskripsi model yang terkait– Salah satu keuntungannya adalah kemampuannya menangani

oklusi– Termasuk beberapa persoalan, seperti bagaimana memilih fitur-

fitur yang cocok pada citra dan model dan mencocokkan fitur tersebut

• Beberapa pendekatan untuk melakukan ini– Pencocokan graf, indexing dan invarian, batas konsistensi

viewpoint, neural network, pendekatan berbasis gradien, dll– Metoda-metoda tersebut berbasis mencocokkan fitur-fitur dua

dimensi, seperti titik, atau segmen garis dengan fitur-fitur 3D yang cocok

Model 3D• Peran besar dalam menghubungkan antara fitur

citra dan fitur model berada dalam verifikasi pose• Metoda verifikasi pose berhubungan dengan

pendefinisian matriks untuk menghubungkan keserupaan antara citra dengan model 3D– Karsten et al menggunakan latar yang terkalibrasi

untuk merekonstruksi lingkungan dalam 3D– Lou menguraikan pergerakan dari proyeksi model

menjadi dua gerakan, yaitu translasi dan rotasi– Ghosh et al mengajukan pencocokan 3D model untuk

klasifikasi kendaraan

Roda

• Beberapa literatur menggunakan roda untuk deteksi kendaraan, namun kelihatannya hanya efektif di siang hari saja, tidak di malam hari– Yoichiro et al mengajukan metoda untuk deteksi

malam hari, namun hanya berguna untuk kamera di sisi jalan, bukan di atas seperti biasanya

Metoda Berbasis Gerakan

• Selain fitur untuk membedakan kendaraan dari latar, kita juga dapat mendeteksi dengan gerakan kendaraan via kalkulasi dari aliran optik– Pixel pada citra seakan-akan bergerak, disebut

dengan aliran optik– Metoda deteksi kendaraan dengan ini

menggunakan karakteristik dari vektor dari objek bergerak seiring waktu, kemudian mendeteksi daerah pergerakannya

Metoda Berbasis Gerakan

• Meyer et al menghitung bidang vektor perpindahan untuk menginisialisasi algoritma pelacakan berbasis kontur

• Metoda ini dapat digunakan untuk mendeteksi kendaraan bergerak secara independen dari kamera– Namun, komputasi sangat kompleks dan sangat

sensitive terhadap noise– Sulit untuk menerapkannya dalam video analisis

tanpa bantuan perangkat khusus

Metoda Berbasis Wavelet• Transformasi wavelet merupakan kakas penting dalam

berbagai penerapan, seperti pemrosesan citra• Dalam deteksi kendaraan, gerakan dikarakterisasi

dengan seluruh spatio-temporal data 3D yang terbentang oleh kendaraan yang bergerak pada sekuens citra

• Metoda ini dapat memperoleh performa yang lebih baik dalam informasi spasial dan temporal dari gerakan kendaraan– Keuntungannya, kebutuhan komputasi yang rendah dan

implementasi yang sederhana– Namun, rentan terhadap noise

Metoda Berbasis Wavelet

• Wang mengajukan transformasi wavelet spatio-temporal untuk memperoleh informasi pergerakan kendaraan

• Pamula menganalisis keuntungan dari menggunakan kurva pengisi ruang untuk menghitung transformasi wavelet dari citra lalu lintas– Pixel yang sangat berkorelasi dapat disatukan dengan

memindai citra dalam kurva pengisi ruang • Yin et al mengajukan teknik gabungan antara

transformasi wavelet dan fitur informasi warna untuk identifikasi kendaraan

METODA PENGHILANGAN BAYANGAN

Penghilangan Bayangan• Pada sistem deteksi berbasis video, penghilangan

bayangan dilakukan setelah ditemukan ROI untuk deteksi

• Pengamatan umum oleh Xie:– Bayangan jatuh pada permukaan yang sama dengan

latar– Pixel-pixel bayangan lebih gelap daripada latar– Latar kebanyakan adalah permukaan jalan yang

biasanya monokrom, sehingga permukaan yang terkena bayangan memiliki nilai hue yang lebih kecil

– Pixel tepi dari bayangan biasanya lebih sedikit daripada kendaraan itu sendiri

Penghilangan Bayangan• Jiang dan Ward mengekstrak bayangan dari citra statis

dengan proses tiga tingkat• Cucchiara et al mengajukan metoda threshold berbasis

ruang warna HSV• Mikie et al dapat memisahkan bayangan dengan statistik

fitur warna, namun tidak menyertakan arah sumber cahaya• Yung dan Lai menggunakan model 3D pada bidang 2D

untuk memisahkan kendaraan dengan bayangan• Xu mengajukan algoritma berbasis empat properti dari

bayangan bergerak– Intensitas, selisih pada kerapatan gradien, pixel tepi, dll

• Hsieh et al mengajukan metode yang mempertimbangkan geometri bayangan

SIMPULAN

Simpulan

• Sistem pengawasan lalu lintas berbasis video merupakan salah satu komponen penting dalam ITS

• Beberapa persoalan praktis dihadapi– Pemilihan ROI– Deteksi kendaraan– Eliminasi bayangan

• Pada paper ini dijelaskan gambaran dari beberapa solusi yang telah diajukan untuk menyelesaikan persoalan tersebut