Построение карт глубины и сопоставление стерео

Построение карт глубины и сопоставление стерео

Сергей Матюнин

Video GroupCS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Содержание

Введение

Connectivity-slant

AdaptingBP

Cooperative Optimization

Сравнение

2


Only for Maxus

Введение

Вход: стерео-изображение Ищем функцию смещения d(x,y)

(disparity) d(x,y)~1/D(x,y), где D(x,y) – глубина

Очищенное (rectificated) стерео

3

Scharstein and Szeliski. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. IJCV 2002.


Only for Maxus

ВведениеСхема алгоритма

Вычисление функции стоимости

Суммирование стоимости

Вычисление/оптимизация карты смещения

Уточнение

4

Scharstein and Szeliski. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. IJCV 2002.


Only for Maxus


Введение

Connectivity-slant

AdaptingBP


Сравнение

5


Only for Maxus

Connectivity-slantПлоский мир

Модель глубины: кусочно-постоянная функция

Правильное смещение максимизирует площадь сегмента сопоставления и наоборот

Сегментация и сопоставление – только совместное решение

6Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.


Only for Maxus

Connectivity-slantПлоский мир

Распространение связности через горизонтальные границы



Only for Maxus

Connectivity-slant Однозначность и наложения

Соответствие «один к одному» для пикселей

Если нашли соответствие (Ileft, Iright) то пары (Ileft’, Iright) и (Ileft, Iright’) отбрасываем

Пиксели, которые не попали в какую-либо пару, помечаем как наложение



Only for Maxus

Connectivity-slantАлгоритм для плоского мира

Построчная обработка Для всех возможных значений δx:

Сдвигаем IL на δx. Полученное I'L сопоставляем с IR

Если есть горизонтальная граница, разрываем связность с предыдущей строкой

Строим связанные компоненты Находим веса Обновляем карту смещений, учитывая

ограничения единственности



Only for Maxus

Connectivity-slantАлгоритм для не плоского мира

N пикселей одного изображения соответствуют M пикселям другого

Нужно сопоставлять не точки, а интервалы



Only for Maxus

Connectivity-slantАлгоритм для не плоского мира

Сначала растянуть изображение, потом искать соответствие



Only for Maxus

Connectivity-slantГоризонтальный наклон

Рассматриваем линейную зависимость между точками левого и правого изображений

и характеризуют горизонтальный наклон Максимизируем длину сегмента, содержащего точку



Only for Maxus

Connectivity-slantBirchfield and Tomasi method


аналогично– ,

, , ,

},d{dd

)}(xI,II)(x,I{d

)}(xI,II)(x,I{d

II

)}(x),I(x),I(x{II

)}(x),I(x),I(x{II

)(xI)(xI)(xI)(xI

RL

RRRLRRR

LLRRLLL

RR

LLLLLLL

LLLLLLL

RRRRLLLL

min

0max

0max

2

1

2

1max

2

1

2

1min

2

1

2

1

2

1

2

1

minmax

minmax

maxmin

max

min

RL xx и между разность


Only for Maxus

Connectivity-slantОднозначность



Only for Maxus

Connectivity-slantГоризонтальный наклон

Построчное сопоставление

Максимизация связности по строке

Сопоставление интервалов

Ограничения единственности и наложений



Only for Maxus

Connectivity-slantАлгоритм

Для всех возможных коэффициентов растяжения mL и смещений ΔL: Растянуть IL на mL. Получить I'L

Найти dL по ΔL из уравнения ΔL=( mL – 1 ) xL + dL

Сопоставить I'L с IR, используя dL

Найти связанные сегменты и их веса Обновить карту смещений, учитывая

ограничения единственности

Аналогично для коэффициентов mL и ΔL



Only for Maxus

Connectivity-slantВертикальный наклон

17

Изменения по горизонтали

Есть наложение

Нет горизонтального наклона

Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.


Only for Maxus


18

Изменения по горизонтали

Нет наложения

Есть горизонтальный наклон



Only for Maxus


19

Изменения по вертикали

Есть вертикальный наклон или разрыв



Only for Maxus


20

Для надежности можно считать, что горизонтальная граница всегда признак разрыва

Если нет границы, то разрыв тоже может быть

Нужно использовать восстановление формы по текстуре, освещению и т. д.



Only for Maxus

Connectivity-slantРеализация

21

Скрипт для MATLAB

CPU Celeron 1.8 GHz

Cones – ~5 c



Only for Maxus

Connectivity-slantОригинал



Only for Maxus

Connectivity-slantGround truth



Only for Maxus

Connectivity-slantРезультат



Only for Maxus


Введение

Connectivity-slant

AdaptingBP


Сравнение

25


Only for Maxus

26

AdaptingBPСхема метода


Only for Maxus

27

AdaptingBPColor segmentation

Mean shift color segmentation

Излишняя сегментация предпочтительна

C.Yang et al. Mean-shift analysis using quasi-newton methods. ICIP 2003.


Only for Maxus

28

AdaptingBPMean Shift



Only for Maxus

29

AdaptingBPSelf-adapting dissimilarity measure

N(x, y) – окно 3 × 3

Nx(x, y) – окно без правого столбца

Ny(x, y) – окно без нижней строкиA. Klaus, M. Sormann and K. Karner. Segment-based stereo matching using

belief propagation and a self-adapting dissimilarity measure. ICPR 2006.


Only for Maxus

AdaptingBPSelf-adapting dissimilarity measure

Итоговая метрика

определяется максимизацией количества надежных соответствий (проверка left-to-right и right-to-left)

По надежным соответствиям можно определить уровень шума

30

A. Klaus, M. Sormann and K. Karner. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure. ICPR 2006.


Only for Maxus

31

AdaptingBPАппроксимация плоскостями

Используем только надежные соответствия

Нужна устойчивость к выбросам

Оценка проводится последовательно

по горизонтальным линиям

по вертикальным линиям

для всего сегмента



Only for Maxus

32

AdaptingBPАппроксимация плоскостями

Оценка горизонтального наклона: Надежные соответствия внутри одного

сегмента на одной горизонтальной линии Гистограмма δd/δx

Сглаживание гистограммы Выбор максимума («голосование»)

Оценка вертикального наклона Аналогично

Используем наклон плоскости для устойчивой оценки смещения сегмента



Only for Maxus

33

AdaptingBPУточнение

Для каждого сегмента и плоскости вычисляем стоимость:

d – смещение для плоскости P Для каждого сегмента выбираем плоскость с

наименьшей стоимостью Группируем сегменты по плоскостям Повторяем оценку плоскостей для полученных

групп



Only for Maxus

34

AdaptingBPУстойчивая оценка плоскостей

Ищем разметку сегментов

– множество соседних сегментов– штраф (длина общей границы и

похожесть цветов) Loopy Belief Propagation



Only for Maxus

35

AdaptingBPРеализация

CPU Athlon64 2.21GHz

14 – 25 с

Большая часть – сегментация



Only for Maxus

36

AdaptingBPОригинал



Only for Maxus

37

AdaptingBPGround truth



Only for Maxus

38

AdaptingBPРезультат



Only for Maxus


Введение

Connectivity-slant

AdaptingBP


Сравнение

39


Only for Maxus

40

Cooperative OptimizationСхема алгоритма

Z. Wang, Z. Zheng. A Region Based Stereo Matching Algorithm Using Cooperative Optimization. CVPR 2008.

Сегментация

Mean Shift

Начальная оценка смещения

(Adaptive correlation window

matching)

Оценка плоскостей смещения

Кооперативная оптимизация

(Cooperative Optimization)

Стерео

Карта

смещений


Only for Maxus

41

Cooperative OptimizationНачальное приближение

Суммирование функции стоимости в окрестности с весами

Вес зависит от принадлежности к текущему сегменту

Для соседних сегментов вес ненулевой



Only for Maxus

42

Cooperative OptimizationRANSAC

Повторяем заданное количество раз:

Выбираем k случайных элементов из n исходных

Строим по ним модель

Считаем количество элементов, удовлетворяющих модели (inlier)

Модель с наибольшим количеством inlierбудет результатом



Only for Maxus

43

Cooperative OptimizationУстойчивость к выбросам

Сравнение RANSAC и алгоритма голосования

Голосование более устойчиво


Количество ошибок

Эксперимент


Only for Maxus

44

Cooperative OptimizationИдея

Разбиваем задачу на подзадачи

Оптимизируем отдельно

Поддерживаем постоянными общие параметры

Повторяем до сходимости



Only for Maxus

45



))()()1((min)(

)(...)()()( 21

xEwxExE

xExExExE

j

ij

ijiiix

i

n

сегмента каждого ддляОптимизаци

:сегментам по суммы виде в энергию емПредставля


Only for Maxus

46

Cooperative Optimization Функционал энергии

и – множества видимых пикселейq и p – сопоставленные пиксели

Если смещение не целочисленное, интерполируем



Only for Maxus

47

Cooperative Optimization Наложения

– штраф за наложение

– количество пикселей с наложением



Only for Maxus

48

Cooperative Optimization Гладкость

– множество пикселей границы

– соседний пиксель с

d(p) и d(q) – смещение p и q

– константа-штраф



Only for Maxus

49

Cooperative Optimization Функционал энергии

На каждой итерации находим локальный минимум

Метод Пауэлла



Only for Maxus

50

Cooperative Optimization Оригинал


Only for Maxus

51

Cooperative Optimization 1-я итерация: e=516622.0


Only for Maxus

52

Cooperative Optimization 4-я итерация: e=467576.0


Only for Maxus

53

Cooperative Optimization Ground Truth


Only for Maxus

54

Cooperative Optimization Реализация

VC8.0

CPU PM1.6G

Tsukuba – ~20 с

4 итерации

Сегментация – 8 с



Only for Maxus


Введение

Connectivity-slant

AdaptingBP


Сравнение

55


Only for Maxus

56

СравнениеОригинал


Only for Maxus

57

СравнениеGround truth


Only for Maxus

58

СравнениеConnectivity-slant


Only for Maxus

59

СравнениеAdaptingBP


Only for Maxus

60

СравнениеCoopRegion


Only for Maxus

61

СравнениеGround truth


Only for Maxus

62

Сравнение

http://vision.middlebury.edu/stereo/eval/

АлгоритмОшибка

Время работыTsukuba Venus Teddy Cones Среднее

AdaptingBP 1.11 0.10 4.22 2.48 4.23 14–25 с (осн. –

сегментация)

CoopRegion 0.87 0.11 5.16 2.79 4.4120 с (8 с –

сегментация)

DoubleBP 0.88 0.13 3.53 2.90 4.19

GC+occ 1.19 1.64 11.2 5.36 8.26

Connectivity-

slant1.77 3.00 - - - 5 с


Only for Maxus

Список литературы


A. S. Ogale, Y. Aloimonos. Shape and the stereo correspondence problem. International Journal of Computer Vision, vol. 65, no. 3, 147-162, 2005.

D. Scharstein and R. Szeliski. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. International Journal of Computer Vision, 2002.



Scharstein and Szeliski. Middlebury Stereo Evaluation. http://vision.middlebury.edu/stereo/eval/

63


Only for Maxus

64

Вопросы

?

Построение карт глубины и сопоставление стерео

Documents

stereo correspondence

maxus connectivityslant

maxus connectivityslant

maxus connectivityslant

stereo matching

belief propagation

iright ileft

ydisparity dx