Оценка уровня шума

09.09.2010 1

Оценка уровня шума

Борис Кумок

Video GroupCS MSU Graphics & Media Lab

MSU Graphics & Media Lab (Video Group) 2

Содержание доклада

Введение

Wavelet MAD

MBE

Trained moments

CDF

Block-based Classic

Structure-oriented

Temporal SO

Сcылки


Введение

Определение уровня шума требуется для:

Подавление шума

Сжатие видео

Сегментация

Определение границ

Для большинства приложений критична

точность оценки, а для видео еще важна

скорость.

MSU Graphics & Media Lab (Video Group) http://en.wikipedia.org/wiki/Normal_distribution 4

Постановка задачи

По входному изображению определить уровень шума.

Полагая, что шум является белым с нормальным

распределением (AWGN), сведем задачу к

определению σ.

22

2

2

1)(

x

exp



Введение

Wavelet

MAD

MBE

Trained moments

CDF

Сравнение

Block-based

Ссылки

MSU Graphics & Media Lab (Video Group) D.L.Donoho, De-noising by soft-thresholding, IEEE Trans, 1995 6

MAD

Для всех блоков

изображения

посчитаем MAD и

положим σ

пропорциональной их

медиане.

|))((|MAD ii xmedianxmedian

))(MAD(*483.1 imedian

MAD блоки

Изображение

MSU Graphics & Media Lab (Video Group) D.L.Donoho, De-noising by soft-thresholding, IEEE Trans, 1995 7

MAD

Т.к. необходимо вычислять медиану, метод

работает медленно. Кроме того, он требует

дополнительную память.

Один из самых часто применяемых методов.

Существует несколько модификаций для

работы в разных пространствах.



Введение

Wavelet MAD

MBE

Идея

Построение модели

Метод максимального правдоподобия

Метод соответствия моментов

Trained moments

CDF

Сравнение

Block-based

Ссылки

MSU Graphics & Media Lab (Video Group) Training methods for image noise level estimation on wavelet

components. EURASIP Journal on Applied Signal Processing, 20049

MBEИдея метода

Построим модель зашумленного изображения.

Используем ее для оценки уровня шума.

Построение модели

Оценка шума

Метод максимального правдоподобия

Метод моментов



MBEПостроение модели

Гистограмма вейвлет коэффициентов

чистого изображения похожа на

лапласиан.

|)|/2(

2

1)(x

imageu

u

exp

Предполагаемое распределение



MBEПостроение модели

duuypupyp )()()(2121

)2/(

2

122

)( v

v

x

noise exp

|)|/2(

2

1)(x

imageu

u

exp

2

2

2

2erfcerfc

2)(

2

vu

vu

vu

vu

uv

xxxx

v

noiseimage eee

xp

Построим модель зашумленного изображения.

Модель распределения вейвлет

коэффициентов чистого изображения Плотность шума

Модель распределения коэффициентов

зашумленного изображения



MBEМетод максимального правдоподобия

Оптимальное решение можно получить методом

максимального правдоподобия.

),(maxarg)(

xLx

),(),( inoiseimage xpxL

Аналитического решения данная задача не

имеет. Численное решение – очень медленно.

Функция правдоподобия



MBEМетод моментов

Не оптимальный, но более

быстрый метод моментов

позволяет получить

результат за один проход.

)(xp noiseimage 22

2

2

vumxE

2222

4

4 636 vuvumxE

1

3

11

2

2

42

2

m

mmv

k

Nk ixm )(1

Решим систему и заменим

теоретические моменты на

выборочные.



Введение

Wavelet MAD

MBE

Trained momentsОписание

Обучение

CDF

Сравнение

Block-based

Ссылки



Обученные моменты

Развитием предыдущего метода может быть учет иных статистик кроме 2 и 4 моментов.

442211MMM

1244

122

11

mmmM

mmM

mM

Выбор подходящих коэффициентов αk

осуществим путем обучения алгоритма.

k

Nk ixm )(1



Обучение алгоритмаМетод наименьших квадратов

Возьмем набор n изображений xi с известным

уровнем шума yi и применим метод

наименьших квадратов.

xMx kk

Для нахождения хороших коэффициентов алгоритм необходимо предварительно обучить.

MSU Graphics & Media Lab (Video Group) Вводные лекции по численным методам. А.П.Костомаров,

А.П.Фаворский.17

Обучение алгоритмаМетод наименьших квадратов

Найдем коэффициенты αk, при

которых суммарная

квадратичная погрешность J

минимальна.

m

k

kk xxF0

)()(

n

i

ii xFyJ0

2

n

i

iill

n

i

ikillk

l

m

k

klk

yxb

xx

mlb

0

0

0

,

,,,1,0 ,

Получим СЛАУ с m

неизвестными,

которую можно

решить, например,

методом Гаусса.



Введение

Wavelet MAD

MBE

Trained moments

CDFВведение

Алгоритм

Обучение

Сравнение

Block-based

Ссылки



CDFВведение

Будем использовать

cdf(x) для определения

уровня шума.x

xcdf

меньшей дисперсией

с пикселей количество - )(

Изображение Локальная дисперсия cdf(x)



CDFАлгоритм

Вычислим cdf(x0) и по таблице найдем соответствующее

значение σ.

cdf(x0) σ

m1 1

m2 2

… …

σ

Создание таблицы и выбор точки x0

происходят на этапе обучения

алгоритма.

N

k

k

ll xcdfN

xm1

1

Среднее значение cdf(x)

среди изображений с σ = l.



CDFОбучение

Не все точки графика дают надежную оценку.

Найдем наилучшую.

cdf(x) изображений с σ = 0 cdf(x) изображений с σ = 25



N

k

k

ll xcdfN

xm1

1

CDFОбучение

На обучающем наборе изображений с известной σ шума выберем точку x0, наиболее надежную для классификации.

xx

xmxmxf

ll

ll

ll

21

21

21 ,

ji

jix

xfx,

,0 )(maxarg

N

k

l

k

ll xmxcdfN

x1

22 1

Среднее значение cdf(x)

среди изображений с σ = l.

Дисперсия cdf(x) среди

изображений с σ = l.

Степень различимости cdf(x)

между уровнями l1 и l2.



Сравнение

Методы основанные на обучении дают более

хороший результат.



Введение

Wavelet

Block-based

Classic

Structure-oriented

Temporal SO

Ссылки

MSU Graphics & Media Lab (Video Group) S.I. Olsen. Noise variance estimation in images. In In 8 th Scandinavian

Conference on Image Analysis, Norway, 1993.25

Блочный метод

Разобьем изображение на блоки (7х7) и выберем из них N штук с наименьшей дисперсией. Положим σ равной их усреднению.

блока ого-k дисперсия 2 kB

N

k

B

k

kN 1

22 min1

N – фиксированная часть общего числа блоков.

MSU Graphics & Media Lab (Video Group) S.I. Olsen. Noise variance estimation in images. In In 8 th Scandinavian

Conference on Image Analysis, Norway, 1993.26

Блочный метод

Метод является одним из самых

быстрых и требует мало

дополнительной памяти.

Для оценки уровня шума

используются «гладкие» области.

Если таких областей нет,

точность резко падает.

Дисперсия



Введение

Wavelet

Block-based

Classic

Structure-oriented

Temporal SO

Ссылки

MSU Graphics & Media Lab (Video Group) Fast and reliable structure-oriented video noise estimation A. Amer and

E. Dubois. IEEE Trans vol.15, pp. 113–118, January 200529

Структурный

Дисперсия – не лучший способ определить

гладкость блока.

Воспользуемся детектором границ.

121 iIiIiIiIk

i k

kB iI8

1

Мера гладкости блока.

Сумма сверток по всем

направлениям для

каждого пикселя блока.

I1 I2 I3 I4

I5 I6 I7 I8

Свертка {-1 -1 … (w-1) … -1 -1}




Усредним дисперсию N

наиболее гладких блоков.

N

h BhN 1

22 1

Дополнительно наложим ограничение на

слагаемые.

TRh BB 22

constT

hmedianhR BB

3,2,1:22

Bh – h-ый гладкий блок




При вычислении ξB можно

учитывать не все пиксели, а

только каждый s-ый.

i k

kB iI8

1

Метод работает в 4

раза быстрее, чем

блочный и дает

лучший результат.



Введение

Wavelet

Block-based

Classic

Structure-oriented

Temporal SO

Ссылки

MSU Graphics & Media Lab (Video Group) M. Ghazal, A. Amer, and A. Ghrayeb, Structure-Oriented Spatio-

Temporal Video Noise Estimation, IEEE 200633

Структурный методРасширение

Применим структурный

метод к видео.

Будем хранить

несколько кадров. Из

них образуем 3D блок,

который разобьем на

набор кубов.

Детектор границ теперь

работает еще и как

детектор движения.



Структурный методРасширение

Блоки могут быть

гладкими во времени (low-

motion), но совсем не

гладкими пространственно

(текстура). Поэтому меры

гладкости не

смешиваются, для

каждого из направлений

есть своя.2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

2

n

V

i

V

n

V

j

V

j

V

i

V

n

V

n

V

j

V

i

V

ZT

VT

S

T

ST



Структурный методРасширение. Алгоритм.

1. Для каждого направления:

Выбрать N наиболее гладких по этому

направлению блоков.

Для каждого выбранного блока

Если блок гладок в S (T), то дисперсия в нем равна

среднему дисперсий по слоям S (T).

Если блок гладок в ST, VT или ZT, то дисперсия

считается по всему блоку обычным образом.

Дисперсия направления равна среднему (или

медиане) дисперсий блоков.

2. Сигма шума равна среднему (медиане)

дисперсий по направлениям.



Дисперсия

для направления

Медиана блоков одного направления

Дисперсия блоков

Набор N блоков

гладких по направлению.

Структурный методРасширение. Алгоритм.

Найти N наиболее гладких блоков

Дисперсия по всему

блоку

S T ST VT ZT

Дисперсия в слоях

Усреднение

Медиана

σS σT σST σVT σZT

σ

Для каждого направления



Структурный методРасширение. Сравнение.

Метод требует много дополнительной памяти,

но его точность значительно выше, чем в

других методах.



Введение

Wavelet MAD

MBE

Trained moments

CDF

Block-based Classic

Structure-oriented

Temporal SO

Ссылки


Список литературы

1. S.I. Olsen. Noise variance estimation in images. In In 8th Scandinavian Conference on

Image Analysis, Norway, 1993.

2. D.L.Donoho, “De-noising by soft-thresholding,” IEEE Transactions on Information

Theory, vol. 41, no. 3, pp. 613–627, 1995

3. De Stefano, A., White, P.R. and Collis, W.B. (2004) Training methods for image noise

level estimation on wavelet components. EURASIP Journal on Applied Signal Processing,

2004, (16), 2400-2407.

4. D.-H. Shin, R.-H. Park, S. Yang, J.-H. Jung, "Block-based noise estimation using adaptive

Gaussian filtering", IEEE Trans. Consumer Electronics, vol. 51, no. 1, pp. 218–226, Feb.

2005

5. A. Amer and E. Dubois, “Fast and reliable structure-oriented video noise estimation,”

IEEE Transactions on Circuits and Systems for Video Technology, vol.15, pp. 113–118,

January 2005.

6. M. Ghazal, A. Amer, and A. Ghrayeb, "Structure-Oriented Spatio-Temporal Video Noise

Estimation", in Proc. IEEE Int. Conference on Acoustics, Speech, and Signal Processing

(ICASSP), Toulouse, France, May 2006, pp. 845-848.


Вопросы

?

Оценка уровня шума

Documents

u x pimage x

cdfcdf x x cdfx

epnoise x

ml1 x ml2 x nml x cdf

image noise level estimation

wavelet block

pimage noise x e erfc

x n x 1x0 arg max f