observabilidad y predictibilidad en la...
TRANSCRIPT
ObservabilidadObservabilidad y y PredictibilidadPredictibilidad en la en la SuperSuper--Resolución Resolución
Del artículo “Del artículo “High Resolution Images from Compressed Low Resolution Video: MotHigh Resolution Images from Compressed Low Resolution Video: Motion Estimation and ion Estimation and Observable PixelsObservable Pixels””
Autores del artículo
VVisual isual IInformationnformation PProcessingrocessing GroupGroup
SeminarioL.D. Alvarez
Granada, 8 de Abril de 2004
A.K. KatsaggelosR. Molina
J. MateosL.D. Alvarez
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
IntroducciónIntroducciónNuestro objetivo es resolver el problema de la super-resolución de secuencias de vídeo comprimidas utilizando un marco bayesiano. ¿Qué más podemos aportar?
Una buena estimación del movimiento es fundamental.
Habrá píxeles que aporten a la hora de la reconstrucción y otros que no … ¿podríamos identificar dichos píxeles? … ¿qué aportaría el eliminar de la reconstrucción esos píxeles que no dan información útil? Una vez determinemos los píxeles ‘útiles’ modificaremos el sistema de adquisición para tener en cuenta sólo las observaciones ‘válidas’.
Como última sección de esta presentación se mostrarán algunos de los resultados obtenidos al incluir este concepto de observabilidad en nuestro método.
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
Sistema de AdquisiciónSistema de Adquisición
Partimos de una secuencia de vídeo comprimido de baja resolución (BRC) {yl de tamaño MxN}, que proviene de la secuencia de video de baja resolución captada (BR) {gl de tamaño MxN}. La secuencia original es de alta resolución (AR) {fl de tamaño P·MxP·N}.
La secuencia se comprime utilizando un sistema híbrido de compresión por compensación de movimiento.
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
BR BR ↔↔ ARARObjetivo: estimar la secuencia de imágenes de vídeo de AR: f={f1, f2,…, fL} (fl es (PMxPN)x1)Imágenes tomadas en rápida sucesión implica relacionadas temporalmente:
fl(a,b)=fk(a+dl,kx(a,b), b+dl,k
y(a,b))+nl,k(a,b) ≡ fl=C(dl,k)fk+ ρl,k
En la adquisición de la escena se produce un submuestreo (A) y un emborronamiento (H), con lo que la relación entre una imagen de AR (fl) y la correspondiente de BR (gl) es:
gl=AHfl+ηl
Uniendo las fórmulas anteriores relacionamos la l-ésima imagen de BR (gl) con la k-ésima de AR (fk):gl=AHC(dl,k)fk+ ςl,k donde ςl,k= ρl,k+ ηl es el ruido de adquisición
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
Hasta ahora tenemos la relación en la secuencia entre las imágenes de BR y las de AR:
gl=AHC(dl,k)fk+ ςl,k
El problema en este momento sería estimar fk dadas A, H y un conjunto de imágenes gl. Para conseguirlo necesitamos los vectores de movimiento en AR dl,k, que también tendrían que estimarse.
Pero el problema es más complejo, ya que no disponemos de las imágenes de BR sino que disponemos de ellas comprimidas (BRC).
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
BRC BRC ↔↔ ARARPosibilidades de codificación de una secuencia:
Codificación Intrafotograma codificar imagen a imagen.Codificación 3-D codificar bloques de frames (compresión temporal).Codificación Interfotograma codificar diferencias entre imágenes (compresión temporal).Codificación Híbrida extiende la codificación interfotograma añadiendo compresión espacial (compresión temporal y espacial). También llamada “motion compensated video coding”.
La secuencia a codificar se divide en grupos de imágenes (GOPs), y cada imagen puede codificarse de 3 formas: I (intra), P (predicted) y B (bidirectionally predicted). Utilizaremos imágenes I y P.
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
I(t-1) I(t) MC(I(t)
- -
DCT
Q
DCT-1
+
I*(t)
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
En la compresión híbrida por compensación de movimiento: para los fotogramas P la idea es predecir los bloques de la imagen a codificar utilizando una imagen previa; se hace la diferencia entre la imagen original y esa predicción; dicha diferencia se transforma y cuantifica. Al decodificador se envía la diferencia y los vectores de movimiento (1 por bloque).
l-ésima imagen de baja resolución comprimida (BRC)
l-ésima imagen de baja resolución (BR)
l-ésima imagen de baja resolución compensada por movimiento
( )[ ]{ } llll TQT mmgy +−= −1
ly
lg
lm
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
yl = T-1 { Q [ T(gl – ml) ] } + ml
Si T-1{Q[T(gl-ml)]} lo aproximamos por gl – ml + εQ,l(donde εQ,l es el ruido dominante, de cuantificación)entonces:
yl = gl – ml + εQ,l + ml = gl + εQ,l
El ruido de cuantificación aparece en la etapa Q, y dicha etapa se aplica en el dominio transformado (T), luego si rdom.espacial = T-1 rdom.transformado entonces:
cov(rdom.espacial) = T-1 rdom.transformado (T-1)T
El ruido de cuantificación εQ,l sigue una distribución normal de media 0 y matriz de covarianza KQ,l:εQ,l ~ N(0, KQ,l) siendo KQ,l = T-1 Kdom.transform (T-1)T
La estimación de KQ,l puede extraerse del bit-streamcorrespondiente a las imágenes comprimidas. La varianza para cada índice l es: σ2=ql
2/12 .
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
Teníamos que:yl = gl + εQ,l y gl=AHC(dl,k)fk+ ςl,k
de donde:yl = AHC(dl,k)fk+ ςl,k + εQ,l
Y puesto que εQ,l domina frente a ςl,k tenemos finalmente la relación entre las k-ésima imagen de AR y la l-ésima de BRC:
yl = AHC(dl,k)fk + εQ,l
La función de densidad para yl (siguiendo una distribución normal multivariada), P(yl|fk,dl,k) , queda:
P(yl|fk,dl,k)=exp[-½(yl–AHC(dl,k)fk)T KQ,l-1 (yl–AHC(dl,k)fk)]
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
yl = T-1 { Q [ T(gl – ml) ] } + ml
ml es la predicción compensada por movimiento de gl (formada compensando por movimiento imágenes anteriormente decodificadas).Dados fk y dl,k sería
ml = AHC(dl,k)fk+ τMV,l
donde τMV,l es el ruido debido a la predicción; KMV,l es la matriz de covarianza que describe el error entre la imagen de BR descomprimida y su estimación por compensación de movimiento.Tenemos queτMV,l ~ N(0, KMV,l) siendo KMV,l = T-1 Kdom.transform (T-1)T
Una estimación de KMV,l puede extraerse del bit-stream comprimido. Para cada índice l la varianza es σl
2=cl2+ql
2/12 .
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
La función de densidad para ml (siguiendo una distribución normal multivariada), P(ml|fk,dl,k) , queda:
P(ml|fk,dl,k)=exp[-½(ml–AHC(dl,k)fk)TKMV,l-1(ml–AHC(dl,k)fk)]
-------------------------------------
Ahora podemos modelizar el sistema de adquisición de las imágenes CBR y las imágenes de baja resolución compensadas por movimiento (MCBR) dadas las imágenes de AR (fk) y los vectores de movimiento en AR (dl,k) :
P(y,m|fk,d) = Πl [P(yl|fk,dl,k) P(ml|fk,dl,k)] para l=1,2,…,L
, y siendo m={m1, m2,…, mL} y d={d1,k, d2,k,…, dL,k}.
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
Tendremos para cada imagen de la secuencia:CodingType: 1Coded: 1IntraDC_VLC_Thresh: NaNInterlaced: 0TimeIncrement: 9VOP_Quantizer: 3ModuloTimeBase: 0VOP_RoundingType: 0VOP_FCodeForward: 1ACPredFlag: [9x11 double]MCBPC: [9x11 double]CBPY: [9x11 double]NoDCTFlag: [9x11 double]ShapeData: [1x1 struct]BeforeIQ: [1x1 struct]Quantizers: [1x1 struct]AfterIQ: [1x1 struct]AfterIDCT: [1x1 struct]Predicted: [1x1 struct]Reconstructed: [1x1 struct]MotionVectorX: [18x22 double]MotionVectorY: [18x22 double]
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
RegularizaciónRegularizaciónA priori podemos imponer algunas condiciones a las funciones de densidad que usamos para describir fky dl,k. En dichas condiciones reflejaremos cómo esperamos que sean las imágenes de AR y cómo creemos que serán los desplazamientos en AR.
Las imágenes de AR (particularizamos para la k-ésima) han de:
Ser suaves, tener sus regiones homogéneas (esta hipótesis falla en los bordes).No tener artificios propios de la compresión (tales como bloques o ringing).
Imponiendo ambas condicionesP(fk) = exp [ -½ ( λ1||Q1fk||2 + λ2||Q2AHfk||2 )]
Siendo Q1 y Q2 filtros paso alto y λ1 y λ2 pesos.
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
Los vectores de movimiento entre la k-ésimaimagen y las demás supondremos que son independientes (se podría ahondar en el estudio de esta afirmación ya que no es totalmente cierta); entonces:
P(d) = Πl P(dl,k)
A priori, el campo de movimiento entre dos imágenes de AR será suave (no habrá movimientos bruscos). Esta condición la podemos expresar como:
P(dl,k) = exp [ -½ ( λ3||Q3dl,k||2 )]
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
Píxeles Observables y PredeciblesPíxeles Observables y Predecibles
¿Son todos los píxeles válidos a la hora de la reconstrucción de una imagen de AR?.
Problema 1: Observabilidad.
Problema 2: Predictibilidad.
observabilidadobservabilidad
predictibilidadpredictibilidad
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
Problema: Problema: ObservabilidadObservabilidadl k
• Los píxeles situados dentro de la zona de puntos blancos no son PREDECIBLES a partir de la imagen k.
• El problema aparecerá en regiones que aparecen, partes ocluidas y zonas nuevas.
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
Problema: Problema: PredictibilidadPredictibilidadl k
• Una mala predicción de movimiento provoca una mala PREDICTIBILIDAD de la imagen l a partir de la k-ésima.
• En este caso aparecen dos zonas erróneas (ver qué sucede al hacer la diferencia entre las imágenes).
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
Queremos determinar qué píxeles de BR hemos de utilizar en la estimación de las imágenes de AR.
En el caso más simple, para estimar una imagen de AR (k) nos basamos en otra imagen de AR (l) que explica la primera. Pero habrá regiones de la imagen k que no sean observables o predecibles (aquí entra en juego la estimación de movimiento entre ambas) a partir de la imagen l.
Los píxeles que sean no observables o no predecibles no aportan nada al método de super-resolución.
Eliminaremos los píxeles no observables o no predecibles.
A partir de aquí por no observables entenderemos no observables y no predecibles.
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
Para calcular las regiones no observables necesitamos 2 imágenes de AR:
Una estimación fija de la l-ésima imagen de AR: o
La compensación por movimiento de la l-ésima imagen de AR a partir de la imagen k-ésima:
La observabilidad la determinaremos en función de la diferencia entre ambas imágenes.
Tendremos dos mapas de observabilidad diferentes, derivados de:
Las imágenes de BRC: yl
Las predicciones obtenidas por compensación de movimiento de las BRC: ml
Discusión: ¿Observabilidad calculada en BR o en AR?.
lyf
kklC fd ~)~( ,
lmf
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
Cálculo de los DFDs:
Determinación de la observabilidad de un píxel (m,n):
Si un píxel es no observable habrá que eliminarlo de las imágenes yl y ml (dependen de fl). Este es el siguiente problema, ¿cómo eliminar en las imágenes de BRC los píxeles marcados como no predecibles en las imágenes de AR?.
( )( ) ( ) ( )( )( )nmCnmnmDFD kklkkl ll,~~,,~,~, ,, fdffdf yy −=
( ) ( ) ( )( )( )nmnmnmDFD kklkkl ll,,),(~,~, ,, fdCffdf mm −=
( )( ) observablenoTnmDFD ykkll_,~,~, , ⇒>fdfy
( ) observablenoTnmDFD mkkll_),(~,~, , ⇒>fdfm
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
A partir de los DFDs calcularemos los mapas de observabilidad (que recogerán sólo los píxeles observables en BRC). Para ello:
1.- Obtener el DFDAR.2.- ErrorsMapAR contiene 1s si DFDAR>T y 0s en el resto.3.- Submuestreamos el ErrorsMapAR obteniendo un nuevo mapa de errores en BR (ErrorsMapBR).4.- Si un píxel en ErrorsMapBR es menor que 0.25 será observable; construimos así un mapa de 0s (píxel no observable) y 1s (píxel observable) en BR.
Ejemplos de mapas de observabilidad.
mapas mapas de de observabilidadobservabilidad yy
mapas de mapas de observabilidadobservabilidad mm
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
l AR l-k AR k AR
1.- DFDAR
Hacemos la diferencia en valor absoluto entre la imagen k fijada y la l estimada por compensación de movimiento.
Mejora: ponderar la diferencia
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
l AR l-k AR k AR
2.- ErrorMapAR=. DFDAR>Ty
Todo píxel con un valor mayor que un umbral dado (Ty) será no observable.
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
l AR l-k AR k AR
3.- ↓ErrorMapAR = . ErrorMapBR
Submuestreamos el mapa en alta resolución utilizando un filtro de medias. Tendremos así los píxeles observables en baja resolución.
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
l AR l-k AR k AR
4.- MapaObservabilidad = . ErrorMapBR<0.25
Serán considerados observables los píxeles cuyo valor sea menor de 0.25 en el mapa de errores.
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
1.- DFDAR
Hacemos la diferencia en valor absoluto entre la imagen k fijada y la lestimada por compensación de movimiento.
Mejora: ponderar la diferencia
l AR l-k AR k AR• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
2.- ErrorMapAR=. DFDAR>Tm
Todo píxel con un valor mayor que un umbral dado (Tm) será no observable.
l AR l-k AR k AR• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
3.- ↓ErrorMapAR = . ErrorMapBR
Submuestreamos el mapa en alta resolución utilizando un filtro de medias. Tendremos así los píxeles observables en baja resolución.
l AR l-k AR k AR• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
l AR l-k AR k AR
4.- MapaObservabilidad = . ErrorMapBR<0.25
Serán considerados observables los píxeles cuyo valor sea menor de 0.25 en el mapa de errores.
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
Tras calcular la observabilidad tenemos las imágenes yl
o y mlo que resultan de seleccionar de yl
y ml los píxeles que aportan algo a la reconstrucción (píxeles observables).Teníamos:
Y finalmente:
¿Cómo se verán afectadas estas distribuciones al introducir la observabilidad?.
P(yl|fk,dl,k)=exp[-½(yl–AHC(dl,k)fk)T KQ,l-1 (yl–AHC(dl,k)fk)]
P(ml|fk,dl,k)=exp[-½(ml–AHC(dl,k)fk)TKMV,l-1(ml–AHC(dl,k)fk)]
P(y,m|fk,d) = Πl [P(yl|fk,dl,k) P(ml|fk,dl,k)] para l=1,2,…,L
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
Ahora disponemos deyl
o l-ésima imagen de baja resolución comprida utilizando sólo los píxeles observables.
mlo predicción por compensación de movimiento de yl
o
(sólo píxeles observables).
Si yl pasa a ser ylo la diferencia yl–AHC(dl,k)fk se
convertirá en ylo–Al
oHC(dl,k)fk para mantener las dimensiones de las matrices.
Análogamente, de ml–AHC(dl,k)fk pasamos a tener ml
o–AloHC(dl,k)fk. (Las matrices Al
o no son iguales, ya que los mapas de observabilidad son diferentes).
Las matrices de covarianza también se ven afectadas:
KQ,l-1 pasará a ser (KQ,l
o)-1 .
KMV,l-1 pasará a ser (KMV,l
o)-1 .
matrices de matrices de covarianzacovarianza
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
Para cada imagen BRC tenemos los coeficientes de cuantificación (YBRC,CbBRC,CrBRC).La varianza de la cuantificación será (distribución uniforme): (ancho_intervalo_cuantificación)2/12. Si asumimos que el ruido en el dominio DCT es incorrelado y tiene las varianzas que acabamos de describir, entonces el ruido en el dominio espacial estará representado por la matriz de covarianzas. Si en el dominio espacial el ruido ha de seguir una distribución gaussiana, en el transformado también.A partir de las varianza, axb, construimos la matriz de covarianzas, de tamaño (a/8)·64x(b/8)·64. Cada bloque 8x8 de la matriz de varianzas se transforma en un bloque 64x64 en la matriz de covarianzas.Las transformaciones a cada bloque 8x8 son dos:
1º - Situar sus elementos en la diagonal del bloque 64x64.2º - Aplicar: T · diag(var8x8) · T-1
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
Quantizers.Y (axb) Quantizer VarianceCada valor q de Quantizers.Yes el ancho del intervalo de cuantificación, luego al ser una distribución uniforme, la varianza es: q2/12
8x8 blockQuantizer Variance block (64x64)
diag T · QVb · T-1
Covariance Matrix
block (64x64)
Covariance Matrix
(a/8)·64x(b/8)·64
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
KQ,l-1 y KMV,l
-1 se calculan de igual modo, la única diferencia es que al calcular KMV,l
-1 se suman a las varianzas de los cuantificadores las varianzas de los DFD transmitidos; o sea, las varianzas de los coeficientes transformados (cl).
KQ,l-1 → σ2 = q2/12
KMV,l-1 → σ2 = cl
2 + q2/12
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
Incluyendo los mapas de observabilidad en las funciones de distribución quedan:
P(ylo|fk,dl,k) =
exp[-½(ylo – Al
o HC(dl,k)fk)T (KQ,lo)-1 (yl
o – Alo HC(dl,k)fk)]
P(mlo|fk,dl,k) = exp
[-½(mlo – Al
o HC(dl,k)fk)T ( KMV,lo)-1 (ml
o – Alo HC(dl,k)fk)]
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
Ya hemos descrito el modelo de adquisición y las a priori, nuestro objetivo es encontrar:
P(fk) = exp [ -½ ( λ1||Q1 fk||2 + λ2||Q2AHfk||2 )]
P(dl,k) = exp [ -½ ( λ3||Q3dl,k||2 )]
P(ylo|fk,dl,k) = exp[-½(yl
o – Alo HC(dl,k)fk)T (KQ,l
o)-1 (ylo – Al
o HC(dl,k)fk)]
P(mlo|fk,dl,k) = exp [-½(ml
o – Alo HC(dl,k)fk)T ( KMV,l
o)-1 (mlo – Al
o
HC(dl,k)fk)]
Utilizamos descenso cíclico coordinado.
Estimación de las Imágenes de AREstimación de las Imágenes de AR
( ) ( )[ ]dfmydfdfdf
,|,,maxargˆ,ˆ,
koo
kk PPk
=( ) ( )[ ]dfmydd
d,ˆ|,maxargˆ 1 q
kooq PP=+
( ) ( )[ ]11 ˆ,|,maxargˆ ++ = qk
ook
qk PP
k
dfmyfff
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
0ˆ =qkf 0ˆ =qd
0ˆ~kk ff = 0ˆ~ dd =
( )( ) ( ) ( )( )( )nmCnmnmDFD kklkkl ll,~~,,~,~, ,, fdffdf yy −=
( ) ( ) ( )( )( )nmnmnmDFD kklkkl ll,~~,),(~,~, ,, fdCffdf mm −=
Iniciamos con una estimación inicial: y
Iteramos hasta convergencia:
Igualamos: y
( ) ( ) ( ) ( )( )[
( ) ( )( )]⎪⎭
⎪⎬
⎫+−+
⎪⎩
⎪⎨⎧
−∂
∂−=
−
−
=
+
)(,333
)(,
1,
)(,
1,
,
,,)(,
)1(,
ˆ
ˆˆ
)(,,
ikl
Tqk
ikl
ol
ol
olMV
qk
ikl
ol
ol
olQ
Tol
T
kl
qkklkl
dikl
ikl
iklkl
dQQfdHCAmK
fdHCAyKAHd
fdCdd
dd
λ
α
( )( ) ( ) ( ) ( )( )[( ) ( )( )] ( )
⎭⎬⎫
++−+
⎩⎨⎧
−−=
+−
+−
=
++ ∑
)(222
)(111
)(1,
1,
)(1,
1,
1
1,
)()1(
ˆ
ˆˆ
ik
ol
TTol
Tik
Tik
qkl
ol
ol
olMV
ik
qkl
ol
ol
olQ
L
l
Tol
TTqklf
ik
ik
fHAQQAHfQQfdHCAmK
fdHCAyKAHdCff
λλ
α
om
oy
)(1ˆ endk
qk ff =+
)(,
1,
ˆ endkl
qkl dd =+
q
i
i
1ˆ~ += qkk ff
1ˆ~ += qdd
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
ResultadosResultados
Ejemplo de reconstruccióna) Original de AR.
b) Interpolada de CBR.
c) Reconstrucción usando método. a)
c)b)
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados
Observabilidad y Predictibilidad en la Super-Resolución -- L.D. Alvarez -- Granada, 8 de Abril de 2004
Evolución del PSNR si sólo se utilizan mapas de
observabilidad para yl
Evolución del PSNR si se utilizan los dos mapas de
observabilidad para yl y ml
• Introducción
• Sistema de adquisición
• BR ↔ AR
• BRC ↔ AR
• Regularización
• Píxeles observables y predecibles
• Estimación de imágenes de AR
• Resultados