fusión de imágenes de satélites de muy alta resolución · 2011-06-10 · estado del arte...

Estado del arte

Anabella Medina Machín

Mayo 2011

Fusión de imágenes de satélites de muy alta

resolución

Máster Universitario en Tecnologías de Telecomunicación

Fuentes de información

● Remote Sensing of Environment● ISPRS Journal of Photogrammetry and remote

sensing ● IEEE Transactions on geoscience and remote sensing● IEEE Geoscience and remote sensing letters ● Photogrammetric engineering and remote sensing

international journal of remote sensing

● Introducción● Algoritmos de fusión de imágenes● Índices de calidad● Inventario de cubiertas vegetales● Conclusiones● Bibliografía

Contenidos

Introducción

● Objetivos ● Fuente de datos ● Características de las imágenes de satélites● Satélites de alta resolución● Preprocesado de datos crudos

Fuente de datos

Satélites de muy alta resolución

Características de las imágenes

Diferentes resoluciones

● Resolución temporal

● Resolución espacial

● Resolución radiométrica

● Resolución espectral

Diferentes resolucionesResolución espacial

Resolución espectral

Resolución radiométrica

Satélites de muy alta resolución

● Ikonos

● QuickBird

● GeoEye-1

Satélite IkonosFecha de lanzamiento 24 Septiembre 1999

Propietario GeoEye

Peso 720 Kg

Altitud 681 Km

Sensor PAN 1 m

Sensor MS 4 bandas, 4 m

Ancho de barrido 11,3 Km (nadir), 13,8 Km (26º off-nadir)

Tiempo de revisita 1 a 3 días

Tamaño de escenaPedido mínimo 49 Km2 de archivo y 100 Km2 de programación

Resolución radiométrica 8 ó 11 bits/píxel

Satélite QuickBird

Fecha de lanzamiento 18 Octubre 2001

Propietario DigitalGlobe

Peso 900 Kg

Altitud 450 Km

Sensor PAN 0.7 m

Sensor MS 4 bandas, 2.8 m

Ancho de barrido 16.5 Km

Tiempo de revisita 1 a 3.5 días

Tamaño de escena

16 X 16 KmPedido mínimo 25 Km2 de archivo y 90 Km2 de programación

Resolución radiométrica 11 bits/píxel

Satélite GeoEye-1Fecha de lanzamiento 6 Septiembre 2008

Propietario GeoEye

Peso 1959 Kg

Altitud 681 Km

Sensor PAN 0.41 m

Sensor MS 4 bandas, 1.65 m

Ancho de barrido 15.2 Km

Tiempo de revisita Menos de 3 días

Tamaño de escena Pedido mínimo 49 Km2 de archivo y 100 Km2 de programación

Resolución radiométrica 11 bits/píxel

Preprocesado datos crudos

● Corrección atmosférica

● Restauración de líneas o píxeles perdidos

● Corrección del bandeado de la imagen

Correcciones geométricas

Correcciones radiométricas

● Corregistración: la geometría de una imagen se convierte a planimétrica

● Georeferenciación: es el proceso mediante el cual se determinar de forma precisa la posición geográfica de los píxeles de la imagen.

Métodos de fusión de imágenes

● Objetivo● Esquema general● Ajuste radiométrico ● Métodos basados en operaciones algebráicas● Métodos basados en sustitución de componentes● Métodos basados en TWD

PAN 0.7m MS 2.8 m

● Mejorar la identificación visual● Mejorar procesos de segmentación● Mejorar la clasificación de texturas en imágenes

FUSIONADA 0.7m

Objetivos de la fusión

Objetivos de la fusión

Esquema general

Proceso general de fusión

Ajuste radiométrico Igualar el histograma de la PAN al de cada una de las bandas de la MS

• Ajuste de histograma basado en la distribución acumulada de frecuencias

• Ajuste basado en medias y desviación típica: trata de igualar estadísticas como la media y la desviación típica

NDPANX=a⋅NDPANb a= X

PAN, b=X −

X

PAN⋅PANdonde

NDPANX

, son los niveles digitales de la imagen PAN transformadaND

PAN, son los niveles digitales de la imagen PAN original

X, imagen de referencia

σX : es la desviación estándar de la imagen X

σPAN

: es la desviación estándar de la imagen PAN : son los valores medios de sus NDXX , PAN

Ajuste radiométrico

Transformación

MATCH (transformación lineal por intervalos de ND): igualando frecuencias acumuladas

MATCH (transformación lineal cte.): igualando medias y desviaciones estándar

Algoritmos de fusión

● Algoritmos basados en operaciones aritméticas

Métodos basados en operaciones algebraicas

N: es el número de bandas espectrales.

NDi , FUS=N⋅NDbi

NDb1NDb2...NDbN⋅NDPAN

BROVEYOperaciones algebraicas píxel a píxel entre bandas de la imagen MS y PAN

Ventajas: Fácilmente aplicable. Bajo coste computacional. Imágenes de alta calidad espacial.Desventaja: Imágenes de baja calidad espectral.

Algoritmos de fusión

● Algoritmos basados en sustitución de componentes

Métodos basados en sustitución de componentes

[ IV 1

V 2]=[

13

13

13

16

16

−26

12

−12

0 ]⋅[RGB ]H=tan−1

V 2

V 1

S=V 12V 2

2

[RGB ]=[13

16

12

13

16

−12

13

−26

0 ]⋅[ IV 1

V 2]

V 1=S⋅cosH V 2=S⋅sin H

RGB -> IHSRGB -> IHS IHS ->RGBIHS ->RGB

Transformada IHS

La transformación RGB-IHS logra “desacoplar” la información espectral en las componentes H y S, y gran parte de la información espacial en la componente I

Ventajas: Fácilmente aplicable. Imágenes de alta calidad espacial.Desventaja: Limitado a tres bandas. Imágenes de baja calidad espectral.

I SH

RGB

● Reducción del coste cómputo

[ R'

G '

B ' ]=[1 −1/2 1/21 −1/2 −1 /21 2 0 ]⋅[ I I '−I

V 1

V 2]=[1 −1 /2 1 /2

1 −1 /2 −1 /21 2 0 ]⋅[ I

V 1

V 2]=[ R

GB ]

[ R '

G '

B '

NIR' ]=[ R G B

NIR ] =I '−I=PAN−I

I=RGBNIR/4

● Extensible a cuatro bandas


Transformada eFIHSMétodo de fusión rápido basado en esta transformación IHS lineal

Probabilidad de que un fotón emitido o reflejado a un frecuencia ν sea detectado por el sensor.Probabilidad de que un fotón emitido o reflejado a un frecuencia ν sea detectado por el sensor.

i

SRF del sensor PAN

SRF de la banda i del sensor MS

La probabilidad de que un fotón a esa frecuencia ν sea detectado por el sensor PAN, en un evento p: P p=∫d

La probabilidad de que un fotón a frecuencia ν sea detectado por el sensor MS, en un evento mi :

P mi=∫i d

Transformada eFIHS-SRFTeniendo en cuenta la Respuesta Espectral de los sensores (SRF)


La probabilidad de que un fotón detectado por el sensor PAN (evento p) sea también detectado por el sensor MS (evento mi) viene dada por el cociente entre el área intersección de el área total:

P mi / p=P mi∩ p

P p

La probabilidad de que un fotón detectado por el sensor MS (evento mi) sea también detectado por el sensor PAN (evento p):

P p /mi=P mi∩ p

P mi

El número total de fotones detectados simultáneamente por ambos sensores (np,i) es:

n p , i=P mi / p⋅n p

n p ,i=P p /mi⋅ni

Si combinamos ambas ecuaciones se puede predecir, dado el np detectados por el sensor PAN, el número de fotones n'i que debería detectar el sensor MS:

ni'=

P mi / pP p /mi

⋅n p


Transformada eFIHS-SRF

I=∑i=1

i=4

ni /4 I '=∑i=1

i=4

ni' /4=∑

i=1

i=4 P mi / pP p /mi

14⋅n p

Se estima la imagen I' que observaría el sensor MS si trabajara a la resolución espacial del sensor PAN

=∑i=1

i=4 P mi/ pP p /mi

Depende de la SRF de los sensores PAN y MS

I '=⋅14⋅n p

[ nB'

nG'

nR'

nNIR' ]=[ nB⋅nB/n

nG⋅nG/nnR⋅nR/n

nNIR⋅nNIR /n] n=∑

i=1

i=4

ni /4=I

=I '−I= 14⋅⋅n p−∑

i=1

i=4

ni


Método de fusión eFIHS-SRFBasado en el FIHS: depende del grado de solape entre curvas del sensor PAN y MULTI

donde

Transformada PCA

● Matriz de covarianza (PCA no estandarizada) o matriz de correlación (PCA estandarizada)

● Autovalores, Autovectores

● Componentes principales


Análisis de CPs

CP1 CP2 CP3 CP4

RGBNIR

● Con la matriz de varianza-covarianza ΣX

X=〚11 12 1p

21 22 2p

. . .

. . . p1 p2 pp

〛 X i= 1

n∑k=1

n

[ xik−E X i]2

X i X j=1

n∑k=1

n

[x ik−E X i][x jk−E X j]

X=〚11 12 1p

21 22 2p

. . .

. . . p1 p2 pp

〛 X i X j=

X i X j

X i⋅ X j

Métodos basados en sustitución de componentesAnálisis de CPs

● Con la matriz de correlación ρX

Y 1=a1t X =a11 X 1a21 X 2a p1 X p

Y 2=a2t X =a12 X 1a22 X 2a p2 X p

.

.Y p=a p

t X =a1p X 1a2p X 2a pp X p

Var Y 1=1

Var Y 2=2

⋮Var Y p= p

Y=〚1 0 0 00 2 0 00 0 . 00 0 0 p

〛λi son los autovalores

∣ X− I∣=0

∣ X− I∣⋅a iT=0

Sabiendo: Autovalores:

Autovectores:

X =Y⋅A−1

Transformada inversa

ait : autovectores

Y1,Y2,...,Yp,: nuevas CPsX1, . . . , Xp,: variables originales

Cálculo de las CPs


Métodos basados en TWD

Las funciones wavelet permiten a través de una transformada integral, descomponer datos o funciones en componentes de distinta frecuencia.

Las funciones wavelet permiten a través de una transformada integral, descomponer datos o funciones en componentes de distinta frecuencia.

● Algoritmo Decimado: TWD mallat

● Algoritmo No Decimado: átrous

En una imagen, componentes de baja frecuencia: zonas o regiones de intensidades (ND) uniformes.

Componentes de alta frecuencia: zonas de cambio brusco de intensidad, bordes→ Detalle Espacial

Nivel 0. Imagen original, “f” y “c”.

Resolución espacial: r

Nivel 1. Aproximación, “f/2” y “c/2”.

Resolución espacial: r/2

Nivel 2. Aproximación, “f/4” y “c/4”.


......

Nivel N. Aproximación, “f/2N” y “c/2N”.

Resolución espacial: r/2N


Las imágenes aproximación se obtienen utilizando funciones de escala φ (x) asociadas a unaWavelet Madre Ψ (x).

Las imágenes aproximación se obtienen utilizando funciones de escala φ (x) asociadas a unaWavelet Madre Ψ (x).

Las transformaciones wavelet permiten determinar la diferencia entre dos niveles sucesivos

⇒ el DETALLE ESPACIAL que se pierde al pasar de un nivel a otro

Las transformaciones wavelet permiten determinar la diferencia entre dos niveles sucesivos

⇒ el DETALLE ESPACIAL que se pierde al pasar de un nivel a otro

Algoritmo Mallat

Algoritmo de Mallat

Imagen original A2j (x,y)f,c

Aproximación A2 j1 x , y f /2,c /2

Detalle Vertical D2 j11 x , y f /2,c /2

Detalle horizontal D2 j12 x , y f /2, c/2

Detalle diagonal D2 j13 x , y f /2,c/2

Análisis

Síntesis


Filtros h, H: asociados a la función de escala φ (x) , de paso bajo, baja frecuenciaFiltros g, G: asociado a la función wavelet ψ (x), de paso alto, alta frecuencia

Función wavelet: Daubechies “db4”

h :{1−34 2

, 3−342

, 3342

. 1342 }

g :{− 1342

, 3342

,− 3−342

. 1−342 }

Algoritmo de mallatImplementación práctica del algoritmo de Mallat utilizando FPA, FPB

Métodos basados en TWDAlgoritmo de mallat: Fase de análisis

Algoritmo de mallat: Fase de síntesis


Método de fusión basado en el algoritmo de mallat


Las imágenes aproximación se obtienen utilizando funciones de escala φ

Nivel 0. Imagen original, “f” y “c”.

Resolución espacial: r

Nivel 1. Aproximación, “f” y “c”.


Nivel 2. Aproximación, “f” y “c”.


......Nivel N. Aproximación, “f/” y “c”.

Resolución espacial: r/2N

El detalle espacial que se pierde al pasar de un nivel al nivel consecutivo se obtienedirectamente restando las imágenes aproximación de dichos niveles → Planos wavelet o coeficientes wavelet

Algoritmo átrous


Diferencia

FiltradoFunción de escala

Spline B3

Algoritmo atrous


Obtención de planos wavelet o coeficientes wavelet

Implementación práctica del algoritmo atrous

C j1x , y =A j x , y −A j1 x , y

A j x , y =A jn x , y∑k=1

n

C jk x , y

Método de fusión átrous AW (additive wavelet)


Método Wavelet Aditivo sobre la componente Intensidad (AWI)


Método Wavelet Aditivo sobre la Primera Componente Principal (AWPC)


Métodos basados en filtros direccionales

Medidas de calidad de las imágenes fusionadas

● Métodos cualitativos (medidas subjetivas)● Métodos cuantitativos

● Coeficiente de correlación● Índice Zhou● Universal image quality index● ERGAS

Método cuantitativos


Coeficiente de correlaciónr=

XY

X⋅Y

De forma práctica:

r=∑

iFUS i−FUS m⋅MS i−MS m

∑iFUS i−FUS m

2⋅∑iMS i−MS m

2

FUSi : valor de intensidad de la banda i de la imagen FUSMSi : valor de intensidad de la banda i de la imagen MSFUSm e MSm : valores de intensidad medios de las imágenes FUS y MS

Calidad Espectral


Índice Zhou

〚−1 −1 −1−1 8 −1−1 −1 −1〛

Filtro laplaciano para extraer la componente paso alto de la PAN y la FUS

r=∑

iFUS i−FUS m⋅PAN i−PAN m

∑iFUS i−FUS m

2⋅∑iPAN i−PAN m

2

Mide la calidad espacial

donde FUSi es el valor de intensidad de la banda i de la imagen fusionada filtrada, PANi es el valor de intensidad de la banda i de la imagen PAN filtrada y FUS

m y PAN

m son los valores de intensidad medios de las imágenes

FUS y PAN filtradas respectivamente

Calidad Espacial


Universal image quality index

Q=4 xy x y

x2 y

2[x 2y2]

● Pérdida de correlación● Distorsión lumínica ● Distorsión del contraste

x=1N ∑

i=1

N

xi , y=1N ∑

i=1

N

yi

x2= 1

N−1∑i=1

N

xi−x 2 , y2= 1

N−1∑i=1

N

y i−y 2

xy=1

N−1∑i=1

N

x i−x y i−y

Q= xy

x y⋅

2⋅x yx 2y2

⋅2⋅ x y

x2 y

2

x : valores de intensidad de la banda i de la imagen FUSy : valores de intensidad de la banda i de la imagen MS


ERGAS espectralMide la calidad espectral de la imagen FUS

ERGAS Espectrak=100⋅hl 1

N ∑i=1

N RMSE Bi2

M MS i2

RMSE Espectral Bi=1n ∑k=1

n

MS i k −FUS i k 2

Donde Mi representa el valor medio de la banda Bi , h la resolución espacial del sensor PAN, y l la resolución espacial del sensor MS, N respresenta el número de bandas y RMSE es:

Calidad Espectral


ERGAS espacialMide la calidad espacial de la imagen FUS

RMSE Espacial Bi=1n ∑k=1

n

PAN i k −FUS i k 2

ERGAS Espacial=100⋅hl 1

N ∑i=1

N RMSE Bi2

M PAN i2

Donde MPAN i representa el valor medio de la imagen PAN, h la resolución espacial del

sensor PAN, y l la resolución espacial del sensor MS, N respresenta el número de bandas y RMSE es:

Calidad Espacial

Inventario de cubiertas vegetales

Índice de vegetación

Normalized Difference Vegetation Index (NDVI)

Permite identificar masas vegetalesPermite identificar masas vegetales

NDVI= Infrarrojocercano−RojoInfrarrojocercanoRojo

Inventario de cubiertas vegetalesA partir del NDVI: Obtenemos imágenes de vegetación

Inventario de cubiertas vegetales

Conclusiones● Las técnicas de fusión permiten mejorar el detalle espacial

de las imágenes multiespectrales.● Se pueden fusionar imágenes procedentes de diferentes

sensores a bordo de un mismo o diferente satélite● Existen infinidad de técnicas y cada una mejora aspectos

distintos de una imagen (detalle espacial ó espectral).● Existen una serie de índices de calidad que permiten medir

la calidad cuantitativa de una imagen aunque no parece que haya consenso entre los investigadores.

● Aplicación principal de estas técnicas es que mejora considerablemente la detección e identificación visual de diferentes cubiertas.

Bibliografía● Choi, M.; A New Intensity-Hue-Saturation Fusion Approach to Image Fusion with a Tradeoff Parameter. IEEE

Transactions on Geoscience and Remote Sensing: 44, 1672-1682 (2006).

● Mitchell H.B.,. Image Fusion: Theories, Techniques and Applications. Berlin: Springer-Verlag, (2010)

● Garzelli, A., F. Nencini y L. Alparone; Pan-Sharpening of Multispectral Images: A Critical Review and Comparison, IEEE International Geoscience and Remote Sensing Symposium, 81-84 (2004).

● Gónzalez-Audicana, M., J. L. Saleta, R. García Catalán y R. García; Fusion of Multiespectral and Panchromatic Images Using Improved IHS and PCA Mergers based on Wavelet Decomposition, IEEE Transactions on Geosciences and Remote Sensing: 42 (6), 1291-1297 (2004).

● Stathaki T., Image Fusion. Algorithms and Applications. London: Elsevier Ltd, (2008)

● González-Audicana, M., X. Otazu, O. Fors y A. Seco; Comparison Between the Mallat’s and the àtrous Discrete Wavelet Transform Based Algorithms for the Fusion of Multispectral and Panchromatic Images, International Journal of Remote Sensing; 26: 597-616 (2005).

● Gonzalo, C. y M. Lillo-Saavedra; Fusión de Imágenes Quickbird Mediante una Representación Conjunta Multirresolución-Multidirección. IEEE Latin America Transaction: 5(1) 32-35 (2007).

● Lillo-Saavedra M. y C. Gonzalo; Spectral or Spatial Quality for Fused Satellite Imagery? A Trade-Off Solution Using Wavelet à trous Algorithm. International Journal of Remote Sensing: 27(7), 1453-1464 (2006).

● Hong, G. and Zhang, Y., Comparison and improvement of wavelet-based image fusion, International Journal of Remote Sensing, 29 (3), 673-691, (2008)

Estado del arte

Anabella Medina Machín

Fusión de imágenes de satélites de muy alta

resolución

Máster Universitario en Tecnologías de Telecomunicación

fusión de imágenes de satélites de muy alta resolución · 2011-06-10 · estado del arte...

Documents