distributed source coding for video compression fine... · 2012-09-03 · distributed source...

Distributed source codingfor video compression

Francesca Bassi

13 Gennaio 2010

Distributed video coding:introduzione e stato dell’arte

Distributed source coding

Multiuser Information Theory: dalla comunicazione punto-puntoalle reti multiutente [ELG80].

Distributed source coding: codifica separata e decodificacongiunta di sorgenti correlate [SLE73, WYN76, BER79, BER96].

Caso losslessRate region nota.

Caso lossyGeneral rate-distortion regionsconosciuta.

• CEO problem

• Source coding with side info aldecoder

• Source coding with partialside info al decoder

Distributed source coding

Multiuser Information Theory: dalla comunicazione punto-puntoalle reti multiutente [ELG80].

Distributed source coding: codifica separata e decodificacongiunta di sorgenti correlate [SLE73, WYN76, BER79, BER96].

Caso losslessRate region nota.

Caso lossyGeneral rate-distortion regionsconosciuta.

• CEO problem

• Source coding with side info aldecoder

• Source coding with partialside info al decoder

Distributed source coding

Multiuser Information Theory: dalla comunicazione punto-puntoalle reti multiutente [ELG80].

Distributed source coding: codifica separata e decodificacongiunta di sorgenti correlate [SLE73, WYN76, BER79, BER96].

Caso losslessRate region nota.

Caso lossyGeneral rate-distortion regionsconosciuta.

• CEO problem

• Source coding with side info aldecoder

• Source coding with partialside info al decoder

Source coding with side information at the decoder

Wyner-Ziv coding [WYN76, WYN78]: compressione di una sorgentequando seconda (la side information Y) disponibile al decoder.

Forma implicita della rate-distortion function nota.

• Sorgenti Gaussiane: no rate-loss rispetto al casocondizionale.

• In generale: rate loss. Perdita max 0.5 bit/sample [ZAM96]

• Forma esplicita nota solo per sorgenti Gaussiane e binariesimmetriche.

Source coding with side information at the decoder

Wyner-Ziv coding [WYN76, WYN78]: compressione di una sorgentequando seconda (la side information Y) disponibile al decoder.

Forma implicita della rate-distortion function nota.

• Sorgenti Gaussiane: no rate-loss rispetto al casocondizionale.

• In generale: rate loss. Perdita max 0.5 bit/sample [ZAM96]

• Forma esplicita nota solo per sorgenti Gaussiane e binariesimmetriche.

Distributed video coding

Vantaggio: encoder semplice (al costo di decoder complesso)

NETWORK

Multiuser Information

Theory

Distributed SourceCoding

Codifica video distribuita: complessità riportata sullainfrastruttura di rete

Architetture DVC

Due famiglie di architetture per DVC:• derivate dal modello di Berkeley [PRISM]• derivate dal modello di Stanford [DISCOVER]

Discover/Lisbon November 6, 2007 Slide 10

R-D Performance Comparison

[DISCOVER Workshop, Lisbon, Nov. 2007]

Performance inferiore a quella di video coder tradizionali(motion compensation all’encoder).

Architetture DVC

Due famiglie di architetture per DVC:• derivate dal modello di Berkeley [PRISM]• derivate dal modello di Stanford [DISCOVER]

Discover/Lisbon November 6, 2007 Slide 10

R-D Performance Comparison

[DISCOVER Workshop, Lisbon, Nov. 2007]

Performance inferiore a quella di video coder tradizionali(motion compensation all’encoder).

Generazione della side information

Aspetto chiave dello schema di DVC.Idealmente: qualità della side information costante.

NETWORK

Multiuser Information

Theory

Distributed SourceCoding

Ricostruzione del side information frame:

• da key frame• da average interpolation dei frame precedenti• da motion compensated interpolation dei frame precedenti

NETWORK

Multiuser Information

Theory

Distributed SourceCoding

Nessuna garanzia sulla qualità della side information(variazioni nel tempo).

Introduzione di feedback channel per garantire rate adaptation.

Generazione della side information

Aspetto chiave dello schema di DVC.Idealmente: qualità della side information costante.

NETWORK

Multiuser Information

Theory

Distributed SourceCoding

Ricostruzione del side information frame:

• da key frame• da average interpolation dei frame precedenti• da motion compensated interpolation dei frame precedenti

NETWORK

Multiuser Information

Theory

Distributed SourceCoding

Nessuna garanzia sulla qualità della side information(variazioni nel tempo).

Introduzione di feedback channel per garantire rate adaptation.

Generazione della side information

Aspetto chiave dello schema di DVC.Idealmente: qualità della side information costante.

NETWORK

Multiuser Information

Theory

Distributed SourceCoding

Ricostruzione del side information frame:

• da key frame• da average interpolation dei frame precedenti• da motion compensated interpolation dei frame precedenti

NETWORK

Multiuser Information

Theory

Distributed SourceCoding

Nessuna garanzia sulla qualità della side information(variazioni nel tempo).

Introduzione di feedback channel per garantire rate adaptation.

Source codingwith degraded side information at the decoder

Motivazione

Introduzione di un nuovo modello di correlazione tra sorgente eside information, per modellare la variazione di qualità della

side info nel tempo

NETWORK

Multiuser Information

Theory

Distributed SourceCoding

Obiettivo: sintesi di uno schema di codificasenza feedback channel

NETWORK

Multiuser Information

Theory

Distributed SourceCoding

• Definizione del modello per i segnali• Valutazione della rate-distortion (performance teorica)• Design dell’encoding scheme• Validazione dello schema con segnali reali

Motivazione

Introduzione di un nuovo modello di correlazione tra sorgente eside information, per modellare la variazione di qualità della

side info nel tempo

NETWORK

Multiuser Information

Theory

Distributed SourceCoding

Obiettivo: sintesi di uno schema di codificasenza feedback channel

NETWORK

Multiuser Information

Theory

Distributed SourceCoding

• Definizione del modello per i segnali• Valutazione della rate-distortion (performance teorica)• Design dell’encoding scheme• Validazione dello schema con segnali reali

Signal model

Canale di correlazione: rumore additivo gaussiano bianco, convarianza istantanea determinata dalla sequenza di stato S.

Si definisce la qualità istantanea del canale di correlazioneall’istante di trasmissione i.

Il decoder non osserva S

Signal model (continua)

Sequenza X: simboli gaussianii.i.d.

Xi ∼ N (0, σ2x )

Sequenza Z: mistura gaussianaZ ∼

∑s π(s) N (0,K(s))

Modello generale per il rumore di correlazione• la mistura gaussiana consente di approssimare ogni

funzione di densità di probabilità• la sequenza di stato S può essere memoryless o with

memory• cancellazione di simbolo di side information modellata con

impulso istantaneo a varianza infinita

Signal model (continua)

Sequenza X: simboli gaussianii.i.d.

Xi ∼ N (0, σ2x )

Sequenza Z: mistura gaussianaZ ∼

∑s π(s) N (0,K(s))

Modello generale per il rumore di correlazione• la mistura gaussiana consente di approssimare ogni

funzione di densità di probabilità• la sequenza di stato S può essere memoryless o with

memory• cancellazione di simbolo di side information modellata con

impulso istantaneo a varianza infinita

Rate-distortion bounds

Forma implicita della rate-dist function nota [WYN73]:R(D) = minfX,Y,U,X̂∈M(D) I(X; U)− I(Y; U).

Forma esplicita della rate-dist function non conosciuta.

NETWORK

Multiuser Information

Theory

Distributed SourceCoding

Necessità di derivare bounds per la forma esplicita.

Lower bound: rate-distortion functionottenuta quando il decoder osservaanche la state sequence S

Upper bound: performance asintoticadi uniform dithered lattice quantizercon side information al decoder

-50

-45

-40

-35

-30

-25

-20

-15

-10

-5

0 1 2 3 4 5 6 7

D [d

B]

R [per sample]

GBG correlation model - varx = 1, var0 = 0.04, var1 = 1, p = 0.1

test

GBG - lo-bound

GBG - hi-bound

Rate-distortion bounds

Forma implicita della rate-dist function nota [WYN73]:R(D) = minfX,Y,U,X̂∈M(D) I(X; U)− I(Y; U).

Forma esplicita della rate-dist function non conosciuta.

NETWORK

Multiuser Information

Theory

Distributed SourceCoding

Necessità di derivare bounds per la forma esplicita.

Lower bound: rate-distortion functionottenuta quando il decoder osservaanche la state sequence S

Upper bound: performance asintoticadi uniform dithered lattice quantizercon side information al decoder

-50

-45

-40

-35

-30

-25

-20

-15

-10

-5

0 1 2 3 4 5 6 7

D [d

B]

R [per sample]

GBG correlation model - varx = 1, var0 = 0.04, var1 = 1, p = 0.1

test

GBG - lo-bound

GBG - hi-bound

Schema di codifica

Problema: qualità della side information variabile, ma ratecostante (no feedback channel)

Two-layer scheme

• Single layer: soluzione ottima ma non realizzabile.• Two-layer: soluzione subottima ma realizzabile.

Schema di codifica

Problema: qualità della side information variabile, ma ratecostante (no feedback channel)

Two-layer scheme

• Single layer: soluzione ottima ma non realizzabile.• Two-layer: soluzione subottima ma realizzabile.

Schema di codifica (continua)

Step 1: trasmissione nella sottocatena di Slepian-Wolf.

• R1 = H(ΦX|Y)− log2(V(Λ)) = H(ΦX|ΦY)− log2(V(Λ)).• Rumore di correlazione ΦZ: ancora mistura Gaussiana. La

rotazione attraverso Φ taglia gli impulsi di rumore.• Subottimalità: proteggo ogni simbolo dalla componente

maggiore della mistura.

Schema di codifica (continua)

Step 1: trasmissione nella sottocatena di Slepian-Wolf.

• R1 = H(ΦX|Y)− log2(V(Λ)) = H(ΦX|ΦY)− log2(V(Λ)).• Rumore di correlazione ΦZ: ancora mistura Gaussiana. La

rotazione attraverso Φ taglia gli impulsi di rumore.• Subottimalità: proteggo ogni simbolo dalla componente

maggiore della mistura.

Schema di codifica (continua)

Step 2: design degli stimatori MMSE.

• Stimatore MMSE lineare: sovrapposiz. di tutti gli stimatoriMMSE condizionati a di S (problema combinatorio).

• Sintesi di algoritmo di Bayesian Matching Pursuit [SCH09]:calcolo veloce di una approssimazione (accurata) dellostimatore ottimo.

Schema di codifica (continua)

Step 2: design degli stimatori MMSE.

• Stimatore MMSE lineare: sovrapposiz. di tutti gli stimatoriMMSE condizionati a di S (problema combinatorio).

• Sintesi di algoritmo di Bayesian Matching Pursuit [SCH09]:calcolo veloce di una approssimazione (accurata) dellostimatore ottimo.

Schema di codifica: performance

Step 3: trade-off della rate-allocation

-50

-45

-40

-35

-30

-25

-20

-15

-10

-5

0 1 2 3 4 5 6 7

D [d

B]

R [per sample]

GBG correlation model - varx = 1, var0 = 0.04, p = 0.1

test

lo-bound

hi-bound

twolayer

• Costo di trasmissione suLayer 1: alto

• Costo di trasmissione suLayer 2: basso, se side infoda Layer 1 buona

Trade-off: Layer 1 deve garantire side-info di qualità sufficientea Layer 2

Schema di codifica: performance

Step 3: trade-off della rate-allocation

-50

-45

-40

-35

-30

-25

-20

-15

-10

-5

0 1 2 3 4 5 6 7

D [d

B]

R [per sample]

GBG correlation model - varx = 1, var0 = 0.04, p = 0.1

test

lo-bound

hi-bound

twolayer

• Costo di trasmissione suLayer 1: alto

• Costo di trasmissione suLayer 2: basso, se side infoda Layer 1 buona

Trade-off: Layer 1 deve garantire side-info di qualità sufficientea Layer 2

Conclusioni

Direzioni future

Validazione con segnali reali

• Introduzione della stima dei parametri della misturagaussiana.

Sequenza di stato con memoria

• Valutazione della performance dello schema di codifica(mistura nota).

• Stima dei parametri della mistura gaussiana.

Sequenza di sorgente con memoria

Estensione al caso multiterminal