deo mms skripte

Prof. dr Dragan Ivetić

MULTIMEDIJALNI

SISTEMI skripta

“We made a big mistake 300 years ago when we separated technology and humanism...

So there for the enlightenment, guys. IT'S TIME TO PUT THE TWO BACK TOGETHER.”

Michael Dertouzos

(Interviwed in Scientific American, July 1997)

Novi Sad, 2007. godine

•27

Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova

53

ZZAAŠŠTTOO KKOOMMPPRREESSOOVVAATTII PPOODDAATTKKEE??

1. SKLADIŠTENJE fizički dalje ne može ovako pa zato “pametnije” koristiti materijal skladišnog medija

A. Softverski algoritmi (Lempel-Ziv-Welch)B. Hardverska implementacija (disk keš, ZIP drive)

Mnoge tehnike su adresirane na jedan ili oba aspekta. Mi samo one razvijene za MM podatke:• JPEG za mirnu sliku,• MPEG za audio i video.

2. PRENOS “sirovi podaci” zahtevaju širi opseg, nije ekonomično


54

Klasifikacija kompresionih Klasifikacija kompresionih tehnikatehnika

FFT, DCT DPCM, DMPredikcija

TransformacijaSub-sampling

Nivovsko Sub-band coding

JPEGMPEG , H.261, H.263, H.245Hibridno

Vector quantization

Izvorno (source)

Lossy

Run-lengthHuffmanAritmetičkaPomoću rečnika (zipovi, gif, tiff)

Entropijsko (entropy)

Lossles

TEHNIKAOSNOVATIP

•28


55

RunRun--length length tehnikatehnika

ABCCCCCCCCD999FFGGGG!

ABC!4D999FFG!0!!

RUN LENGTH KOMPRESIJA

M(ark) bajt, vrednost koja se ne očekuje ili ako je pak ima

21 karakter je redukovan na 16 karaktera, kompresovano za 24%


56

StatistiStatističčki modelki model• 96% nosi 31 karakter - a..z, space,

zarez, tačka i CR,• dovoljno 5 bitova, redukcija 5/8,

• kôd 11111 za nema kompresije, tako0,96 x 5 + 0,04 x (5+8) = 5,32 bita

• sada je stepen kompresije 8 bit/5.32 bit ~ 1,5 : 1

• može li bolje?• varijabilna dužina zapisa.

•29


57

Varijabilna duVarijabilna dužžina zapisaina zapisa

• dužina zapisa zavisi od verovatnoće pojavljivanja,

• Verovatnije pojave zapisati dužim ili kraćim kodom?...

• Kako u kompresovanom strimu razlikovati zapise?Prefiksnim kodiranjem

• Kako kreirati prefiksne kodove minimalne dužine?Stablom minimalne visine


58

HuffmanHuffman--ova tehnika ...ova tehnika ...PREFIKSNO BINARNO KODIRANJE UZ MIN. DUŽINU KODA

PRIMER: data stream alfabeta {A,B,C,D,E} saverovatnoćama pojavljivanja {0,16;0,51;0,09;0,13;0,11}

p(C) = 0,09 p(E) = 0,11

p(CE) = 0,20

1 0

p(D) = 0,13 p(A) = 0,16

p(AD) = 0,29

10

p(B) = 0,51

p(ADCE) = 0,49

1 0

p(ADCEB) = 1,00

1

0Kod (A) = 001Kod (B) = 1Kod (C) = 011Kod (D) = 000Kod (E) = 010

•30


59

... ... HuffmanHuffman--ova ova tehnikatehnikaKod(A) = 001; Kod (B) = 1; Kod(C) = 011; Kod(D) = 000; Kod(E) = 010

BCBDABBADBABB

1011100000111001000100111

HUFFMAN-ova KOMPRESIJA

Zauzeto 25 bita a da se kodiralo sa 3 bita/cifra bilo bi 39 bita, - 36%

Dodatno ide i tabela kodova, ili ne za fiksnu tabelu ili dinamičku Huffman-ovu tehniku.

Dodatno može run-length.


60

TransformacionaTransformaciona osnovaosnova

⎪⎩

⎪⎨⎧ ==

++= ∑∑

= =

suprotnomu ,1

0,u ,2

1,c je gde

161)vπ(2ycos

161)uπ(2xcosScc

41S

u

7

0x

7

0y

origyxvu

transfuv

vcv S00transf je DC komp.

ostale su AC komp.

• odeš, vratiš se i gotovo,• ortogonalno normalizovana matrica transformacije

• Discrete Cosine Transformation – DCT, u frekvencije,• na primeru komresije mirne slike,• slika na blokove od 8x8 piksela,

• svaki blok generiše matricu DCT koeficijenata, Sij,

•31


61

2D DCT 2D DCT osnovneosnovne funkcijefunkcije

S00 ekvivalentnaboja svih

S07 max frekvenc. po horizontali

S70 max frekv. po vertikali

S77 max frekv. u oba pravca

S33 bi bila maxza blok od4x4 homogenapodbloka


62

Discrete Cosine TransformDiscrete Cosine Transformationation ......

•32


63

KKvantivantizzacijeacije DCT koeficijenataDCT koeficijenataDCT keficijent je realni broj, bolje svesti na integer, gubi se originalnost, LOSSY

realni broj -> mali integer, vrednosti bliske nuli i više AC idu uvek u nulu, 0000000000

kvantizacionamatrica na 8x8 blok


64

... ... Discrete Cosine TransformDiscrete Cosine Transformationation ......

163159149196186205203198160173167180184207205207150206185173170205213214175218185159171169195196183198148152179179172176193199151182195180192184193213193195201187188193190196157169193188195201

-7-8-5706-218-9-40-6417-23339-24616-25

-3-348-1213-6-30-5612-312717101689-2022-10-223219

-12-131716-1211-521020-3833-14-1533491480

0000000000000000000000000-1000100

-1000-1011000-10100100-10-1110-12-3113185

PIKSELI ORIGINALNOG BLOKA DCT TRANSFORM. PIKSELI KVANTIFIKOVANI PIKSELI

CIK-CAK OČITANI KVANTIFIKOVANI PIKSELI - 185 3 1 0 1 1 1 –1 0 1 0 1 1 0 –3 2 –1 0 0 0 0 0 0 1 –1 –1 0 –1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 –1 –1 0 0 0 0 0 0 0 0 0 0

ENTROPIJSKAKOMPRESIJA

ENTROPIJSKADEKOMPRESIJA DE CIK-CAK

0000000000000000000000000-1000100

-1000-1011000-10100100-10-1110-12-3113185

DEKVANTIFIKACIJAi IDCT

160157149185209192196210179180156169193195198194170197179165176193217220179206185163165178199201189187153154177182181167189184159174197191189185200208192196198182188198189196176179192187193196

PIKSELI REKONSTRUISANOG BLOKA

DC Hor. detalji

Dij. detalji

Ver. detalji

•33


65

... ... Discrete Cosine TransformDiscrete Cosine Transformationation

Efekti kvantizacijeAC koeficijenata:-sa korakom 25-sa korakom 100-sa korakom 200


66

NivovskaNivovska osnovaosnova• ne svaki element, niti u drugi domen, već po nivoima (delovima).• SUB-SAMPLING – originalna grupa se zamenjuje prosečnom

vrednošću ili se samo uzme vrednost nekog elementa grupe, KVANTIZACIJA – skalarna ili vektorska.

• SUB-BAND CODING – ne grupiše po prostoru nego po frekvenciji, oslanja na prekrivanje frekvencijom veće energije.

• WAVELETS CODING – sukcesivno particionišesliku koristeći wavelet umesto kosinusne funkcije (vidljivi 8x8 blokovi). Deli na: 1 podslika niže rezolucije sa manje detalja i 3 podslike sa detaljima, koristi JPEG2000

•34


67

Joint Photographic Experts Group Joint Photographic Experts Group -- JPEGJPEGPokrenuo ISO WG8 maja 1988. g. a 1992. godine postao

standard za kompr./dekompr. nepokretne kolor i sive slike, postoji mogućnost sekvencionisanja u MOTION JPEG

ZAHTEVI postavljeni pred JPEG:• implementacija JPEG ne zavisi od veličine slike i rezolucije,• predstavljanje boja nezavisno od implementacije JPEG,• sadržaj slike može biti proizvoljno kompleksan,• implementacija JPEG softverom izvršivim na većini

hardvera, eventualna dodatna hardverska podrška mora unaprediti kvalitet slike,

• omogućiti korisniku izbor kvaliteta reprodukovane slike, vremena kompresovanja i veličine kompresovane slike.


68

TokTok JPEG JPEG kompresijekompresije

KVANTIZACIJA

KODIRANJE

Huffman

Runlength

Aritmet.

PRIPREMA

Pikseli

Blokovi

OBRAĐIVANJE

Prediktor

FDCT

ORIGINAL

SLIKA

KOMPR.SL.A

KOMPR.SL.B

put A

put B

zavisi od odabranog JPEG režima:SEQUENTIAL – lossy, L R & Top Bottom, osnovni mod,PROGRESSIVE – lossy, višestruki scan sa 2 rezolucijomLOSSLESS – dekompresijom se dobija originalna slika.HIERARCHICAL – lossy, komp. u par rezolucija i diff. code.

•35


69

JPEG primeri reJPEG primeri režžimaimaSEKVENCIJALAN

PROGRESIVAN


70

JPEG JPEG fazafaza pripremepripreme ......kreiranje DataUnit koji se razlikuje od pristupaLOSSLES –DU je jedan piksel i ide na obradu, 2..16 bit/pixel

LOSSY – jedan DU je kvadrat od 8x8 bita, 2..12 bit/pixel1..255 ravni, obično samo tri: RGB ili YUVrazličite ravni mogu biti različitih rezolucija

•36


71

... JPEG faze pripreme... JPEG faze pripreme

po ugledu na TV i ljudskivid

dekompozicija na 3 ravniluminance (Y) –osvetljenost;i chrominance (U,V) –razlika boja


72

JPEG JPEG fazafaza obradeobradeObrađuju se DataUnits na način diktiran JPEG modomLOSSY – RGB ili YUV blokovi se transfomišu pomoću FDCT

LOSSLES – pikseli se obrađuju sledećom predikcijom

•37


73

Struktura JPEG strima i dekompresijaStruktura JPEG strima i dekompresija

LOSSY JPEG slika

LOSSLES JPEG slika

struktura JPEG strima

Entropijskidekoder

Dekvanti-zacija

IDCT

Entropijskidekoder

Depredik-tor

segmentrestart

segmentrestart

...

tabele... heder

scan

...

tabele...heder

scan

FrameStartOfImage

EndOfImage blok...

blokblok

Orig.slika

Orig.slika


74

JPEG primer u bojiJPEG primer u boji

26KBJPEG

Compression ratio=44.6

768×512 ×24 = 1.18MBoriginal

•38


75

OsnovneOsnovne mogumoguććnostinosti JPEG2000JPEG2000• odlične performanse sa malo bita – primer, netw. image transmiss.• lossless i lossy modovi kompresije,• region-of-interest kodiranje (ROI) – interesantni regioni se

kvalitetnije kodiraju,• slučajan pristup

i obrada kodiranog strima,

• robusnost,• otvorena

arhitektura,• deskripcioni

podaci,• zaštita

autorstva,• ...


76

JPEG JPEG vsvs. JPEG2000. JPEG2000

0,125 bpp

0,25 bpp

•39


77

ProcesProces JPEG2000JPEG2000 kodiranjkodiranjaa

• tiling – opciono, prostorno deljenje slike na podslike koje se dalje obrađuju, radi uštede operativne memorije,

• level offset – centriranje vrednosti piksela slike simetrično u odnosu na nulu, normalno zbog simetričnosti wavelet funkcije,

• ICT – transformacija originalnih ravni boje (RGB) slike u YUV model,


78

ORIGINAL

FILTERISANJEKOLONA

PODELIBROJ

KOLONA

FILTERI-SANJE

REDOVA

PODELI BROJ REDOVA

Diskretna Diskretna waveletwavelet transformacija transformacija (DWT)(DWT)

•40


79

JPEG2000 JPEG2000 kvantizacijakvantizacija i blokovsko kodiranjei blokovsko kodiranjeUNIFORMNA KVANTIZACIJA SA MRTVOM ZONOM• wavelet koeficijenti se uniformno kvantizuju

tako da jednom opsegu koeficijenata odgovara jedan kvantizacioni indeks.

BLOKOVSKO KODIRANJE• podela na blokove (64x64, 32x32) iste veličine u većini podslika,• blokovi se kodiraju zasebno, sadržaj čita po 4bit podkolonama,• formiraju se ravni bitova od MSB do LSB,• ravni bitova se kodiraju u tri prolaza obezbeđujući različite nivoe

kvaliteta restaurisane slike.


80

PodePodeššavanje brzine i organizovanje JPEG2000 avanje brzine i organizovanje JPEG2000 strimastrima

PODEŠAVANJE BRZINE PRENOSA• prekrajanje strima kodova da bi se obezbedila brzina prenosa,• skrati one strimove blokova koji će minimalno iskriviti sliku.ORGANIZOVANJE STRIMA• kompresovani sadržaji ravni bitova

se dele u pakete,• paket obuhvata bite oblasti ravni,• oblast najviše polovi podoblast.

deo mms skripte

Documents

discrete cosine transformation

ko mpr

osnova

kod

put

prof

huffman