Download - Deo MMS Skripte
Prof. dr Dragan Ivetić
MULTIMEDIJALNI
SISTEMI skripta
“We made a big mistake 300 years ago when we separated technology and humanism...
So there for the enlightenment, guys. IT'S TIME TO PUT THE TWO BACK TOGETHER.”
Michael Dertouzos
(Interviwed in Scientific American, July 1997)
Novi Sad, 2007. godine
•27
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
53
ZZAAŠŠTTOO KKOOMMPPRREESSOOVVAATTII PPOODDAATTKKEE??
1. SKLADIŠTENJE fizički dalje ne može ovako pa zato “pametnije” koristiti materijal skladišnog medija
A. Softverski algoritmi (Lempel-Ziv-Welch)B. Hardverska implementacija (disk keš, ZIP drive)
Mnoge tehnike su adresirane na jedan ili oba aspekta. Mi samo one razvijene za MM podatke:• JPEG za mirnu sliku,• MPEG za audio i video.
2. PRENOS “sirovi podaci” zahtevaju širi opseg, nije ekonomično
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
54
Klasifikacija kompresionih Klasifikacija kompresionih tehnikatehnika
FFT, DCT DPCM, DMPredikcija
TransformacijaSub-sampling
Nivovsko Sub-band coding
JPEGMPEG , H.261, H.263, H.245Hibridno
Vector quantization
Izvorno (source)
Lossy
Run-lengthHuffmanAritmetičkaPomoću rečnika (zipovi, gif, tiff)
Entropijsko (entropy)
Lossles
TEHNIKAOSNOVATIP
•28
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
55
RunRun--length length tehnikatehnika
ABCCCCCCCCD999FFGGGG!
ABC!4D999FFG!0!!
RUN LENGTH KOMPRESIJA
M(ark) bajt, vrednost koja se ne očekuje ili ako je pak ima
21 karakter je redukovan na 16 karaktera, kompresovano za 24%
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
56
StatistiStatističčki modelki model• 96% nosi 31 karakter - a..z, space,
zarez, tačka i CR,• dovoljno 5 bitova, redukcija 5/8,
• kôd 11111 za nema kompresije, tako0,96 x 5 + 0,04 x (5+8) = 5,32 bita
• sada je stepen kompresije 8 bit/5.32 bit ~ 1,5 : 1
• može li bolje?• varijabilna dužina zapisa.
•29
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
57
Varijabilna duVarijabilna dužžina zapisaina zapisa
• dužina zapisa zavisi od verovatnoće pojavljivanja,
• Verovatnije pojave zapisati dužim ili kraćim kodom?...
• Kako u kompresovanom strimu razlikovati zapise?Prefiksnim kodiranjem
• Kako kreirati prefiksne kodove minimalne dužine?Stablom minimalne visine
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
58
HuffmanHuffman--ova tehnika ...ova tehnika ...PREFIKSNO BINARNO KODIRANJE UZ MIN. DUŽINU KODA
PRIMER: data stream alfabeta {A,B,C,D,E} saverovatnoćama pojavljivanja {0,16;0,51;0,09;0,13;0,11}
p(C) = 0,09 p(E) = 0,11
p(CE) = 0,20
1 0
p(D) = 0,13 p(A) = 0,16
p(AD) = 0,29
10
p(B) = 0,51
p(ADCE) = 0,49
1 0
p(ADCEB) = 1,00
1
0Kod (A) = 001Kod (B) = 1Kod (C) = 011Kod (D) = 000Kod (E) = 010
•30
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
59
... ... HuffmanHuffman--ova ova tehnikatehnikaKod(A) = 001; Kod (B) = 1; Kod(C) = 011; Kod(D) = 000; Kod(E) = 010
BCBDABBADBABB
1011100000111001000100111
HUFFMAN-ova KOMPRESIJA
Zauzeto 25 bita a da se kodiralo sa 3 bita/cifra bilo bi 39 bita, - 36%
Dodatno ide i tabela kodova, ili ne za fiksnu tabelu ili dinamičku Huffman-ovu tehniku.
Dodatno može run-length.
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
60
TransformacionaTransformaciona osnovaosnova
⎪⎩
⎪⎨⎧ ==
++= ∑∑
= =
suprotnomu ,1
0,u ,2
1,c je gde
161)vπ(2ycos
161)uπ(2xcosScc
41S
u
7
0x
7
0y
origyxvu
transfuv
vcv S00transf je DC komp.
ostale su AC komp.
• odeš, vratiš se i gotovo,• ortogonalno normalizovana matrica transformacije
• Discrete Cosine Transformation – DCT, u frekvencije,• na primeru komresije mirne slike,• slika na blokove od 8x8 piksela,
• svaki blok generiše matricu DCT koeficijenata, Sij,
•31
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
61
2D DCT 2D DCT osnovneosnovne funkcijefunkcije
S00 ekvivalentnaboja svih
S07 max frekvenc. po horizontali
S70 max frekv. po vertikali
S77 max frekv. u oba pravca
S33 bi bila maxza blok od4x4 homogenapodbloka
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
62
Discrete Cosine TransformDiscrete Cosine Transformationation ......
•32
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
63
KKvantivantizzacijeacije DCT koeficijenataDCT koeficijenataDCT keficijent je realni broj, bolje svesti na integer, gubi se originalnost, LOSSY
realni broj -> mali integer, vrednosti bliske nuli i više AC idu uvek u nulu, 0000000000
kvantizacionamatrica na 8x8 blok
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
64
... ... Discrete Cosine TransformDiscrete Cosine Transformationation ......
163159149196186205203198160173167180184207205207150206185173170205213214175218185159171169195196183198148152179179172176193199151182195180192184193213193195201187188193190196157169193188195201
-7-8-5706-218-9-40-6417-23339-24616-25
-3-348-1213-6-30-5612-312717101689-2022-10-223219
-12-131716-1211-521020-3833-14-1533491480
0000000000000000000000000-1000100
-1000-1011000-10100100-10-1110-12-3113185
PIKSELI ORIGINALNOG BLOKA DCT TRANSFORM. PIKSELI KVANTIFIKOVANI PIKSELI
CIK-CAK OČITANI KVANTIFIKOVANI PIKSELI - 185 3 1 0 1 1 1 –1 0 1 0 1 1 0 –3 2 –1 0 0 0 0 0 0 1 –1 –1 0 –1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 –1 –1 0 0 0 0 0 0 0 0 0 0
ENTROPIJSKAKOMPRESIJA
ENTROPIJSKADEKOMPRESIJA DE CIK-CAK
0000000000000000000000000-1000100
-1000-1011000-10100100-10-1110-12-3113185
DEKVANTIFIKACIJAi IDCT
160157149185209192196210179180156169193195198194170197179165176193217220179206185163165178199201189187153154177182181167189184159174197191189185200208192196198182188198189196176179192187193196
PIKSELI REKONSTRUISANOG BLOKA
DC Hor. detalji
Dij. detalji
Ver. detalji
•33
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
65
... ... Discrete Cosine TransformDiscrete Cosine Transformationation
Efekti kvantizacijeAC koeficijenata:-sa korakom 25-sa korakom 100-sa korakom 200
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
66
NivovskaNivovska osnovaosnova• ne svaki element, niti u drugi domen, već po nivoima (delovima).• SUB-SAMPLING – originalna grupa se zamenjuje prosečnom
vrednošću ili se samo uzme vrednost nekog elementa grupe, KVANTIZACIJA – skalarna ili vektorska.
• SUB-BAND CODING – ne grupiše po prostoru nego po frekvenciji, oslanja na prekrivanje frekvencijom veće energije.
• WAVELETS CODING – sukcesivno particionišesliku koristeći wavelet umesto kosinusne funkcije (vidljivi 8x8 blokovi). Deli na: 1 podslika niže rezolucije sa manje detalja i 3 podslike sa detaljima, koristi JPEG2000
•34
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
67
Joint Photographic Experts Group Joint Photographic Experts Group -- JPEGJPEGPokrenuo ISO WG8 maja 1988. g. a 1992. godine postao
standard za kompr./dekompr. nepokretne kolor i sive slike, postoji mogućnost sekvencionisanja u MOTION JPEG
ZAHTEVI postavljeni pred JPEG:• implementacija JPEG ne zavisi od veličine slike i rezolucije,• predstavljanje boja nezavisno od implementacije JPEG,• sadržaj slike može biti proizvoljno kompleksan,• implementacija JPEG softverom izvršivim na većini
hardvera, eventualna dodatna hardverska podrška mora unaprediti kvalitet slike,
• omogućiti korisniku izbor kvaliteta reprodukovane slike, vremena kompresovanja i veličine kompresovane slike.
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
68
TokTok JPEG JPEG kompresijekompresije
KVANTIZACIJA
KODIRANJE
Huffman
Runlength
Aritmet.
PRIPREMA
Pikseli
Blokovi
OBRAĐIVANJE
Prediktor
FDCT
ORIGINAL
SLIKA
KOMPR.SL.A
KOMPR.SL.B
put A
put B
zavisi od odabranog JPEG režima:SEQUENTIAL – lossy, L R & Top Bottom, osnovni mod,PROGRESSIVE – lossy, višestruki scan sa 2 rezolucijomLOSSLESS – dekompresijom se dobija originalna slika.HIERARCHICAL – lossy, komp. u par rezolucija i diff. code.
•35
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
69
JPEG primeri reJPEG primeri režžimaimaSEKVENCIJALAN
PROGRESIVAN
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
70
JPEG JPEG fazafaza pripremepripreme ......kreiranje DataUnit koji se razlikuje od pristupaLOSSLES –DU je jedan piksel i ide na obradu, 2..16 bit/pixel
LOSSY – jedan DU je kvadrat od 8x8 bita, 2..12 bit/pixel1..255 ravni, obično samo tri: RGB ili YUVrazličite ravni mogu biti različitih rezolucija
•36
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
71
... JPEG faze pripreme... JPEG faze pripreme
po ugledu na TV i ljudskivid
dekompozicija na 3 ravniluminance (Y) –osvetljenost;i chrominance (U,V) –razlika boja
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
72
JPEG JPEG fazafaza obradeobradeObrađuju se DataUnits na način diktiran JPEG modomLOSSY – RGB ili YUV blokovi se transfomišu pomoću FDCT
LOSSLES – pikseli se obrađuju sledećom predikcijom
•37
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
73
Struktura JPEG strima i dekompresijaStruktura JPEG strima i dekompresija
LOSSY JPEG slika
LOSSLES JPEG slika
struktura JPEG strima
Entropijskidekoder
Dekvanti-zacija
IDCT
Entropijskidekoder
Depredik-tor
segmentrestart
segmentrestart
...
tabele... heder
scan
...
tabele...heder
scan
FrameStartOfImage
EndOfImage blok...
blokblok
Orig.slika
Orig.slika
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
74
JPEG primer u bojiJPEG primer u boji
26KBJPEG
Compression ratio=44.6
768×512 ×24 = 1.18MBoriginal
•38
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
75
OsnovneOsnovne mogumoguććnostinosti JPEG2000JPEG2000• odlične performanse sa malo bita – primer, netw. image transmiss.• lossless i lossy modovi kompresije,• region-of-interest kodiranje (ROI) – interesantni regioni se
kvalitetnije kodiraju,• slučajan pristup
i obrada kodiranog strima,
• robusnost,• otvorena
arhitektura,• deskripcioni
podaci,• zaštita
autorstva,• ...
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
76
JPEG JPEG vsvs. JPEG2000. JPEG2000
0,125 bpp
0,25 bpp
•39
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
77
ProcesProces JPEG2000JPEG2000 kodiranjkodiranjaa
• tiling – opciono, prostorno deljenje slike na podslike koje se dalje obrađuju, radi uštede operativne memorije,
• level offset – centriranje vrednosti piksela slike simetrično u odnosu na nulu, normalno zbog simetričnosti wavelet funkcije,
• ICT – transformacija originalnih ravni boje (RGB) slike u YUV model,
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
78
ORIGINAL
FILTERISANJEKOLONA
PODELIBROJ
KOLONA
FILTERI-SANJE
REDOVA
PODELI BROJ REDOVA
Diskretna Diskretna waveletwavelet transformacija transformacija (DWT)(DWT)
•40
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
79
JPEG2000 JPEG2000 kvantizacijakvantizacija i blokovsko kodiranjei blokovsko kodiranjeUNIFORMNA KVANTIZACIJA SA MRTVOM ZONOM• wavelet koeficijenti se uniformno kvantizuju
tako da jednom opsegu koeficijenata odgovara jedan kvantizacioni indeks.
BLOKOVSKO KODIRANJE• podela na blokove (64x64, 32x32) iste veličine u većini podslika,• blokovi se kodiraju zasebno, sadržaj čita po 4bit podkolonama,• formiraju se ravni bitova od MSB do LSB,• ravni bitova se kodiraju u tri prolaza obezbeđujući različite nivoe
kvaliteta restaurisane slike.
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
80
PodePodeššavanje brzine i organizovanje JPEG2000 avanje brzine i organizovanje JPEG2000 strimastrima
PODEŠAVANJE BRZINE PRENOSA• prekrajanje strima kodova da bi se obezbedila brzina prenosa,• skrati one strimove blokova koji će minimalno iskriviti sliku.ORGANIZOVANJE STRIMA• kompresovani sadržaji ravni bitova
se dele u pakete,• paket obuhvata bite oblasti ravni,• oblast najviše polovi podoblast.