multimedija tema 03 osnovne multimedijske tehnologije - slika
DESCRIPTION
digitalization of imagesTRANSCRIPT
Tema 03
Osnovne multimedijske
tehnologije - slikatehnologije - slikaM U LT I M E D I JA
dr Vladislav Miš[email protected]
Fakultet za računarstvo i informatiku
2012/2013
Tema 3:
Osnovne multimedijske tehnologije - slika
1. Osnovni pojmovi
2. Digitalni zapis slike
3. Vizuelna percepcija
4. Digitalizacija slike4. Digitalizacija slike
5. Kompresija slike
6. Vektorski zapis slike
Multimedija 2
1. Osnovni pojmovi
• Oko
• Slika
• Osvetljenost i kolor slika
• Modeli predstavljanja boje• Modeli predstavljanja boje
15.3.2013 PREDAVANJA 3
Oko
• Mrežnjača (retina) se sastoji od– štapića - receptori crno/belog za noćni vid
– čepića - receptori za boje
• Postoje tri vrste čepića, različite osetljivosti na određene delove vidljivog spektra, pojednostavljeno na crveni, zeleni i delove vidljivog spektra, pojednostavljeno na crveni, zeleni i plavi deo spektra (RGB model vida)
• Žuta mrlja (fovea) je centralni deo mrežnjače, koji omogućava vid visoke rezolucije, npr. na rastojanju od 10 m razlikovanje predmeta međusobno udaljenih 2mm
15.3.2013 PREDAVANJA 4
Teorije percepcije boje
• Teorija komponenti (component color
theory,Young-Helmholtz) - posebni receptori za tri osnovne boje (crvena, zelena, plava)
• Teorija suprotnih boja (opponent color theory, Ewald Hering) - postoje tri tipa diskriminatora
http://www.webvision.med.utah.edu
Ewald Hering) - postoje tri tipa diskriminatora boje (plava/žuta , crvena/zelena, crna/bela)
• Teorija suprotnih procesa (opponent-process
theory) objedinjava uvodeći dve faze:– čepići koji odgovaraju različitim trećinama vidljivog
spektra, šalju signale ka tri suprotna diskriminatora
– diskriminatori menjaju frekvenciju signala koji šalju
mozgu
15.3.2013 PREDAVANJA 5
Slika
• Slika
– Slika je model stvarnosti
– Model (analogna slika) je ravan objekt čija boja (osvetljenje) varira od tačke do tačke
– Formalno– Formalno• crno/bela slika f(x,y,t), 0≤ f(x,y) ≤ M (sjaj, osvetljenje)
• kolor slika: intenzitet osvetljenja, talasna dužina svetlosti,…
• Digitalna slika
– dobija se digitalizacijom (uzorkovanjem, sempliranjem) analogne slike
15.3.2013 PREDAVANJA 6
Osvetljenost i kolor slika
• objekt
• izvor osvetljenja
• senzori (npr. oko)
• c/b slika predstavlja distribuciju energije izvora osvetljenjaC(x,y,t,λ). Osvetljenje f zavisi i od osetljivosti senzora SC(x,y,t,λ). Osvetljenje f zavisi i od osetljivosti senzora S
• (multispektralna) kolor slika se sastoji od više komponenti fi
15.3.2013 PREDAVANJA 7
λλλ dStyxCtyxf )(),,,(),,(0∫∞
=
( )),,(,),,,(),,,(),,( 21 tyxftyxftyxftyxf nL=
Elektromagnetni spektar i vidljiva svetlost
Talasna dužina vidljive svetlosti (nm)
Talasna dužina elektromagnetnih talasa (m)
15.3.2013 PREDAVANJA 8
Vid
ljiva
sve
tlo
st
Distribucija energije dnevne svetlosti Distribucija energije veštačke svetlosti
Modeli predstavljanja boje
(kolor modeli)
• RGB (red, green, blue)– Poklapa se sa hardverom (katodne cevi sa tri topa - red, green, blue)
– Ne odgovara uvek umetnicima
• HSB (hue, saturation, brightness)– Odgovara percepciji boje u ljudskom mozgu, sa osvetljenošću
(brightness) kao intenzitetom svetla, obojenošću (hue) kao spektralnom (brightness) kao intenzitetom svetla, obojenošću (hue) kao spektralnom bojom i zasićenjem (saturation) kao količinom obojenosti koji se dodaje osvetljenosti
– Drugi naziv je HLS (hue, lightness, saturation)
• HSV (hue, saturation, value)– Kao HSB, ali pomoću uglova i procentualno - “blue” je 0 i 360 stepeni
• CMYK (cyan, magenta, yellow, black)– koristi se u štampi (subtractive)
15.3.2013 PREDAVANJA 9
Ilustracija 1: RGB model boje
blue
cyan
magenta
white
15.3.2013 PREDAVANJA 10
yellow
red
green
black
colour cube
Ilustracija 2: Ostali modeli boje
• CMY: Cyan - Magenta - Yellow subtraktivan model,CMYK = CMY + Black subtraktivan, za potrebe štampe
• HSB: u slikarstvu (s. colour wheel)• HSB: u slikarstvu (s. colour wheel)– Hue (stepen obojenosti)
– Saturation (zasićenje, %)
– Brightness (osvetljenost, sjaj, %)
15.3.2013 PREDAVANJA 11
Konverzija RGB boja u zapis CMYK
• CRGB
= {R,G,B}
• CCMY
= {C,M,Y}= {1-R,1-G,1-B}
• CCMYK
= {0,0,0,1} ako je min(C,M,Y) = 1inače K = min(C, M, Y) i CCMYK
= <(C-K)/(1-K'), (M-K)/(1-K'), (Y-K)/(1-K'), K>CCMYK
= <(C-K)/(1-K'), (M-K)/(1-K'), (Y-K)/(1-K'), K>
15.3.2013 PREDAVANJA 12
Aditivni RGB model Subtraktivni HSV model
2. Digitalni zapis slike
15.3.2013 PREDAVANJA 13
Digitalna slika može biti ...
• Bit-mapa, nalik fotografiji, dobija se postupkom digitalizacije kontinualne slike:
• Vektorski crtana slika:• Vektorski crtana slika:
• Sintetizovana 3D kreacija(rendering):
15.3.2013 PREDAVANJA 14
Rasterske (bit-mapirane) slike
• Bit-mapa je matrica koja opisuje individualne tačke - najmanje elemente digitalne slike (point ili picture element/pixel/pel)
• Za prikaz crno-belih slika je dovoljan samo jedan bit po pixel-u (crno/belo)
• Sa n bita se može predstaviti 2n različitih boja pixel-a, na • Sa n bita se može predstaviti 2n različitih boja pixel-a, na primer sa 8 bita 256 boja, sa 16 bita 32K i sa 24 bita 16 milionarazličitih boja (16.777.216)
• Prikaz pixel-a– monohromatske slike - 8 bita
– RGB kolor slike - 24/48/96 bita (3 x 8/16/32)
– CMYK kolor slike - 32/64 bita (4x 8/16)
15.3.2013 PREDAVANJA 15
Formati zapisa rasterske slike
• Formati GIF i PNG koriste 8-bitnu tabelu boja (color table)kojom se definiše paleta od 256 različitih boja
• Format JPG ima preciznost prikaza boje (color depth) od 16bita po pixel-u
• Format PSD (Photoshop Document) čuva 24 ili više bita po• Format PSD (Photoshop Document) čuva 24 ili više bita pojednom pixel-u– Više boja daje realističniju sliku, ali traži više memorije i vremena
(procesorske snage) za obradu
– Softver može izvršiti konverziju zapisa bit-mapirane slike, npr. iz 24-
bitnog u 8-bitni zapis
15.3.2013 PREDAVANJA 16
Rezolucija rasterske slike
• Prostorna frekvencija sampliranja je dobar pokazateljrezolucije– dots-per-inch (dpi) ili pixels-per-inch (ppi).
15.3.2013 PREDAVANJA 17
3. Vizuelna percepcija
• Osvetljenost i kontrast
• Oštrina i konture
• Oblik i prostor
• Trajanje i pokret• Trajanje i pokret
15.3.2013 PREDAVANJA 18
Osvetljenost i kontrast
• Apsolutni prag osvetljenosti– U potpunom mraku, na talasnoj dužini najveće osetljivosti (510 nm),
oko može da detektuje izvor svetlosti od samo 90 fotona, od kojih samo
50% dospeva do mrežnjače, a svega 10% do žute mrlje (9 fotona)
• Adaptacija oka je pojava kad se percepcija osvetljenosti menja u vremenu tu vremenu t
• Lokalna pozadina - percepcija osvetljenosti tačke u vidnom polju zavisi od osvetljenosti njene okoline
15.3.2013 PREDAVANJA 19
Ilustracija: Iluzija senke na šahovskoj tabli
• Iluzija senke: kvadrati A i B su iste nijanse (nivoa sivila)– Percepcija osvetljenosti zavisi
od osvetljenosti okoline
15.3.2013 PREDAVANJA 20
Oštrina i konture
• Oštrina vida zavisi od osvetljaja pozadine i mesta u vidnom polju. Oštrina brzo opada od centra ka periferiji, ali je periferni vid veoma značajan u prostornoj orijentaciji
• Postoji adaptacija u percepciji kontura i drugih jednostavnih uzoraka, koja prouzrokuje neke iluzije, npr.uzoraka, koja prouzrokuje neke iluzije, npr.
15.3.2013 PREDAVANJA 21
Boja
• Talasna dužina svetlosti λ
• Boja – vidljiva svetlost od crvene do ljubičaste
• Neke boje se ne mogu predstaviti jednostavno talasnom dužinom, npr. purupur - obojenost (hue)
780 nm 380 nm
dužinom, npr. purupur - obojenost (hue)
• HSB – hue, saturation, brightness
purpur je nezasićena crvena boja
• RGB – red, green, blue
15.3.2013 PREDAVANJA 22
Uzorci i teksture
• Površina slike nije jednolična ni kontinualna
• Uzorci (patterns) - ponavljanja sličnih regiona slike
• Grupisanje - svojstvo ljudskog vida - teksture
15.3.2013 PREDAVANJA 23
Oblik i prostor
• Binokularnost vida omogućava percepciju prostornih odnosa
• U obradi slika posmatramo samo 2D
15.3.2013 PREDAVANJA 24
Trajanje i pokret
• Tromost oka omogućava stvaranje utiska kretanja izmenom sličnih slika određenog trajanja
• Primeri animacije:
15.3.2013 PREDAVANJA 25
4. Digitalizacija slike
• Uređaji za digitalizaciju
• Skeniranje
• Sempliranje slike
• Kvantizacija u obradi slika• Kvantizacija u obradi slika
15.3.2013 PREDAVANJA 26
Uređaji za digitalizaciju
• skeneri– ručni (handheld)
– stoni (flatbad)
– rotacioni (drum scanners)
– bar-kod skeneri– bar-kod skeneri
– skeneri filmova (transparency)
• digitalne kamere
15.3.2013 PREDAVANJA 27
Skeniranje
• Proces kreiranja digitalne slike: stoni skener– dokument (original)
– izvor svetla (sijalica)
– optika (ogledalo, prizma)– optika (ogledalo, prizma)
– pretvarač (CCD)
– A/D konvertor
15.3.2013 PREDAVANJA 28
Sempliranje slike
• Za računarsku obradu analogni signal se mora digitalizovati sempliranjem (uzorkovanjem)– Digitalna slika
– Teorema sempliranja (Nyquist-Shannon1) - najmanja frekvencija
sempliranja mora biti najmanje dva puta veća od najviše frekvencije
analognog signala: f ≥ 2 fanalognog signala: fsample ≥ 2 fmax
15.3.2013 PREDAVANJA 29
1 Harry Nyquist 1928. godine, dokazao Claude E. Shannon 1949.
t
V
Frekventni spektar slike
• Frekventni spektar slike zavisi od (prostorne) brzine promene boje slike
• Rekonstrukcija signala nije moguća kada je frekvencija sempliranja suviše malasempliranja suviše mala
• Najviša frekvencija signala zavisi od prirode signala (brzine promene)
• Programsko filtriranje se može koristiti za eliminaciju visokih frekvencija
15.3.2013 PREDAVANJA 30
Kvantizacija u obradi slika
• Nivo signala u određenoj tački pamti se u računaru sa konačnom preciznošću (nbita, 2n diskretnih vrednosti)– Postupak zamene izmerene
V
0..2n– Postupak zamene izmerene
vrednosti oznakom intervala
vrednosti kome pripada
15.3.2013 PREDAVANJA 31
t
0..2n
5. Kompresija slike
31
50
0 1
0 1
15.3.2013 PREDAVANJA 32
dea bc
13 18
0
0
1
1 0
Kompresija rasterske slike
(bit-mape)
• Kompresija je postupak sažimanja dužine zapisa digitalne slike
• Postoje metode kompresije bez gubitaka (lossless) i sa gubicima (lossy)– Kompresija bez gubitaka se zasniva na uklanjanju redundanse u
podacima, bez ikakve njihove izmene, npr. kao kod arhiviranja podatakapodacima, bez ikakve njihove izmene, npr. kao kod arhiviranja podataka
programom WinZip).
– Kompresija sa gubicima se koristi prevashodno za slike i video zapis, a
zasniva se na uklanjanju redundanse i manje bitnih podataka, koji nisu
važni za vizuelnu percepciju
15.3.2013 PREDAVANJA 33
Kompresija bez gubitaka
• Run-Length kodiranje (RLE)
• Metod Lempel-Ziv-Welch (LZW)
15.3.2013 PREDAVANJA 34
Ideja: kompresija teksta
• Intuitivna kompresija teksta– Pakovanje piksela: formiranje
bit-stringa za ASCII tekst od 7
bita umesto 8 bita (packing).
Stepen kompresije je
7/8=0,875
1. Packing
Nekomprimovano
0100101101101111011011010111000001110010
0110010101110011011010010110101001100001
Komprimovano
1001011110111111011011110000111001011001
0111100111101001110101011000017/8=0,875
– Inkrementalno kodiranje:
kompresija sortiranih
podataka/rečnika, tako što se
prvih n znakova koji su
zajednički sa prethodnom reči
zameni brojem n (front
compression)
011110011110100111010101100001
2. Front compression
Nekomprimovano Komprimovano
a a
aardvark 1ardvark
aback 1back
abaft 3ft
abandon 3ndon
abandoning 7ing
abasement 3sement
abandonment 3ndonment
Run-Length kodiranje (RLE)
• RLE kodiranje– zamena uzastopnog pojavljivanja n puta niza bitova d jednokratnim
zapisom nd
– postoji više varijanti , za tekst, brojeve, ...
• Koristi se u kompresiji prenosa podataka modemom (MNP 5) i • Koristi se u kompresiji prenosa podataka modemom (MNP 5) i zapisu slika (nizovi pixel-a)– Windows format BMP
Metod Lempel-Ziv-Welch (LZW)
• Metod kompresije bez gubitaka, nazvan po prezimenima svojih autora (Abraham Lempel, Jacob Ziv i Terry Welch)
• Prvi široko rasprostranjen opšti metod komresije bez giubitaka, za duže tekstualne fajlove ušteda oko 50%
• Osnovni metod kompresije GIF formata zapisa rasterskih slika• Osnovni metod kompresije GIF formata zapisa rasterskih slika
• Osnovni postupak:1. Inicijalizuj rečnik, tako da sadrži sve stringove dužine 1
2. Ponavljaj
Pronađi najduži string W u rečniku koji sadrži tekući ulazni simbol
Pošalji na izlaz indeks W iz rečnika i ukloni W iz ulaznog niza
Dodaj W zajedno sa narednim simbolom iz ulaznog niza u rečnik
Kompresija s gubicima
• Diskretna kosinusna transformacija (DCT)
• Metodi kompresije slika (GIF, JPEG)
15.3.2013 PREDAVANJA 38
Diskretna kosinusna transformacija (DCT)
• Matematička transformacija,
slična Fourier-ovoj, koja signal
(zvuk, sliku, video) predstavlja
sumom kosinusa periodičnih
signala različitih frekvencija
– dekorelacija slike - vrednosti piksela – dekorelacija slike - vrednosti piksela
postaju nezavisne
– deo piksela koji najmanje utiče na
kvalitet reprodukcije se može
izostaviti
• DCT kompresija - smanjenje
prostorne redundanse
– zvuka (MP3, Ogg Vorbis), slike
(JPEG) i video signala (MPEG)
15.3.2013 PREDAVANJA 39
Metodi kompresije slika (GIF, JPEG)
• Standardni format GIF koristi algoritam bez gubitaka, dok format JPG dopušta gubitak dela informacije zbog usrednjavanja boje blokova
– GIF codec uklanja ponavljanja sukcesivnih bajtova
– JPEG standard koristi složeniji pristup: pošto mnogi susedni pixel-i imaju – JPEG standard koristi složeniji pristup: pošto mnogi susedni pixel-i imaju
sličnu boju, prvo grupiše pixel-e u grupe od 4 do 16 pixel-a, zatim
određuje srednju vrednost za boju bloka. Nakon toga se vrši kvantizacija
blokova, računanjem srednje vrednosti grupe susednih blokova
• GIF bolje komprimuje velike jednobojne površine i umereno sitne detalje, a JPG fotografije u punom koloru
• Program za kompresiju se često naziva codec (compressor/decompressor)
15.3.2013 PREDAVANJA 40
Standard GIF
• Ograničen je na ukupno 256 boja (indeksiranih)
• Kompresija bez gubitaka
• Patentirani algoritam LZW (Lempel/Ziv/Welch):– prilikom čitanja se formira rečnik sekvenci simbola
– kodira se prvo najduža sekvenca simbola iz rečnika– kodira se prvo najduža sekvenca simbola iz rečnika
• Pogodan za veštački formirane slike koje imaju veće površine iste boje
• Popularan na Internetu
15.3.2013 PREDAVANJA 41
Standard GIF89a
• Prošireni standard GIF89a omogućava upravljanje providnišćuslike, preplitanjem i animacijom- providnost boja se definiše pomoću indeksa providnosti, kroz koji se vidi
pozadina
- preplitanje ubrzava prikaz u niskoj rezoluciji, uz povećanje zapisa oko
10%10%
• Neki stariji programi ne podržavaju prošireni standard
15.3.2013 PREDAVANJA 42
Standard JPEG
• Veoma složen standardkompresije sa više različitih režima rada:– osnovni: sa gubicima,
sekvencijalan, koristi DCT
JPEG enkoder
– prošireni režim sa gubicima
– bez gubitaka (lossless mode)
– hijerarhijski (hierarchical
mode)
• Pogodan je za slike složenije strukture, npr. digitalizovane fotografije
15.3.2013 PREDAVANJA 43
JEPG dekoder
Ilustracija: režimi rada standarda JPEG
15.3.2013 PREDAVANJA 44
6. Vektorski zapis slike
• Vektorski crtana slika
• Bezierove krive
• Rasterizacija
• Optičko prepoznavanje znakova (OCR)• Optičko prepoznavanje znakova (OCR)
15.3.2013 45
Vektorski crtana slika
• Vektorski crtana slika se kreira pomoću geometrijskih objekata, kao što su linije, pravougaonici, ovali, poligoni, korišćenjem matematičkih formula
• Primer: komanda za crtanje pravougaonika na ekranu
RECT 0,0,300,200,RED,BLUERECT 0,0,300,200,RED,BLUE(koordinate na površini ekrana)
• Dizajn (CAD) - Bezierove krive
• Zauzima manje memorije nego bit-mape
15.3.2013 PREDAVANJA 46
Ilustracija: Vektorski crtana slika, skaliranje
i dekompozicija
a) Vektorski crtana slika
15.3.2013 PREDAVANJA 47
c) Dekompozicija vektorski crtane slike
b) Skaliranje vektorski crtane slike
Bezierove krive
• Bezierove krive - u 2D, linije opisane sa dve krajnje tačkei dve ili četiri kontrolne tačke, koje nisu deo krive, ali određuju njen oblikali određuju njen oblik– Pierre Bézier - projektant firme
Rénault, 1962. rešavao
problem dizajna karoserija
15.3.2013 PREDAVANJA 48
Rasterizacija: konverzija vektorskih u bit-
mapirane slike
• Editori rasterskih slika konvertuju vektorske crteže u bitmape postupkom rasterizacije (Photoshop automatski)
• Editori vektorskih slika konvertuju bit-mape u vektorske slike(formule) postupkom vektorizacije
– npr. "praćenja oblika" ili autotracing - funkcijaTrace BitMap)
• Konverzija u rasterski format• Konverzija u rasterski format– GIF (Graphics Interchange Format), PNG (Portable Network Graphics),
JPG (Joint Photographic Experts Group) , TIF (Tagged Image File Format), BMP (Windows Bitmap) , PCX i PSD (Photoshop Document), PICT (Apple)
• Konverzija u vektorski format– DWG (AutoCad Drawing), AI (Adobe Illustrator), EPS (Enhanced
PostScript), WMF (Windows MetaFile), CDR (Corel Draw)
15.3.2013 PREDAVANJA 49
Optičko prepoznavanje znakova (OCR)
• Prepoznavanje znakova u rasterskim slikama (optical character
recognition, OCR) se koristi za vektorizaciju teksta– vektorizacija teksta na osnovu digitalizovanih štampanih ili rukom
pisanih dokumenata
– Primer: Microsoft Office Document Imagging
15.3.2013 PREDAVANJA 50
Literatura
1. Miškovic V., Multimedija (prezentacije), Univerzitet Sinergija, 2013
2. Cvetković D., Popović R., Marković M., Multimedija, Univerzitet
Singidunum, Beograd, 2010
3. Miškovic V., Multimedija - praktikum za laboratorijske vežbe, Univerzitet
Singidunum, Beograd, 2008
4. Steinmetz R., Nahrstedt K., Multimedia Systems, Springer, 20044. Steinmetz R., Nahrstedt K., Multimedia Systems, Springer, 2004
5. Havaldar P., Medioni G., Multimedia Systems: Algorithms, Standards and
Industry Practices, Course Technology, 2010
6. Salomon D., Data Compression: The Complete Reference, 3rd Ed, Springer,
2004
7. Rosenfeld A., Kak A., Digital Picture Processing, Academic Press, 1982
8. Pratt W.K., Digital Image Processing, 4th Ed, John Wiley, 2007
9. Knjige i priručnici za Adobe Photoshop i Corel Draw (postoje i prevodi)
51Multimedija
Šira literatura ...
• Gonzalez R., Woods R.E., Digital Image Processing (3rd Edition), Prentice
Hall, 2007 (976 str.)
• Luo M. Ronnier (editor), Macdonald L.W.(editor), Colour Imaging: Vision
and Technology, John Wiley & Sons, 1999
• Sharma, G.(editor), Digital Color Imaging Handbook, CRC Press, 2003 (797
str.)str.)
• Margulis, D., Professional Photoshop: The Classic Guide to Color
Correction, 5th Ed, Peachpit Press, 2006
• McClelland D., Eismann K. et al., Photoshop: Studio Secrets, 3rd Edition,
John Wiley & Sons, 2001
• Mitchell J. L., Pennebaker W. B. (editors), Digital Multimedia Standards
Series, Chapman and Hall. New York,1997
15.3.2013 PREDAVANJA 52
dr Vladislav Miškovic
Multimedija
Tema 03: Osnovne multimedijske tehnologije - slika
Pitanja?Pitanja?
53Multimedija