gmms ecopy.pdf

Prof. dr Dragan Ivetić

[email protected]

GRAFIČKI I MULTIMEDIJALNI

SISTEMI skripta

“We made a big mistake 300 years ago when we separated technology and humanism...

So there for the enlightenment, guys. IT'S TIME TO PUT THE TWO BACK TOGETHER.”

Michael Dertouzos

(Interviwed in Scientific American, July 1997)

Novi Sad, 2006. godine

•1

Prof. dr Dragan IvetiProf. dr Dragan Ivetićć –– GRAFIGRAFIČČKI I MULTIMEDIJALNI SISTEMIKI I MULTIMEDIJALNI SISTEMIUvodUvod

1

O nastavnikuO nastavnikuDipl. ing. elek. - računarstvo i automatika, 1990, FTN,Mr teh. nauka - formalizmi u SE, 1994, FTN,Dr teh. nauka - integracija HCI i SE, 1999, FTN.DAAD stipendija, RWTH Aachen – Primena

multimedije u industriji, 1997. ACM school "SW architecture", Prague, 1998.V. prof., FTN – elektrotehn. i računarstvo, 2005.

Kabinet 9C, TMD, Fruškogorska 11, Novi Sad(021) 485-2419, 485-2424http://[email protected]


2

LiteraturaLiteratura1. SLAJDOVI SA PREDAVANJA SA VAŠIM BELEŠKAMA2. Foley, V. Dam, Feiner, Hughes & Phillips, INTRODUCTION

TO COMPUTER GRAPHICS, 1998./2000.3. Sonka, Hlavec & Boyle, IMAGE PROCESSING, ANALYSIS

AND MACHINE VISION, 1998.4. Steinmetz & Nahrstedt, MULTIMEDIA: COMPUTING,

COMMUNICATIONS AND APPLICATIONS, 1995.5. Steinmetz & Nahrstedt, MULTIMEDIA: MEDIA CODING

AND CONTENT PROCESSING, 2002. 6. Steinmetz & Nahrstedt, MULTIMEDIA APPLICATIONS,

2004.7. Steinmetz & Nahrstedt, MULTIMEDIA SYSTEMS, 2004.

•2


3

RaRaččunarska grafikaunarska grafika je je Računarska grafika obuhvata generisanje, prezentaciju, manipulaciju, obradu ili evalvaciju grafičkih objekata od strane kompjutera kao i pridruživanje grafičkih objekata nekim negrafičkim informacijama koje se nalaze u fajlovima.

Grafički objekti mogu biti fotografije ili mogu biti kreirani uz pomoć kompjutera u formi alfanumeričkih karaktera, specijalnih simbola, izvlačenjem linija ili sivljenjem. Tako veštačko generisani objekti mogu biti predstavljeni crno/belo ili u boji.


4

Tok izlaganjaTok izlaganja

1. Hardverske arhitekture grafičkih sistema

2. Softverska arhitektura

3. Teorija boja

4. Oblasti proučavanja

•3


5

Vektorska i raster grafikaVektorska i raster grafika

idealno vektorska raster

sa stanovišta formiranja prikaza grafičkog objekta, odnosno izlaznih uređaja

vektorski HW raster HW


6

Hardver jednostavnog vektorskog sistemaHardver jednostavnog vektorskog sistema

• display processor / display processor unit / graphics controller,

• izvršava svoj program barem 60 puta/s,

• više objekata za prikaz – više vremena i procesne snage,

• inteligentan osciloskop.

•4


7

Hardver jednostavnog rasterskog sistemaHardver jednostavnog rasterskog sistema

• postoje različite varijacije arhitektura sa video procesorom -integrisani procesor tako da je video buffer deo sistemskog memorijskog/UI adresnog prostora a video kontroler direktno na sistemsku magistralu,


8

Video kontroler klasiVideo kontroler klasiččne arhitekturene arhitekture

•5


9

Video kontroler LVideo kontroler LookookUUppTTableable arhitekturearhitekture

• LUT – programabilni sadržaj, paleta od mogućih 224 boja,• za prikaz od 1024x1280 piksela i sa 224 boja,

• bez LUT – bafer od 1.25 M lokacija po 3 bajta, 3.75 MB,• sa LUT – bafer od 1.25MxA bita i LUT od Px24 gde je

P=2A, za P=512 i A=9 treba 1.41MB + 1536 bajta za LUT.


10

Vektorska vs. raster grafikaVektorska vs. raster grafika

• kvalitetan prikaz (solid),• treperenje je minimalno, • jeftiniji HW (mala procesna moć-analogno),

• nema bojenja,• max. debljina linije (fokus), • primena samo u tehnici,

• 3D prikaz bojenjem,• neograničen zoom, • osvežavanje nezavisno od broja prikazanih objekata,

• lošiji prikaz,• zahtevan u procesiranju, • treperenje za osvež. < 70Hz,

•6


11

SoftverskSoftverskaa arhitekturaarhitekturaWindows 2000 graphics/multimedia system architecture.


12

DirectXDirectX

•7


13

Direct3D vs. OpenGLDirect3D vs. OpenGLDirect3D MS API za 3D

MS OS i Xbox

• teška upotreba, prvo inic. strukture pa API f-je,

• COM zasnovan,• upravljaj uređajima ali

imaš i njihovo stanje,

• MS tvrdio da je brži,

• uglavnom za igrice,

OpenGL otvoren API za 3DUNIX like OS, Nintendo, PlayStation

• pozivi API f-ja (oko 250),• apstraktni nivo, može i bez

hardvera ali nema stanja,• teži rad sa teksturom,

• ali nije jer SIGGRAPH razvio CosmoGL,

• standardizacija ga načinila pogodnijim za profi grafiku (CAD, VR i simulatori)


14

TEORIJA BOJATEORIJA BOJA

•8


15

KLASE MEDIJAKLASE MEDIJA

ADITIVNI SUPTRAKTIVNI

+-

refleksionitransparentni

-

MODELI BOJARGBCMY/CMYK

HLS/HSV/HSBLAB


16

RGB MODELRGB MODELGREEN

RED BLUE

• definisan prostor po RGB bojama,RGB (0,0,0) je koord. početak -crnoRGB (1,0,0) - zasićena (puna) crvenaRGB (0,1,0) - zasićena zelenaRGB (0,0,1) - zasićena plavaRGB (1,1,1) - belaod (0,0,0)-(1,1,1) su nijanse sivog

• RGB kocka za prikaz mešanja boja,

• ravni RGB kocke za 2D selektovanje boje.

•9


17

CMY/CMYK MODELCMY/CMYK MODEL• za suptraktivni medij, • slaganje filtera (RGB?),• filtri propuštaju i dijagonalnu boju,

• dodata crna (blacK),

CYAN

MAGENTA YELLOW

tirkiznifilter

ljubičastifilter

žutifilter

• nema čistih (zasićenih) boja,• bleda slika (bolesna).

CMY 2 CMYK model

• tj. filter/zaslon za svetlost,• popravili “istopljenost” CMY kocke,• i dalje nema zasićenih boja.


18

HLS/HSV/HSB MODEL IHLS/HSV/HSB MODEL IHLS (Hue Luminousity Saturation), HSV (Value), HSB (Brightness)

•10


19

HLS/HSV/HSB MODEL IIHLS/HSV/HSB MODEL IIPrati čovekov mentalni model,

izabere boju,koliko ona treba biti svetla,koliko zasićena (puno sivog - čista).


20

LAB ILAB I• 1931. godine CIE (Commission Internationale de

L'Eclairage), Internacionalna komisija o iluminaciji ustanovila model koji je omogućio predstavljanje punih boja

•11


21

LAB ILAB III• 1976. godine razvijen CIA LAB po otkriću da se prenose

razlike crno/belo (L* dimenzija), crveno/zeleno (a*) i žuto/plavo (b*).


22

Komparacija modela boja i uređajaKomparacija modela boja i uređaja

•12


23

Oblasti raOblasti raččunarske grafikeunarske grafikesu:

ili “analiza scene” - identifikovanje i rad sa objektima fotografije ili kompjuterske slike (RTG film i elektronska kontura organa)

• unapređenje slike (kontrast, smetnje), • evalvacija slike (veličine, oblika), • prepoznavanje obrazaca (pattern)

• konstrukcija objekata i generisanje slike, • transformacija objekata i slike, • identifikacija objekata i info. retrievel

•1

Prof. dr Dragan IvetiProf. dr Dragan Ivetićć –– GRAFIGRAFIČČKI I MULTIMEDIJALNI SISTEMIKI I MULTIMEDIJALNI SISTEMI1. 2D generativna grafika1. 2D generativna grafika

1

Generativna grafikaGenerativna grafika2D

Kompozicija• formiranje 2D primitiva, • transformacija 2D primitiva,Iluminacija• u 2D svetu mislimo na bojenje 2D primitive,Clipping• ukrojiti na prikaz,Rasterizacija• transformisati u oblik prilagođen grafičkom hardveru,

sprovodi se u prethodnim fazama sem VektorGraph2Raster,

Kompozicija2D primitiva Iluminacija Clipping Rasterizacija


2

2D primitive2D primitivepo SimpleRasterGraphicsPackage koji je dijalekt PHIGS-a

0

1024

1280

Y

X

teksttekstTEKST

Tekst

Tekst

Tekst

canvas

•2


3

Rasterski prikaz linije Rasterski prikaz linije -- polopoložžaj taaj taččkeke

ld

ldii

xi

zanemiii

xxyyymyxmy

BxxmBmxy

−−

+=+≈Δ+=

≈+Δ+=+=

=Δ

++

1

.11 )(

Gde je sledeća tačka y osi ako x=x+1 ?

Inkrementalni algoritam• realno deli da dobije m, • celobr. koord. pa y=ROUND(y+m), • problem sa real. arit. i round, vreme

Algoritam sa srednjom tačkom, 1965• celobrojna aritmetika, • kriterijum d=F(xi+1,yi+1/2),• d<0 yi+1 je ispod, inače iznad • da bi bio celobr. aritmetika, računa se ustvari 2d,• sve je OK za nagib 0..1, za > 1 obrću se ose za neki ugao....


4

Rasterski prikaz linije Rasterski prikaz linije -- rezolucijarezolucija

rezolucija M x N

2M x 2N• rezolucija • stepenice (jaggies)

• zbog ima/nema ispisa,• linija jako tanka,• a ona je 1 pixel široka

4M x 4N

8M x 8N

•3


5

Rasterski prikaz linije Rasterski prikaz linije -- bojaboja

Koristi ALIASING, efekat odabiranja diskretnih vrednosti boje piksela.

crna linija na belomBoja srazmerna % pokrivenosti


6

Crtanje i debljina kruga i elipseCrtanje i debljina kruga i elipsecrtanje po simetriji, bojenje po scan linijama a debljina linijecrtanje po simetriji, bojenje po scan linijama a debljina linije sa sa ““tracing a tracing a

rectangular penrectangular pen””

•4


7

TekstTekst

Simboli datog fonta, veliSimboli datog fonta, veliččine, boine, boje, bje, boje pozadine, aoje pozadine, animacije, razmakanimacije, razmaka između linijaizmeđu linija, formatiranje, formatiranje……

tipografijatipografija

osnovne mere (u skladu sa Java standardom)osnovne mere (u skladu sa Java standardom)


8

Prikaz tPrikaz tekstekstaa

kao bitmapekao bitmape

outline fontsoutline fonts

•5


9

2D krive 2D krive –– kako ih predstavitikako ih predstaviti•• lilinije i poligoni pomonije i poligoni pomoćću pravih (krive prvog stepena),u pravih (krive prvog stepena),• kako krive?

• aproksimacija sekvencom pravih (grubo, puno krajnjih tačaka za memorisanje, teža manipulacija),

• eksplicitnim funkcijama višeg reday = f(x)

(kako za jedno x više y vrednosti za krug ili elipsu),• implicitnom funkcijom višeg reda

f(x,y) = 0(kako iscrtati deo kruga, x2 + y2 = 0, moglo bi kao x ≥ 0 ali ne baš uvek i ne baš lako),

• parametarskim funkcijamax = x(t) i y = y(t)

(najbolja a dozvoljava i jednostavnu segmentaciju).


10

2D krive 2D krive –– parametarska predstavaparametarska predstava

• polinomijalne krive ali kog stepena?• kvadratne (premalo kontrole – tri koeficijenta – krajnje

tačke i krivina ili dodatna tačka),• kubne (veća kontrola - četiri koeficijenta – krajnje tačke i

izvodi u njima)x = axt3 + bxt2 + cxt + dx

y = ayt3 + byt2 + cyt + dy

• 4. i višeg reda (puno fine kontrole ali i zahtevne su za sračunavanja – u auto/avio industriji).

•6


11

2D krive 2D krive –– kubnakubna parametarska predstavaparametarska predstava

x = axt3 + bxt2 + cxt + dx

y = ayt3 + byt2 + cyt + dy

• nacrtati elipsu, 0 ≤ t ≤ 2πx = W cos(t) y = H sin(t)

• kako krug?


12

2D krive 2D krive –– kontinualnost segmenatakontinualnost segmenata• kontinualnost segmenata krive – zasnovana na tangentnim

vektorima u krajnjim tačkama,d/dt x(t) , d/dt y(t) = 3axt2 + 2bxt + cx , 3ayt2 + 2byt + cy

• stepeni geometrijske kontinualnosti• dva segmenta spojena u istoj tački – G0,• G0 ali tangetni vektori istog smera (ne i intenziteta) – G1,• G1 ali i istog intenziteta - parametarski kontinuitet – C1,• uopšte ako n-ti izvod ima isti smer i intenzitet – Cn,

•7


13

Tipovi 2D krivih ...Tipovi 2D krivih ...

prema interpretaciji 4 koeficijenta u kubnim polinomima,1. HERMITE CURVES – dve krajnje tačke i vektori u njima,


14

... Tipovi 2D krivih ...... Tipovi 2D krivih ...

2. BEZIER CURVES – dve krajnje tačke i dve druge tačke kojima se kontrolišu tangentni vektori,

•8


15

... Tipovi 2D krivih... Tipovi 2D krivih3. SPLINES – subtypes – B-splines, kriva od (M-2) segmenta,

M ≥ 3, pomoću M upravljačkih tačaka pri čemu segmenti su C0 , C1 i C2 povezani,


16

Transformacija 2D primitiva Transformacija 2D primitiva ......po tačkama koje čine primitivu

⎥⎦

⎤⎢⎣

⎡+⎥⎦

⎤⎢⎣

⎡=⎥

⎦

⎤⎢⎣

⎡

pomeraj

pomeraj

t

tyx

yx

yx

TRANSLACIJAXpomeraj

Ypomeraj

⎥⎦

⎤⎢⎣

⎡⎥⎦

⎤⎢⎣

⎡=⎥

⎦

⎤⎢⎣

⎡yx

SS

yx

y

x

t

t *0

0SKALIRANJE u odnosu na (0,0)

X

Y

Uniformno , Sx=Sy• Sx,Sy>1, veće i dalje od (0,0),• Sx,Sy<1, manje i bliže

Neuniformno, Sx≠Sy• Sx,Sy>1, veće i dalje od (0,0),• Sx,Sy<1, manje i bliže

Za Sx=0,25Sy=0,5

•9


17

... ... Transformacija 2D primitivaTransformacija 2D primitiva

⎥⎦

⎤⎢⎣

⎡⎥⎦

⎤⎢⎣

⎡ −=⎥

⎦

⎤⎢⎣

⎡yx

yx

t

t *cossinsincosααααROTIRANJE

u odnosu na (0,0)

X

Y Za α=45°

Rotiranje oko proizvoljne tačke• translacija u koordinatni početak za -d,• rotiranje za zadati ugao,• translacija od koordinatnog početka za d.

KOMPOZICIJA transformacija za složene transformacije/kretanja.


18

Homogone koordinateHomogone koordinate

X

Y

W

2D tačka predstavljena kao (x,y,w) -homogena koord., projekcija na ravan, (2,3,6) i (4,6,12) predstavljaju istu tačku. Jedna tačka, mnogo hom. kord., samo da je bar jedna ≠ 0.

Homogenizujemo tako da (x,y,1), deli sa w, svaka 2D transform. je proizvod, a i lakše sračunavnje kompozicije.

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

1*

1001001

1yx

yx

yx

pom

pom

t

t

T⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

1*

1000000

1yx

SS

yx

y

x

t

t

S

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡ −=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

1*

1000cossin0sincos

1yx

yx

t

tθθθθ

R

•10


19

Homogone koordinate i kompozicijaHomogone koordinate i kompozicija

[ ] [ ] [ ]

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡−−+−−

=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡−−

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡ −

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

−−

1*

100sin')cos1('cossinsin')cos1('sincos

1*

100`10`01

*

*1000cossin0sincos

*100`10`01

1***

1','','

yx

xyyx

yx

yx

yx

yx

TRTyx

yxyxt

t

αααααααα

αααα

α

X

Y

Rotiranje 2D objekta za ugao α oko temena (x’,y’)

Translacija za (-x’,-y’) u koordinat. početakRotacija za ugao αTranslacija za (x’,y’) u početni položaj


20

BojenjeBojenje• samo 2D primitive sa definisanom površinom,• primer bojenja poligona,

1. Pronaći sve tačke preseka scan lines sa linijama poligona, (x , y).2. Sortirati parove u rastućem redosledu, prvo po Y pa po X.3. Prikazivati tačke po scan lines između dva para (x,y).

0

Y

X

scan lines

•11


21

Interaktivno bInteraktivno bojenje ojenje bilo kog bilo kog 2D regiona2D regiona

Region kao kolekcija piksela može biti klasifikovan na

8-mo povezan, bilo koja dva piksela su spojiva u nekom od 8 mogućih smerova 2D prostora,

4-ro povezan, bilo koja dva piksela su spojiva u nekom od 4 koordinatna smera 2D prostora, on je i 8-mo povezan

Region se manje apstraktno može definisati na dva načina

REGION DEFINISAN INTERIJEROM

Poznata boja tačke interijera (P).Region su najšire povezani pikseli koji su obojeni bojom P.

REGION DEFINISAN OKVIROM

Poznata boja okvira (O).Region su najšire povezani pikseli koji nisu obojeni bojom O.


22

SeedSeed--fill algoritmi bojenja regionafill algoritmi bojenja regiona

jer počinju od neke tačke koja pripada regionu. Primeri na 4-ro p. r.

void PFill(XT,YT,BojaNo,BojaSt){if (BojaTacke(XT,YT)==BojaSt){PrikazTacke(XT,YT,BojaNo);PFill(XT,YT-1,BojaNo,BojaSt);PFill(XT,YT+1,BojaNo,BojaSt);PFill(XT-1,YT,BojaNo,BojaSt);PFill(XT+1,YT-1,BojaNo,BojaSt);} }

void BFill(XT,YT,BojaOk,BojaNo){ int boja = BojaTacke(XT,YT);if (boja != BojaOk) //nije okvir{if (boja != BojaNo) //vec bili

{NovaBoja(XT,YT,BojaNo);BFill(XT,YT-1,BojaOk,BojaSt);

// ostale tri kombinacije testova}

} }Soft fill za bojenje regiona sa zamućenim (blurred) okvirima.

Flood fill algoritam (poplava) Boundary fill algoritam (okvir)

•12


23

ClippingClipping• razlika u veličini generativne grafike i prikaznog uređaja,• clipping linije, poligona, kruga, teksta u 2D,• slično u 3D samo je reč o clipping kocki,

Mogući pristupi:1. analitički,

previše uzaludnog rada za mali (veliki) clipping prozor,2. algoritamski,

logičko usecanje prema graničnim linijama, pravama i/ili ravnima,radimo:

Cohen-Sutherland-ov algoritam,Sutherland-Hodgman-ov algoritam.

AE

D ′

DF

B HC

GG ′

JJ ′

II ′

lH ′


24

CohenCohen--Sutherland ...Sutherland ...• clipping linije,

Opšta ideja algoritma:1. prihvati trivijalno unutrašnje i odbaci trivijalno spoljašnje linije,

XmaxLinija<Xmin, XminLinija>Xmax, YmaxLinija<Ymin, YminLinija>Ymax kako?2. prihvati delove ostalih linija koje se nalaze unutar prozora,

podela na (pri) horizontalnim (vertikalnim) linijama,

AE

D ′

DF

B HC

GG ′

JJ ′

II ′

lH ′

A

B C

D ′

lH ′

G ′

Implementacija?

Koliko selekcija?

Vreme izvršavanja?

•13


25

... Cohen... Cohen--SutherlandSutherland• inteligentna podela ravni i njihovo

kodiranje tetradom ubrzava algoritam, • do tetrade šiftovanjem ulevo predznaka

(ymax-y) pa (y-ymin) pa (xmax-x) i (x-xmax),• linija EF ima tetrade (0001, 1001),• kako jednostavno detektovati trivijalno

prihvatljive, odnosno neprihvatljive linije?

AE

D ′

DF

B HC

GG ′

JJ ′

II ′

lH ′

1001 1000 1010

0001 0000 0010

0101 0100 0110• trivijalno neprihvatljiv je (tetradaA and tetradaB != 0), a trivijalno

prihvatljiv? • kako preostale linije?

npr. GH → 0100 and 0010 = 0000, pa se deli naGG-’ → 0100 and 0100 = 0100, trivijalno neprihvatljiv,G+’H-’ → 0000 i 0000, trivijalno prihvatljiv pa u G’H’,H+’H → 0010 and 0010 = 0010, trivijalno neprihvatljiv,

• nedostatak algoritma je račun za IJ,


26

SutherlandSutherland--Hodgman ...Hodgman ...• clipping poligona (konveksnog i konkavnog ),

Opšta ideja algoritma:1. Clip prema beskonačnim graničnim linijama prema narednim pravilima

2. vektor tačaka poligona t1..tN se menja svakim prolazom za savku graničnu liniju (obično 4),

P: output Clip granica

SU VAN

Si: output

P(no output)

P

S

P: secondoutput

i: firstoutput

S

•14


27

v1 v2

v3

v4

v5 v6

v7v8 1 2 3 4 5 6 7 8( )v v v v v v v v

... Sutherland... Sutherland--Hodgman ...Hodgman ...


28

( )λ1)(η

v1 v2

v3

v5 v6

v7v8

v4

2 3)vη

3η4η1η

3)η 4 5)vη 6)v 7)v 8)v

2η1η


•15


29

( )λ 15( )η η 2)η 3)v 3)η 4)η 5)v 6)v 6)η

v3

v5 v6

v7v8

2η3η4η1η

5η 6η



30

7( )η

v3

v5 v6

327 8( )vη η η( )λ

2η3η

4η1η

37 28 3( )vηη ηη5η

7 8 2( )η η η

6η

37 8 92 3( )vηη ηη η

7η

8η9η

10η

Nemapotrebe za desnu liniju

... Sutherland... Sutherland--HodgmanHodgman

3 62 37 8 9 10( )v vη η ηηη η

v3

v5 v6

2η3η4η

6η7η

8η9η

10η

•1


1

Generativna grafikaGenerativna grafika

Kompozicija - formiranje 3D primitive i transformacija,IluminacijaClipping - ukrojiti na jedinični volumen,Projekcija - 3D na 2D,RasterizacijaSenčenje – realnost,

3D

Kompozicija3D scene

SenčenjeRasterizacija

Iluminacija Clipping

Projekcija


2

Gradnja 3D primitiva (modela)Gradnja 3D primitiva (modela)

Klase prezentovanja 3D modela:1. Polygon mesh – skup povezanih, poligonalnih planarnih

površina.2. Parametric polynomial surface patches – oblik zakrpa su

polinomijalne krive.3. Quadric surfaces – implicitno definisani jednačinom

f(x,y,z) = 0, sfere, elipsoidi i cilindri, solid modeling.

•2


3

Polygon meshPolygon meshSkup ivica, temena i poligona spojenih tako da:• svaka ivica je deljena među najviše dva susedna poligona,• ivica povezuje dva temena,• poligon je zatvorena sekvenca ivica.


4

Generisanje polygon meshGenerisanje polygon mesh

• ogroman broj algoritama• zavisno od oblika poligona (tetra, heksa),• a i same mreže (nestrukt., strukt. – grid),

• mi samo akademske:• advancing front,

• problem izbor r, bolji refinement mesh-a,• delaunay rešava problem poluprečnika,• što je iskorišteno u mnoštvu algoritama,

• Lawson-ov algoritam,• Bowyer-Watson Algorithm...

strukt.

hibridni

Nestr. hex

Nestrukt

•3


5

Advancing FrontAdvancing Front

A B

C

• početi sa boundary mesh – što čini inicijalni front,• za svaku ivicu fronta, naći idealno teme C,


6


A B

Cr

• proveriti da li neko teme tekućeg fronta upada u kružnicu radijusa r, ako upada – to teme fronta postaje idealno teme tekućeg trougla,

D

•4


7


• telo: nove ivice fronta se dodaju/brišu kako se formiraju trouglovi,

• nastaviti dok postoje ivice u frontu,

D


8




•5


9





10




•6


11


A

B

C

• u slučaju više kandidata, uzeti najbliži najkvalitetnijem (jednakostraničan),

• odbaciti one koji presecaju postojeći front,• odbaciti invertovane trouglove,

r


12

DelaunayDelaunay

kružnica

Pravilo prazne kružnice (sfere):Unutar kružnice se ne sme naći niti jedno teme drugog trougla.

•7


13

zadovoljena delaunay triangulacija

DelaunayDelaunay


14

nije zadovoljena delaunay triangulacija

DelaunayDelaunay

•8


15

LawsonLawson--ov algoritamov algoritam

• locirati trougao koji sadrži X,• podeli trugao,• rekurzija: proveriti susedne

troug. prema pravilu prazne kružnice, ako nije ispunjena –zameniti dijagonale,

X


16

LawsonLawson--ov algoritamov algoritam

• locirati trougao koji sadrži X,• podeli trugao,• rekurzija: proveriti susedne

troug. prema pravilu prazne kružnice, ako nije ispunjena –zameniti dijagonale,

X

•9


17

Polygon mesh modelovanje i teksturaPolygon mesh modelovanje i tekstura


18

Parametarske krive zakrpeParametarske krive zakrpe

• zakrpa (patch) je definisana pomoću seta 2D krivih (Hermites, Bézier, spline),

• višedimenzionalna kontinualnost krivih jer mora biti zadovoljena:

• unutar iste zakrpe,• među susednim zakrpama.

•10


19

3D modelovanje punim telom3D modelovanje punim telomSOLID MODELING, posebna primena u CAD/CAM

Regularne logičke operacije ( ∪ , ∩ , ⁄ ) nad geometrijskim telima → model

∪⁄⁄

SWEEP - 3D objekat dobijen translacijom objekta po nekoj trajektoriji, ili njegovom rotacijom oko ose na neki ugao.

DOBIJA SE

pomeranjem po dobija se


20

3D transformacije3D transformacijeu homogenim koordinatama u desno-orijentisanom sistemu

x

y

z⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

1000100010001

dzdydx

T⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

1000000000000

z

y

x

ss

s

S

⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡−

10000cossin00sincos00001

θθθθ

Ryz

⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡

−10000cos0sin00100sin0cos

θθ

θθRxz

⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢

⎣

⎡ −

1000010000cossin00sincos

θθθθ

Rxy

•11


21

Transformacije u 3D scenamaTransformacije u 3D scenama3D scena se predstavlja stablom pripadajućih objekata i

njihovih atributa/transformacija

object nodes (geometry)

transformation nodes

group nodes

group3

obj3 obj4

t5 t6

t4

root

t0

group1

t1 t2

obj1 group3

t3

group2

group3obj2

• transformacija t0 utiče na sve objekte, dok t2 samo na obj2 i instancu groupe 3 (koja uključuje instance obj3 i obj4)

• t2 ne utiče na obj1 niti instance groupe 3

• t3 mora uključiti i kompoziciju t2 i t0


22

Primer transformacije u 3D animiranoj sceniPrimer transformacije u 3D animiranoj sceni

Gajić Saša,

MDL animator

•12


23

Modeli iluminacije IModeli iluminacije I

samo jednostavni koji rade sa pikselom i direktnim osvetljenjem

AMBIJENTNA SVETLOST - svetlost je const, iluminacija od objekta je f-ja samo refleksije samog materijala objekta, izrazen kontrast.

DIFUZIONA REFLEKSIJA - svetlost iz tačkastog izvora i dalje uniformno,1. Lambertova refleksija - (mat) materijal reflektuje isto u svim smer.

iluminacija je f-ja ugla pravca svetlosti i normale.2. Svetlost u boji - iluminacija po RGB komponentama, tri jednačine.


24

Difuziona refleksijaDifuziona refleksija

•13


25

Ambijentna, difuziona pa obaAmbijentna, difuziona pa oba


26

Modeli iluminacije IIModeli iluminacije II

Atmosfersko slabljenje - pomoću dept cueing, udaljeni objekti sivlji.

Spekularna refleksija - primetljiva na svakoj sjajnoj površini osvetljenoj jakom belom svetlošću (obrisana jabuka, balon)

Jedan deo je beo, posledica spekularne refl., a ostatak ide sa difuzionom refleksijom.

Kugle istog materijala?

•14


27

Indirektno (ali i transparentno) osvetljenjeIndirektno (ali i transparentno) osvetljenjeračunanje normale svakog vidljivog piksela i primena iluminac. modela


28

3D 2 2D3D 2 2Dprikaz 3D objekata na 2D-ràvan prikazni uređaj

Planarna projekcija

Paralelna Perspektivna

Ortogonalna Kosa

projekcija na ravnu površ

• iz jedne tačke, • iz dve tačke (dodatno okreće projektovanu sliku u ravni), • iz tri tačke (retko, dodatno okreće objekat),

• gore/dole - na y, • napred/nazad - z, • leva/desna - x, • izometrijska (na ravan pod istim uglom na x-y-z-ose, [2,-2,-2]).

• kavaljerska (fina), smer projekcije zatvara 45° na proj. ravan• kabinetska, zatvara 63,4°, realnija projekcija. 45° 2

2

2

63,4°

2

2

0,5

•15


29

Primeri ortogonalne projekcijePrimeri ortogonalne projekcije


30

Primeri perspektivne projekcijePrimeri perspektivne projekcijey

x

x

y

xz

y

z

x

•16


31

ŽŽiiččani model 3D objektaani model 3D objekta

prikaz linijamaAB,BC,CD,DA,EF,FG,GH,HE,EA,FB,GC,HD

prikaz poligonimaABCD,EFGH,EADH,GCDH,FBCG,EABF

Šta je ovo realno?

C

A

B

D

E

F

G

H

Eliminisanje dvosmislenosti: skrivanjem nevidljivih linija ili bojenjem vidljivih površina.


32

Neskriveno i skrivenoNeskriveno i skriveno

•17


33

Skrivanje nevidljivih linijaSkrivanje nevidljivih linijavisible-line (surface) determination ili hidden-line (surface) elimination

zahteva ogromnu procesnu moć, pokrenuo specijalne arhitekture

2 opšta pristupa gde je svaki objekt sastavljen od više poligona

Određuje koji od n objekata su vidljivi u svakom pikselu slike (scan-line) / projekcije(ray-tracing).

Direktno poredi svaki od n objekata sa svakim da bi odredio koji je u potpunosti ili delimično nevidljiv(depth-sort algorithm).


34

ScanScan--line i rayline i ray--tracing algoritmitracing algoritmi

scan-line algorithm

for svaki piksel slike dobeginodredi objekt scene koji je prvi

probijen projekcionompravom u pikselu;

prikaži piksel u datoj boji;end

ray-tracing algorithm

for svaki piksel slike dobeginodredi tačku objekta koju korisnik

vidi kroz dati piksel;prikaži dati dati piksel u boji tačke

objekta;end

•18


35

DepthDepth--sort algoritamsort algoritamili z-buffer algoritam

for svaki objekt/poligon scene dobeginodredi njegov z-index;sortiraj po z-index uz rešavanje preklapanja;prikaži poligon/deo sa najmanjim Z indeksom;

endKADA KOJI ALGORITAM KORISTITI?

z indeks


36

Modeli senModeli senččenjaenja

računanje normale svakog vidljivog piksela i primena iluminac. modelabrutalni pristup, te se koristi uniformnost senke na nekom poligonu

Konstantno senčenje - primeni se iluminac. model na jednom pikselu pa se ta vrednost primeni na čitav poligon, PRIMER.

Interpolacionon senčenje - iluminac. model na pikselima na uglovima a duž ivice i scan linije poligona se interpoliraju.

Polygon mash senčenje - krive površi kao mreža poligona, ako bi po prethodnim metodama, svetle bi bile svetlije atamne tamnije zbog usrednjavanja po poligonu.

•19


37

Polygon mash senPolygon mash senččenjeenjeGouraud senčenje - slično interpolac. samo se smanjuju razlike.

Uključena u interpolaciju i rezultanta normala svih poligona koji dele jedno teme, PRIMER.

Phong senčenje - interpolira normale po koracima poligona duž njegove ivice pa tek onda primenjuje neki iluminac. model.


38

Primeri senPrimeri senččenjaenja

KONSTANTNO GOURAUD

•1

Prof. dr Dragan IvetiProf. dr Dragan Ivetićć –– GRAFIGRAFIČČKI I MULTIMEDIJALNI SISTEMIKI I MULTIMEDIJALNI SISTEMI3. Obrada i analiza slike3. Obrada i analiza slike

1

OBRADA I ANALIZA SLIKEOBRADA I ANALIZA SLIKE

obuhvata proučavanje digitalizovane slike i to kroz

• IMAGE ANALYSIS AND UNDERSTANDING• segmentacija, • određivanje kvantiteta, • razumevanje.

IMAGE PROCESSING,• karakteristike i kvalitet slike, • osnovni algoritmi za obradu, • poboljšavanje slike i restauracija.


2

Obrada i analiza slikeObrada i analiza slike

•2


3

Ka Gigapixel fotografijiKa Gigapixel fotografiji

Mega-pel Giga-pel


4

DIGITALIZOVANA SLIKADIGITALIZOVANA SLIKA

• slika kao kontinualna f-ja • dva argumenta (x,y), ili • više (koordinate + dubina, boja i/ili vreme).

• mi radimo sa monohrom. statičkom slikom ⇒ f(x,y), • vrednost funkcije je sjajnost (brightness) iz {0,..,2k},

• za k = 1, imamo binarnu (crno/belu) sliku, • za k > 1, slika u nijansama sivog (gray-level),

• olakšavajuće (efikasniji algoritmi i brza Furijerova transformacija)• vrednost sjajnosti je celobrojna,• koordinate prikaza su celobrojne.

Vremenski promenljiva slika u boji (RGB model) opisana f-jom

f(x,y,t) = f( fR(x,y,t) , fG(x,y,t) , fB(x,y,t) )

•3


5

Dubina slikeDubina slike

Jedan bit/pixel 2 grey/colour levels

Dva bit/pixel 4 grey/colour levels

Četiri bit/pixel 16 grey/colour levels

Osam bit/pixel 256 grey/colour levels


6

Dithering ...Dithering ...

• jukstapozicioniranje dve boje radi kreiranja iluzije treće boje,

•4


7

... Dithering... Dithering

nije uvek poželjno,


8

GammaGamma

stepen kontrasta između dve srednjesive vrednosti slike,

MAC 1,8 gamma WIN 2,5 gamma

•5


9

TOPOLOTOPOLOŠŠKE KE KARAKTERISTIKE DIGITKARAKTERISTIKE DIGIT.. SLIKESLIKEone su invarijantne u odnosu na elastične transformacije slike

(kontigvitet slike i broj rupa u regionima)Konveksna ljuska slike - je najmanji region koji obuhvata

objekat, tako da se bilo koja dva piksela regiona mogu povezati pravom linijom.Sredstvo za opis topoloških osobina objekta slike.

Histogram slike - mehanizam koji se često koristi u obradi i analizi slike.Na primer, histogram sjajnosti (brigthness) slike.

Šum - stohastička varijacija (poremećaj) u sjajnosti piksela za razlikuod determinističke varijacije (senčenje ili nedostatak fokusa).Šum može nastati tokom stvaranja, prenosa i/ili obrade slike.Može biti zavisan ili nezavisan od sadržaja slike.


10

Histogram sjajnosti slikeHistogram sjajnosti slike

funkcija broja tačaka sjajnosti datog inteziteta (0-255)

Ima puno lokalnih maksima te se može izgladiti → redukcija radio-metarske rezolucije.

•6


11

OSNOVNI ALGORITMI ZA OBRADU SLIKEOSNOVNI ALGORITMI ZA OBRADU SLIKE

kroz sekvencu operacija koje mogu biti zasnovane na

Histogramima - operacije nad tačkom pomoću histogr. regiona ili slike.

Algebri - logičke i aritmetičke operacije nad tačkom.

Konvoluciji - pomeranje prozora (konvolucijsko jezgro) datog oblika i veličine po slici sračunavajući vrednost izlaznog piksela kao sumu težinskih vrednosti ulaznih piksela unutar prozora, gde su težine vrednosti filtera dodeljenog svakoj tački prozora.Glačanje - da smanje šum ili pripreme sliku za dalju obradu (segm.).Izvodi - aproks. izvoda diskretne funkcije slike za segmentaciju.

Morfologiji - slika se ne posmatra kao funkcija nego kao skup piksela/objekata (podslika).


12

OPERACIJE ZASNOVANE NA HISTOGRAMIMAOPERACIJE ZASNOVANE NA HISTOGRAMIMARazvlačenje kontrasta

• za slike slabe sjajnosti, • hist. sjajnosti se razvlači na čitav opseg koji slika treba da pokrije.

Ekvalizacija (kvantizacija histograma) slike, ali i regiona• za upoređivanje slika po nekom osnovu (npr. tekstura), • izjednačavanje po nekoj funkciji, distribucija sjajnosti da sve vrednosti postanu podjednako verovatne.

Ostalo - filterisanje po minimumu, mediani i/ili maksimumu histograma.

•7


13

OPERACIJE ZASNOVANE NA ALGEBRIOPERACIJE ZASNOVANE NA ALGEBRI

Binarne operacije• samo za binarne slike (crno-1, belo-0), • Boolean operacije nad svakom tačkom.

Aritmetičke operacije• za slike sa više od jednog nivoa sivog, • +, -, *, / , log, exp, sqrt, sin, cos, tan, (2N - 1) - a.

A= B=

¬ B = A ∨ B = A ∧ B =


14

OPERACIJE ZA GLAOPERACIJE ZA GLAČČANJEANJELinearni filtri (moguće ih analizirati Furijeovom transformacijom)

• uniformni, sve podržane vrednosti filtra (pravougaoni, kružni) su iste i takve da njihova Σ=1 (kako ne bi menjali konstantnost slike), • trougaoni, vred. filtra nemaju istu težinu (piramidalni, konusni),• Gausov, u osnovi je konvolucija Gausovih raspodela za x i y.

Nelinearni filtri (postoje i rade a još su predmet izučavanja)• medijana, medijana sjajnosti ulaznih piksela prozora, • Kuwahara, da očuva ivice i oštrinu, najmanja varijacija srednjih vrednosti sjajnosti 4 potprozora.

5x5

2,5 2,5

5x5

•8


15

PRIMENA FILTERA ZA GLAPRIMENA FILTERA ZA GLAČČANJEANJE


16

OPERACIJE ZASNOVANE NA IZVODIMAOPERACIJE ZASNOVANE NA IZVODIMA

Prvi izvod (izvod u x ili y smeru, ili nekom uglu -gradient , po jačini sjaja)

• Sobelov filter, traži izvod u nekom smeru glačajući ortogonalni smer upotrebom trougaonog filtra, • Gausov filter, kombinuje derivaciju sa gausovim filterom za glačanje.

Drugi izvod (potpuno nezavisno u nekom smeru, po frekvenciji, snažnije potiskuje smetnje u odnosu na čistu frekvenciju)

• Laplasianov filter,• Gausov filter, • SDGD (Second Derivative in the Gradient Direction), parcijalni izvodi.

•9


17

OPERACIJE ZASNOVANE NA MORFOLOGIJIOPERACIJE ZASNOVANE NA MORFOLOGIJIOsnovne operacije (propagacija u datom smeru, 4-ko ili 8-ko povezani strukturalni elementi)

• Diletacija, • Erozija,• Skelet, maksimalna erozija, definiše objekat.

Proširivo i na sive površine (slike), primeri su dati za strukturalni element 3x3.


18

OSNOVNE TEHNIKE ZA POBOLJOSNOVNE TEHNIKE ZA POBOLJŠŠANJE I ANJE I RESTAURACIJU SLIKERESTAURACIJU SLIKE

POBOLJŠANJE, memorisanu sliku transformisati u oblik najprijatniji za gledanje, cilj je lepota.

RESTAURACIJA, memorisanu sliku transformisati u oblik koji je najbolja estimacija originala, cilj je istina.

Naglašavanje ivica, poznato još iz fotografije, izdvajanje ivica, njihovo pojačavanje i vraćanje

Potiskivanje šuma, viđeno kod operacija glačanja ali i posebni za restauraciju.

Potiskivanje iskrivljenosti slike, kao posledica šuma, efekat sočiva, pomeranja kamere i/ili objekta,lako rešivo pomoću linearnih filtera za poznato iskrivljenje, za sočivo je Wiener filter.

•10


19

ANALIZA SLIKE ANALIZA SLIKE -- SEGMENTACIJASEGMENTACIJA

osnovni korak po obradi slike a ka njenoj analizi je segmentacijaCILJ segmentacije slike je njena podela na delove koji su u vezisa objektima ili oblastima realnog sveta koji je oslikan slikom.• KOMPLETNA - disjunktni regioni koji su u jednozn. vezi sa realnim objektima ulazne slike, često zahteva specifično znanje,• PARCIJALNA - regioni ne odgovaraju direktno objektima slike, na regione koji su homogeni po nekom kriterijumu (osvetljenje, boja, tekstura), preklapanja, često potrebna nova segemntacija.

Metode segmentacije slike • zasnovane na globalnom pristupu, • detektovanje ivica, ili • detektovanje regiona.


20

GLOBALNI PRISTUP SEGMENTACIJI GLOBALNI PRISTUP SEGMENTACIJI ......

je zasnovan na histogramu slike, uobičajena je sjajnostPRAG (thresholding), najjednostavniji metod segmentacije. Upotrebljiv ako je svaki region od interesa iste sjajnosti, reflektuje na isti način, uopšte imaju isto mesto na histogramu.

if a[i,j] ≥ Δ then a[i,j] je piksel regionaelse a[i,j] je piksel pozadine.

Od načina određivanja vrednosti Δ razlikuju se

• Fiksirani prag, vrednosti Δ se usvaja bez obzira na informacije slike, kod slika sa velikom razlikom u sjajnosti objekata slike i pozadine.

•11


21

... ... GLOBALNI PRISTUP SEGMENTACIJIGLOBALNI PRISTUP SEGMENTACIJI

• Prag određen histogramom, vrednost Δ se usvaja sa histograma

prema poznavanju slike trougaoni pristup


22

SEGMENTACIJA DETEKTOVANJEM IVICA ...SEGMENTACIJA DETEKTOVANJEM IVICA ...

detektuje se ivica (sivog, boje, teksture), pa lančani kod segmenta• Detektovanje ivice pragom,

odredi se boja ivice za prag.

• Relaksaciono detektovanje ivice, gornji ostavlja veliki šum, iterativno se traži ivica tako što se smanjuje njena debljina u odnosu na njene susede.

posle 10 iteracija

posle 100 iteracija

•12


23

... SEGMENTACIJA DETEKTOVANJEM IVICA... SEGMENTACIJA DETEKTOVANJEM IVICA

“flat” region:bez promene u svakom pravcu

“ivica”:bez promene u smeru ivice

“ugao”:promene u svim pravcima

• Harisovim detektorom – osnovna ideja,


24

SEGMENTACIJA DETEKTOVANJEM REGIONA SEGMENTACIJA DETEKTOVANJEM REGIONA ......Za slike sa šumom i homogenim regionima,

kriterijumi su: nivo sivog, boja, tekstura, oblik i slično,rezultujući regioni moraju biti homogeni i maksimalni.

• Deljenje regiona, slika se prvo smatra za jedan homogeni region koji se potom polovi tako da u delovima ostane homogeni regioni.

• Mešanje regiona, slika se podeli na mnogo manjih regiona koji su homogeni pa se mešaju u veće ali istog nivoa sivog.

• Podeli pa pomešaj regione, kombinacija prethodna dva u oba smera.

•13


25

... ... SEGMENTACIJA DETEKTOVANJEM REGIONASEGMENTACIJA DETEKTOVANJEM REGIONA

• Segmentacija po slivovima (topologija), slika kao karta gde se nivo sivog tumači kao nadmorska visina, za regione se usvajaju bazeni vode zbog homogenosti.


26

EKSTRAKCIJA KVANTITETA IZ SLIKEEKSTRAKCIJA KVANTITETA IZ SLIKE

primenom prethodnih tehnika obrade i analize slike

Koliko ima zrna?

Originalna slika se segmentira postavljanjem praga na boju pozadine.Zatim se povlači granica među zrnima pomoću detektovanja regiona slivovima.Na kraju se dobijeni rezultat postavlja na originalnu sliku radi evalvacije rezultata, broj zrna = broju lančanih kodova.

•14


27

RAZUMEVANJE SLIKERAZUMEVANJE SLIKE

čovek je odlično osposobljen da obrađuje i analizira sliku aličesto je teško prepoznati viđeno ako se ne zna šta je za očekivati

Razumevanje slike je jedno od najzahtevnijih izazova veštačke inteligencije i predmet je izučavanje sledećih grana AI

predstavljanje znanja, relacione strukture, semantičke mreže, sistemi zaključivanja i rešavanja problema, planiranje, upravljanje, učenje iz iskustva i ostale ....

Osnovne metode za razumevanje slike, • PREPOZNAVANJE UZORAKA,• OZNAČAVANJE SCENE I USLOVLJENA PROPAGACIJA,• SEMANTIČKA SEGMENTACIJA SLIKE.


28

FFaceaceDDetectionetection

•1

Prof. dr Dragan IvetiProf. dr Dragan Ivetićć –– GRAFIGRAFIČČKI I MULTIMEDIJALNI SISTEMIKI I MULTIMEDIJALNI SISTEMI5. MM osnova5. MM osnova

1

LiteraturaLiteratura

1. SLAJDOVI SA PREDAVANJA SA VAŠIM BELEŠKAMA2. Steinmetz & Nahrstedt, MULTIMEDIA: COMPUTING,

COMMUNICATIONS AND APPLICATIONS, 1995.3. Steinmetz & Nahrstedt, MULTIMEDIA: MEDIA CODING

AND CONTENT PROCESSING, 2002. 4. Steinmetz & Nahrstedt, MULTIMEDIA APPLICATIONS,

2004.5. Steinmetz & Nahrstedt, MULTIMEDIA SYSTEMS, 2004.


2

Vreme, vreme . . .Vreme, vreme . . .VREME se javlja kao dodatna dimenzija nekog prez. prostora i ima centralno mesto za m.m. sisteme. Podela medija u odnosu na vreme u njihovim prezentacionim prostorima:

VREMENSKI NEZAVISNI (diskretni) - sekvence induvidualnih elemenata bez vremenske komponente, npr. knjiga,njihova obrada nije vremenski kritična mada što brže.

VREMENSKI ZAVISNI (kontinualni) - sekvence induvidualnih elemenata sa vremenskom komponentom njihovog pojavljivanja, npr. video, audio, upravljački signali,njihova obrada je vremenski kritična zbog vremen. komponente.

Vremenski zavisni, kontinualni i diskretni ne sa stanovišta interne reprezentacije nego impresije posmatrača.

•2


3

Multimedijalni sistem je Multimedijalni sistem je okarakterisan kompjuterskim upravljanjem, integralnom proizvodnjom, manipulacijom, skladištenjem i komunikacijom nezavisnih informacija, koje su kodirane posredstvom najmanje jednog kontinualnog (vremenski zavisnog) i jednog diskretnog (vremenski nezavisnog) medija.

MULTIMEDIJA strogo - multimed. sistem sadrži uvek kontinualni medij. Istovremeno se uključuju bitni vremenski granični uslovi (tokom kontinualnog medija) obrade diskretnog medija.

MULTIMEDIJA šire - multimedija se koristi za opis obrade individualnih slika i teksta, bez kontinualnog medija. Što se više medija istovremeno obrađuje, može se govoriti samo o multimediji u ovom opštem smislu.


4

ŠŠta se izuta se izuččava u multimediji?ava u multimediji?P R I M E N A

UI Zabava Istraživanje Razvoj Učenje Vojska OdržavanjeP R I M E N A

UI Zabava Istraživanje Razvoj Učenje Vojska Održavanje

K O M P R E S I J AK O M P R E S I J A

GRAFIKA I SLIKE

GRAFIKA I SLIKE ANIMACIJAANIMACIJA AUDIOAUDIO VIDEOVIDEO OSNOVA

Media ServerMedia Server OSOS KomunikacijaKomunikacija

BAZA PODATAKA PROGRAMIRANJE

OPTIČKASKLADIŠTAOPTIČKA

SKLADIŠTA Quality Of ServiceQuality Of Service MREŽAMREŽASISTEM

SADRŽAJSADRŽAJ SecuritySecurity ...... SINHRO-NIZACIJASINHRO-NIZACIJA CSCWCSCW SERVISI

•3


5

Kompjuterska animacija ...Kompjuterska animacija ...

Computer-Assisted Computer Generated• manuelno keyframes,• auto. in-betweening, • auto. kompozicija više

lejera animirane scene.

• renderuje sliku na osnovu geom. opisa scene,

• umesto crtanja sekvenci slika, komp. se defniše kako da menja slike.

Tehnike animacije se mogu klasifikovati na

2D 3D• skoncentrisane na manipulaciju slikom.

• grade virtuelne svetove u kojima se karakteri i objekti kreću i utiču jedni na druge,• VRML, X3D.


6

VVirtual irtual RReality eality MModelling odelling LLanguageanguage• VRML jezik za definisanje 3D scena sa multimed. sadržajem,• VRML prenosi i prikazuje 3D VR svet pomoću HTTP na Internetu,• *.vrl (“dot world”), VRML 1.0, 2.0 (1995,1996), ISO VRML 97,• kompatibilan sa Java, plugins for browsers,

#VRML V2.0 utf8

Shape{

geometry Cone{}

}

#VRML V2.0 utf8

Shape{

geometry Cone{bottomRadius 0.5}

}• nekretnine,

•4


7

... Kompjuterska animacija... Kompjuterska animacija

Zabava Vizuelizacija• lepota,• velik profit, • manuelno vs.

automatizovano,• najčešće teme animiranih

filmova,

• istina,• animacija

izgleda/ponašanja entiteta,• bolje simulirati nego in

vivo,• negde jedini način

spoznavanja/rešavanja problema (tektonski poremećaji, erupcija),

• veoma atraktivna oblast.


8

MModelovanjeodelovanje objekata/karaktera ...objekata/karaktera ...da bi modelovao kretanje mora znati statiku objekta i opis kretanja

• ARTIKULARNI MODELkolekcija objekata hijerarhijski povezanih,pomeranje superordiniranog objekta utiče na sve njemu subordinirane objekte,pomeranje root objekta utiče na čitav model.

• PARTICLE SYSTEM (skup piksela), kretanje opisano skupovima pravila (zakonima), često su zakoni fizike (gravitacija, akcija/reakcija) osnova za gradnju pravila, uspešno modelirani su: oblak tečnosti, dim, jata ptica.

•5


9

... ... MModelovanjeodelovanje objekata/karaktera ...objekata/karaktera ...

• DEFORMNI MODEL, za objekte koji nisu artikularno izraženi a kompleksni po strukturi za particle modelovanje, uključuje više drugih modela: volumetrijski, površinski, rešetkasti i slični, model za: vodu, kosu, odeću, pa čak i ribe.

• HIBRIDNI MODEL, kombinacija prethodnih modela, svaki deo sistema modelovan najadekvatnijim modelom, skakač u vodu je artikularan, bazen je deforman a kapljice su particle model.


10

Generisanje pokretaGenerisanje pokretačovek kao aktivni observer prirode lako uoči neprirodnost u pokretima

postoje različite TEHNIKE podržane različitim alatima u kojima se značajno trguje automatizacijom i upravljivošću, najčešće su:• KEYFRAMING,

odlična (fina) upravljivost ali niska automatizacija.• PROCEDURALNE METODE,

generisanje krajnje automatizovano ali slabo upravljivo.• MOTION CAPTURE,

generisanje krajnje automatizovano ali slabo upravljivo.MOTION BLUR, tehnika renderovanja kojom se eliminiše stroboskop efekat brzih objekata, renderovanje jednog objekta u više pozicija koje je imao na jednom frejmu.

•6


11

KKeyframing ...eyframing ...kompjuter interpolira in-between frejmove, i to:

• LINEARNOM INTERPOLACIJOM, trzava kretnja jer je brzina kretanja diskontinualna,

• SPLINE INTERPOLACIJOM, proizvodi glatku interpolacionu krivu.


12

...... KKeyframingeyframing

INVERZNA KINEMATIKAauto. postavljanje kejfrejmova na osnovu artikularnog modela i poznatih funkcija koje opisuju kretanje artikularnih objekata.

KEYFRAME ANIMATORne mora u detalje znati kako se delovi objekta ponašaju nego samo veštinu postavljanja kejfrejmova.

•7


13

Proceduralno generisanje pokreta ...Proceduralno generisanje pokreta ...algoritamski specifikovano kretanje, parametrizacija → familija kretanja

FIZIČKI BAZIRANA SIMULACIJA, zakoni fizike ili njihove aproksimacije realistično kretanje, teže stvaranje novog, posle lako koristiti.

PASIVNI SISTEMI, bez unutrašnjeg izvora energije,jednom kodiran zakon se posle samo koristi,primeri: voda u bazenu, odeća, kosa, lišće i slično.

AKTIVNI SISTEMI, unutrašnji izvor energije, kreću se svojom “voljom”, pored fizičkih zakona i simulacija mišića/motora, dodaje se i upravljački sistem za guard simulacije, primeri: ljudi, životinje, roboti i slično.

SIMULACIJA PONAŠANJA GRUPE, algoritam simuliranja grupne scene upotrebljivo za krda, jata, grupe ljudi.


14

... Proceduralno generisanje pokreta... Proceduralno generisanje pokretakreirana u potpunosti dinamičkom simulacijom

aktivna simulacija pod upravljačkim sistemom

pasivna simulacija unutar aktivnog sistema

•8


15

Progression of a CG CharacterProgression of a CG Character

Muscle ModelWireframe Model Skeletal Model

Skin Hair Final Render


16

Motion captureMotion capture

trackers za “hvatanje” pokreta čoveka ili lutke.Najprivlačnija tehnika za generisanje pokreta ali

• davači generišu grešku (smetnje, neželjeno pomeranje samog uređaja)• akter nije sasvim slobodan,• razlika u dimenzijama realnog i

animiranog sveta,• nisu svi pokreti uhvatljivi.

•9


17

Animirani i realni svetAnimirani i realni svet


18

AudioAudio• opseg vibracija pritiska od 20 Hz do 20 kHz,• skoro periodična promena ali i aperiodična,• kontinualna priroda!

• frekvencija - visina,• amplituda – glasnoća,• ? – boja,

• mask. po amplitudi ali i po frekvenciji (Fletcher - Munsen),• filterisanje ušne školjke,• ITD-Interaural Time Difference - 50ms,• IID - Interaural Intensity Difference,

• MUZIKA I GOVOR,

•10


19

Obrada zvuka Obrada zvuka -- PCMPCM

• odabiranje (semplovanje) - Nikvistova brzina (v = 2*w), • kvantizacija (vrednovanje) - 8 ili 16 bita (256 ili 65536), lin/log,• formati digitalizacije

Voice-quality - 8KHz sa 8 bita (za telefon, širina 4KHz).CD-quality - 44.1KHz sa 16 bita linearnim PCM kodom.

• kodiranja kvantifikovanih odbiraka:PCMDPCMADPCM

0001 0010 0011 0100 0101 01100110 0101 0100 0011 0010 0001

1111 1110 1101 1100 1011 10101010 1011 1100 1101 1110 1111


20

MIDIMIDI ......

MIDI (Music Instrument Digital Interface) :• HARDVER - specifikuje MIDI port instrumenta i MIDI kabel i signale,• FORMAT PODATAKA – specif.

podatke koji se razmenjuju,- ne semplovi muzike nego

podaci priključ. instrum.,- kroki format podataka (128

nota - skoro 10 oktava), deo poruke, ident. intstr. (128), početak i kraj note, frekvencija i jačina.

•11


21

... MIDI... MIDI

MIDI UREĐAJ - muz. instr. koji zadovoljava gore navedeno,MIDI KANALI - 16 kanala za komunikaciju, na prijemu sintetizator,MIDI MODOVI prijema - podešavanje uređaja po kanalima. vrednosti:

Mode 1: Omni ON/Poly (reaguje na sve kanale i više nota odjedn.),Mode 2: Omni ON/Mono (svi i jedna nota odjednom), Mode 3: Omni OFF/Poly (jedan specif. kanal i više nota odjednom),Mode 4: Omni OFF/Mono (jedan specif. kanal i jedna nota),


22

PCM ili MIDI PCM ili MIDI ??Primer, POLICE - Every_Breath_You_Take, 55 sekundi:

• mono PCM bi trebao oko 4,6 MB,• MP3 – skoro kao CD kvalitet, 879 KB,• MIDI omni-poli – 7KB, 9 kanala• MIDI poli – 6KB,• MIDI mono – 2KB.

•12


23

SoundForge MP3SoundForge MP3


24

Cakewalk omnipoliCakewalk omnipoli

•13


25

Cakewalk poliCakewalk poli


26

Cakewalk monoCakewalk mono

•14


27

VIDEOVIDEO• pokretne slike,

• oko – 15 promena u sekundi, • video – 25 (PAL), 30 (NTSC) promena u sekundi,• film – 75 promena u sekundi,

• voda snimljena sa 75 fps a reprodukovana sa 50 fps,• sintetički ili realni video,


28

PRENOS VIDEO PRENOS VIDEO SIGNALA SIGNALA I DIGITALIZACIJAI DIGITALIZACIJA

2.0-1.0 0 1.0 3.0 4.0 5.0

6 MHz

nosilacslike

nosilaczvuka

hromopodnosilac

osvetljenosthromo

pojasna širina NTSC signala osvetljenost (Y) i hromo se kombinuju na sledeće načine• YUV signal (kod DVI)

Y=0.30R + 0.59G + 0.11BU=0.493 (B-Y)V = 0.877 (R-Y)

• YIQ signal (kod NTSC)Y=0.30R + 0.59G + 0.11BI=0.6R - 0.28G - 0.32BQ = 0.21R - 0.52G + 0.31B

DIGITALIZACIJA, transf. analogne slike u digitalnu samplovanjem po nivoima sivog (boje) u matricu MxN piksela. Minimum nivoa kvantovanja zbog iole korektne rekonstrukcije je 100 ili više nivoa.

•15


29

KONVENCIONALNI TV SISTEMIKONVENCIONALNI TV SISTEMI

NTSC - National Television Systems Committee, USA

PAL - Phase Alternating Line, 1963., Telefunken

SECAM - SEquential Couleur Avec Memoire, Francuska i East. Eu

i - interlaced

p - progressive

Sistem Br.lin.

Viewdistan. Š/V Br. el.

slike

HDTV - USA 1050 2.5 16/9 720000HDTV - EU 1250 2.4 16/9 870000HDTV - Japan 1125 3.3 16/9 575000NTCS-i 525 7.0 4/3 106000NTSC-p 625 5.0 4/3 149000PAL-i 625 6.0 4/3 165000PAL-p 625 4.3 4/3 233000SECAM-i 625 6.0 4/3 180000SECAM-p 625 4.3 4/3 248000


30

HHighigh--DDefinition efinition TVTVdigital. TV sa 2x većom rezolucijom, drugi odnos Š/V ali i bliži gledaoc

Na snazi su dva načina digitalnog kodiranja video signala:• KOMPOZINTNO kodiranje, lakše ali sa više problema,

sve komponente se zajedno konvertuju u digit. kod,problemi: preslušavanje između komponenti,

zavisi od TV standarda (broj linija, frame/sec ...)• KOMPONENTNO kodiranje, teže jer

zasebno samplovanje osvetljenja i boje pa se kvantizuju (8b), prednost: svaka komp. drugom frekv. samplovanja (interesant. je osvetljenost od boja pa i drugi pojasna širina).

HDTV sistemiUSA - full digital solution of NTSC, kompatibilnost sa starim,EU - krenuli analogno (HD-MAC) ali od 1993 prate USA sa digitalnim, Japan - nacion. TV mreža krenula za satelit i preraslo u njihov HDTV.

•16


31

ZZAAŠŠTTOO KKOOMMPPRREESSOOVVAATTII PPOODDAATTKKEE??

1. SKLADIŠTENJE fizički dalje ne može ovako pa zato “pametnije” koristiti materijal skladišnog medija

A. Softverski algoritmi (Lempel-Ziv-Welch)B. Hardverska implementacija (disk keš, ZIP drive)

Mnoge tehnike su adresirane na jedan ili oba aspekta. Mi samo one razvijene za MM podatke:• JPEG za mirnu sliku,• MPEG za audio i video.

2. PRENOS “sirovi podaci” zahtevaju širi opseg, nije ekonomično


32

Klasifikacija kompresionih Klasifikacija kompresionih tehnikatehnika

FFT, DCT DPCM, DMPredikcija

TransformacijaSub-sampling

Nivovsko Sub-band coding

JPEGMPEG , H.261, H.263, H.245Hibridno

Vector quantization

Izvorno (source)

Lossy

Run-lengthHuffmanAritmetičkaPomoću rečnika (zipovi, gif, tiff)

Entropijsko (entropy)

Lossles

TEHNIKAOSNOVATIP

•17


33

RunRun--length tehnikalength tehnika

ABCCCCCCCCD999FFGGGG!

ABC!4D999FFG!0!!

RUN LENGTH KOMPRESIJA

M(ark) bajt, vrednost koja se ne očekuje ili ako je pak ima

21 karakter je redukovan na 16 karaktera, kompresovano za 24%


34

HuffmanHuffman--ova tehnika ...ova tehnika ...PREFIKSNO BINARNO KODIRANJE UZ MIN. DUŽINU KODA

PRIMER: data stream alfabeta {A,B,C,D,E} sa verovatnoćama pojavljivanja {0,16;0,51;0,09;0,13;0,11}

p(C) = 0,09 p(E) = 0,11

p(CE) = 0,20

1 0

p(D) = 0,13 p(A) = 0,16

p(AD) = 0,29

10

p(B) = 0,51

p(ADCE) = 0,49

1 0

p(ADCEB) = 1,00

1

0Kod (A) = 001Kod (B) = 1Kod (C) = 011Kod (D) = 000Kod (E) = 010

•18


35

... ... HuffmanHuffman--ova tehnikaova tehnikaKod(A) = 001; Kod (B) = 1; Kod(C) = 011; Kod(D) = 000; Kod(E) = 010

BCBDABBADBABB

1011100000111001000100111

HUFFMAN-ova KOMPRESIJA

Zauzeto 25 bita a da se kodiralo sa 3 bita/cifra bilo bi 39 bita, - 36%

Dodatno ide i tabela kodova, ili ne za fiksnu tabelu ili dinamičku Huffman-ovu tehniku.

Dodatno može run-length.


36

Transformaciona osnovaTransformaciona osnova

⎪⎩

⎪⎨⎧ ==

++= ∑∑

= =

suprotnomu ,1

0,u ,2

1,c je gde

161)vπ(2ycos

161)uπ(2xcosScc

41S

u

7

0x

7

0y

origyxvu

transfuv

vcv S00transf je DC komp.

ostale su AC komp.

• odeš, vratiš se i gotovo,• ortogonalno normalizovana matrica transformacije

• Discrete Cosine Transformation – DCT, u frekvencije,• na primeru komresije mirne slike,• slika na blokove od 8x8 piksela,

• svaki blok generiše matricu DCT koeficijenata, Sij,

•19


37

2D DCT osnovne funkcije2D DCT osnovne funkcije

S00 ekvivalentnaboja svih

S07 max frekvenc. po horizontali

S70 max frekv. po vertikali

S77 max frekv. u oba pravca

S33 bi bila maxza blok od4x4 homogenapodbloka


38

Discrete Cosine TransformDiscrete Cosine Transformation ...ation ...

•20


39

KKvantivantizzacije acije DCT koeficijenataDCT koeficijenataDCT keficijent je realni broj, bolje svesti na integer, gubi se originalnost, LOSSY

realni broj -> mali integer, vrednosti bliske nuli i više AC idu uvek u nulu, 0000000000

kvantizacionamatrica na 8x8 blok


40

... ... Discrete Cosine TransformDiscrete Cosine Transformation ...ation ...

163159149196186205203198160173167180184207205207150206185173170205213214175218185159171169195196183198148152179179172176193199151182195180192184193213193195201187188193190196157169193188195201

-7-8-5706-218-9-40-6417-23339-24616-25

-3-348-1213-6-30-5612-312717101689-2022-10-223219

-12-131716-1211-521020-3833-14-1533491480

0000000000000000000000000-1000100

-1000-1011000-10100100-10-1110-12-3113185

PIKSELI ORIGINALNOG BLOKA DCT TRANSFORM. PIKSELI KVANTIFIKOVANI PIKSELI

CIK-CAK OČITANI KVANTIFIKOVANI PIKSELI - 185 3 1 0 1 1 1 –1 0 1 0 1 1 0 –3 2 –1 0 0 0 0 0 0 1 –1 –1 0 –1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 –1 –1 0 0 0 0 0 0 0 0 0 0

ENTROPIJSKAKOMPRESIJA

ENTROPIJSKADEKOMPRESIJA DE CIK-CAK

0000000000000000000000000-1000100

-1000-1011000-10100100-10-1110-12-3113185

DEKVANTIFIKACIJAi IDCT

160157149185209192196210179180156169193195198194170197179165176193217220179206185163165178199201189187153154177182181167189184159174197191189185200208192196198182188198189196176179192187193196

PIKSELI REKONSTRUISANOG BLOKA

DC Hor. detalji

Dij. detalji

Ver. detalji

•21


41

... ... Discrete Cosine TransformDiscrete Cosine Transformationation

Efekti kvantizacijeAC koeficijenata:-sa korakom 25-sa korakom 100-sa korakom 200


42

Nivovska osnovaNivovska osnova• ne svaki element, niti u drugi domen, već po nivoima (delovima).• SUB-SAMPLING – originalna grupa se zamenjuje prosečnom

vrednošću ili se samo uzme vrednost nekog elementa grupe, KVANTIZACIJA – skalarna ili vektorska.

• SUB-BAND CODING – ne grupiše po prostoru nego po frekvenciji, oslanja na prekrivanje frekvencijom veće energije.

• WAVELETS CODING – sukcesivno particioniše sliku koristeći wavelet umesto kosinusne funkcije (vidljivi 8x8 blokovi). Deli na: 1 podslika niže rezolucije sa manje detalja i 3 podslike sa detaljima, koristi JPEG2000

•22


43

Joint Photographic Experts Group Joint Photographic Experts Group -- JPEGJPEGPokrenuo ISO WG8 maja 1988. g. a 1992. godine postao

standard za kompr./dekompr. nepokretne kolor i sive slike, postoji mogućnost sekvencionisanja u MOTION JPEG

ZAHTEVI postavljeni pred JPEG:• implementacija JPEG ne zavisi od veličine slike i rezolucije,• predstavljanje boja nezavisno od implementacije JPEG,• sadržaj slike može biti proizvoljno kompleksan,• implementacija JPEG softverom izvršivim na većini

hardvera, eventualna dodatna hardverska podrška mora unaprediti kvalitet slike,

• omogućiti korisniku izbor kvaliteta reprodukovane slike, vremena kompresovanja i veličine kompresovane slike.


44

Tok Tok JPEG JPEG kompresijekompresije

KVANTIZACIJA

KODIRANJE

Huffman

Runlength

Aritmet.

PRIPREMA

Pikseli

Blokovi

OBRAĐIVANJE

Prediktor

FDCT

ORIGINAL

SLIKA

KOMPR.SL.A

KOMPR.SL.B

put A

put B

zavisi od odabranog JPEG režima:SEQUENTIAL – lossy, L R & Top Bottom, osnovni mod,PROGRESSIVE – lossy, višestruki scan sa 2 rezolucijomLOSSLESS – dekompresijom se dobija originalna slika.HIERARCHICAL – lossy, komp. u par rezolucija i diff. code.

•23


45

JPEG primeri reJPEG primeri režžimaimaSEKVENCIJALAN

PROGRESIVAN


46

JPEG faza pripremeJPEG faza pripreme ......kreiranje DataUnit koji se razlikuje od pristupaLOSSLES –DU je jedan piksel i ide na obradu, 2..16 bit/pixel

LOSSY – jedan DU je kvadrat od 8x8 bita, 2..12 bit/pixel1..255 ravni, obično samo tri: RGB ili YUVrazličite ravni mogu biti različitih rezolucija

•24


47

... JPEG faze pripreme... JPEG faze pripreme

po ugledu na TV i ljudski vid

dekompozicija na 3 ravniluminance (Y) –osvetljenost;i chrominance (U,V) –razlika boja


48

JPEG faza obradeJPEG faza obradeObrađuju se DataUnits na način diktiran JPEG modomLOSSY – RGB ili YUV blokovi se transfomišu pomoću FDCT

LOSSLES – pikseli se obrađuju sledećom predikcijom

•25


49

Struktura JPEG strima i dekompresijaStruktura JPEG strima i dekompresija

LOSSY JPEG slika

LOSSLES JPEG slika

struktura JPEG strima

Entropijskidekoder

Dekvanti-zacija

IDCT

Entropijskidekoder

Depredik-tor

segmentrestart

segmentrestart

...

tabele... heder

scan

...

tabele...heder

scan

FrameStartOfImage

EndOfImage blok...

blokblok

Orig.slika

Orig.slika


50

JPEG primer u bojiJPEG primer u boji

26KBJPEG

Compression ratio=44.6

768×512 ×24 = 1.18MBoriginal

•26


51

Osnovne moguOsnovne moguććnosti JPEG2000nosti JPEG2000• odlične performanse sa malo bita – primer, netw. image transmiss.• lossless i lossy modovi kompresije,• region-of-interest kodiranje (ROI) – interesantni regioni se

kvalitetnije kodiraju,• slučajan pristup

i obrada kodiranog strima,

• robusnost,• otvorena

arhitektura,• deskripcioni

podaci,• zaštita

autorstva,• ...


52

JPEG vs. JPEG2000JPEG vs. JPEG2000

0,125 bpp

0,25 bpp

•27


53

Proces JPEG2000Proces JPEG2000 kodiranjkodiranjaa

• tiling – opciono, prostorno deljenje slike na podslike koje se dalje obrađuju, radi uštede operativne memorije,

• level offset – centriranje vrednosti piksela slike simetrično u odnosu na nulu, normalno zbog simetričnosti wavelet funkcije,

• ICT – transformacija originalnih ravni boje (RGB) slike u YUV model,


54

ORIGINAL

FILTERISANJEKOLONA

PODELIBROJ

KOLONA

FILTERI-SANJE

REDOVA

PODELI BROJ REDOVA

Diskretna wavelet transformacija Diskretna wavelet transformacija (DWT)(DWT)

•28


55

JPEG2000 kvantizacija i blokovsko kodiranjeJPEG2000 kvantizacija i blokovsko kodiranjeUNIFORMNA KVANTIZACIJA SA MRTVOM ZONOM• wavelet koeficijenti se uniformno kvantizuju

tako da jednom opsegu koeficijenata odgovara jedan kvantizacioni indeks.

BLOKOVSKO KODIRANJE• podela na blokove (64x64, 32x32) iste veličine u većini podslika,• blokovi se kodiraju zasebno, sadržaj čita po 4bit podkolonama,• formiraju se ravni bitova od MSB do LSB,• ravni bitova se kodiraju u tri prolaza obezbeđujući različite nivoe

kvaliteta restaurisane slike.


56

PodePodeššavanje brzine i organizovanje JPEG2000 avanje brzine i organizovanje JPEG2000 strimastrima

PODEŠAVANJE BRZINE PRENOSA• prekrajanje strima kodova da bi se obezbedila brzina prenosa,• skrati one strimove blokova koji će minimalno iskriviti sliku.ORGANIZOVANJE STRIMA• kompresovani sadržaji ravni bitova

se dele u pakete,• paket obuhvata bite oblasti ravni,• oblast najviše polovi podoblast.

•29


57

Moving Picture Experts Group Moving Picture Experts Group -- MPEGMPEGPokrenuo ISO WG10 1988. g. a 1993. godine postao standard za CODING OF MOVING PICTURES AND ASSOCIATED AUDIO FOR

DIGITAL STORAGE MEDIA UP TO ABOUT 1.5 MBIT/SOpšte karakteristike MPEGa• prestignuta brzina CD-DA od 1.2 Mb/s sa MPEG1 max od 1.8 Mb/s• za svaki audio kanal može birati brzinu 32 – 448 Kb/s, inc. 16Kb/s• video se oslanja na JPEG koji uvek žuri ispred MPEG• asimetričan na stranu retrieval aplikacija• MPEG strim se dekoduje na sledeći način

SISTEM DEKODER

VIDEO DEKODER

AUDIO DEKODER

MPEG strimV strim

A strim

SYNC strim


58

Karakteristike MPEG video strimaKarakteristike MPEG video strima

4:1:1 YUV model bojamaksimalna rezolucija 768 x 576 8 bit/pixel za svaku ravan slike 14 odnosa visina/širina prikaza

1:1 , 16 : 9 i 4: 3 za EU/USA (HD)TV8 frekvencija frejmova u Hz

23.976, 24, 25, 29.97, 30, 50, 59.94, 60

MPEG video data hierarchy

•30


59

Klase slika u MPEG video strimuKlase slika u MPEG video strimu3 klase radi bolje kompresije, pristupa i prikaza (60fps)

1. INTRA I slika, self containedkodira kao JPEG, asimetrična na retrieval

2. PREDICTIVE P slika, pre-I ili sve pre-P slikezasnovana na vektoru pokreta3 x veća kompresija od I slikeali i propagacija greškešta za nagle promene iz jednog u drugi frejm?

3. BI-DIRECTIONAL predictive B slika, pre/post-I slika i/ili pre/post-P slikazasnovana na vektoru pokreta tako da motion compensation:

a) nema, intra kodiranjeb) ima – predikcija unapred, c) ima – predikcija unazad,d) ima – bidirekciona predikcija, dva vektora pokreta


60

Vektor pokretaVektor pokreta

Za svaki makro blok – razlika njegove osvetljenosti u odnosu na sve makroblokove prethodne slike, blok sa min. razlikom je početak vektora, kodira se pomeraj.

MPEG ne specifikuje kako odrediti vektor nego samo kako ga opisat

je prostorna razlika dva makrobloka i razlika njihove osvetljenosti

•31


61

Kompozicija MPEG video strimaKompozicija MPEG video strimaredosled prikaza, 2B u par PP (PI, IP), barem 2xI u 1 s zavisno od memorije.

redosled dolaska u dekoder, mora prvo I i oni P referisani sa prvim B

delay


62

Karakteristike MPEG audio strimaKarakteristike MPEG audio strimasastoji se od paketa gde svaki paket čine

poslednji audio frejm

drugi audio frejm

prvi audio frejm

header au-dio paketa ...

Packet Start Code (ID)Packet Length (byte/packet)

Audio Frame Header (sync, ID, sampling rate – 32; 44,1 ili 48 kHz; ..)Error Checking Code (CRC)Audio Data, info za restauraciju audia sa

1 nivo kvaliteta – max. 448 Kbit/s (1:4)2 nivo kvaliteta – max. 384 Kbit/s (1:6..8)3 nivo kval. – max. 320 Kbit/s, mp3, (1:12)

User Defined Data (dodatni prostor)

•32


63

Kodiranje MPEG audio strimaKodiranje MPEG audio strimaFFT deli na 32 nepreklapajuća opsega

1. i 2. su fiksne širine 750MHz,3. plivajuće širine, iterativnost,

rezultujuća amplituda svakog opsega

1. i 2. nivo kvaliteta koriste PCM3. nivo kvaliteta koristi Huffman kompres.

MONOSTEREO

dva nezavisna kanalajoint stereo

KVANTIZACIJA je uniformna sa varijabilnom dužinom koda prema psihoakustičnom modelu (temporalne i frekventne karakteristike)


64

SinhronizacijaSinhronizacijapomoću timing mehanizma A i V strima unutar SYS strima

oslanja na sistemski klok učestanosti 90kHz i predstavljen je sa 33 bita referisanje na svaki ns u 24 sata

timing se oslanja na sledeća dva parametra:System Clock Reference

snapshot sistemskog kloka u SYN strimu tokom dekompresije služi za ažuriranje time counter-a reprodukcije

Presentation Timestampuzorci vremena kodiranja pridruženi A ili V prezentacionim jedinicama određuju trenutak kada ta jedinica treba biti prikazana ako tokom reprodukcije dođe PTS < SCR, preskači naredne A/V units PTS > SCR, zamrzni A/V unit za PTS-SCR

•33


65

Naredni MPEG standardiNaredni MPEG standardiMPEG 2 – standardizovan krajem 1994. godine za veće brzine

prenosa podataka (2-100 MB/s) za HQ A/V definiše nivoe i profile za različite stepene kompresije i kvalitet.

MPEG 3 – za HDTV, kako je MPEG 2 to obuhvatio, napuštenMPEG 4 – standardizovan početkom 1999. godine

način prikaza MM sadržaja u digit. TV, graf. aplikac., www, wap interaktivna kompozitna multimedija

MPEG 7 – standardizovan krajem 2001. godinestandardizuje način opisa multimedijalnog sadržajaunosi nove metapodatke radi lakšeg search & retrieval

MPEG 21 – standardizovan krajem 2002. godinemultimedia framework end-to-end, osnova MPEG21 sveta su korisnici – proizvođači, trgovci, provajderi, krajnji korisnici, u interakciji sa digital items – slika, zvuk, video, tekst ....


66

MPEG 4 ...MPEG 4 ...Predstavlja MM sadržaj pomoću MEDIA OBJEKAT - A, V ili AV sadržaj prirod. ili sintet. porekla, na primer:

mirna slikaV objektA objekt

OPISA KOMPOZICIJE MEDIA OBJEKATA u složene medija objekte koji formiraju AV scene, baziran na VRML konceptu

•34


67

... MPEG 4... MPEG 4MULTIPLEKSIRANJA I SINHRONIZACIJE podataka pridruženih medija objektima tako da se prenesu mrežnim kanalima uz QoS ili memorisani

OBEZBEĐENJE INTERAKCIJE sa AV scenama na klijentskoj stranichange viewing/listening point, drag object over scene,trigerovanje kaskade događaja klikom na objekat, izbor jezika,virtualni telefon zvoni, podizanje slušalice i ide komunikacija,

MENADŽMENTA I IDENTIFIKACIJE intelektualne svojine svakog objekta

Pomoću sledećih jedinstvenih identifikatoraISAN – International Audio-Visual NumberISRC – International Standard Recording Code


68

MPEG 7MPEG 7Multimedia Content Description Interface

Pomoću deskriptora, deskripcionih šema i jezika kao i alata kreira se opis MM sadržaja (za searching, filtering...) koga čine info o:• kreatoru i produkciji sadržaja (režiser, naslov, kratak demo...)• načinu upotrebe sadržaja (copyrights, broadcasting schedule ...)• načinu skladištenja (formati, kodiranja ...)• strukturi u prostornim, temporalnim i prostorno/temporalnim

komponentama sadržaja (delovi scene,segmentacija na regione,motion..)

• niskoniv. osobinama sadržaja (boja,tekstura,boja zvuka,opis melodije...)

• realnosti uhvaćene sadržajem (objekti,događaji,interakcija ...)• kako pregledati sadržaj na najefikasniji način (sažetak,delovi...)• kolekcijama objekata• interakciji korisnika sa sadržajem (user preferences, usage history ...)

•1

Prof. dr Dragan IvetiProf. dr Dragan Ivetićć –– GRAFIGRAFIČČKI I MULTIMEDIJALNIKI I MULTIMEDIJALNI SISTEMISISTEMI6.6. MM sMM sistemistem

1

ŠŠta se izuta se izuččava u multimediji?ava u multimediji?





P R I M E N AUI Zabava Istraživanje Razvoj Učenje Vojska Održavanje

P R I M E N AUI Zabava Istraživanje Razvoj Učenje Vojska Održavanje


GRAFIKA I SLIKE




2

MAGNETNO vs. OPTIMAGNETNO vs. OPTIČČKOKOMagnetni skladišni medij odličan odnos (kapacitet x pristup) /

cena, blizu graničnih tehnoloških mogućnosti.AV strimovi (kompres. ili ne) zahtevaju ogroman skladišni prostor.

Optički skladišni medij nudi veću gustinu skladištenja po nižoj ceni.

Vremenski invarijantan zapis, vreme pristupa.

1982. Philips & Sony CD-DA (LongPlay)1985. Philips & Sony CD-ROM1986. Philips & Sony CD-I (preteča CD-ROM-XA)1987. DVI je publikovan1989. Philips & Sony & Microsoft CD-ROM-XA1990. CD-WO i CD-MO1992. multisession WO i RW1994. Holivud i video CD1998. pokrenut prvi DVD u USA

•2


3

TEHNOLOGIJA OPTITEHNOLOGIJA OPTIČČKOG SKLADIKOG SKLADIŠŠTENJATENJA

~780nm800µ

1,7µ ~500nmrefleksija 1,55

detektuje promenu pit/land/pitod land kasni za ½ tal. dužinepa interferencija potire sve


4

CDCD--DADA osnovosnovee

Semplovanje na 44,1 kHz sa 16 bita

Mbajtsekbitmin

sekKbajt

seksempl

semplbit

kanala

747141120074DA-CD

26,17244100216DA-CD

kapacitet

rate data

≅×=

=××=

•3


5

CDCD--DA organizacijaDA organizacija

LEADS IN area“uvodi” na pitove i syncsadržaj (TOC) prog. area

LEADS OUT areadata silenceprotiv izletanja

PROGRAM area- do 99 tracks razl. duž.,minimalno 4 sec dužinesa opciono 2 s silence- 1 track = 1 (ili deo)pesme- na početku: gap, syncerror correct., time.

DOBRO – neosetljivost na prašinu, vremenski postojano, greška 10-8

LOŠE – najmanja direktno adresibilna jedinica je track koja je predugačka 4 sec x 172,26 Kbajt/sec = 689,04 Kbajt


6

CD ROM osnove CD ROM osnove ......Direktno adresabilni fizički blok od 2353 bajta, unutra podaci

(režim 1) ili audio (režim 2), CD-ROM-XA čita oba na jednoj ploči ali prvo data track pa onda audio track

SYNC 12 bajta za detekciju početka blokaHEADER 4 bajta min, sec, red. br. i režim rada

ErrorDetectionCode 4 bajta ErrorCorrectionCode 276

bajta 2D parity information, 10-12

SUBHEADER 8 bajta 2 x ponovljena 4 header bajta

CD ROM sadrži 333000 blokova sa brzinom od 75 blokova/sek

•4


7

... ... CDCD--ROM osnoveROM osnove

Mbajtblokbajtablok

sekKbajt

sekblok

blokbajta

6502048333000ROM1-CD

150752048ROM1-CD

kapacitet

rate data

≅×=

=×=

Mbajtblokbajtablok

sekKbajt

sekblok

blokbajta

7382324333000ROM2-CD

2,170752324ROM2-CD

kapacitet

rate data

≅×=

=×=


8

CDCD--ROMROM--WO / RWWO / RWili CD-ROM-R (recordable) da korisnik jednostavno, bez otisaka,

memorišeapsorpcioni se trajno deformiše na 250ºC

laser 4x većim intenzitetom formira pits jer nedirnut apsorpcioni “guši” zrak –landsavremenija tehnologija apsorpcioni sloj koji se restauriše (1000x) – CD-ROM-RW

Dva režima snimanja podatakaONE SESSION – prvo upiše sve pa leads-out i na kraju leads-in sa

TOCMULTI SESSION – leads-in, data, leads-out; leads-in, data, leads-

out; ...teorijski 99 sesija ali zbog leads-in/out ide do nekih 46zahteva CD uređaj sa multisession osobinom

•5


9

Video CDVideo CDnasledio CD-XA radi kvalitetne reprodukcije filma

CBR = Constant Bit Rate VBR = Variable Bit Rate


10

DDIGITALIGITALVVERSATILEERSATILEDDISCISC

Holivud specifikovao- 135 minuta pokretnih slika, 94%

produkcije- superior kvalitet slike,- superior sound track, najmanje tri,- titlovanje na barem 4 jezika,- koristiti CD-DA fizičke karakteristike.Kapacitet- 3,5 MBita/sek za pokretne slike,- 1,152 MBita/sek za sound tracks,- 0,04 MBita/sek za titlove,- UKUPNO 4,692 MBita/sek.

GBajtbit

bajtminsek

sekMBitmin 754

8606924135 ,,DVD-CD kapacitet ≅×××=

•6


11

DVD fiziDVD fiziččke kke k--keke

- poluprečnik 120 mm,- debljina 2 x 0,6mm,- tal. duž. lasera 650/635 nm,- brzina prenosa 9,8 Mbit/sek.

komerc

komerc

slabo

slabo


12

Klase DVD medija i primenaKlase DVD medija i primena

•7


13

DVD kompresione tehnike DVD kompresione tehnike ......

POKRETNE SLIKE – 1 strim, MPEG2, PAL 625/50 ili NTSC 525/60AUDIO – max 8 strimova,

NTSC

PAL


14

... ... DVD kompresione tehnikeDVD kompresione tehnike

PODSLIKE – max. 32 strima, titlovanje Run-length kodiranje, BMP, 2 bit/pixelPAL 720 x 576 piksela ,NTSC 720 x 480 piksela.

Nekompresovani linearni PCM za različita odabiranja i kvantizaciju za najzahtevnije, tabela mogućnosti sa max. trajanjima slike i PCM zvuka,snimak koncerta.

•8


15

Komercijalne funkcije DVD videa Komercijalne funkcije DVD videa ......

sinhronizacija na 8 jezikatitlovanje na 32 jezika


16

... ... Komercijalne funkcije DVD videa Komercijalne funkcije DVD videa ......

•9


17

... ... Komercijalne funkcije DVD videaKomercijalne funkcije DVD videa


18

Holografsko skladiHolografsko skladišštenje vs. ostalitenje vs. ostali

•10


19

Princip holografskog skladiPrincip holografskog skladišštenjatenja


20

Sistem za Sistem za ččitanje holografskog skladiitanje holografskog skladišštata

•11


21

Zahtevi, nehomogenost, parametrizacijaZahtevi, nehomogenost, parametrizacija• MM aplikacije se izvršavaju u real-time,• potrebni različiti servisi raznih resursa sistema,• resource management (RM):

• scaling and adaption of media quality,• resource reservation,

• distribuirane MM aplikacije u heterogenim okruženjima,• parametrizacija zahteva MM aplikacije kako bi se omogućio RM,

U svetu komunikacija - Quality of Service (QoS) parametri


22

QoS parametriQoS parametri

PROPUSNA MOĆ - određena brzinom prenosa konekcije koja zadovoljava MM aplik. zavisi od veličine LDU

KAŠNJENJE (delay) - prenos kroz seriju međukonekcija gde svaka unosi neko kašnjenje, uključujući izvor i uvir strimova.

(DELAY) JITTER - maksimalna varijacija kašnjenja u dolascima podataka prouzrokovana komponentama na komunikacionom putu.

POUZDANOSTmehanizmi za detekciju i korekciju greškenema re-transmissionnajkorisniji forward error correction mechanisms

•12


23

PROPUSNA MOPROPUSNA MOĆĆthroughput, bandwidth -> data (bit) rate (bps)

Tri moguće prirode zahtevane propusne moći infrastrukture:

alocirana propusna moć

satisfakcija korisnika

CBR

alocirana propusna moć

satisfakcija korisnika

VBR

min max

1. Constant bit rate (CBR) – aplikacija zahteva konstantnu propusnu moć(nekompresovani video).

2. Variable bit rate (VBR) – aplikacija ne zahteva uvek istu propusnu moć (kompresovani strimovi).

3. Burstines – eksplozivni zahtevi za propusnom moći, izražava se kao odnos srednje brzine prenosa u dužem periodu (Mean Bit Rate) i maksimalnoj brzini u kraćem periodu (Peak Bit Rate).


24

KaKaššnjenjenjenjedelay

Četiri moguća izvora kašnjenja u prenosu MM sadržaja:1. Izvorno kašnjenje (kašnjenje procesiranja) – obično za

digitalizaciju i paketiranje sadržaja. 2. Transmisiono kašnjenje – funkcija veličine paketa i brzine

prenosa.3. Mrežno kašnjenje – čine ga

propagation delay – funkcija fiz. udaljenosti izvora i uvira,protocol delay – zavisi od protokola, saobraćaja na mreži i

vremena konfigurisanja hardvera za dati protokol,output queuing delay – koliko dugo paket boravi u izlaznom

baferu mrežnog čvora.4. Odredišno kašnjenje – obično za depaketizaciju, dekompresiju...

•13


25

Dijagram endDijagram end--toto--end kaend kaššnjenjanjenja

Izvorno kašnjenje

Transmisiono kašnjenje

Mrežno kašnjenje

Odredišno kašnjenje

Vreme Vreme

Jedinični podatakgenerisan na izvoru

Prenet prvi bitna prenosni medij

Prenet poslednji bitna prenosni medij

Prihvaćen prvi bitna odredištu

Prihvaćen poslednji bit na odredištu

Jedinični podatak reprodukovanna odredištu


26

JITTERJITTER

•14


27

Vrednosti QoS parametara za prenos zvukaVrednosti QoS parametara za prenos zvukaPropusna moć

64 kbps za nekompresovani zvuk kvaliteta > 4,32 kbps za slabokompresovani kvaliteta 3.8,5.6 kbps za visokokompresovani kvaliteta 3.5.

Kašnjenje pri prenosu u jednom smeru< 100 – 150 ms za odličan kvalitet,150 – 250 ms za prihvatljiv kvalitet,250 – 300 ms neprihvatljiv kvalitet.

Jitter< 40 ms za odličan kvalitet, neprimetan jitter,40 – 75 ms za prihvatljiv kvalitet,> 75 ms neprihvatljiv kvalitet.

Pouzdanost – gubitak jednog paketa zamaskira kodek ali gubitak više uzastopnih paketa …Bit Error Rate(BER) < 0.01 za voice kvalitet.Bit Error Rate(BER) < 0.001 za CD kvalitet.


28

QoS specifikacija i garancijeQoS specifikacija i garancije

ZAHTEVI – QoS spefikac. Schedulability testKalkulacija QoS param.Rezervacija

Garancije

Scheduling RM1

RM2

RM3

RM4

RM5

•15


29

QoS i rezervacija/upravljanje resursimaQoS i rezervacija/upravljanje resursima


30

Distribuirani QoSDistribuirani QoSČvor izvor Posredni čvor Čvor uvir

•16


31

Smerovi rezervacijeSmerovi rezervacije

POŠILJALAC ORIJENTISANA REZERVACIJA

PRIMALAC ORIJENTISANA REZERVACIJA

KOMBINOVANA


32

Media serverMedia server• file server sa time-framed servisima,• ne information management, nego skladištenje i

distribucija sadržaja, PULL SERVERI – editovanje MM sadržaja u LAN,

PUSH SERVERI (data pump) – broadcast, multicast distribucija sadržaja,

• jedan u dvojnoj ulozi, edituje user play-list pa konzumacija,

r7 r8 r9 r10 r11 r12

d1d2d3d4d5d6

d

r

•17


33

Arhitektura serveraArhitektura servera• u kontekstu isporuke sadrža,


34

Direktorij sadrDirektorij sadržžajaaja• entitet za verifikovanje egzistencije sadržaja na serveru kao

i prava klijenta da mu pristupi,• interni ili eksterni direktorij sadržaja,

two-step retrieval request redirection

•18


35

MenadMenadžžer memorijom i fajl sistemer memorijom i fajl sistemMenadžer memorijom• entitet za rukovanje MM strimovima,• kako iz skladišta dopremiti ogromne količine podataka ka

klijentima?• pametno rukovanje baferima, real-time zahtevima i

višestrukim pristupom.Fajl sistem• logičko organizovanje podataka skladišta,• tradicionalno – FAT like, file deskriptor i init pokazivač,• MM fajl sistem mora voditi računa o:

• real-time karakteristici MM strimova,• veličini strima, VoD,• višestruki pristup podacima, VoD,

• obično modifikacija UNIX fajl sistema,


36

MenadMenadžžer skladier skladišštimatima• osnovni zadatak je brz pristup fajlu,• višestruki istovremeni pristupi, heterogeni diskovi,• rešava kroz file placement:

• kontinualno blokovi na istom cilindru,• interleaved i non-interleaved placement,• TOC u sredinu ili barem na početak,• najpopularniji fajl na sredinu diska,

i disc scheduling:• tradicionalni algoritmi – da bude jeftino i fer:

• First-Come-First-Served - zahtevi obrađeni hronološki• Shortest-Seek-Time First – permanentni scan zahteva• SCAN – kao SSTF samo brine i o smeru pomeranja glave• C-SCAN – kao SCAN ali samo u jednom smeru, cyclic

• MM algoritmi – uključuje i real-time potrebe:• Earliest Deadline First,• SCAN-Earliest Deadline First,

•19


37

Disk kontrolerDisk kontroler• direktna komunikacija sa skladišnim uređajem,• proslediti što više podataka u što kraćem roku ali diskovi

su fizički spori,• više diskova = više skladišnog prostora, još ostala brzina,• RAID tehnika, bolje performanse i veća bezbednost,

• RAID 0 – nema redudancije, samo kapacitet,• RAID 1 – dvostruka redudancija, - kapacitet + bezbedan,• RAID 2 – zaštita Hemingovim kodom na nivou diskova,

npr. 4 primarna diska sa 3 diska Hemingovim kodom,• RAID 3 – 1 bit parity zaštita, rekonstrukcija 1 diska,• RAID 4 – stripping unit na jedan disk pa na drugi..., strip

parity na jednom disku,• RAID 5 – kao RAID4 ali parity unit na bilo kom disku,• RAID 6 – Reed-Solomon kodovi štite od pada 2 diska,


38

SkladiSkladiššni uređajni uređaj• uglavnom magnetni i optički diskovi,• što brže i više – korektan layout diska (adresabilnost):

• single track vs. tracks&sectors, vs. zone bit recording,

• kontinulano i diskontinualno skladištenje blokova fajla,

•20


39

APLIKACIJE kolekcija različitih protokola za OS i aplikacije, FTP, Telnet, HTTP, SMTP

PREZENTACIJE daje semantiku bitima – npr. forma ekrana, implementira se samo radi kriptografije

SESIJE PC dijalog control & administr., obično pod transp. nivoom, retko sam podržan

TRANSPORTA reliability, da numer. paketi stignu, rerouting or buffering on error, TCP, NetBios i IPX

MREŽE paketi, best path, static & dinamic routing, X.25 connect-orient., IP connectionless

VEZE bit framing + checksum biti, on error retrans. LogicalLinkControl & MediumAccessControl

FIZIČKI biti, ↔ slanja, protokoli za el-meh. interf., standardi RS232 i X.21

MMKS i ISO OSI model komunikacijeMMKS i ISO OSI model komunikacije

PRIMALAC POŠILJALAC

DATA

a

a p

a p s

a p s t

a p s t m

a p s t m v

a p s t n m f

a p s t m v

a p s t m

a p s t

a p s

a p

a

a p s t m v f

FIZIČKA VEZA

@

@

@

@

DATA

APLIKACIONI PODSISTEM - CSCW

TRANSPORTNI PODSISTEM


40

MreMrežžni nivo Ini nivo I

1. Internet Protocol, IP – nepouzdan prenos datagrama kroz jedan ili više routera (gateways), za MM najinteresantniji

a) TypeOfService – minimize delay (za MM dovoljno tmin i tmax) i cost, maximize throughput i pouzdanost

b) Address&Multicast – A, B, C, D i E adresni nivoi, broadcastc) Interconnectivity IP sa underlaying mrežama – Ethernet ATMd) Routing IP paketa – za MM bolja fiksna ruta radi kvaliteta i

minimalnog jitter ali se gubi bypass link – layer failures

MM zahteva veliku pojasnu širinu, multicasting, rezervaciju resursa, QoS garancije, nove routing protokole i rutere velikog kapaciteta.

INTERNET SERVISI I PROTOKOLI

2. Internet Group Management Protocol, IGMP – koristi IP pakete proširene informacijama o članu/grupi kome je namenjena. Osnovni servis je slanje datagrama grupi/članu bez garancija da će i dobiti.

•21


41

MreMrežžni nivo IIni nivo II

3. Resuorce reSerVation Protocol, RSVP – ne data transfer nego putem IP datagrama prenosi rezervacije resursa i čuva stanja čvorova mreže. Rezerviše resurse za sve, ili podskup, paketa u datoj sekciji – distribuirane MM aplikacije.

STREAM PROTOKOL – SPconnected-oriented, garantovani prenos zasnovan na strimovimauspostavlja vezu jednog izvora i jednog (više) uviratok prenosa

setup – rezervacija resursa, QoS parametri i opis paketa pomoću STControlMessageProtocol – SCMP

podaci po SP protokoluveoma pogodni za MM distribuirane aplikacije


42

Transportni podsistemTransportni podsistemDistrib. MM aplikacije i korisnici postavljaju sledeće zahteve i ograničenja 1. DATA TROUGHPUT – very high2. FAST DATA FORWARDING – izraženo kod end-systems – packet

transfer & buffering, prostorno i vremensko planiranje – routing/switch3. SERVICE GUARANTEES – kroz QoS parametre za planiranje resursa4. MULTICASTING – pojasna širina mreže i kom. protokoli na end-system

Procesna i protokol ograničenja koja data platforma mora ispuniti kako bi hostovala MM aplikacijuTHE SHORTEST POSSIBLE PATH – za kontin. medije, obezbediti sa1. BUS based, adapter-to-adapter copy of data, BUS je grlo, analog. za A/V2. SWITCH based, kont. medija podacima se dodaju headers/trailers za

višenivovsku obradu podeljenu između SW i HW. Za savremene packet/cell asinhrone mreže novi viši nivo za sinhronizaciju prenosa, uglavnom sa connection-oriented protokolima.

•22


43

Transportni nivoTransportni nivo1. Transmission Control Protocol, TCP – pouzdan serijski kom. put, pun

dupleks strima bajtova, izvor/uvir identifikovani IP adresama i full-duplex portovima. Pouzdanost retransmission on time-out & positive acknowledge. Za MM nije pogodna retrans. a bolji je negativ ackn.

2. User Datagram Protocol, UDP – nadogradnja IP protokola radi multipleksiranja datagrama između dva hosta i jednostavnih checksums, ostalo (retrans., paketizac., reasembly...) mora aplikacija.

3. Real-time Transport Protocol, RTP – koristi X Windows za mrežni real time prenos (multy party conference). Obezbeđuje: determinisanje koda medija, sinhronizaciju, framing, error detection, timing i sl. Oslanja se i na RTCP koji koristi QoS parametre.

4. Xpress Transport Protocol, XTP – oslanja na nisku grešku i velike brzine mreža, integriše transp. i mrežni protokol radi boljeg upravlj., predviđen za real-time rad ali i za remote-procedure-call u distr. OS. Ima 6 sevrisa: konekcija, transakcija, unack&acknowledge datagram, izohroni strim i bulk data. Dva tipa XTP paketa: info i upravljački.Odličan za ATM i radi se na njegovoj VLSI implementaciji.


44

MM baze podatakaMM baze podataka• čuvaju, manipulišu i retrieval podataka diskretnih i kont.

medija uz odgovarajuću storage technology & file system,• karakteristike:1. SKLADIŠNI MEDIJ – prema ka-kama podataka2. DESKRIPT. SEARCH METODE – kontekst-orijent. pretraga, “dama sa crvenim šalom” -> pesma, song, slika, video3. INTERFEJS INVARIJANTAN OD UREĐAJA/FORME – bez obzira gde je fizički uskladišten4. SIMULTANI PRISTUP5. RAD SA VELIKOM KOLIČINOM PODATAKA6. RELACIONA KONZISTENCIJA U RUKOVANJU PODACIMA– relacija je invarijantna u odnosu na tip medija, 7. PRENOS PODATAKA U REALNOM VREMENU8. DUGAČKE TRANSAKCIJE – retrieval of movie

•23


45

MM strukture podatakaMM strukture podatakaNestrukt. – sadržaj dostupan samo pristupom celom podatkuStrukt. – skup strukt. potpodataka koji obezbeđuju pristup

MM podaci se mogu smeštati/čuvati u MMDB kao1. RAW – skup piksela slike, odbiraka muzike, slova, sekvence videa2. REGISTRACIONI – pridružuju prethodnom tipu kako bi se obezbedila njihova korektna interpretacija, (dimenzija, frekvencija odabiranja, kompresiona tehnika ...)

3. DESKRIPCIONI – opciono daju kvantitativnu dimenziju radi lakše, jedino moguće, pretrage MM sadržaja, (alfanumeričko)


46

Multidimenzionalne strukture (video) podatakaMultidimenzionalne strukture (video) podataka

• multidimenzionalne strukture podataka – tačke, segmenti linije, pravougaonici, poligoni, regioni, volumeni i poliedari u 2D i 3D,

• veoma kompleksne po strukturi i relacijama koje uspostavljaju,• Kako uspostaviti poredak u jednodimenzionalnoj strukturi?

• radi obrade u klasičnoj DB,• od pomoći relaciona torka klasične DB?

• veoma su dinamične prirode,• ogromnog broja pojava,

• osnova za prostorne baze podataka o objektima, njihovom obimu i položaju u prostoru,

•24


47

Tipovi upita nad prostornom DBTipovi upita nad prostornom DB

• Exact Match Query – naći sve objekte DB sa datim atributima• Point Query – naći sve objekte DB koji prekrivaju datu tačku,• Window Query ili Range Query - naći sve objekte DB koji imaju

barem jednu zajedničku tačku u query window,• Intersection Query ili Region Query ili Overlap Query - naći sve

objekte DB koji imaju barem jednu zajedničku tačku sa query obj,• Enclosure Query - naći sve objekte DB koji pokrivaju query obj,• Containment Query - naći sve objekte DB koji su prekriveni q. obj,• Adjacency Query - naći sve objekte DB koji su susedi query obj,• Nearest Neighbor Query - naći sve objekte DB koji su minimalno

udaljeni od query objekta.


48

ProgramiranjeProgramiranje• MM programske apstrakcije:

Device

Multimedia Application

Device Drivers for Continuous Media

Libraries

System Software

Toolkits

OOPL High Prog. Lang.

dostupan joj je svaki nivo

implem. access & schedule

funkcije za proces. kont. med.

sys/user mode, data as time capsule or as streams

uniformni interfejs bez fizikeuvodi client/server paradigm

•25


49

HighHigh--Level LanguageLevel Language--HLLHLL• mora posedovati tipove za manipulaciju multimedijalnim

podacima, direktna komunikacija sa procesima u RTE, nema HLL sem donekle u DSP

Kako se medija podaci mogu programski apstrahovati?1. Medija podaci kao tipovi.2. Medija podaci kao datoteke.3. Medija podaci kao procesi.


50

Medij kao tipMedij kao tipna primeru OCCAM-2 zbog mogućnosti paralelne obrade

a,b REAL;ldu.left1,ldu.left2,ldu.left_mixed AUDIO_LDU;...WHILE

COBEGINPROCESS1input(micro1,ldu.left1);

PROCESS2input(micro2,ldu.left1);

ldu.left_mixed:=a*ldu.left1+b*ldu.left2;...

END_WHILE...

subtitle TEXT_STRING;mixed_video, ldu.video VIDEO_LDU;...WHILE

COBEGINPROCESS1input(av_handle,ldu.video);IF new_video_sceneinput(subtitle_filehandler,subtitle);

mixed_video := ldu_video + subtitle;PROCESS2output(video_window,mixed.video);

...END_WHILE...

Granulitet LDU (odbirak, frame, AVI, ..)Premali (tada ih puno), prevelik (1 s AVI), kako izvršiti - ili + (overlapping transparentnih boja ili mixture luminance)

•26


51

Medij kao datotekaMedij kao datoteka...file_h1 := open(MICROPFONE_1, ...);file_h2 := open(MICROPFONE_2, ...);file_h3 := open(SPEAKER, ...);...activate(file_h1, file_h2, file_h3);read(file_h1);read(file_h2);mix(file_h3, file_h1, file_h2);...deactivate(file_h1, file_h2, file_h3);...close(file_h1);close(file_h2);close(file_h3);...

Za datoteke kao strim kontinualnog medija kako onda read/write, kontinualno dodeljivanje dat. promenljivoj?Kako sprovesti seek funkciju?


52

Medij kao procesMedij kao proces

PROCESS cont_process_a;...On_message_do

set_volume ...pause ......

...[main]

...proc := create(cont_process_a);...send(proc, set_volume, 3);...send(proc,pause);...

OpenGL

OOP!DirectDraw / Direct3D

•27


53

MMMM alatialatialatima se udređuju MM podaci za kreiranje aplikacija

MUSIC SEQUENCING AND NOTATIONCakewalk - MIDI, više pogleda (notne linije, piano roll, event

list), Virtual Piano. Cubase Score - sve što i Cakewalk ali i štampanje notnih

zapisa. SoundForge - snimanje, editovanje (filterisanje) i ekspedicija.GRAPHICS, IMAGE AND VIDEO EDITINGCorel DrawAdobe PhotoshopAutodesk Studio MaxAdobe PremiereQuickTime Pro


54

Multimedia AuthoringMultimedia Authoringauthoring - the process of creating multimedia applications

Authoring metaphor (paradigm) is the methodology for authoring multimedia applications:1. Scripting Language, a special language, SMIL2. Slide Show, by default a linear presentation, PowerPoint3. Hierarchical, organized into a tree structure, in menu-

driven applicat. 4. Iconic/Flow-control, graphical icons and flow chart to help

authoring, Authorware by Macromedia 5. Card/Scripting, index-card structure, good for

hypertext/hypermedia, SuperCard, HyperCard by Apple 6. Cast/Score/Scripting, with cast members, music scores,

and scripting language; many synchronous horizontal "tracks" simultaneously shown in vertical columns; Director & Flash by Macromedia

•28


55

Synchronized Multimedia Integration LanguageSynchronized Multimedia Integration LanguageSMIL upravlja MM prezentacijom u SMIL players ili WWW browsersSMIL definiše vremen. i/ili prostorne (layout) veze između MM komponentimarkup language, npr. <par> picture1, picture2, picture3 </par><par begin=“5s”> picture1, picture2, picture3 </par>

primer, slika1 - slika2 i Audio2 – slika3 i Video3 i Audio 3, prikazivati: u centru – u centru - gore levo i u centru


56

SMIL primerSMIL primer<smil><head>

<layout><root-layout id=“SMIL-demo” title=”SMIL-demo” width=“1200” heigth=“900”/><region id=“UpperLeft” left=“20” top=“20” width=“528” heigth=“396” z-index=“1”

fit=“fill”/><region id=“Center” left=“400” top=“300” width=“440” heigth=“330” z-index=“2”

fit=“fill”/></layout>

</head>

<body><seq id=“MMShow”>

<img id=“Image1” src=“pict1.jpg” region=“Center” dur=“3s”/><par id=“Item2”> <img id=“Image2” src=“pict2.jpg” dur=“8s”/>

<audio id=“Audio2” src=“sound2.wav” /> </par><par id=“Item3”> <img id=“Image3” src=“pict3.jpg” region=“UpperLeft” begin=“2s”

dur=“19s”/><audio id=“Audio3” src=“sound3.wav” /> <video id=“Video3” src=“f.avi” region=“Center” begin=“4s” end=“21s”/>

</par></seq>

</body></smil>

•1

Prof. dr Dragan IvetiProf. dr Dragan Ivetićć –– GRAFIGRAFIČČKI I MULTIMEDIJALNI SISTEMIKI I MULTIMEDIJALNI SISTEMI7. MM s7. MM servisi i primenaervisi i primena

1

ŠŠta se izuta se izuččava u multimediji?ava u multimediji?P R I M E N A

UI Zabava Istraživanje Razvoj Učenje Vojska OdržavanjeP R I M E N A

UI Zabava Istraživanje Razvoj Učenje Vojska Održavanje


GRAFIKA I SLIKE








2

(inter/intra) SINHRONIZACIJA(inter/intra) SINHRONIZACIJAsredstvo koje uključuje u sebe sadržajne, prostorne i temporalne relacije

između objekata.Sadržajne relacije – zavisnost medij objekata od nekih podataka.Prostorne relacije – definišu prezentacioni (2D/3D) prostor na izl. uređaju.Temporalne relacije – definišu temporalnu zavisnost medij objekata.

INTEROBJEKT SINHRONIZACIJA – sinhronizacija između objekata

INTRAOBJEKT SINHRONIZACIJA – sinhron. LDU kontin. medij objekta

vreme

audio1

video1P1 P2 P3

audio2

animation1

vremeBUP BUP BUP KOTRLJ, KOTRLJ

•2


3

Live & synthetic synchronizationLive & synthetic synchronization

tokom prezentacije reprodukovati temporalne relacije koje su važile tokom capturing procesa.

bez memorisanja sa usputnim long-term memorisanjem

iz-vor

u-vir

iz-vor

u-vir

iz-vor

u-vir

tokom prezentacije reprodukovati temporalne relacije koje su veštački specifikovane tokom faze specifikacije/projektovanja/razvoja.


4

Prezentacioni zahtevi sinhronizacije IPrezentacioni zahtevi sinhronizacije Itačnost (kašnjenje) u prezentaciji LDU (intrasync.) ili medij objekata (inter)ELIMINISANJE JITTERa

Blokiranjem – zamrzavanje ili ponavljanje, alternativa za veliki GAPRe-sampling – preskači da se stignu, manje primetno

0%

20%

40%

60%

80%

100%

120%

-320 -280 -240 -200 -160 -120 -80 -40 0 40 80 120 160 200 240 280 320audio +napred-nazad u ms

detektovanih grešaka

Head View Shoulder View Body View

LIP SINHRONIZACIJALOŠE LOŠEHM, HM HM,HMPA, OK JE

•3


5

Prezentacioni zahtevi sinhronizacije IIPrezentacioni zahtevi sinhronizacije II

-20%

0%

20%

40%

60%

80%

100%

120%

-3000 -2500 -2000 -1500 -1000 -500 0 500 1000 1500 2000 2500 3000

audio +napred-nazad u ms

nivo ljutnje

Map Technical Sketch

POINTER SINHRONIZACIJA – interesantno kod CSCW

LOŠE LOŠEHM, HM HM,HMPA, OK JE

Služi kao osnov za formiranje QoS parametara


6

Referentni model sinhornizacijeReferentni model sinhornizacije

NIVO MEDIJA

NIVO STRIMA

NIVO OBJEKATA

SPECIFIKA-CIONI NIVO

MULTIMEDIJAL-NA APLIKACIJA

•alati i aplikacije za specifikovanje sinhronizacije (MM editori i authoring sistemi)

•metodi sinhornizacije ovog nivoa• skriva razlike između diskret. i kont. medija• na osnovu specif. razvija prezentaciju

• interstream sinhron. kont. medija u RTE• start(stream), create(group), gstop(group)

• intrastream sinhron. kont. medija referisanjem na LDU po control-flow

• read(device,LDU), write(device,LDU)

APSTRAKCIJA

•4


7

MetodiMetodi sinhornizacijesinhornizacije specifikacionog nivoa ...specifikacionog nivoa ...1. INTERVAL – BASED• lakoća definisanja, posebno za LDU varijabilnog trajanja,• samo na kraj i/ili početak LDU,

A Bbefore

A Bconsecutive

A

Boverlapping

A

Bconcurrent

A

Bstarting

A

Bending

A

Bswitched


8

... Metodi... Metodi sinhornizacijesinhornizacije specifikacionog nivoa ...specifikacionog nivoa ...• improved interval-based method,

•5


9

... ... MetodiMetodi sinhornizacijesinhornizacije specifikacionog nivoa ...specifikacionog nivoa ...2. AXES-BASED, obično vezana za vreme mada ne mora (notni zapis),• intuitivna, moguća i intrasinhronizacija,• nemoguće integrisati LDU varijabilne dužine bez posebnih ekstezija,

t

Video

P1 P2 P4Audio 1 Audio 2

Interakcija

Animacija

P3


10

... ... MetodiMetodi sinhornizacijesinhornizacije specifikacionog nivoaspecifikacionog nivoa3. CONTROL FLOW-BASED• prati analitiku čoveka,• otežana sinhr. LDU (dekompozicija), puno prostora za prikaz šeme,

4. EVENT-BASED• najveća kontrola ali zahteva i najviše znanja,

Slika1 Slika2 Slika3

Slide sequence

Slika Audio

Lip synchronisation

Animac1

Video1 Audio1

P1 P2 P3 P4

Animac2 Animac3Adio2

Interakcija

•6


11

Sinhronizacija u distribuiranim okruSinhronizacija u distribuiranim okružženjimaenjimaklijentu pored medij objekata treba i specifikacija sinhronizacije da bi

pokrenuo prezentaciju, ali kako u mreži ostvariti sinhronizaciju?

1. Dostavi sve sinhr. info. pre početka prezentacije, sintet. sinhron.obaveza nivoa objekata i specifikacije, lak za implementaciju ali kasni

2. Upotreba posebnog sinhro. kanala, live sinhronizacija, fino za 1 izvor,loše jer dodatni kanal koga obrađuje nivo strima ako je sinh. kao strim

3. Multipleksirani strimovi podataka, fino za više izvora odjednom,teže obezbediti QoS, podržano na nivou strima, prirodno za MPEG

4. Lokalizacija sinhronizacionih operacija, na strani izvora više objekatau jedan pa prenos na klijenta, implicitna sinh., nivo objekta i strima

5. Klok sinhronizacija, broadcast clok signala pa izvor zna kada da šaljepodatke za prikaz, in-time delivery kont. na nivou strima a disk. na obj.


12

CSCW & GroupwareCSCW & GroupwareWilson’s 1990 definition: a generic term which combines the understanding of the way people work in groups with the enablingtechnologies of computer networking and associated hardware, software, services and techniquesBannon and Schmidt’s 1991 definition: an endeavour to understand the nature and characteristics of cooperative work with the objective of designing adequate computer-based technologies

Malone: information technology used to help people work together more effectivelyLynch, Snyder, 1990: is software that accentuates the multiple user environment, coordinating and orchestrating things so that users can ‘see’ each other, yet do not conflict with each otherDyson, 1992: more than a way of coding or building applications, groupware is a way to define, structure, and link applications, data and the people who use them

•7


13

Kolaboracioni prostorKolaboracioni prostorCollaborative computing – tipičan primer je CSCW

Elektronska kolaboracija u prostoru

vreme upravljanje

br. korisnika

jedankorisnika grupa (statička ili dinamička; po ulozi)

centralizovano

upravljanje

distribuirano

sinhrono

vreme

asinhronoBULLETIN BOARD

E-MAIL

DESKTOPTELECONFERENCING

TELEPHONE

FACE-TO-FACE MEETING

GROUPSCHEDULE MANAG.

COLLABORATIVESW DEVELOPMENT

GROUP CSCW

CONFER. ROOM MEETING

GROUP

DECISSION-

MAKING

GROUPCOMMUNICATION


14

Tipovi kolaboracije Tipovi kolaboracije ......kolaboracija između grupa i pojedinaca bez kompjuterske podrške

•8


15

... ... Tipovi kolaboracije Tipovi kolaboracije ......uveden HCI ali se i dalje zahteva kolaboracija između ljudi


16

......Tipovi kolaboracijeTipovi kolaboracije

postaje

•9


17

Komunikacija grupeKomunikacija grupekomunikacija više partnera u isto vreme

OPŠTA KLASIFIKACIJA

Unicast (1 : 1)

Sender Receiver

Multicast (1 : n)

Sender

ReceiverA

ReceiverB

ReceiverC

Multipeer (m : n)

Concast (m : 1)

Receiver

SenderA

SenderB

SenderCSender1

ReceiverA

ReceiverB

ReceiverCSender2

SPECIJALNI SLUČAJEVI: Broadcast (1 : all) , Anycast (1 : someone)


18

Arhitektura komunikacije grupeArhitektura komunikacije grupe ......čine sledeća tri modela

Communication (transport) support

Conferencing

Applicationsharing

GroupRendezvouz

GROUP COMM. AGENT


Conferencing

Applicationsharing

GroupRendezvouz

GROUP COMM. AGENT


Conferencing

Applicationsharing

GroupRendezvouz

GROUP COMM. AGENT

MULTICASTCOMMUNICATION

NETWORK

1. MODEL PODRŠKE, zasnovan naagentima kom. grupe koji tokom kolaboracije koristea) Randevu grupe – asinh. ili

sinh. metode za org. sastankab) Deljene aplikacije – sa dve

moguće arhitekturei. Centralizovana arhitekt.

egzekucija na 1 mestu a distribucija rezultata

ii. Replikovana arhitekturaegzekucija na N mesta uzreplicirane ulaze,mali saobraćaj i brz odgovor aplikacije,obezbediti isto exec. okruženje svima

•10


19

... Arhitektura komunikacijske grupe... Arhitektura komunikacijske grupec) Conferencing – servis za komunikaciju A/V data stream. Za

otvaranje, vođenje i zatvaranje konferencije uz + ili – učesnika.

2. MODEL SISTEMA, zasnovan na klijent-server arhitekturi, prvi daje user-interface a drugi f-je za grupnu komunikaciju, rad i semantičke f-je.

3. MODEL INTERFEJSA, dve vrste protokola za razmenu informacija između grupa:

a) User presentation protocol - između korisnika (otvaranje i zatvaranje konferenc., dinamičko priključivanje i napuštanje,floor passing).

b) Group work management – specifikuje komunikaciju između klijenta i servera.


Conferencing

Applicationsharing

GroupRendezvouz

GROUP COMM. AGENT


20

CSCW primer CSCW primer ......

•11


21

... ... CSCW primerCSCW primerContent Management Systems – projekat Wiki, kasnije Wikipedia

B. Reljić

UCL Networked Multimedia Research Group –wb or wbd (shared whiteboard) software


22

KORISNIKORISNIČČKI INTERFEJSKI INTERFEJSnosilac interakcije, kazivanje je brže od pisanja, slušanje je lakše od

pisanja, pokazati je lakše nego opisati

•12


23

Pregled mPregled multicast ulticast aplikacijaaplikacija

MULTICAST APLIKACIJE

REAL-TIME NON REAL-TIME

Data delivery (peer-to-peer, sender-client), DB replication

AlfanumericiMultimedija

Replication (VideoWeb

server, Kiosks), Content delivery

Stock Qoutes, News feeds,

Whiteboarding, Interact. gaming

Alfanumerici

Video servers, VoIP, VoD,

AV conference, tele-operations

Multimedija


24

Video serveriVideo serveriStony Brook Video Server - distribuirana video serverska aplikacija koja

obezbeđuje: indeksiranje, pretragu i video striming preko mreže.

DATABASESERVER

ACQUISITIONSERVERACQUISITION

SERVERMPEGator TEXTGrab

PUSHSERVER

PUSHSERVER

PUSHSERVER

MPEGstrim

TEXT

TEXT

•13


25

VoIPVoIP


26

VoDVoD –– centralizovane arhitekturecentralizovane arhitektureVideo i audio sadržaj pohranjeni na centralnoj tački.Na osnovu zahteva šalje se sadržaj (unicast, multicast, broadcast).

CENTRALIZOVANO

•14


27

VoDVoD –– lokalizovane i distribuirane arhitekturelokalizovane i distribuirane arhitektureUvedeni LOKALNI SERVERI kao baferi a ne skladište i DISTRIBUIRANO.

gmms ecopy.pdf

Documents

put the two back together

acm school sw architecture

analysis and machine

dr dragan iveti ivetic

dr dragan iveti grafigrafiki

vetako generisani objekti

evalvaciju grafikih

dr dragan ivetiprof