2 3 d graphics

2de IBBT Brokerage Event

Break-out Sessie

3D Graphics

Sessieleider: Eddy FlerackersIBBT Program Manager: Nico Verplancke

2

2de IBBT Brokerage Event – « 3D Graphics»

Sessievoorzitter

Sessievoorzitter: Prof. dr. Eddy Flerackers

Presentatie: Prof. dr. Frank Van Reeth

3


Topics to Cover

Doelstelling break-out sessieIBBT onderzoek 3D GraphicsIBBT GBO en ISBO projecten met 3D GraphicscomponentenDiscussie mogelijke project-voorstellen/topicsConclusies

4


Doelstelling break-out sessie

Het basisprincipe van het IBBT is een vraaggedreven onderzoeksprogrammeringDe doelstelling van het brokerage event is proposals te initiëren op basis van onderzoeksvragen en ideeën vanuit de bedrijfswereldDe doelstelling van de break-out sessies:

de thema’s die zouden kunnen leiden tot projectvoorstellen verder uitdiepenpotentiële trekkers voor een mogelijke indiening detecteren

5


Doelstelling break-out sessie

Idealiter zal de break-out “3D Graphics” leiden tot:

een potentiële cluster van partners uitwisseling van contactgegevens

Op basis hiervan zal de coördinator de nodige initiatieven nemen om de partners samen te brengen en de proposal verder uit te werken rond een gezamenlijk interessedomein

6


IBBT onderzoek « 3D Graphics »

Lopende en ingediende IBBT projecten met 3D Graphics componenten:

GBO:A4MC3VACFASCIT...

ISBO:VINQoE

7



Modelleren:Subdivision surfaces

© Pixar

8



Rendering:FotorealistischNiet-FotorealistichBeeld-gebaseerd

9



10



11



12



Interactie met 3D virtuele omgevingen

13



Genetwerkte Virtuele Omgevingen Samenwerken op afstandEdu-/entertainmentVirtual Communities...

14



R&D Topics Genetwerkte Virtuele Omgevingen CommunicatieRepresentatieInteractie

=> Schaalbaarheid en bandbreedte-optimisatie

15



0

10000

20000

30000

40000

50000

60000

70000

80000

1 43 85 127

169

211

253

295

337

379

421

463

505

547

589

631

673

715

757

799

841

883

Time (sec)

Bits

UDP RecvUDP Send

0

50000

100000

150000

200000

250000

300000

350000

400000

1 37 73 109

145

181

217

253

289

325

361

397

433

469

505

541

577

613

649

685

721

757

793

829

865

Time (sec)

bits

UDP SendUDP Recv

Schaalbaarheid

16


IBBT onderzoek « 3D Graphics »Multi-resolutie modellering

5516 triangles 1379 triangles 173 triangles

17


IBBT onderzoek « 3D Graphics »IBR in Genetwerkte Virtuele Omgevingen

18


IBBT onderzoek « 3D Graphics »Mobiele Genetwerkte Virtuele Omgevingen

19



20



21


IBBT onderzoek « 3D Graphics »Video Avatars in Genetwerkte Virtuele Omgevingen

22


IBBT onderzoek « 3D Graphics »Interactie met Genetwerkte Virtuele Omgevingen

23

Online Gaming


Scalable 3D Collaborative Gaming Framework

3D GAME

IntelligentDistributionScalable content

of the 3D game

Scalable network &terminals

Game World Partitionin the initial network

Terminal characteristics

Global TopologyNetwork

characteristics

Canonical3D content

Representation

Game World

GlobalProcessing capabilities

LocalNetworkmodel

Weak node

Powerful node

24

Online Gaming

high performancehigh quality


contentstoredonline

low qualitylow performance

low power

25

Content Quality Driven Energy Management System for Mobile 3D Graphics


Don’t show what isn’t needed

26

Content Quality Driven Energy Management System for Mobile 3D Graphics


MPEG-4Wavelet Subdivision Surfaces

Error

Complexity: software and hardware rendering

27

MPEG-4 Scalable Video Coding


A new video codec with true scalability in space, time and quality

To be standardized in MPEG-4 Part 10 Amendment 1

wirelessnerworks

SpeakerQCIF15Hz

Phone UserQQCIF7.5Hz

Silent UserQQCIF3.75Hz

28

MultiView


Multi-view videoin Hollywood

29

MultiView


30

MultiView


1

2

N # cameras

Tx

CameraCompression

Reconstruction:<< users server-based>> users client-based

RaySpace (one MPEG candidate):>> users, yet server-based

CR=200 CR=30 CR=60 CR=200

Relation with SVC multi-resolution

Distribute to both sides

31

Multiview


Omni-directional video

32

Multiview


Free Viewpoint video

33

MPEG-4: AFX


The AFX toolset, standardized by the SNHC group from MPEG-4, comprises tools to achieve virtual 3D scenes, such as: high-level geometry representations, texture tools, solid modeling, animation tools, …Example of tools:

Wavelet Subdivision Surfaces:

Solid Representations:

Light Field Mapping:

MeshGrid:

34

MESHGRID Object Representation


35

MESHGRID Components


MESHGRID Components:Reference Grid (RG) : acts as the reference system (RS) of the model and allows for non-uniform sampling of the volume.Connectivity Wireframe (CW): the surface description.

36

MESHGRID: Optimising the model


37

MESHGRID: ROI based Encoding


Partitioning of large multi-resolution models into ROIs:

38

Scalable Streaming of 3D Scenes


Server

PC Client PDA Client

39

MESHGRID: Volumetric Animation

(a) (b) (c)


40

MESHGRID: Volumetric Morphing


41

MESHGRID: 3D Scientific Simulation


Dynamic multi-layer MeshGrid model. Topological changes are seamless during the animation.The animation can be saved as a 3D video.

42

MESHGRID: Landscapes


43

MESHGRID: Summary


MESHGRID is the most generic object representation from MPEG-4 AFX.Designed using a novel approach: preserve both the volumetric and the surface description of the model.MESHGRID is multi-scalable (level of detail and quality) and allows for view-dependent reconstruction:

Size of the models is not an issue due to the ROI-based encoding.

MESHGRID has particular animation possibilities: volumetric modeling of surface models.Presence of the volumetric information allows specifying material properties (e.g. density, elasticity, …) to the volume of the model:

Useful in virtual reality applications using haptic devices for force feedback.

MESHGRID is appropriate for representing dynamic models (e.g. in scientific simulations or real life scenes) and for encoding theanimation as a 3D interactive video.

44


Discussie mogelijk projectvoorstel rond « 3D Graphics »

Rondvraag publiek: specifieke verdere interesses?

Expliciet voorbereiden/klaarmaken “conclusie slide”

=> Bezoek de stands in de demoruimte ☺

45


Er is een substantiële know-how aanwezig binnen IBBT rond 3D Graphics:

Modelleren, Animatie, BeeldsyntheseInteractie met 3D virtuele omgevingenLink naar netwerken: Genetwerkte Virtuele OmgevingenOptimisatie naar 3D weergave op mobiele toestellenInput naar standardisatie via MESHGRID R&D

Er zijn een aantal lopende (GBO) en ingediende projecten (ISBO) met 3D Graphics componentenMogelijke GBO projectvoorstellen:

Larian: next generation GPUsBARCO avionics: Digital Terrain DB’s -> multires rep.Agoria: Location based 3D services?VRT + KMO’s: 3D community building (ook naar kultuur toe)

Conclusies

2 3 d graphics

Documents