2 3 d graphics

2de IBBT Brokerage Event

Break-out Sessie

3D Graphics

Sessieleider: Eddy FlerackersIBBT Program Manager: Nico Verplancke

2

2de IBBT Brokerage Event – « 3D Graphics»

Sessievoorzitter

Sessievoorzitter: Prof. dr. Eddy Flerackers

Presentatie: Prof. dr. Frank Van Reeth

3

2de IBBT Brokerage Event – « 3D Graphics»

Topics to Cover

Doelstelling break-out sessieIBBT onderzoek 3D GraphicsIBBT GBO en ISBO projecten met 3D GraphicscomponentenDiscussie mogelijke project-voorstellen/topicsConclusies

4

2de IBBT Brokerage Event – « 3D Graphics»

Doelstelling break-out sessie

Het basisprincipe van het IBBT is een vraaggedreven onderzoeksprogrammeringDe doelstelling van het brokerage event is proposals te initiëren op basis van onderzoeksvragen en ideeën vanuit de bedrijfswereldDe doelstelling van de break-out sessies:

de thema’s die zouden kunnen leiden tot projectvoorstellen verder uitdiepenpotentiële trekkers voor een mogelijke indiening detecteren

5

2de IBBT Brokerage Event – « 3D Graphics»

Doelstelling break-out sessie

Idealiter zal de break-out “3D Graphics” leiden tot:

een potentiële cluster van partners uitwisseling van contactgegevens

Op basis hiervan zal de coördinator de nodige initiatieven nemen om de partners samen te brengen en de proposal verder uit te werken rond een gezamenlijk interessedomein

6

2de IBBT Brokerage Event – « 3D Graphics»

IBBT onderzoek « 3D Graphics »

Lopende en ingediende IBBT projecten met 3D Graphics componenten:

GBO:A4MC3VACFASCIT...

ISBO:VINQoE

7

2de IBBT Brokerage Event – « 3D Graphics»

IBBT onderzoek « 3D Graphics »

Modelleren:Subdivision surfaces

© Pixar

8

2de IBBT Brokerage Event – « 3D Graphics»

IBBT onderzoek « 3D Graphics »

Rendering:FotorealistischNiet-FotorealistichBeeld-gebaseerd

9

2de IBBT Brokerage Event – « 3D Graphics»

IBBT onderzoek « 3D Graphics »

10

2de IBBT Brokerage Event – « 3D Graphics»

IBBT onderzoek « 3D Graphics »

11

2de IBBT Brokerage Event – « 3D Graphics»

IBBT onderzoek « 3D Graphics »

12

2de IBBT Brokerage Event – « 3D Graphics»

IBBT onderzoek « 3D Graphics »

Interactie met 3D virtuele omgevingen

13

2de IBBT Brokerage Event – « 3D Graphics»

IBBT onderzoek « 3D Graphics »

Genetwerkte Virtuele Omgevingen Samenwerken op afstandEdu-/entertainmentVirtual Communities...

14

2de IBBT Brokerage Event – « 3D Graphics»

IBBT onderzoek « 3D Graphics »

R&D Topics Genetwerkte Virtuele Omgevingen CommunicatieRepresentatieInteractie

=> Schaalbaarheid en bandbreedte-optimisatie

15

2de IBBT Brokerage Event – « 3D Graphics»

IBBT onderzoek « 3D Graphics »

0

10000

20000

30000

40000

50000

60000

70000

80000

1 43 85 127

169

211

253

295

337

379

421

463

505

547

589

631

673

715

757

799

841

883

Time (sec)

Bits

UDP RecvUDP Send

0

50000

100000

150000

200000

250000

300000

350000

400000

1 37 73 109

145

181

217

253

289

325

361

397

433

469

505

541

577

613

649

685

721

757

793

829

865

Time (sec)

bits

UDP SendUDP Recv

Schaalbaarheid

16

2de IBBT Brokerage Event – « 3D Graphics»

IBBT onderzoek « 3D Graphics »Multi-resolutie modellering

5516 triangles 1379 triangles 173 triangles

17

2de IBBT Brokerage Event – « 3D Graphics»

IBBT onderzoek « 3D Graphics »IBR in Genetwerkte Virtuele Omgevingen

18

2de IBBT Brokerage Event – « 3D Graphics»

IBBT onderzoek « 3D Graphics »Mobiele Genetwerkte Virtuele Omgevingen

19

2de IBBT Brokerage Event – « 3D Graphics»

IBBT onderzoek « 3D Graphics »Mobiele Genetwerkte Virtuele Omgevingen

20

2de IBBT Brokerage Event – « 3D Graphics»

IBBT onderzoek « 3D Graphics »Mobiele Genetwerkte Virtuele Omgevingen

21

2de IBBT Brokerage Event – « 3D Graphics»

IBBT onderzoek « 3D Graphics »Video Avatars in Genetwerkte Virtuele Omgevingen

22

2de IBBT Brokerage Event – « 3D Graphics»

IBBT onderzoek « 3D Graphics »Interactie met Genetwerkte Virtuele Omgevingen

23

Online Gaming

IBBT onderzoek « 3D Graphics »

Scalable 3D Collaborative Gaming Framework

3D GAME

IntelligentDistributionScalable content

of the 3D game

Scalable network &terminals

Game World Partitionin the initial network

Terminal characteristics

Global TopologyNetwork

characteristics

Canonical3D content

Representation

Game World

GlobalProcessing capabilities

LocalNetworkmodel

Weak node

Powerful node

24

Online Gaming

high performancehigh quality

IBBT onderzoek « 3D Graphics »

contentstoredonline

low qualitylow performance

low power

25

Content Quality Driven Energy Management System for Mobile 3D Graphics

IBBT onderzoek « 3D Graphics »

Don’t show what isn’t needed

26

Content Quality Driven Energy Management System for Mobile 3D Graphics

IBBT onderzoek « 3D Graphics »

MPEG-4Wavelet Subdivision Surfaces

Error

Complexity: software and hardware rendering

27

MPEG-4 Scalable Video Coding

IBBT onderzoek « 3D Graphics »

A new video codec with true scalability in space, time and quality

To be standardized in MPEG-4 Part 10 Amendment 1

wirelessnerworks

SpeakerQCIF15Hz

Phone UserQQCIF7.5Hz

Silent UserQQCIF3.75Hz

28

MultiView

IBBT onderzoek « 3D Graphics »

Multi-view videoin Hollywood

29

MultiView

IBBT onderzoek « 3D Graphics »

30

MultiView

IBBT onderzoek « 3D Graphics »

1

2

N # cameras

Tx

CameraCompression

Reconstruction:<< users server-based>> users client-based

RaySpace (one MPEG candidate):>> users, yet server-based

CR=200 CR=30 CR=60 CR=200

Relation with SVC multi-resolution

Distribute to both sides

31

Multiview

IBBT onderzoek « 3D Graphics »

Omni-directional video

32

Multiview

IBBT onderzoek « 3D Graphics »

Free Viewpoint video

33

MPEG-4: AFX

IBBT onderzoek « 3D Graphics »

The AFX toolset, standardized by the SNHC group from MPEG-4, comprises tools to achieve virtual 3D scenes, such as: high-level geometry representations, texture tools, solid modeling, animation tools, …Example of tools:

Wavelet Subdivision Surfaces:

Solid Representations:

Light Field Mapping:

MeshGrid:

34

MESHGRID Object Representation

IBBT onderzoek « 3D Graphics »

35

MESHGRID Components

IBBT onderzoek « 3D Graphics »

MESHGRID Components:Reference Grid (RG) : acts as the reference system (RS) of the model and allows for non-uniform sampling of the volume.Connectivity Wireframe (CW): the surface description.

36

MESHGRID: Optimising the model

IBBT onderzoek « 3D Graphics »

37

MESHGRID: ROI based Encoding

IBBT onderzoek « 3D Graphics »

Partitioning of large multi-resolution models into ROIs:

38

Scalable Streaming of 3D Scenes

IBBT onderzoek « 3D Graphics »

Server

PC Client PDA Client

39

MESHGRID: Volumetric Animation

(a) (b) (c)

IBBT onderzoek « 3D Graphics »

40

MESHGRID: Volumetric Morphing

IBBT onderzoek « 3D Graphics »

41

MESHGRID: 3D Scientific Simulation

IBBT onderzoek « 3D Graphics »

Dynamic multi-layer MeshGrid model. Topological changes are seamless during the animation.The animation can be saved as a 3D video.

42

MESHGRID: Landscapes

IBBT onderzoek « 3D Graphics »

43

MESHGRID: Summary

IBBT onderzoek « 3D Graphics »

MESHGRID is the most generic object representation from MPEG-4 AFX.Designed using a novel approach: preserve both the volumetric and the surface description of the model.MESHGRID is multi-scalable (level of detail and quality) and allows for view-dependent reconstruction:

Size of the models is not an issue due to the ROI-based encoding.

MESHGRID has particular animation possibilities: volumetric modeling of surface models.Presence of the volumetric information allows specifying material properties (e.g. density, elasticity, …) to the volume of the model:

Useful in virtual reality applications using haptic devices for force feedback.

MESHGRID is appropriate for representing dynamic models (e.g. in scientific simulations or real life scenes) and for encoding theanimation as a 3D interactive video.

44

2de IBBT Brokerage Event – « 3D Graphics»

Discussie mogelijk projectvoorstel rond « 3D Graphics »

Rondvraag publiek: specifieke verdere interesses?

Expliciet voorbereiden/klaarmaken “conclusie slide”

=> Bezoek de stands in de demoruimte ☺

45

2de IBBT Brokerage Event – « 3D Graphics»

Er is een substantiële know-how aanwezig binnen IBBT rond 3D Graphics:

Modelleren, Animatie, BeeldsyntheseInteractie met 3D virtuele omgevingenLink naar netwerken: Genetwerkte Virtuele OmgevingenOptimisatie naar 3D weergave op mobiele toestellenInput naar standardisatie via MESHGRID R&D

Er zijn een aantal lopende (GBO) en ingediende projecten (ISBO) met 3D Graphics componentenMogelijke GBO projectvoorstellen:

Larian: next generation GPUsBARCO avionics: Digital Terrain DB’s -> multires rep.Agoria: Location based 3D services?VRT + KMO’s: 3D community building (ook naar kultuur toe)

Conclusies