module: communication...

13
Module: Communication audio-visuelle ESIR 3 Image Numérique Olivier Le Meur– [email protected] 1

Upload: others

Post on 14-Aug-2020

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Module: Communication audio-visuellepeople.rennes.inria.fr/Olivier.Le_Meur/teaching/presModuleCAV_2012... · Video editing Color management Metadata (MPEG-7) Qualité d’expérience:

Module: Communication audio-visuelle

ESIR 3 Image Numérique Olivier Le Meur– [email protected]

1

Page 2: Module: Communication audio-visuellepeople.rennes.inria.fr/Olivier.Le_Meur/teaching/presModuleCAV_2012... · Video editing Color management Metadata (MPEG-7) Qualité d’expérience:

Motivation

• Fournir une compréhension et vision globale de la chaîne de transmission audio/vidéo

– Ingénieurs développement logiciel et/ou algorithmique en télévision numérique: Norme de codage vidéo

Norme de codage son

Réseau (transmission, streaming de données multimédia)

Utilisateur final/perception/attention visuelle

Outils de post traitement (Qualité d’expérience…)

3D

2

Page 3: Module: Communication audio-visuellepeople.rennes.inria.fr/Olivier.Le_Meur/teaching/presModuleCAV_2012... · Video editing Color management Metadata (MPEG-7) Qualité d’expérience:

Compétences & Débouchés

• Comprendre – Enjeux et problématiques

• Comprendre les étapes de la diffusion d’une vidéo (Live, Ingest…)

• Multi-plateformes

• Maitriser les algorithmes de compression vidéo/son, de streaming, de maîtrise de la qualité

• Débouchés – Algorithmie – Développement logiciel

3 Post Production

Réseau Réseau

Page 4: Module: Communication audio-visuellepeople.rennes.inria.fr/Olivier.Le_Meur/teaching/presModuleCAV_2012... · Video editing Color management Metadata (MPEG-7) Qualité d’expérience:

Contenu

4

Réseau Réseau

Compression:

Codage du son (MP3,AAC)

HEVC

(High Efficiency Video Codec)

Codage 3D

Réseau:

Contrôle de congestion

Streaming multimedia…

Post production

Video retargeting

Video editing

Color management

Metadata (MPEG-7)

Qualité d’expérience:

Métrique de qualité

Perception

Acquisition

Restitution:

Écran 3D

Page 5: Module: Communication audio-visuellepeople.rennes.inria.fr/Olivier.Le_Meur/teaching/presModuleCAV_2012... · Video editing Color management Metadata (MPEG-7) Qualité d’expérience:

Organisation CM (1/1)

• Cours magistraux (12 CM)

– Norme H.264 (2-3 CM)

• Extension MPEG-2

– Norme HEVC (2 CM)

• Extension H.264

– L’attention visuelle + métrique (2 CM)

• Fondement, modèle et évaluation des performances

– La 3D (2-3 CM)

• Présentation et applications à la compression

5

Page 6: Module: Communication audio-visuellepeople.rennes.inria.fr/Olivier.Le_Meur/teaching/presModuleCAV_2012... · Video editing Color management Metadata (MPEG-7) Qualité d’expérience:

Organisation TP (1/6)

• TP (12 Séances)

– Présentation TP (1-2 CM)

• Dictionary-based super-resolution method – Template Matching, Non Local Means, Matching pursuit

6

Bicubique, 31.5 dB SR, 32.28 dB

Page 7: Module: Communication audio-visuellepeople.rennes.inria.fr/Olivier.Le_Meur/teaching/presModuleCAV_2012... · Video editing Color management Metadata (MPEG-7) Qualité d’expérience:

Organisation TP (2/6)

• TP (12 Séances)

– Présentation TP (1-2 CM)

• Colorization (Gray to color) – Template Matching, Non Local Means, TVM

7

Page 8: Module: Communication audio-visuellepeople.rennes.inria.fr/Olivier.Le_Meur/teaching/presModuleCAV_2012... · Video editing Color management Metadata (MPEG-7) Qualité d’expérience:

Organisation TP (3/6)

• TP (12 Séances)

– Présentation TP (1-2 CM)

• Examplar-based inpainting – Template Matching, Non Local Means

8

Original Object Cut

Page 9: Module: Communication audio-visuellepeople.rennes.inria.fr/Olivier.Le_Meur/teaching/presModuleCAV_2012... · Video editing Color management Metadata (MPEG-7) Qualité d’expérience:

Organisation TP (4/6)

• TP (12 Séances)

– Présentation TP (1-2 CM)

• Scene-completion using 1 Million pictures – Gist, seam finding and blending

9

Using a huge database with images of “similar” content

Page 10: Module: Communication audio-visuellepeople.rennes.inria.fr/Olivier.Le_Meur/teaching/presModuleCAV_2012... · Video editing Color management Metadata (MPEG-7) Qualité d’expérience:

Organisation TP (5/6)

• TP (12 Séances)

– Présentation TP (1-2 CM)

• Stylisation / strokes – Structure tensor, eigenvalues/eigenvectors

10

Page 11: Module: Communication audio-visuellepeople.rennes.inria.fr/Olivier.Le_Meur/teaching/presModuleCAV_2012... · Video editing Color management Metadata (MPEG-7) Qualité d’expérience:

Organisation TP (6/6)

• TP (12 Séances)

– Présentation TP (1-2 CM)

• Année précédente – Color Harmonization

– Depth of Field

– Abstraction

11

Page 12: Module: Communication audio-visuellepeople.rennes.inria.fr/Olivier.Le_Meur/teaching/presModuleCAV_2012... · Video editing Color management Metadata (MPEG-7) Qualité d’expérience:

Notation

• 1 note pour les CMs:

– Un contrôle de connaissance après chaque chapitre (H.264, HEVC, attention visuelle, 3D)

• 1 note de TP: ma note + une note de présentation (jury) + note papier (4 pages style conférence)

• Note finale=moyenne des deux

12

Page 13: Module: Communication audio-visuellepeople.rennes.inria.fr/Olivier.Le_Meur/teaching/presModuleCAV_2012... · Video editing Color management Metadata (MPEG-7) Qualité d’expérience:

Organisation

• CMs: • Premier CM = Mercredi 03/10/2012

• Dernier CM = Lundi 17/12/2012

• TPs: • Premier TP = Mercredi 21/11/2012

• Dernier TP = Mercredi 13/02/2013

13