Projet: Les techniques statistiques et numériques pour la synthèse d'images réalistes

Kartic SubrLaboratoire Jean KuntzmannUMR 5224, Section 01 et 07

Image ?

Who am I?

• Born in India– Bangalore University (Bachelor of Engineering) 2001– Hewlett Packard, India/Singapore

• Studied in USA– University of California Irvine, USA (PhD, 2008)– Advisor: Jim Arvo (PhD Yale University), pioneer – light transport

• Moved to France– Post doctoral researcher, Equipe ARTIS, LJK (2008-2010)– LJK: Leading European lab in terms of publications at TOG– LJK: Consistently top publisher in France in computer graphics

Thème de recherche: Synthèse d'images

Image ?

la scène représentée par les modèles numériques

les luminaires

Pourquoi la synthèse d'images réalistes?

Avatar

Advertisement

Diverses applications

Défense

Advertising Entertainment

Virtual prototyping

Biomedical imaging

• Potentiellement liés applications: la propagation d'ondes infrarouges, sonores, etc

Intrinsèquement multidisciplinaire

• Simuler des phénomènes optiques basé sur la physique– interactions complexes de l'éclairage– Modèles numériques pour représenter des scènes complexes

• Nécessité d'une intégration numérique de l'éclairage

• Outils mathématiques pour les analyses des resultats

• Compréhension de la biologie eg. Character Animation

• LJK est un laboratoire approprié

Intégration de l'éclairage: Réflexion

Nécessité d'une intégration de l'éclairage

• Monte Carlo intégration sur plusieurs domaines (ma thèse)

Image spaceAperture

Exposure time

Visible spectrum

Reflectance Direct illumination Indirect illumination

Mes contributions: Fourier depth of field

Defocus blur est important dans la photographie

Defocus est due à l'intégration sur l'ouverture

Image Aperture

Pixel p

Lens

Defocus

Image Aperture

Pixel p

Lens Scene

Monte Carlo estimation de l'intégrale d'ouverture

Image Aperture

NA primary rays per pixel

Integrateat p

Aperture integration is costly

ImageAperture

NP pixels

NP x NA Primary rays

NA Aperture samples

64 x #primary rays of the pinhole image

Ouverture intégrale est très coûteux

Paradoxe: l'image plus flou est plus coûteuse à calculer!

Observation 1: Image

Blurry regionsshould not require

dense samplingof the image

Observation 2: Lens

Regions in focusshould not requireprofuse samplingof the lens for diffuse objects

Mes contributions: Fourier depth of field

• Analyse le domaine Fourier,

• d'échantillonnage adapté par signal d'analyse locale • 20 fois plus rapide que les méthodes précédentes

[ACM Transactions on Graphics 2009. Presented at SIGGRAPH 09]

Collaborators: INRIA-Grenoble, MIT

Mes contributions: Translucent materials

TranslucentOpaque

Translucency: Sub-surface scattering

• Coûteux à calculer avec « brute force Monte Carlo »• La diffusion de formes arbitraires n'a pas été possible

Mon approche: Méthode des différences finies

• Approximation avec équation de diffusion

• Domain: Dual graph de tetrahedralization

diffuse le flux dans le volume

Mes contributions: Translucent materials

[Computer Graphics Forum 2010. To be presented at Eurographics 2010]

[Collaborators: Microsoft Research, Tsinghua University]

• Géométrie arbitraire

• matériaux hétérogènes • différentes formes dynamiquement• en temps réel

Traitement de l'image

Ma méthode peut “smooth” la texture de contraste élevé et à préserver les “edges” subtile

[ACM Transactions on Graphics 2009. Presented at SIGGRAPH Asia 2009]

Collaborators: MIT

• Détail d'abstraction des modèles numériques– Pour réduire le coût pour les modèles complexes

• Acquisition– Matériaux complexes

• D’échantillonnage Monte Carlo– Je suis le co-encadrement d'un étudiant au doctorat

• Radiance and importance– multiplication des chaînes de grandes matrices

Les projets actuels et futurs

Lorsque l'image de synthèse est dirigée?

• Rendu des modèles très complexes

• Haute qualité de rendu de images

• D'énormes quantités de données volumétriques– Eg. données biomédicales

« My future »

• Synthèse et traitement d'images

• l'analyse des « trade-offs » pour l'application de divers – approches de traitement du signal

• Compact représentations de modèles numériques– traitement de gros volumes de données

• LJK est le meilleur laboratoire pour moi en France!

Merci !• International journal publications

– Computer Graphics Forum 2010: Translucent materials. 4th author of 6– TOG 2009: Multiscale image decomposition. 1st author of 3– TOG 2009: Fourier Depth of Field. 2nd author out of 5

• Refereed international conference papers– Pacific Graphics 2007: Statistical hypotheses. 1st author of 2– Interactive raytracing 2007: Steerable importance sampling. 1st author of 2– ICIAP 2005: Contrast enhancement. 1st author of 3

• Collaborateurs– Établi

• MIT, USA• Microsoft Research• Tsinghua University, China• University of California, Irvine• LJK Grenoble

– Actuel• Cornell University, USA• University of California, Berkeley

– Potentiel• Indian Institute of Information Technology

• Teaching– Columbia University, USA (120 h)

– University of California, Irvine (360 h)

• Internships– Rhythm and Hues Studios

– NVIDIA Corporation

– Hewlett Packard

Merci !Journal Acceptance rate

Computer Graphics Forum 2010

23 %(56/243)

ACM Transactions of Graphics 2009

25 %(70/275)

ACM Transactions of Graphics 2009

-

Conference Acceptance rate

ACM Pacific Graphics 2007

22 %(39/179)

IEEE Interactive raytracing 2007

53 %(23/43)

ICIAP 2005 Not Available

• Établi – MIT, USA– Microsoft Research– Tsinghua University, China– University of California, Irvine– LJK Grenoble

• Actuel– Cornell University, USA– University of California, Berkeley

• Potentiel– Indian Institute of Information Technology

Collaborateurs

• Assistant de recherche, financement, etc – University of California, Irvine

– Marie Curie visitor fellowship 2006-2007

– HFIBMR grant (ANR-07-BLAN-0331)

• Industrie– Rhythm and Hues Studios

– NVIDIA Corporation

– Hewlett Packard

Publications

Les projets actuels et futurs

• Détail d'abstraction des modèles numériques– premiers résultats en 2D publiés au ACM SIGGRAPH Asia 2009– l'extension à la 3D n'est pas trivial

• Acquisition– Matériaux complexes

• D’échantillonnage Monte Carlo– based on Fourier domain analysis

• Radiance and importance– multiplication des chaînes de grandes matrices

Exemples d'applications

Défense

Publicité

Divertissement

ingénierie et de conception

Ack: Rhythm & Hues Studios, LuxRender, American Eurocopter

Les méthodes existantes ont leurs limites • Coûteux à calculer • Nécessite un contrôle manuel

• Nécessité d'analyser les contraintes liées à l'application

Sujets d'intérêt

• Faible variance Monte Carlo intégration – Synthèse d'images = intégration sur plusieurs domaines – Image, aperture, material reflectance, visual spectrum

• Méthode des différences finies

• Méthodes statistiques pour l'évaluation

Thème de recherche: Synthèse d'images

• Simuler des phénomènes optiques basé sur la physique– interactions complexes de l'éclairage

– Modèles numériques pour représenter des scènes complexes

• nécessité d'une intégration de l'éclairage – Synthèse d'images => intégration sur plusieurs domaines

– Image, aperture, material reflectance, visual spectrum

– Monte Carlo intégration

• Outils mathématiques pour les analyses– ‘trade-off’ de contraintes qui dépendent des applications

Collaborateurs

• Établi – MIT, USA– Microsoft Research– Tsinghua University, China– University of California, Irvine– LJK Grenoble

• Actuel– Cornell University, USA– University of California, Berkeley

• Potentiels– Indian Institute of Information Technology

Experience

• Recherche– University of California, Irvine– Marie Curie Visitor Fellowship

• l'enseignement– Columbia University, USA– University of California, Irvine USA

• Industrie– Rhythm and Hues Studios, Los Angeles USA– NVIDIA Corporation, USA– Hewlett Packard Corporation, India

Thème de recherche: Synthèse d'images

• Simuler des phénomènes optiques basé sur la physique– interactions complexes de l'éclairage

– Modèles numériques pour représenter des scènes complexes

• nécessité d'une intégration de l'éclairage – Synthèse d'images => intégration sur plusieurs domaines

– Image, aperture, material reflectance, visual spectrum

– Monte Carlo intégration

• Outils mathématiques pour les analyses– ‘trade-off’ de contraintes qui dépendent des applications

Simuler des phénomènes optiques

• basé sur les lois de la physique

• interactions complexes de l'éclairage

• Modèles numériques pour représenter des scènes complexes