1 demitri : déconvolution aveugle en microscopie biologique tridimensionnelle sophia antipolis...

1

DeMiTri :Déconvolution aveugle en

microscopie biologique tridimensionnelle

Sophia Antipolis WEIZMANN INSTITUTE OF SCIENCEWEIZMANN INSTITUTE OF SCIENCE

ARC DEMITRI – 17 dec. 2004

2

L’équipe

Jean-Christophe Olivo-Marin - Christophe Zimmer - Pascal Roux

Josiane Zerubia - Laure Blanc-Féraud

+ Nicolas Dey (Post-doctorant) – Gemma Pons (stagiaire DEA)

Zvi Kam

Sophia Antipolis

WEIZMANN INSTITUTE OF SCIENCEWEIZMANN INSTITUTE OF SCIENCE


3

Présentation

L’acquisition en microscopie confocale

La restauration : problème mal posé

méthodes monoéchelles : itératives + terme régularisation [Geman & McClure 85, Charbonnier 97, …] [Ricardson-Lucy …]

Algorithme de déconvolution par Richardson-Lucy régularisé

méthodes multiéchelles : ondelettes réelles + régularisation par seuillage des coefficients

[Mallat 89, Bijaoui 94, …]

Algorithme de déconvolution par la Transformée en Ondelettes Complexes 3D et seuillage.

Bilan et perspectives


4

Microscopie optique en biologie

Fluorophores (GFP, CFP, YFP, RFP…) marquage de composants cellulaires spécifiques

Lasers monochromatiques Filtres spécifiques Observation de cellules vivantes, processus dynamiques

Microscopie confocale: sections optiques de haute qualité (3D) Plateforme d’Imagerie Dynamique, Institut Pasteur:

8 microscopes, dont 4 confocaux


5

Microscopie confocale: principe

z

objectif

laser

diaphragme

miroir semi-réfléchissant

Détecteur (photomultiplicateur)

plan focal

specimen

Le diaphragme rejette la lumière émise hors du plan focal

Balayage du specimen et reconstruction de l’image par ordinateur (3D= piles d’images 2D)

[Minsky 57]


6

QuickTime™ and aTIFF (Uncompressed) decompressor

are needed to see this picture.

Microscopie à champ large Microscopie confocale

Rendu surfacique

20 m


7

Microscopie confocale: Limites

Diaphragme réduit le rapport photons détectés/ photons émis Photo-toxicité et photo-blanchiment intensité du laser doit être

modérée

faible flux de photons ( bruit de Poisson)

Augmenter le diamètre du diaphragme le signal augmente, mais aussi la fluorescence parasite émise hors plan focal (compromis typique: = tâche d’Airy)

Même pour =0, l’image est floue à cause de la limite de diffraction


8

PSF d’un microscope confocal

Modèle de PSF théorique [Sheppard & Cogswell 1990]

Hypothèses: PSF invariante par translation ex = em , pas d’aberrations optiques, valable pour 0.

Limite de résolution importante pour la biologie cellulaire Ex: cellule de levure: = 1 m

Amélioration possible par déconvolution

(=0)

3 m

0.5 m

PSF confocale theorique


9

Acquisitions d’images tests

Objets de géométrie connue pour évaluer les résultats de déconvolution

Billes fluorescentes calibrées (FocalCheck): Immobilisees dans gel d’agarose

Microscopie: Zeiss Axiovert 200M confocal/bi-photon, grossissement interne 3.3x. Objectif d’huile à immersion, grossissement 63x, ouverture numérique 1.4. Laser: ex =520 nm, em =488 nm; diaphragme = 1 Airy

Echantillonnage: dx = dy = 89 nm, dz = 230 nm

6 m 15 m

0.5-0.7 m


10

Les images observées sont dégradées :

Équation d’observation

Noyau de convolution(PSF connue)

Image originale

Image observée

Bruit de Poissono f


11

Modèle Probabiliste

Formation de l’image :

Probabilité de vraisemblanceProbabilité d’observer oo sachantff (et hh)

trouver ff qui maximise cette probabilité

o f


12

Algorithme standard

Minimiser -log[ p(o/f) ]-log[ p(o/f) ]

Fonctionnelle à minimiser

Richardson-Lucy: algorithme itératif multiplicatif de gradient [Richardson74] [Lucy72]


13

Algorithme de déconvolution

Pourquoi Richardson-Lucy (astronomie et

confocal) ?

adapté au bruit de PoissonPoissonContrainte de positivité

Limitations

amplificationamplification du bruit au cours des itérations

RRégularisation : arrêt des itérations

Incorporer une régularisationrégularisation


14

Régularisation

Méthodes mono-échelle [Tikhonov, Geman & McClure, Charbonnier, …]Régularisation + préservation des contours

On cherche f qui minimise J(f) :

J(j) = ||o-h*f||2 / 22 + (f)

Attache aux données Terme de régularisation

Méthodes multi-échelle [Mallat, Bijaoui, …]Analyse multirésolution ondelettes• Inversion puis seuillage des coefficients en ondelettes• Régularisation des méthodes itératives classiques

(par seuillage d’une transformée en ondelettes)


15

Modèle ProbabilisteProbabilité a posteriori p(f/o)p(f/o)

Appliquer un modèle sur l’objet à reconstruire p(f)p(f) est le terme de régularisation

Régularisation quadratique [Tikhonov63] [v.Kempen & v.Vliet97] [v.d.Voort & Strasters95]

o o off f~

dxfxdxxfhxoxfh2

))(*log).()(*


16

Régulariser et préserver les contours

ji

jif,

,

Minf

1 1

)0(

1

On cherche f qui minimise J(f) :

Régularisation par Variation Totale (TV) [Rudin92, Charbonnier94,…]


17

Régularisation

Fonctionnelle à minimiser

Algorithme de Richardson-Lucy régularisé


18

Résultats

comparer entre RL standardstandard et RL régularisé par TVrégularisé par TV

Données Données simuléessimulées et données et données réelles réelles acquises à l’institut Pasteuracquises à l’institut Pasteur

Critères numériques de qualité Critères numériques de qualité [Csiszar91] EQMEQM

I-divergenceI-divergence

kji

kjikji ffEQM,,

2,,,,

ˆ

kji

kjikjikjikjikji fffffI,,

,,,,,,,,,,ˆˆlog.


19

Objet simulé 3D

x

y

même échelle en XX et YY, mais différente en ZZ

x

z


20

Données dégradées

Dégradations par du flou et du bruit simulés

Flou 3D Flou 3D : modèle de PSF d’un microscope confocalbruitbruit: simulation d’un bruit de Poisson


21

Déconvolution RL

Richardson-Lucy sanssans régularisation

itérations: arrêt avant l’amplification du bruit amplification du bruit

oscillationsoscillations dans l’image restaurée

LesLes bords bords des objetsdes objets restent flous restent flous (en XY)

Les objets sont plus fins qu’en réalité (en XZ)


22

Déconvolution RL avec régularisation TV

Richardson-Lucy avecavec régularisation TVPasPas d’amplification du bruit

PasPas d’oscillations d’intensité

bords francs (en XY)

épaisseur originale des objets (en XZ)


23

Comparaison des résultats

originale dégradée RL RL+TVoriginale dégradée RL RL+TV


24

Résultat : Image 3D de microscopie confocale

Coquille sphérique algo. RL algo. RL + VT @Pasteur

Épaisseur mesurée de l’anneau: ~500 nm en réalité , ~900 nm image dégradée, ~ 400nm surRL, ~500nm sur RL+TV


25

Résultats sur données réellesProfil d’une image

rouge: données brutes

vert: restauration RL

rouge: données brutes

vert: RL+TV


26

Conclusion

Qualitativement: bonne restauration

coincoin arrondis

Reste localement un peu de flou(diagonales)

Pas adapté aux textures et petits objets

Quantitativement : amélioration de la I-divergence et de l’EQM: de 11 (RL) à [0.30 [0.30 0.50]0.50] (RL+TV)

Nombre de compte non conservé


27

La restauration par Transformées en ondelettes

Représentation dans le domaine des ondelettesreprésentation compacte du signal, bonne représentation des textures.

Choix de la base Représentation de l’image sur peu de coefficients de

valeurs fortes Le bruit est réparti sur tous les coefficients

Seuillage des coefficients en ondelettes efficace pour le débruitage [Donoho & Johnstone 92]

Déconvolution : Méthode directe [Mallat & Kalifa 99] Méthodes itératives [Stark & Bijaoui 94… ]


28

Ondelettes Complexes

• quad-arbre en 2D (4 arbres d’ondelettes parallèles) [Kingsbury 98]

• filtres décalés d’½ pixel entre les arbres

• combinaison des arbres coefficients complexes

• ondelettes biorthogonales

Propriétés :

Invariance par translation et rotation

Sélectivité directionnelle

Reconstruction parfaite

Algorithme rapide O(N)

Redondance 2m:1, m = dim


29

Quad-arbre : 1er niveau

a0

(image)

a1

d21

d11

d31

Transformée non décimée

Reconstructionparfaite :moyenne

(A+B+C+D)/4

Arbres parallèles ABCD

a1A

d21A

d11A

d31A

AA A

A

AA A

A

AA A

A

AA A

A

a1B

d21B

d11B

d31B

BB B

B BB B

B

BB B

B BB B

B

a1C

d21C

d11C

d31C

CC C

CCC C

C

CC C

CCC C

C

a1D

d21D

d11D

d31D

DD D

D

DD D

D

DD D

D

DD D

D

AB

CD

AB

CD

AB

CD

AB

CD

AB

CD

AB

CD

AB

CD

AB

CD

AB

CD


30

Coefficients complexes

M

dkj,A

dkj,B

dkj,C

dkj,D

4 sous-bandes réelles

Zkj+

Zkj-

2 sous-bandescomplexes symétriques

Z + = (A - D) + i (B + C)Z - = (A + D) + i (B - C)

!L’ondelette continue n’est pas une fonction complexe.Ce ne sont pas exactement des ondelettes complexes !


31

Comparaison avec les ondelettes réelles

Pas d’invariance par translation artefacts (moyenne sur translations)

Pas d’invariance par rotationDirections privilégiées : horizontale / verticale mauvaise représentation des textures orientées (diagonales)


32

hgg

d16

hhg d14

ghg

d15

ggg

d17

Ondelettes 3D réelles

hgh

d12

ggh

d13

ghh

d11

y

x

z

hhh

a1

(x,y,z)

a0

volume

Transformée 1er niveau


33

Ondelettes complexes 3D

8 Arbres parallèles ABCDEFGH


34

Coefficients complexes 3D

Z 1+ = (A - D - F - G) + i (B + C + E - H)Z 1- = (A + D + F + G) + i (B + C - E + H)Z 2+ = (A + D + F - G) + i ( - B + C + E + H)Z 2- = (A + D - F + G) + i (B - C + E + H)

8 sous-bandes réelles

M

dkj,A

dkj,B

dkj,C

dkj,D

dkj,E

dkj,F

dkj,G

dkj,H

Zkj,1+

Zkj,2-

4 sous-bandescomplexes symétriques

Zkj,1+

Zkj,2-


35

Ondelettes 3D complexes

hgg

d16

hhg d14

ghg

d15

ggg

d17hgh

d12

ggh

d13

ghh

d11

y

x

z

hhh

a1

(x,y,z)

a0

volume

Transformée 1er niveau

4 sous-bandes /détail * 7 détails/niveau = 28 sous-bandes complexes/niveau

...Re

Im

Z1+ Z2+

Z1- Z2-

1 2

3 4

5 6

7 8


36

Algorithme de débruitage par Ondelettes

Transforméedirecte

seuillageTransformée

inverse

Choix de la base :• compacité

•reconstruction• propriétés d’invariance

Choix de la fonction

de seuillage

Valeur optimaledu seuil ?


37

Comparaison CWT - DWT 3D

a) b) c) d)

a) Image originale 128x128x64

b) Image bruitée, bruit gaussien de variance 900

c) Débruitage par la CWT

d) Débruitage par la DWT

c) Débruitage par la CWT :

contours plus nets

moins d’oscillations


38

Comparaison CWT - DWT 3D

• CWT meilleure de ~2 dB par rapport à DWT• Le seuillage doux donne les meilleurs résultats

~ 2 dB

CWT

DWT

Seuillage doux

~ 2 dB

CWT

DWT

Seuillage Oracle

~ 2 dB

CWT

DWT

Seuillage dur


39

Résultat image réelle

Débruitage de l’image des billes acquises à l’Institut Pasteur (256x256x128).

Seuillage des coefficients complexes 3D (T=1.6k).


40

Débruitage image réelle

Image réelle (156x156x30) :embryon de drosophile en train de réaliser la fermeture dorsale (coupe).Laboratoire biologie cellulaire UNSA/CNRS

Débruitée par seuillage de latransformée en ondelettes complexes.


41

Algorithme de déconvolution par Ondelettes

Déconvolutionbrutale

Transforméedirecte


inverse

• Mais il y a des zéros dans le spectre de la PSF

Transforméedirecte


inverseDéconvolution

• Déconvolution par RL + TV


42

Résultat image synthétique

Image floue Débruitée par TOC + RLTV TOC + RLTV

et bruitée TOC 25 itérations convergence (=2.10-3) (=2.10-3)


43

Comparaison des résultats

Image floue TOC + RL+TV Image floue RL+TV et bruitée convergence et bruitée

convergence(Gaussien 100) (=2.10-3) Poisson (=2.10-3)


44

Résultat image réelle

TOC + RLTV TOC + RLTV 25 itérations convergence (=2.10-4)

Image floue Débruitée paret bruitée TOC


45

Conclusion

Tenir compte de la statistique du bruit : loi de Poisson

Anisotropie en Z

Transformée en paquets d’ondelettes : CWP?

Méthodes hybrides : déconvolution itérative + débruitage par CWT

[Bijaoui 95, Malgouyres02,Stark 04,Bect 04]


46

Bilan de l’ARC Demitri

Collaboration entre les équipes : Nombreux longs séjours de Nicolas Dey à l’Institut

Pasteur (2 à 4 semaines par séjour)Visites régulières d’Ariana à Pasteur (JZ et LBF, 3 à 4

par an) et de Pasteur à Ariana (2 à 3 par an).Une visite par an de Zvi Kam en France (une semaine

à l’Institut Pasteur, une semaine chez Ariana) et une visite de 10 jours de N. Dey à l’Institut Weizmann en juillet 2004.

Publications ISBI 04, SSIAB 04 (papiers invités), ICASSP 05Rapports de recherches : un paru (N. Dey et al.

juil.04) et un à paraître (G. Pons et al.).Un article en préparation pour Microscopy Research

and Technique


47

PerspectivesPar rapport à l’ARC Demitri

Débruitage et déconvolution… encore des recherches à mener (CWP, anisotropie en Z pour les ondelettes, méthodes itératives avec ondelettes).

Validation (pb d’optique) du modèle de réponse impulsionnelle (PSF)

Déconvolution aveugle : à faire

Collaborations futures Thèse de Bo Zhang 04/07, financement BDI CNRS Math/Stic 04/05 : Ariana, Dieudonné, Pasteur (financement

CNRS) Proposition Franco-Israëlienne: Ariana, Pasteur Technion,

Weizmann (réponse fin décembre 04) Projet Européen NEST : PI Pasteur, Ariana, Weizmann, EPFL,

Université de Delft (réponse début 2005) Proposition ACI NIM 04 à resoumettre en 05 : Ariana,

Dieudonné, CMAPX, Pasteur.

Comité IEEE BISP : JZ élue pour 05/07, candidature de JCOM proposée pour 06/08.

1 demitri : déconvolution aveugle en microscopie biologique tridimensionnelle sophia antipolis...

Documents

arc demitri

confocaux page

diffraction page

rgularisation par seuillage

poisson o f page

richardsonlucy rgularis

bilan et perspectives

psf confocale theorique