modélisation optimale –choix de modèles 06 teratec... · -calcul analytique possible ... -test...

modélisation optimale– choix de modèles –

Gilles Fleury--------------------------

Département SSEEA2523 « Signaux et Systèmes Electroniques »

SUPÉLEC-------------------------------------------------------------

01.07.2009

Introduction MODÉLISATION : CONTEXTE

MODÉLISATION DES SYSTÈMES

MODÉLISATION DES INCERTITUDES

Introduction

Population des États-UnisPopulation (100 M

)

EXEMPLE DE MODÉLISATION

Population (100 M

)

Temps (année)

Introduction

Population des Etats-Unis (prédiction)Population (100 M

)

?


Population (100 M

)

Temps (année)

Introduction

Population des Etats-Unis (polynôme de Lagrange)Population (100 M

)


Population (100 M

)

Temps (année)

!!?

Introduction

Population des Etats-Unis (régression polynomiale, ordre 2)Population (100 M

)


Population (100 M

)

Temps (année)

Introduction

Population des Etats-Unis (interpolation ?)

zoom

Population (100 M

)


Population (100 M

)

Temps (année)

Plan

Modélisation des incertitudes- approches paramétriques- approches non paramétriques

Choix d’un modèle de système- choix de la complexité d’un modèle- choix d’un modèle de comportement- choix d’un modèle de comportement- choix de la paramétrisation d’un modèle- vers des méta-modèles

Aides à la prise de décision- Estimation d’évènements rares- Optimisation d’un système complexe

Exemples d’application

Modèle et incertitudes

Température maximale au parc Montsouris (Paris)C)

signal y(t)

Te = 1 jour

EXEMPLE

Temps (jour)

T (°C

)

N = 18263

T = 50 ans

Température maximale au parc Montsouris (Paris)

AnalyseSpectrale� DSP

EXEMPLEModèle et incertitudes


Identificationde s(t) :

a cos(2πft+φ)+m


Temps (jour)

T (°C

)



a cos(2πft+φ)+m


Temps (jour)

T (°C

)

a = 8.9593 (°C)f = 1.0009 (an-1)φ = -1.8361 (rad)m = 15.3545 (°C)


Résidud’identification

y(t) = s(t)+r(t)


Temps (jour)

T (°C

)

Caractérisationdu résidu r(t)


AnalyseSpectrale� DSP




a cos(2πft+φ)+m


Temps (jour)

T (°C

)

a = 0.9514 (°C)f = 0.4996 (an-1)φ = -1.1021 (rad)m = -0.0002 (°C)


Choix de l’ordred’un modèle :compromis


Temps (jour)

T (°C

)

σ12 = 2320

σ22 = 552

σ32 = 543


histogramme

Analysedu résidu


T (°C)

histogramme

estimateur de la ddp(densité de probabilité) :

- non paramétrique


histogramme

Analysedu résidu


T (°C)

histogramme

estimateur de la ddp(densité de probabilité) :

- non paramétrique- paramétrique

- calcul analytique possible

∑=

=N

iuNx

1

- théorème limite centrale

MODÉLISATION PARAMÉTRIQUE

Le modèle gaussien

( ) ( )

−−=℘2

2

2 2exp

π2

1

σσmx

x

= 2mIIDiu


∑=iN 1

( )gaussienxx N ℘ → ∞→

- MAXENT (H = – I)

( ) ( ) dxxxH ∫ ℘℘−= log

( ){ } { }

∈= ,...2,1

max

ixE

H

ii µφ

==1

22σm

Autres modèles paramétriques

- lognormale, bêta (uniforme), gamma (exponentielle),…

Identification des paramètres de la loi

- méthode des moments- méthode du maximum de vraisemblance

MODÉLISATION PARAMÉTRIQUEModèle et incertitudes

- méthode du maximum de vraisemblance- approche bayésienne (a priori)

Tests d’ajustement

- test du Chi2- test de Kolmogorov-Smirnov- test de Cramer-von Mises- test de Wilcoxon-Mann-Whitney

EXEMPLE : SURVEILLANCE NUCLÉAIRE

( ) ( )yy λλ −=℘ exp


510.4ˆ −≈λMV

tests � rejet

EXEMPLE : SURVEILLANCE NUCLÉAIREModèle et incertitudes

tests � rejet(inadéquationdu modèle)

+∞

( ) ∑=

−=℘

N

k

k

h

yyK

hNy

1

11ˆ

Choix du noyau ?

MODÉLISATION NON PARAMÉTRIQUE

Méthodes par noyaux [Rosenblatt, Parzen, Masry]


( ) ∞<∫+∞

∞−

dyyK

( ) 1=∫+∞

∞−

dyyK

( ) ∞<yKy

sup

( ) 0lim =∞→

yKy

0lim =hN

∞=hNN

.lim

Choix de la largeur h ?

h = 1 h = 10-3

MODÉLISATION NON PARAMÉTRIQUEModèle et incertitudes

Compromisbiais-variance

biais importantvariance faible

biais faiblevariance importante

( )

( ) ( )( ) ( )

51

2

222

2

*

℘

=

∫∫

∫∞+

∞−

∞+

∞−

∞+

∞−

dyyKydyyN

dyyK

h( ) ( )( ){ }∫+∞

∞−℘−℘= dyyyEMISE

2ˆ

[Jones]

5/1

1

2

1ˆNL

Wh =

( )∑ −−

=N

k yyN

W 2

1

13

gaussien

parabolique


( )∑=

−−

=k

k yyN

W11

3

( )

( )∫

∫∞+

∞−

+∞

∞−=dyyK

dyyKy

L2

2

1. Estimer la ddp par une première approche par noyau classique

( ) ∑=

−=℘

N

k

k

h

yyK

hNy

1 11

1

11ˆ5/1

11

1

2

1

NL

Wh =

2. Estimer la dérivée seconde de la ddp au point y

Méthode par noyau optimisée (IRINCORREL) [Rivoira]


( ) ( ) ∑=

−=℘

N

k

k

h

yyK

hNy

1 22

2

2 11ˆ9/1

22

1

2

1

NL

Wh =

3. Estimer les largeurs optimales à partir de ces deux estimations

( ) ( )( ) ( )

51

2

1ˆ

ˆ

℘℘=

Ny

yLyhopt

4. Estimer la ddp au point y

( ) ( ) ( )∑=

−=℘

N

k opt

k

optopt yh

yyK

yhNy

1

11ˆ

gaussien

parabolique

« IRINCORREL »


DÉCOMPOSITION SUR UNE FAMILLE

Entre deux : mélange de lois

( ) ∑=

−=℘P

i i

ii

myKy

1 σπ 1

1

=∑=

P

iiπ

K noyau (gaussien)

Identification :algorithme EM


algorithme EM(MV, itératif)

π = 0.8404m1 = 0.8150σ1

2 = 0.2660m2 = 2.4792σ2

2 = 0.5188

Polynômes de chaos

( )∑=

=P

iiiPay

1

ξ ( )réduite centrée variable

polynôme.

ξiP

( ) ( ) ( )dPPPP δξξϕξξ == ∫+∞

,

- orthogonalité des polynômes

DÉCOMPOSITION SUR UNE FAMILLEModèle et incertitudes

( ) ( ) ( ) ijjiji dPPPP δξξϕξξ == ∫∞−

,

- dépend de la mesure ϕ(ξ) choisietyp. ξ gaussienne centrée réduite

� P polynôme de Hermite

( )( )( ) ( )( ) ( )

...

63

21

1

33

22

1

0

ξξξ

ξξ

ξξξ

−=

−=

==

P

P

P

P

y

x

x1 x2 x3 x4

( )y f x ei i i= +,θ

1. Équation d’observation

( )f xx

x,θ

θθ

=+

1

2 1ex :

PROPAGATION DES INCERTITUDES Modèle et incertitudes

( )m f= G

dérivation, intégrationextrapolation, interpolation ...

( )m g= θ

ex : ( )m f= ∞ =θθ1

2x

y

I

f ∞

τ

f c

2. Équation de mesure

Expression littérale+∞

Différentes approches

( ) ( ) ( )℘ → ℘ → ℘ef g

m,ξ θθθθ

Modèle et incertitudes PROPAGATION DES INCERTITUDES

m = θ θ1 2 ( )( )

( )℘ =−

−−

+

−+∞

∫me

c c

mcm c1

1 22 2

2

12

22

22

22

2

2

0

21 2

1

1

2 1

1σ σ

σ σ σ θθσ

θθπ

expd

rq :

(géométrie différentielle)

Estimation de la DDP ( )℘ θθθθ [A. Pazman]

Approche Monte-Carlo (PMC, LHS, ... )

Estimation des deux premiers moments [G.P.Y. Clarke]

(développement en série de Taylor)

(biais, variance)

( )

+−+−=3

2134 exp1log,

θθθθθ x

xf θθθθ référence : Monte-Carlo

PROPAGATION PAR APPROXIMATION

[ ]b = −σ 2

1

2K B B ptr trL

T

( )( )V K Id V V V Ka b c= + + +σ σ2 2 T

(DL3)

(DL5)

biais

matrice de covariance

Approximation des deux premiers moments [Clarke]


V V

VMC Lin

Lin

−=

%

. . . .

. . .

. .

.

16 2 27 4 17 1 14 5

39 2 28 5 30 8

16 4 12 1

51

V V

VMC NonLin

NonLin

−=

4

4

3 6 55 38 4 9

8 2 5 9 7 2

4 0 3 7

2 1

%

. . . .

. . .

. .

.

NL

-3 -2 -1 0 1 2 3 4 5 6

1

2

3

4

5

6

7

8

9

x

L

Géométrie différentielle [Pazman]

( ) ( )( ) ( ) ( )( ) ( ) ( ) ( )( )

−−−=℘ yxyx θθθθθθθθθθθθθθθθθθθθ

θθθθθθθθ ,,2

1exp

det2

detˆ22/12/

fPPfM

Q TT

N σπ

( ) ( )( )f x x, expθθθθ = − −θ θ1 21


Marginalisation

PROPAGATION PAR APPROXIMATION

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1.10

0.5

1

1.5

2

2.5

3

3.5

4

θ2

( )℘ θ2

( )$℘ θθθθ

0.7 0.8 0.9 1 1.1 1.2 1.30

0.2

0.4

0.6

0.8

1

1.2

θ2

θ1

( ) ( )( )f x x, expθθθθ = − −θ θ1 21 Marginalisation

Plan





Choix de modèle emboîtés

Nombreux critères dans la littérature (choix de l’ordre). VC. AIC, MDL. BIC, MAP. KICc (optimalité non asymptotique) [Bekara]

Choix de modèle COMPLEXITÉ D’UN MODÈLE

Critère de choix lié à un objectif donné. Critères de type moindres carrés. Distance entre densités de probabilité

Choix de modèles quelconques

Choix de structure de modèle

( ) ( )( )xxf D 21 exp1 θθ −−=

( ) xθ

- « vrai » modèle (inconnu)

- modèles candidats

Choix de modèle CHOIX MODÈLE DE COMPORTEMENT

( ) ( )xxf 212 tanh θθ=

( ) ( )xxf 213 arctan θθ=

( )12

11 +

=x

xxf

θθ

1f 2f 3f

1.60 3.60 0.68MSE



( )θθθθ̂ˆj℘

ddp des paramètres(Pazman) :

� HPC

1) ddp de l’objectif ( )mj℘̂ 2) distance entre ddps k∆

1f 2f 3f

0.317 1.233 0.688

0.514 1.473 0.888

1∆

∆



1θ

21θθ

21θθ1θ

21 θθ

21πθ

( )( )II xx 22221 1log θθθθ +−

( )( )Ix221 coshlog θθθ

( ) ( )2222121 1log2arctan III xxx θθθθθ +−

1f

2f

3f

Sm Am Im

1 3 2

0.095 1.377 0.258

0.514 1.473 0.8882∆

3∆

Choix de modèles

structure

structureparamétrée

•• + •

x

x

θθ

1

1

x

x +

Code de générationformelle de modèles

Choix de laparamétrisation

Choix de la paramétrisation d’une structure

PARAMÉTRISATION ET MODÈLES

paramétrée

fonction

θ2 1x +

3

4 1

x

x +

paramétrisation

Procédured’estimation / d’identification

( )f xx

xθθ

θ=+

1

2 1( )f x

x

xϕ ϕ ϕ=

+1 2Pourquoi choisir plutôt que ?

- Influence sur la mesure

t homéomorphisme

( )θθθθ ϕϕϕϕ= treparamétrisation :

Choix de modèles

Pour optimiser la phase d’identification des paramètres !

PARAMÉTRISATION ET MODÈLES

m dépend d’un θi

t homéomorphisme( ) ( )℘ = ℘m mθ ϕ

- Comment optimiser la reparamétrisation

θθθθ ϕϕϕϕ?

critère d’optimalité ?

“Optimal Nonlinear Modeling and Reparameterization”, IEEE WISP, 1999.

Critère critère de non-linéarité Nθ

sources de non-linéarités : le lieu des solutions

le maillage de ce lieu

( ) ( )( )var $θθθθ = + + +σ σ2 2K Id V V V Ka b cT

non-linéarité intrinsèque paramétrisation

123{

Choix de modèles PARAMÉTRISATION ET MODÈLES

θθθθ ϕϕϕϕ?

non-linéarité intrinsèque paramétrisation

ϕϕϕϕ θθθθ= Tlinéaire inutile

( ){ } [ ]ϕ πi i i ,pf=

∈,θθθθ

1optimale complexe

[ ]θθθθ = AS diag Φ 2quadratique compromis“Optimal Modeling by the Use of Reparameterization”, SPIE, 1999.

Exemple

( )f xx

x,θθθθ =

+θ

θ1

2 1

[ ]θθθθ 0 3 2 1 2=T


[ ]x = 1 20LT

σ 2 0 1= .

( ) ( )( ) ( )f x

x

xϕ

π π ϕ ϕπ ϕ π ϕ π π ϕ ϕ

=− ⋅

− ⋅ + −1 2 1 2

1 2 2 1 1 2 1 2

structures

( )θ θ1 2 1x x +

( )θ θ1 2x x +

( )x xθ θ1 2+

quadratique

optimale

N θ ρ n it σ m ax

4.304

1.408

0.797

0.263

0.201

0.997

0.969

0.808

0.203

0.078

16.2

13.9

12.0

11.6

10.6

X

6.426

0.634

0.512

0.415


densités de probabilité

optimisation :

décorrélation

temps de calcul

robustesse numérique

Choix de modèle VERS DES MÉTA-MODÈLES

Littérature

Choix de modèle

Krigeage [Vazquez]

( )y f x ei i i= +,θ

( ) ( )iiii xexfy ωθ ++= ,

erreur de modélisation

VERS DES MÉTA-MODÈLES

erreur de modélisationprocessus gaussien

( ) ( ) ( ){ }jiji xxExxk ωω=,- covariance

- moyenne nulle

( ) ( ) ( )hkxxkxxk jiji =−=,

modèle : structure de la covariance

( ) ( )22exp ρhhk −=ex. …

Exemple

Choix de modèle

système

observations

VERS DES MÉTA-MODÈLES

modèle

bornes 95%

Plan





Prise de décision ESTIMATION D’ÉVÈNEMENTS RARES

Estimation d'un quantile à 99.9%

à partir de 200 données par classification

SVM et utilisation de la théorie statistique

des valeurs extrêmes

Prise de décision ESTIMATION D’ÉVÈNEMENTS RARES

Détermination de quantiles multidimensionnels extrêmes et détection d’outliers[M. Piera-Martinez et E. Vazquez (2006)]

Prise de décision OPTIMISATION D’UN SYSTÈME COMPLEXE

Prise de décision OPTIMISATION D’UN SYSTÈME COMPLEXE

Informational Approach to Global Optimization IAGO[J. Villemonteix et E. Vazquez (2007)]

Plan


Propagation des incertitudes- par approximations- par simulations

Choix d’un modèle de système- choix d’un modèle de comportement- vers des méta-modèles



Applications

Estimation de SAR (GSM)

ESTIMATION ROBUSTE

Données :- champ électromagnétique mesuré(norme : 3D, 600 points)- 70 portables testés

Méthodes : - réseaux de neurones- modélisation paramétrique (11 ddl) � 20 points

Conclusion :estimation du SAR avec une très bonne précision

Problématiques de détection / estimation / classification / inversionEstimation d’une grandeur d’intérêt y inaccessible directementOn dispose cependant de grandeurs x contenant de l’information sur y

Applications ESTIMATION INDIRECTE

Estimation de l’angle vilebrequin (Pmax)

Applications DESIGN DE STRUCTURE MÉCANIQUE

Optimisation d’un conduit d’admission

Systèmes hybrides stochastiques (thermostat)

ESTIMATION DYNAMIQUE Applications

Conclusion

L’aléatoire est un modèle qui permet

L’aléatoire est assez incontournable du fait- de la méconnaissance- de perturbations de l’environnement- de la miniaturisation des composants- de la complexité croissante des systèmes

L’aléatoire est un modèle qui permet- d’éviter la surparamétrisation- d’éviter de surestimer des marges de sécurité- de quantifier la robustesse de systèmes

De nombreux travaux en cours- recherche- applications- regroupement de partenaires… (MASCOTNUM, ISRI, CSDL, …)

modélisation optimale –choix de modèles 06 teratec... · -calcul analytique possible ... -test...

Documents