discrimination de courbes par svm
Post on 24-May-2015
80 Views
Preview:
DESCRIPTION
TRANSCRIPT
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Discrimination de courbes par SVM
Nathalie Villa-Vialaneix
Équipe GRIMM, Université Toulouse Le Mirailvilla@univ-tlse2.fr
LSP, 16 novembre 2005
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Sommaire
1 Analyse des données fonctionnelles
2 Principe des SVM
3 Noyaux pour FDAApproche par projectionApproche par splines d’interpolationApproche par régression inverse
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Sommaire
1 Analyse des données fonctionnelles
2 Principe des SVM
3 Noyaux pour FDAApproche par projectionApproche par splines d’interpolationApproche par régression inverse
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Les données fonctionnelles : Définition
Données classiques : chaque observation est un vecteurde RD ;
Données fonctionnelles : chaque observation est unefonction d’un espace de dimension infinie (L2
τ , parexemple ; espace de Hilbert, en général).
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Les données fonctionnelles : Définition
Données classiques : chaque observation est un vecteurde RD ;
Données fonctionnelles : chaque observation est unefonction d’un espace de dimension infinie (L2
τ , parexemple ; espace de Hilbert, en général).
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Exemples
Représentation temporelle (reconnaissance vocale 1)
0 2000 4000 6000 8000
−1.0
−0.5
0.00.5
1.0
Temps (ms)
Freq
uenc
es
BoatGoat
But : Reconnaître le mot. . .1Données disponibles sur
http ://www.math.univ-montp2.fr/˜biau/bbwdata.tgz
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Exemples
Représentation fréquentielle (reconnaissance vocale 1)
0 50 100 150 200 250
05
1015
2025
Frequences
Log−
perio
dogra
mme
[aa][ao]
But : Reconnaître le son. . .1TIMIT database disponible sur
http ://www-stat.stanford.edu/˜tibs/ElemStatLearn/datasets/phoneme.data
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Exemples
Courbe de réponse (chimiométrie 1)
0 20 40 60 80 100
23
45
Longueur d’onde
Abso
rbanc
e
But : Déterminer le taux de graisse. . .1Tecator database disponible sur
http ://lib.stat.cmu.edu/datasets/tecator
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Exemple de problèmes en FDA (1)
Problèmes d’inversion d’opérateurs
ΓX = E(X ⊗ X) − E(X) ⊗ E(X) est de Hilbert-Schmidt⇒ Γ−1X est
non borné (ce n’est pas un opérateur continu de L2τ ) ! !
Conséquence au niveau de l’estimation
ΓnX =
1n∑n
i=1 xi ⊗ xi − X ⊗ X est mal conditionné⇒ nécessité depénalisation ou de régularisation.Exemple : Régression inverse fonctionnelle[Ferré & Villa, 2005]
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Exemple de problèmes en FDA (1)
Problèmes d’inversion d’opérateurs
ΓX = E(X ⊗ X) − E(X) ⊗ E(X) est de Hilbert-Schmidt⇒ Γ−1X est
non borné (ce n’est pas un opérateur continu de L2τ ) ! !
Conséquence au niveau de l’estimation
ΓnX =
1n∑n
i=1 xi ⊗ xi − X ⊗ X est mal conditionné⇒ nécessité depénalisation ou de régularisation.Exemple : Régression inverse fonctionnelle[Ferré & Villa, 2005]
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Les données fonctionnelles en pratique
Soit X une variable aléatoire fonctionnelle,
on ne connaît jamais complètement les observations(xi)i=1,...,n de X !
on dispose de xi(t i1), . . . , xi(t i
D) ;
dans le pire cas, le nombre et la place des points dediscrétisation dépendent de l’observation.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Les données fonctionnelles en pratique
Soit X une variable aléatoire fonctionnelle,
on ne connaît jamais complètement les observations(xi)i=1,...,n de X !
on dispose de xi(t i1), . . . , xi(t i
D) ;
dans le pire cas, le nombre et la place des points dediscrétisation dépendent de l’observation.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Exemple de problèmes en FDA (2)
D’un point de vue pratique...
représenter les fonctions observées et les fonctionsparamètres ;
n < D, les observations pour un même individu sontfortement corrélées (fonction sous-jacente)⇒ problèmesmal posés, méthodes usuelles souvent inapplicablesdirectement.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Exemple de problèmes en FDA (2)
D’un point de vue pratique...
représenter les fonctions observées et les fonctionsparamètres ;
n < D, les observations pour un même individu sontfortement corrélées (fonction sous-jacente)⇒ problèmesmal posés, méthodes usuelles souvent inapplicablesdirectement.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Apports de notre travail en FDA
Mise au point d’une méthode de régression inversefonctionnelle, FIR, régularisée par pénalisation ;
Extension des perceptrons multi-couches pour letraitement de données fonctionnelles : approche parFIR ;
Généralisation des SVM au traitement de donnéesfonctionnelles.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Apports de notre travail en FDA
Mise au point d’une méthode de régression inversefonctionnelle, FIR, régularisée par pénalisation ;
Extension des perceptrons multi-couches pour letraitement de données fonctionnelles : approche parFIR ;
Généralisation des SVM au traitement de donnéesfonctionnelles.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Apports de notre travail en FDA
Mise au point d’une méthode de régression inversefonctionnelle, FIR, régularisée par pénalisation ;
Extension des perceptrons multi-couches pour letraitement de données fonctionnelles : approche parFIR ;
Généralisation des SVM au traitement de donnéesfonctionnelles.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Sommaire
1 Analyse des données fonctionnelles
2 Principe des SVM
3 Noyaux pour FDAApproche par projectionApproche par splines d’interpolationApproche par régression inverse
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Rappel sur le principe SVM
Le problème
Soit X ∈ H et Y ∈ {−1; 1}.On cherche à déterminer la valeur de Y connaissant la variableX .
Les donnéesOn dispose de n réalisations indépendantes de (X ,Y ) :(x1, y1), . . . , (xn, yn).
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Rappel sur le principe SVM
Le problème
Soit X ∈ H et Y ∈ {−1; 1}.On cherche à déterminer la valeur de Y connaissant la variableX .
Les donnéesOn dispose de n réalisations indépendantes de (X ,Y ) :(x1, y1), . . . , (xn, yn).
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Discrimination linéaire à marge optimale
On cherche w tel que :
minw,b〈w,w〉,sous les contraintes : yi(〈w, xi〉 + b) ≥ 1, 1 ≤ i ≤ n.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Discrimination linéaire à marge optimale
On cherche w tel que :
minw,b〈w,w〉,sous les contraintes : yi(〈w, xi〉 + b) ≥ 1, 1 ≤ i ≤ n.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Discrimination linéaire à marge optimale
w
marge : 1‖w‖2
Vecteur Support
On cherche w tel que :
minw,b〈w,w〉,sous les contraintes : yi(〈w, xi〉 + b) ≥ 1, 1 ≤ i ≤ n.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Discrimination linéaire à marge optimale
w
marge : 1‖w‖2
Vecteur Support
On cherche w tel que :
minw,b〈w,w〉,sous les contraintes : yi(〈w, xi〉 + b) ≥ 1, 1 ≤ i ≤ n.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Discrimination linéaire à marge souple
On cherche w tel que :
minw,b ,ξ〈w,w〉 + C∑n
i=1 ξi ,
sous les contraintes : yi(〈w, xi〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ n,ξi ≥ 0, 1 ≤ i ≤ n.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Discrimination linéaire à marge souple
On cherche w tel que :
minw,b ,ξ〈w,w〉 + C∑n
i=1 ξi ,
sous les contraintes : yi(〈w, xi〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ n,ξi ≥ 0, 1 ≤ i ≤ n.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Discrimination linéaire à marge souple
w
marge : 1‖w‖2
Vecteur Support
On cherche w tel que :
minw,b ,ξ〈w,w〉 + C∑n
i=1 ξi ,
sous les contraintes : yi(〈w, xi〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ n,ξi ≥ 0, 1 ≤ i ≤ n.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Discrimination linéaire à marge souple
w
marge : 1‖w‖2
Vecteur Support
On cherche w tel que :
minw,b ,ξ〈w,w〉 + C∑n
i=1 ξi ,
sous les contraintes : yi(〈w, xi〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ n,ξi ≥ 0, 1 ≤ i ≤ n.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Envoyer les données dans un espace de grandedimension
Espace initial H
On cherche w tel que :
(PC ,X) minw,b ,ξ〈w,w〉 + C∑n
i=1 ξi ,
sous les contraintes : yi(〈w,Φ(xi)〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ n,ξi ≥ 0, 1 ≤ i ≤ n.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Envoyer les données dans un espace de grandedimension
Espace initial H Espace image X
Φ (non linéaire)
On cherche w tel que :
(PC ,X) minw,b ,ξ〈w,w〉 + C∑n
i=1 ξi ,
sous les contraintes : yi(〈w,Φ(xi)〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ n,ξi ≥ 0, 1 ≤ i ≤ n.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Envoyer les données dans un espace de grandedimension
Espace initial H Espace image X
Φ (non linéaire)
On cherche w tel que :
(PC ,X) minw,b ,ξ〈w,w〉 + C∑n
i=1 ξi ,
sous les contraintes : yi(〈w,Φ(xi)〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ n,ξi ≥ 0, 1 ≤ i ≤ n.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Envoyer les données dans un espace de grandedimension
Espace initial H Espace image X
Φ (non linéaire)
On cherche w tel que :
(PC ,X) minw,b ,ξ〈w,w〉 + C∑n
i=1 ξi ,
sous les contraintes : yi(〈w,Φ(xi)〉 + b) ≥ 1 − ξi , 1 ≤ i ≤ n,ξi ≥ 0, 1 ≤ i ≤ n.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Intérêt du non linéaire
Formulation régularisation : (PC ,X)⇔
(Rλ,X) minf∈X
1n
n∑i=1
max(0, 1 − yi f (xi)) + λ〈f , f〉X.
Formulation duale : (PC ,X)⇔
(DC ,X) maxα∑n
i=1 αi −∑n
i=1∑n
j=1 αiαjyiyj〈Φ(xi),Φ(xj)〉X,avec
∑Ni=1 αiyi = 0,
0 ≤ αi ≤ C , 1 ≤ i ≤ n.
Produit scalaire dans X :∀ u, v ∈ X, K (u, v) = 〈Φ(u),Φ(v)〉X
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Intérêt du non linéaire
Formulation régularisation : (PC ,X)⇔
(Rλ,X) minf∈X
1n
n∑i=1
max(0, 1 − yi f (xi)) + λ〈f , f〉X.
Formulation duale : (PC ,X)⇔
(DC ,X) maxα∑n
i=1 αi −∑n
i=1∑n
j=1 αiαjyiyj〈Φ(xi),Φ(xj)〉X,avec
∑Ni=1 αiyi = 0,
0 ≤ αi ≤ C , 1 ≤ i ≤ n.
Produit scalaire dans X :∀ u, v ∈ X, K (u, v) = 〈Φ(u),Φ(v)〉X
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Intérêt du non linéaire
Formulation régularisation : (PC ,X)⇔
(Rλ,X) minf∈X
1n
n∑i=1
max(0, 1 − yi f (xi)) + λ〈f , f〉X.
Formulation duale : (PC ,X)⇔
(DC ,X) maxα∑n
i=1 αi −∑n
i=1∑n
j=1 αiαjyiyj〈Φ(xi),Φ(xj)〉X,avec
∑Ni=1 αiyi = 0,
0 ≤ αi ≤ C , 1 ≤ i ≤ n.
Produit scalaire dans X :∀ u, v ∈ X, K (u, v) = 〈Φ(u),Φ(v)〉X
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Sommaire
1 Analyse des données fonctionnelles
2 Principe des SVM
3 Noyaux pour FDAApproche par projectionApproche par splines d’interpolationApproche par régression inverse
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Présentation des travaux
En collaboration avec Fabrice Rossi
Support vector machine for functional dataclassification (2005), paru dans ESANN proceedings.
En collaboration avec Fabrice Rossi
Classification in Hilbert spaces with support vectormachines (2005), paru dans ASMDA proceedings
En collaboration avec Fabrice Rossi
Support vector machine for functional dataclassification (2005), à paraître dans Neurocomputing.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Noyaux pour FDA
Forme générale
Prétraitement : P : H → D
∀ u, v ∈ H ,Q(u, v) = K (P(u),P(v)).
1 Projections : pour VD = Vect{ψ1, . . . , ψD},
P(x) =D∑
j=1
〈x, ψj〉ψj .
2 Transformations fonctionnelles : P(x) = Dqx,. . .3 FIR. . .
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Noyaux pour FDA
Forme générale
Prétraitement : P : H → D
∀ u, v ∈ H ,Q(u, v) = K (P(u),P(v)).
1 Projections : pour VD = Vect{ψ1, . . . , ψD},
P(x) =D∑
j=1
〈x, ψj〉ψj .
2 Transformations fonctionnelles : P(x) = Dqx,. . .3 FIR. . .
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Noyaux pour FDA
Forme générale
Prétraitement : P : H → D
∀ u, v ∈ H ,Q(u, v) = K (P(u),P(v)).
1 Projections : pour VD = Vect{ψ1, . . . , ψD},
P(x) =D∑
j=1
〈x, ψj〉ψj .
2 Transformations fonctionnelles : P(x) = Dqx,. . .
3 FIR. . .
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Noyaux pour FDA
Forme générale
Prétraitement : P : H → D
∀ u, v ∈ H ,Q(u, v) = K (P(u),P(v)).
1 Projections : pour VD = Vect{ψ1, . . . , ψD},
P(x) =D∑
j=1
〈x, ψj〉ψj .
2 Transformations fonctionnelles : P(x) = Dqx,. . .3 FIR. . .
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Sommaire
1 Analyse des données fonctionnelles
2 Principe des SVM
3 Noyaux pour FDAApproche par projectionApproche par splines d’interpolationApproche par régression inverse
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Une approche consistante
Approche par projection1 (ψj)j base Hilbertienne de H : projection sur (ψj)j=1,...,d ;
2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd , C ∈ [0;Cd]
partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xn, yn) ;construction du SVM sur B1 : fa ;choix du paramètre optimal sur B2 :
a∗ = argmina Ln−l fa +λd√
n − l
avec Ln−l fa = 1n−l
∑ni=l+1 I{fa (xi ),yi }.
⇒ On obtient un SVM fn.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Une approche consistante
Approche par projection1 (ψj)j base Hilbertienne de H : projection sur (ψj)j=1,...,d ;2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd , C ∈ [0;Cd]
partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xn, yn) ;construction du SVM sur B1 : fa ;choix du paramètre optimal sur B2 :
a∗ = argmina Ln−l fa +λd√
n − l
avec Ln−l fa = 1n−l
∑ni=l+1 I{fa (xi ),yi }.
⇒ On obtient un SVM fn.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Une approche consistante
Approche par projection1 (ψj)j base Hilbertienne de H : projection sur (ψj)j=1,...,d ;2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd , C ∈ [0;Cd]
partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xn, yn) ;
construction du SVM sur B1 : fa ;choix du paramètre optimal sur B2 :
a∗ = argmina Ln−l fa +λd√
n − l
avec Ln−l fa = 1n−l
∑ni=l+1 I{fa (xi ),yi }.
⇒ On obtient un SVM fn.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Une approche consistante
Approche par projection1 (ψj)j base Hilbertienne de H : projection sur (ψj)j=1,...,d ;2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd , C ∈ [0;Cd]
partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xn, yn) ;construction du SVM sur B1 : fa ;
choix du paramètre optimal sur B2 :
a∗ = argmina Ln−l fa +λd√
n − l
avec Ln−l fa = 1n−l
∑ni=l+1 I{fa (xi ),yi }.
⇒ On obtient un SVM fn.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Une approche consistante
Approche par projection1 (ψj)j base Hilbertienne de H : projection sur (ψj)j=1,...,d ;2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd , C ∈ [0;Cd]
partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xn, yn) ;construction du SVM sur B1 : fa ;choix du paramètre optimal sur B2 :
a∗ = argmina Ln−l fa +λd√
n − l
avec Ln−l fa = 1n−l
∑ni=l+1 I{fa (xi ),yi }.
⇒ On obtient un SVM fn.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Une approche consistante
Approche par projection1 (ψj)j base Hilbertienne de H : projection sur (ψj)j=1,...,d ;2 Choix des paramètres : a ≡ d ∈ N, K ∈ Jd , C ∈ [0;Cd]
partage des données : B1 = (x1, y1), . . . , (xl , yl) etB2 = (xl+1, yl+1), . . . , (xn, yn) ;construction du SVM sur B1 : fa ;choix du paramètre optimal sur B2 :
a∗ = argmina Ln−l fa +λd√
n − l
avec Ln−l fa = 1n−l
∑ni=l+1 I{fa (xi ),yi }.
⇒ On obtient un SVM fn.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Hypothèses
Hypothèses sur la distribution de X
(H1) X prend ses valeurs dans un borné de H .
Hypothèses sur les paramètres : ∀ d ≥ 1,
(H2) Jd est un ensemble fini ;(H3) ∃Kd ∈ Jd tel que : Kd est universel et∃νd > 0 : N(Kd , ε) = O(ε−νd ) ;(H4) Cd > 1 ;(H5)
∑d≥1 |Jd |e−2λ2
d < +∞.
Hypothèses sur la validation
(H6) limn→+∞ l = +∞ ;(H7) limn→+∞ n − l = +∞ ;(H8) limn→+∞
l log(n−l)n−l = 0.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Hypothèses
Hypothèses sur la distribution de X
(H1) X prend ses valeurs dans un borné de H .
Hypothèses sur les paramètres : ∀ d ≥ 1,
(H2) Jd est un ensemble fini ;(H3) ∃Kd ∈ Jd tel que : Kd est universel et∃νd > 0 : N(Kd , ε) = O(ε−νd ) ;(H4) Cd > 1 ;(H5)
∑d≥1 |Jd |e−2λ2
d < +∞.
Hypothèses sur la validation
(H6) limn→+∞ l = +∞ ;(H7) limn→+∞ n − l = +∞ ;(H8) limn→+∞
l log(n−l)n−l = 0.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Hypothèses
Hypothèses sur la distribution de X
(H1) X prend ses valeurs dans un borné de H .
Hypothèses sur les paramètres : ∀ d ≥ 1,
(H2) Jd est un ensemble fini ;(H3) ∃Kd ∈ Jd tel que : Kd est universel et∃νd > 0 : N(Kd , ε) = O(ε−νd ) ;(H4) Cd > 1 ;(H5)
∑d≥1 |Jd |e−2λ2
d < +∞.
Hypothèses sur la validation
(H6) limn→+∞ l = +∞ ;(H7) limn→+∞ n − l = +∞ ;(H8) limn→+∞
l log(n−l)n−l = 0.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Convergence par procédure de validation
Théorème 1 Consistance universelleSous les hypothèses (H1)-(H8), fn est consistant :
Lfnn→+∞−−−−−→ L∗,
où Lfn = P(fn(X) , Y ) et L ∗ = P(f ∗(X) , Y ) avec
f ∗(x) ={
1 si P(Y = 1|X = x) > 1/2,−1 sinon.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Application : reconnaissance vocale
Description des données et méthodes
3 problèmes et pour chaque problème, 100enregistrements discrétisés en 8 192 points ;
Mise en œuvre de la procédure consistante :Projection sur une base trigonométrique ;Partage de la base de données en 50 spectres(apprentissage) / 49 (validation) ;Performances déterminées par leave-one-out.
Résultats
Prob. k -nn QDA SVM gau. SVM lin. SVM lin.(proj) (proj) (direct)
yes/no 10% 7% 10% 19% 58%boat/goat 21% 35% 8% 29% 46%
sh/ao 16% 19% 12% 25% 47%
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Application : reconnaissance vocale
Description des données et méthodes
3 problèmes et pour chaque problème, 100enregistrements discrétisés en 8 192 points ;Mise en œuvre de la procédure consistante :
Projection sur une base trigonométrique ;Partage de la base de données en 50 spectres(apprentissage) / 49 (validation) ;Performances déterminées par leave-one-out.
Résultats
Prob. k -nn QDA SVM gau. SVM lin. SVM lin.(proj) (proj) (direct)
yes/no 10% 7% 10% 19% 58%boat/goat 21% 35% 8% 29% 46%
sh/ao 16% 19% 12% 25% 47%
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Application : reconnaissance vocale
Description des données et méthodes
3 problèmes et pour chaque problème, 100enregistrements discrétisés en 8 192 points ;Mise en œuvre de la procédure consistante :
Projection sur une base trigonométrique ;Partage de la base de données en 50 spectres(apprentissage) / 49 (validation) ;Performances déterminées par leave-one-out.
Résultats
Prob. k -nn QDA SVM gau. SVM lin. SVM lin.(proj) (proj) (direct)
yes/no 10% 7% 10% 19% 58%boat/goat 21% 35% 8% 29% 46%
sh/ao 16% 19% 12% 25% 47%
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Application : Tecator data Set
Description des données et méthodes
215 spectres discrétisés en 100 points ; 2 classes : taux degraisse >20% et <20%.
Procédure :Projection sur une base de splines cubiques (déterminéepar leave-one-out) ;Partage aléatoire de la base de données en 60 spectres(apprentissage) / 60 spectres (validation) ;Performances déterminées sur un échantillon de testaléatoire de 95 spectres.
Résultats (Moyenne pour 250 répétitions)
Noyau Erreur moyenne (test)Linéaire 3.38%Linéaire sur D2X 3.28%Gaussien 7.5%Gaussien sur D2X 2.6%
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Application : Tecator data Set
Description des données et méthodes
215 spectres discrétisés en 100 points ; 2 classes : taux degraisse >20% et <20%.Procédure :
Projection sur une base de splines cubiques (déterminéepar leave-one-out) ;Partage aléatoire de la base de données en 60 spectres(apprentissage) / 60 spectres (validation) ;Performances déterminées sur un échantillon de testaléatoire de 95 spectres.
Résultats (Moyenne pour 250 répétitions)
Noyau Erreur moyenne (test)Linéaire 3.38%Linéaire sur D2X 3.28%Gaussien 7.5%Gaussien sur D2X 2.6%
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Application : Tecator data Set
Description des données et méthodes
215 spectres discrétisés en 100 points ; 2 classes : taux degraisse >20% et <20%.Procédure :
Projection sur une base de splines cubiques (déterminéepar leave-one-out) ;Partage aléatoire de la base de données en 60 spectres(apprentissage) / 60 spectres (validation) ;Performances déterminées sur un échantillon de testaléatoire de 95 spectres.
Résultats (Moyenne pour 250 répétitions)
Noyau Erreur moyenne (test)Linéaire 3.38%Linéaire sur D2X 3.28%Gaussien 7.5%Gaussien sur D2X 2.6%
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Sommaire
1 Analyse des données fonctionnelles
2 Principe des SVM
3 Noyaux pour FDAApproche par projectionApproche par splines d’interpolationApproche par régression inverse
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Approche directe pour SVM sur dérivées
X est régulière : X ∈ H = Hm = {x : [0; 1]→ R :Dmx existe et Dmx ∈ L2 + conditions aux limites} ;
Produit scalaire : H est muni du produit scalaire
〈f , g〉H = 〈Lf , Lg〉L2 =
∫[0;1]
Lf (t)Lg(t)dt
où Lx =∑m
j=1 ajD jx avec am , 0 et les conditions auxlimites qui impliquent Lx , 0 si x , 0.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Approche directe pour SVM sur dérivées
X est régulière : X ∈ H = Hm = {x : [0; 1]→ R :Dmx existe et Dmx ∈ L2 + conditions aux limites} ;
Produit scalaire : H est muni du produit scalaire
〈f , g〉H = 〈Lf , Lg〉L2 =
∫[0;1]
Lf (t)Lg(t)dt
où Lx =∑m
j=1 ajD jx avec am , 0 et les conditions auxlimites qui impliquent Lx , 0 si x , 0.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Exemples d’espaces de Sobolev
H1 avec L = I + D et x(0) = 0 (Lx = 0⇒ x = ae−t etx(0) = a) ;
H2 avec L = I + D2 et x(0) = Dx(0) = 0 ;
Hm (m ≥ 1) avec L = Dm et D jx(0) = 0, ∀ j = 1, . . . ,m.
Pour d’autres exemples, voir [Besse & Ramsay, 1986] et[Berlinet & Thomas-Agnan, 2004].
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Exemples d’espaces de Sobolev
H1 avec L = I + D et x(0) = 0 (Lx = 0⇒ x = ae−t etx(0) = a) ;
H2 avec L = I + D2 et x(0) = Dx(0) = 0 ;
Hm (m ≥ 1) avec L = Dm et D jx(0) = 0, ∀ j = 1, . . . ,m.
Pour d’autres exemples, voir [Besse & Ramsay, 1986] et[Berlinet & Thomas-Agnan, 2004].
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Exemples d’espaces de Sobolev
H1 avec L = I + D et x(0) = 0 (Lx = 0⇒ x = ae−t etx(0) = a) ;
H2 avec L = I + D2 et x(0) = Dx(0) = 0 ;
Hm (m ≥ 1) avec L = Dm et D jx(0) = 0, ∀ j = 1, . . . ,m.
Pour d’autres exemples, voir [Besse & Ramsay, 1986] et[Berlinet & Thomas-Agnan, 2004].
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
RKHS
H peut être un RKHS
Un RKHS est un espace de fonctions tel que ∃K : R ×R → H :
∀ x ∈ H , 〈x,K (t , .)〉H = x(t).
H1 avec L = I + D et x(0) = 0 est un RKHS de noyau
K (s, t) = e−max(s,t) sinh(min(s, t));
H2 avec L = I + D2 et x(0) = Dx(0) = 0 est un RKHS denoyau
K (s, t) = (min(s, t) cos(s − t) − cos(s) cos(t))/2
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
RKHS
H peut être un RKHS
Un RKHS est un espace de fonctions tel que ∃K : R ×R → H :
∀ x ∈ H , 〈x,K (t , .)〉H = x(t).
H1 avec L = I + D et x(0) = 0 est un RKHS de noyau
K (s, t) = e−max(s,t) sinh(min(s, t));
H2 avec L = I + D2 et x(0) = Dx(0) = 0 est un RKHS denoyau
K (s, t) = (min(s, t) cos(s − t) − cos(s) cos(t))/2
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
RKHS
H peut être un RKHS
Un RKHS est un espace de fonctions tel que ∃K : R ×R → H :
∀ x ∈ H , 〈x,K (t , .)〉H = x(t).
H1 avec L = I + D et x(0) = 0 est un RKHS de noyau
K (s, t) = e−max(s,t) sinh(min(s, t));
H2 avec L = I + D2 et x(0) = Dx(0) = 0 est un RKHS denoyau
K (s, t) = (min(s, t) cos(s − t) − cos(s) cos(t))/2
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
SVM fonctionnels par interpolation spline
[Besse & Ramsay, 1986]
Si H est un RKHS de noyau K alors, ∀ x ∈ H , connue auxpoints (tk )k=1,...,d , spline d’interpolationh = PVect{K (tk ,.),k=1,...,d}(x).
Application aux SVM
SVM sur (Lhn)n avec noyau G∞γ dans L2[0;1]
⇔
SVM sur (xn)n avec noyau Gdγ ◦ K
−1/2 dans Rd .
où xn = (xn(t1), . . . , xn(td)) et K = (K (ti , tj))i,j .
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
SVM fonctionnels par interpolation spline
[Besse & Ramsay, 1986]
Si H est un RKHS de noyau K alors, ∀ x ∈ H , connue auxpoints (tk )k=1,...,d , spline d’interpolationh = PVect{K (tk ,.),k=1,...,d}(x).
Application aux SVM
SVM sur (Lhn)n avec noyau G∞γ dans L2[0;1]
⇔
SVM sur (xn)n avec noyau Gdγ ◦ K
−1/2 dans Rd .
où xn = (xn(t1), . . . , xn(td)) et K = (K (ti , tj))i,j .
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Consistance directe
Théorème 2 Consistance universelleSoit (tk )k=1,...,d des points de discrétisation dans [0; 1] tels queK = (K (ti , tj))i,j=1,...,d soit inversible. Alors,
il existe une suite de points de discrétisation (τD)D≥1 telleque
τd = (tk )k=1,...,d ,∀D ≥ 1, τD ⊂ τD+1 et KD = (K (ti , tj))i,j=1,...,D est inversible,Vect{K (t , .), t ∈ ∪D≥1τD} est dense dans H ;
le SVM construit à partir de la spline d’interpolation avecune suite de régularisation (CD
n )n = O(n1−βD ),0 < βD < 1/D est universellement consistant :
limn→+∞
limD→+∞
Lfn,D = L∗
où L∗ est l’erreur de Bayes.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Consistance directe
Théorème 2 Consistance universelleSoit (tk )k=1,...,d des points de discrétisation dans [0; 1] tels queK = (K (ti , tj))i,j=1,...,d soit inversible. Alors,
il existe une suite de points de discrétisation (τD)D≥1 telleque
τd = (tk )k=1,...,d ,∀D ≥ 1, τD ⊂ τD+1 et KD = (K (ti , tj))i,j=1,...,D est inversible,Vect{K (t , .), t ∈ ∪D≥1τD} est dense dans H ;
le SVM construit à partir de la spline d’interpolation avecune suite de régularisation (CD
n )n = O(n1−βD ),0 < βD < 1/D est universellement consistant :
limn→+∞
limD→+∞
Lfn,D = L∗
où L∗ est l’erreur de Bayes.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Consistance directe
Théorème 2 Consistance universelleSoit (tk )k=1,...,d des points de discrétisation dans [0; 1] tels queK = (K (ti , tj))i,j=1,...,d soit inversible. Alors,
il existe une suite de points de discrétisation (τD)D≥1 telleque
τd = (tk )k=1,...,d ,∀D ≥ 1, τD ⊂ τD+1 et KD = (K (ti , tj))i,j=1,...,D est inversible,Vect{K (t , .), t ∈ ∪D≥1τD} est dense dans H ;
le SVM construit à partir de la spline d’interpolation avecune suite de régularisation (CD
n )n = O(n1−βD ),0 < βD < 1/D est universellement consistant :
limn→+∞
limD→+∞
Lfn,D = L∗
où L∗ est l’erreur de Bayes.
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Sommaire
1 Analyse des données fonctionnelles
2 Principe des SVM
3 Noyaux pour FDAApproche par projectionApproche par splines d’interpolationApproche par régression inverse
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Régression inverse fonctionnelle
Modèle ([Ferré & Yao, 2003], [Ferré & Villa, 2005])
Y = f (〈a1,X〉 . . . 〈aq,X〉, ε),
où ε y X , E(ε) = 0, f inconnue, {a1, . . . , aq} linéairementindependants.EDR = Vect{a1, . . . aq}
Caractérisation de l’espace EDR
Si, pour A = (〈X , a1〉, . . . , 〈X , aq〉),
Condition de Li ∀ u ∈ H , ∃v ∈ Rq : E(〈u,X〉|A ) = vT A ,
alors E(X |Y ) ∈ ΓX (EDR).
⇒ On choisit d’estimer a1, . . . , aq, vecteurs propres deΓ−1
X ΓE(X |Y ).
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Régression inverse fonctionnelle
Modèle ([Ferré & Yao, 2003], [Ferré & Villa, 2005])
Y = f (〈a1,X〉 . . . 〈aq,X〉, ε),
où ε y X , E(ε) = 0, f inconnue, {a1, . . . , aq} linéairementindependants.EDR = Vect{a1, . . . aq}
Caractérisation de l’espace EDR
Si, pour A = (〈X , a1〉, . . . , 〈X , aq〉),
Condition de Li ∀ u ∈ H , ∃v ∈ Rq : E(〈u,X〉|A ) = vT A ,
alors E(X |Y ) ∈ ΓX (EDR).
⇒ On choisit d’estimer a1, . . . , aq, vecteurs propres deΓ−1
X ΓE(X |Y ).
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Régression inverse fonctionnelle
Modèle ([Ferré & Yao, 2003], [Ferré & Villa, 2005])
Y = f (〈a1,X〉 . . . 〈aq,X〉, ε),
où ε y X , E(ε) = 0, f inconnue, {a1, . . . , aq} linéairementindependants.EDR = Vect{a1, . . . aq}
Caractérisation de l’espace EDR
Si, pour A = (〈X , a1〉, . . . , 〈X , aq〉),
Condition de Li ∀ u ∈ H , ∃v ∈ Rq : E(〈u,X〉|A ) = vT A ,
alors E(X |Y ) ∈ ΓX (EDR).⇒ On choisit d’estimer a1, . . . , aq, vecteurs propres deΓ−1
X ΓE(X |Y ).
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
SVM par FIR
Estimation de EDR : [Ferré & Yao, 2003],[Ferré & Villa, 2005] proposent des approchesconsistantes de l’estimation de l’espace EDR, EDR ;
Estimation de f par SVM : SVM sur PEDR(X) ;
Résultat de consistance universelle pour ce SVM : ? ? ?
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
SVM par FIR
Estimation de EDR : [Ferré & Yao, 2003],[Ferré & Villa, 2005] proposent des approchesconsistantes de l’estimation de l’espace EDR, EDR ;
Estimation de f par SVM : SVM sur PEDR(X) ;
Résultat de consistance universelle pour ce SVM : ? ? ?
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
SVM par FIR
Estimation de EDR : [Ferré & Yao, 2003],[Ferré & Villa, 2005] proposent des approchesconsistantes de l’estimation de l’espace EDR, EDR ;
Estimation de f par SVM : SVM sur PEDR(X) ;
Résultat de consistance universelle pour ce SVM : ? ? ?
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Simulations
Données simulées Waveform
2 4 6 8 10 12 14 16 18 20−4
−2
0
2
4
6
8
Classe 1
2 4 6 8 10 12 14 16 18 20−4
−2
0
2
4
6
8
10
Classe 2
2 4 6 8 10 12 14 16 18 20−4
−2
0
2
4
6
8
Classe 3
300 courbes (apprentissage) / 500 courbes (validation) ;
erreur calculée sur un échantillon de 500 courbes ;
10 répétitions.
RésultatsFIR-SVM SVM R-PDA FIR-N
Moyenne (test) 13,70 15,46 15,62 14,16Ecart type (test) 2,25 3,04 2,05 2,01Minimum (test) 10,20 12,20 12,60 12,00Moyenne (apprentissage) 11,73 10,17 12,47 12,37
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Simulations
Données simulées Waveform
2 4 6 8 10 12 14 16 18 20−4
−2
0
2
4
6
8
Classe 1
2 4 6 8 10 12 14 16 18 20−4
−2
0
2
4
6
8
10
Classe 2
2 4 6 8 10 12 14 16 18 20−4
−2
0
2
4
6
8
Classe 3
300 courbes (apprentissage) / 500 courbes (validation) ;
erreur calculée sur un échantillon de 500 courbes ;
10 répétitions.
RésultatsFIR-SVM SVM R-PDA FIR-N
Moyenne (test) 13,70 15,46 15,62 14,16Ecart type (test) 2,25 3,04 2,05 2,01Minimum (test) 10,20 12,20 12,60 12,00Moyenne (apprentissage) 11,73 10,17 12,47 12,37
SVM & FDA
Toulouse,16 nov. 2005
Nathalie V
Analyse desdonnéesfonctionnelles
Principe desSVM
Noyaux pourFDAApproche parprojection
Approche par splinesd’interpolation
Approche parrégression inverse
Bibliographie
Berlinet, A. & Thomas-Agnan, C. (2004).Reproducing kernel Hilbert spaces in probability and statistics.Kluwer Academic Publisher.
Besse, P. & Ramsay, J. (1986).Principal component analysis of sampled curves.Psychometrica, 51, 285–311.
Ferré, L. & Villa, N. (2005).Discrimination de courbes par régression inverse fonctionnelle.Revue de Statistique Appliquée, LIII(1), 39–57.
Ferré, L. & Yao, A. (2003).Functional sliced inverse regression analysis.Statistics, 37, 475–488.
top related