Download - Zone de rejet et scoring
![Page 1: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/1.jpg)
Zone de rejet et scoring
![Page 2: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/2.jpg)
Introduction
Classifieur permet de décider Quelle est la qualité de cette décision?
Exemple:
Règle de Bayes dit « X est Malade »
Et vous?
4999.0
5001.0
XPasMaladeP
XMaladeP
![Page 3: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/3.jpg)
Autre exempleClassifieur voiture/vélo
classifieurx xVéloP
xVoitureP
Décision (c’est la forme voiture)
Donnée(vecteur forme)
Cadre de discernement: C={Voiture,Vélo}
Vecteur forme(vecteur de caractéristiques)
![Page 4: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/4.jpg)
Décision: x est une voiture
05.0
95.0
xVéloP
xVoiturePclassifieurx
x
![Page 5: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/5.jpg)
85.0
15.0
xVéloP
xVoitureP
Décision: x est un vélo
classifieurx
x
![Page 6: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/6.jpg)
40.0
60.0
xVéloP
xVoitureP
Décision: x est une voiture!!!
classifieurx
x
Rappel : cadre de discernement: C={Voiture,Vélo}
![Page 7: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/7.jpg)
Introduction de la notion de rejet Rejet d’ambiguïté Rejet en distance
Un peu de prudence dans un monde d’incertitude !
![Page 8: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/8.jpg)
Règle de décision classique
Cas paramétrique– On connaît les ddp
Règle de décision classique (Bayes)
iyxp
![Page 9: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/9.jpg)
Exemple
Bonne classification = 88,5%
Décision
réalité
Décision
réalitéerreur
x x’
![Page 10: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/10.jpg)
Exemple (suite)
xclassePMême problème vu du côté
Décision
réalité
Décision
réalité
![Page 11: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/11.jpg)
Règle de décision avec rejet
Cas paramétrique– On connaît les ddp iyxp
Règle de décision avec rejet (Chow, 1957)
d0 : rejet du résultat du classifieur : seuil de rejet
![Page 12: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/12.jpg)
dens
itée
et lo
i à p
oste
riori
classe 0classe 1classe 0classe 1
Rejet d’ambiguité
sinon rejet
P si
P si
2/1)(100
2/1)(11
)(A
A
xrxy
xrxy
xD
Définition : règle de décision du maximum a posteriori (MAP)
1/2
1
A
xclasse 0 rejet classe 1
Règle de Chow
Loisa posteriori
densités
![Page 13: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/13.jpg)
Exemple de rejet avec A=0,75
Bonne classification = 94,5% ; points rejetés = 15,2%
0.75
![Page 14: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/14.jpg)
Exemple de rejet avec A=0,75
classepclassexpMême problème vu du côté de la distribution
![Page 15: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/15.jpg)
Exemple de rejet avec A=0,85
Bonne classification = 96,3% ; points rejetés = 24,2%
0.85
![Page 16: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/16.jpg)
Exemple de rejet avec A=0,85
classepclassexpMême problème vu du côté de la distribution
![Page 17: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/17.jpg)
Exemple de rejet avec A=0,89
Bonne classification = 98,5% ; points rejetés = 43,0%
0.89
![Page 18: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/18.jpg)
Exemple de rejet avec A=0,89
classepclassexpMême problème vu du côté de la distribution
![Page 19: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/19.jpg)
Exemple de rejet avec A=0,99
![Page 20: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/20.jpg)
Exemple de rejet avec A=0,9
![Page 21: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/21.jpg)
Exemple de rejet avec A=0,8
![Page 22: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/22.jpg)
Exemple de rejet avec A=0,6
![Page 23: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/23.jpg)
Exemple de rejet avec A=0,51
![Page 24: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/24.jpg)
Extension de la notion de rejet
Rejet précédent = rejet d’ambiguïtéMais…
?
![Page 25: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/25.jpg)
Rejet en distance
![Page 26: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/26.jpg)
Rejet en distance
Règle de décision avec rejet d’ambiguïté et de distance
(Dubuisson, 1990)
D : rejet du résultat du classifieur si le point x appartient à une zone éloignée des zones « usuelles » des classes.Cd: seuil de rejet en distanced0 : résultat du classifieur : seuil de rejet d’ambiguïté
![Page 27: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/27.jpg)
dens
itée
et lo
i à p
oste
riori
classe 0classe 1classe 0classe 1
1/2
1
A
x
rejet de distance classe 0 rejet classe 1 rejet de distance
SiD = 0 et A = .5 :
règle du MAP (Bayes pour le coût 0-1)
ambiguïtéd' rejet sinon 0 classe P si
1 classe P si
: sinon
distance de rejet P si D
2/1)(10
2/1)(1)(
A
A
xrxy
xrxy
x
xD
D
Rejet en distance
Loisa posteriori
densités
![Page 28: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/28.jpg)
Exemple
A=0,75 ; Cd = 0,025
0.025
![Page 29: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/29.jpg)
Exemple
A=0, 85 ; Cd = 0,025
![Page 30: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/30.jpg)
Exemple
A=0, 85 ; Cd = 0,025
![Page 31: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/31.jpg)
Mesure de performances etqualité de l’utilisation du rejet
Comment mesurer les performances d’une règle de décision ?
• Matrice de confusion, intervalle de confiance Exemple:
• Courbe ROC : performances vs. rejet
Matrice de confusion :vérité
1 2
prévi-sion
1 204 54
2 19 55
Probabilité d'erreur estimée : (54+19)/332=0.22=pIntervalle de confiance à 95 % : [0.18, 0.27]
![Page 32: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/32.jpg)
Courbe ROC
Courbe ROCLes courbes ROC (Receiver Operating Characteristic) permettent d'étudier les variations de la spécificité et de la sensibilité d'un test pour différentes valeurs du seuil de discrimination. Le terme de courbe ROC peut être envisagé comme une "courbe de caractéristiques d'efficacité".
La courbe ROC est avant tout définie pour les problèmes à deux classes (les positifs et lesnégatifs), elle indique la capacité du classifieur à placer les positifs devant les négatifs. Elle met en relation dans un graphique les taux de faux positifs (en abscisse) et les taux de vraispositifs (en ordonnée).
![Page 33: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/33.jpg)
Courbe ROC
Matrice de confusion
![Page 34: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/34.jpg)
Courbe ROC
Courbe ROCPerformances d'un classifieur (sur les points non rejetés)en fonction du pourcentage de points rejetés
+
+
![Page 35: Zone de rejet et scoring](https://reader034.vdocument.in/reader034/viewer/2022051820/56813550550346895d9cb05d/html5/thumbnails/35.jpg)