statistiques: estimation ponctuellesamy.tindel/... · statistiques: estimationponctuelle samytindel...

Statistiques: estimation ponctuelle

Samy Tindel

Université de Lorraine

Telecom Nancy - Module MAP

Samy T. (IECN) TN - Estimation ponctuelle Module MAP 1 / 50

Plan

1 Introduction

2 Rappel: variables aléatoires usuelles

3 Définitions

4 Méthode des moments

5 Estimateurs du maximum de vraisemblance


Plan

1 Introduction


3 Définitions




Situation générique abstraite

Problème: Identification d’une famille de lois µθ; θ ∈ Θ

Données: on dispose de données (x1, . . . , xn)

Hypothèse fondamentale: les données sont issues d’un n-échantillonde loi µθ pour θ ∈ Θ

Autrement dit:on peut écrire (x1, . . . , xn) = (X1(ω), . . . ,Xn(ω)) pour

Un n-échantillon (X1, . . . ,Xn) de loi µθUne expérience ω

Reformulation du problème: estimer θ à partir de (x1, . . . , xn) sousl’hypothèse fondamentale.


Exemple

Tirage de dé: On souhaite savoir si un dé est pipé.Pour cela, on s’intéresse à la proba d’obtenir 6 avec ce dé.Expérience: on lance 10 fois le dé.On pose xi = 1 si le 6 est obtenu au ième lancer, 0 sinon→ (x1, . . . , xn) avec n = 10.Exemple d’observation:(x1, . . . , x10) = (0, 0, 1, 0, 0, 0, 1, 0, 0, 0)

Hypothèse: (x1, . . . , xn) est la réalisation d’un n-échantillon(X1, . . . ,Xn) de loi B(p); p ∈]0, 1[.But: A partir de (x1, . . . , xn), donner une estimation de pafin de savoir si p = 1/6.


Type de critère considéré

Pour caractériser l’estimation de θ, on verra les critères suivants:Convergence lorsque n→∞ (forte consistence)Convergence en moyenne (biais)Maximisation probabiliste (maximum de vraisemblance)Critère basé sur la variance (risque)


Plan

1 Introduction


3 Définitions




Loi de BernoulliNotation: B(p) pour p ∈]0, 1[

Ensemble des valeurs: E = 0, 1Loi:

P(X = 0) = 1− p, P(X = 1) = p

Utilisation:(i) Succès dans un jeu binaireExemple 1: pile/face. X = 1 si pile, X = 0 sinon ⇒ X ∼ B(1/2)Exemple 2: jeu de dé. X = 1 si résultat = 3, X = 0 sinon⇒ X ∼ B(1/6)

(ii) Réponse oui/non dans un sondageExemple: X = 1 si une personne approuve la loi Pécresse,X = 0 sinon ⇒ X ∼ B(p), avec p inconnu


Loi BinomialeNotation: Bin(n, p), pour n ∈ N∗, p ∈]0, 1[

Ensemble des valeurs: E = 0, 1, . . . , nLoi:

P(X = k) =

(nk

)pk (1− p)n−k , 0 ≤ k ≤ n

Utilisation:(i) Nombre de succès dans une épreuve de Bernoullirépétée n fois indépendemmentExemple: On lance un dé 9 fois. X = nombre de 3 obtenus⇒ X ∼ Bin(9, 1/6), P(X = 2) = 0.28(ii) Comptage d’un caractère dans un tirage avec remiseExemple: lot de 1000 pantalons dont 10% défectueuxOn tire 15 pantalons avec remise.X = nombre de pantalons défectueux obtenus ⇒ X ∼ Bin(15, 1/10)


Loi géométrique

Notation: G(p) pour p ∈]0, 1[

Ensemble des valeurs: E = N∗

Loi:P(X = k) = p (1− p)k−1, k ≥ 1

Utilisation:Instant de 1er succès dans un jeu binaireExemple 2: jeu de dé.X = 1er jancer pour lequel résultat = 6⇒ X ∼ G(1/6), P(X = 5) = 0.08


Loi de Poisson

Notation: P(λ) pour λ ∈ R+

Ensemble des valeurs: E = N

Loi:P(X = k) = e−λ λ

k

k!, k ≥ 0


Loi de Poisson (2)

Utilisation de la loi de Poisson (exemples):Nombre de clients entrant dans un magasin de 14h à 17hNombre de bus passant à un arrêt en 35 mnNombre de requêtes sur un serveur de minuit à 6h

Règle empirique:Si n→∞, p → 0 et np → λ, on approche Bin(n, p) par P(λ).En pratique, cette règle est appliquée pour

p ≤ 0.1 et np ≤ 5


Loi ExponentielleNotation: E(λ), pour λ > 0Ensemble des valeurs: E = R+

Densité:fX (x) = λe−λx1R+(x)

Utilisation: Temps d’attente entreArrivée de deux clients dans un magasin de 14h à 17hPassage de deux bus à un arrêt sur une période de tempsDeux requêtes sur un serveur de minuit à 6h

Exemple de calcul: si X ∼ E(λ), alors pour x ≥ 0,

P(X > x) =∫ ∞

xλ e−λz dz = e−λx


Loi gaussienne (ou normale)Notation: N (µ, σ2) pour µ ∈ R et σ2 > 0Ensemble des valeurs: E = RDensité:

fX (x) =1√2π σ2

exp(−(x − µ)2

2σ2

)

Utilisation:Phénomènes dépendant d’un grand nombre de petits paramètresNombreux exemples en

BiologiePhysique et industrieEconomie

Problème: les primitives de fx ne sont pas directement calculables→ utilisation de tables pour les calculs de probabilité


Moments pour les v.a. usuelles

Tableau récapitulatif:

Loi E[X ] Var(X )B(p) p p(1− p)Bin(n, p) n p n p(1− p)

G(p) 1p

1−pp2

P(λ) λ λE(λ) 1

λ1λ2

N (µ, σ2) µ σ2


Plan

1 Introduction


3 Définitions




Modèle statistique

DéfinitionOn appelle modèle statistique ou expérience la famille(Ω,A,X ,E , (Pθ)θ∈Θ), où

X ,E: réalisation de la v.a. X définie sur (Ω,A)

Θ ≡ ensemble des paramètresPθ est une loi de proba pour tout θ ∈ Θ.


Modèle d’échantillonnage

DéfinitionOn appelle modèle d’échantillonnage basé sur le modèle statistiqueprécédent une famille (Ω, A,Xn,E n, Pθ), où

Xn,E n: réalisation de la v.a. Xn := (X1, . . . ,Xn)définie sur (Ω, A)

Θ ≡ ensemble des paramètresPθ est une loi de proba sur E n pour tout θ ∈ Θ→ correspond à un n-échantillon (X1, . . . ,Xn) de loi Pθ

Notation: l’espérance sous la proba Pθ se note Eθ.


Exemple

Tirage de dé: on aΩ = 1, . . . , 6Ω = 1, . . . , 6n

E = 0, 1Xn = (X1, . . . ,Xn), où (X1, . . . ,Xn) est un n-éch. de loi B(p)

Θ =]0, 1[


Estimateur

DéfinitionSoit un modèle d’échantillonnage de loi µθ; θ ∈ Θ.θn est un estimateur de θ s’il existe une fonction mesurabledn : E n → Θ telle que

θn(ω) = dn(X1(ω), . . . ,Xn(ω))

Remarques:(1) A priori, n’importe quelle fonction de l’échantillon est unestimateur. Il faut donc repérer les fonction utiles.(2) Un estimateur est une variable aléatoire.


Exemple

Tirage de dé: on a n = 10, Θ =]0, 1[ et(X1, . . . ,Xn) est un n-éch. de loi B(p).Observation: (x1, . . . , x10) = (0, 0, 1, 0, 0, 0, 1, 0, 0, 0).

(1) Estimateur raisonnable:

d1 : 0, 1n → [0, 1], (x1, . . . , xn) 7→ xn =1n

n∑i=1

xi

On a donc p1n := Xn. Sur nos donnés: p1

n(ω) = 2/10 = 0.2.


Exemple (2)(2) Estimateur fantôme: pour n ≥ 5,

d2 : 0, 1n → [0, 1], (x1, . . . , xn) 7→ 12e−x5

On a donc p2n := 1

2e−X5 . Sur nos donnés: p2

n(ω) = 12e

0 = 12 .

(3) Si pour une autre expérience ω on a

(x1, . . . , x10) = (0, 1, 0, 1, 0, 0, 1, 0, 0, 1)

alorsp1

n(ω) = 4/10 = 0.4, p2n(ω) =

12e−1 = 0.18.

DoncL’estimation dépend de l’observation.L’estimateur est une variable aléatoire.Samy T. (IECN) TN - Estimation ponctuelle Module MAP 22 / 50

Forte consistance

DéfinitionSoit un modèle d’échantillonnage de loi µθ; θ ∈ Θ.Soit θn un estimateur de θ.On dit que θn est fortement consistant si Pθ-presque sûrement,

limn→∞

θn(ω) = θ,

pour tout θ ∈ Θ.


BiaisDéfinitionSoit un modèle d’échantillonnage de loi µθ; θ ∈ Θ.Soit θn un estimateur de θ.Le biais est une fonction

bn : Θ→ R, bn(θ) = Eθ[θn]− θ.

Si bn(θ) = 0 pour tout θ ∈ Θ, on dit que θn est sans biais.Si limn→∞ bn(θ) = 0 pour tout θ ∈ Θ, on dit que θn estasymptotiquement sans biais.

Interprétation: si l’estimateur est sans biais→ on ne se trompe pas en moyenne dans notre estimation.Remarque: les deux dernières définitions→ deux critères pour savoir si un estimateur est raisonnable


Plan

1 Introduction


3 Définitions




Rappel: loi forte des grands nombres

ThéorèmeSoit (Xn; n ≥ 1) un n-échantillon de v.a. à valeurs dans ROn suppose E [|X1|] <∞, E [X1] = m ∈ R.Alors

Xn(ω) −→ m, quand n→∞, pour tout ω ∈ Ω

sauf sur un ensemble de probabilité nulle.

DéfinitionLa convergence pour tout ω ci-dessus se nommeconvergence presque sûre.


Estimateurs et moyenne empirique

PropositionSoit un modèle d’échantillonnage de loi µθ; θ ∈ Θ.On suppose que pour tout θ ∈ Θ, on a Eθ[|X1|] <∞ et Eθ[X1] = θ.Soit θn = Xn = 1

n∑n

i=1 Xi .Alors θn est un estimateur fortement consistant et sans biais de θ.

Démonstration (consistance): D’après loi forte grands nombres,

θn = Xnp.s.−→ Eθ[X1] = θ


Démonstration

Démonstration (biais): pour θ ∈ Θ,

Eθ[θn] = Eθ[Xn] = Eθ[1n

n∑i=1

Xi

]

=1n

n∑i=1

Eθ [Xi ] =nθn = θ.

Doncbn(θ) := Eθ[θn]− θ = 0,

pour tout θ ∈ Θ. L’estimateur est sans biais.


ExempleTirage de dé: on a n = 10, Θ =]0, 1[ et(X1, . . . ,Xn) est un n-éch. de loi B(p).Application: si X1 ∼ B(p), on a bien Ep[X1] = p.On est bien dans les conditions d’application de la proposition.Estimateur raisonnable: p1

n = Xn est f.c.s.b.Estimateur fantôme:p2

n = 12e−X5 n’est ni f.c. ni s.b., ni asymptotiquement s.b.

Démonstration:On a limn→∞ p2

n = 12e−X5 , qui n’est pas déterministe

De plus,

Ep[p2n] =

12Ep

[e−X5

]=

12(

(1− p) + pe−1).

Donc Ep[p2n] 6= p si p 6= 1/[3− 1/e].


Exemple (2)

Données: x1, . . . , xn avec n = 12. Unité: M€.→ Chiffre d’affaire journalier d’une entreprise sur 12 jours ouvrables.

5.02 4.87 4.95 4.88 5.09 4.93 4.91 5.09 4.96 4.89 5.06 4.85

Modélisation: (x1, . . . , xn) = (X1(ω), . . . ,Xn(ω)) pour unn-échantillon (X1, . . . ,Xn) de loi N (µ, σ2)→ E = R et Θ = R× R+. On note θ = (µ, σ2).Application: si X1 ∼ N (µ, σ2), on a Eθ[X1] = µ.On est bien dans les conditions d’application de la proposition.Conclusion: µn = Xn est un estimateur f.c.s.b. de µApplication numérique: µn(ω) = Xn(ω) = xn = 4.95 M€.


Estimateurs et variance empirique

PropositionSoit un modèle d’échantillonnage de loi µθ; θ ∈ Θ.On suppose que pour tout θ ∈ Θ, on a Eθ[X 2

1 ] <∞ et Varθ[X1] = θ.Soit

θn = S2n :=

1n − 1

n∑i=1

(Xi − Xn

)2.

Alors θn est un estimateur fortement consistant et sans biais de θ.

Démonstration: Voir Td.Remarque: S2

n se nomme variance empirique de l’échantillon.


Exemples

Données: Chiffre d’affaire entreprise, n = 12.

5.02 4.87 4.95 4.88 5.09 4.93 4.91 5.09 4.96 4.89 5.06 4.85

Modélisation: (x1, . . . , xn) = (X1(ω), . . . ,Xn(ω)) pour unn-échantillon (X1, . . . ,Xn) de loi N (µ, σ2)→ E = R et Θ = R× R+. On note θ = (µσ2).

Application: si X1 ∼ N (µ, σ2), on a Varθ[X1] = σ2.On est bien dans les conditions d’application de la proposition.


Exemples (2)

Conclusion: σ2n = S2

n est un estimateur f.c.s.b. de σ2

Application numérique:σ2

n(ω) = S2n (ω) = 1

11∑11

i=1(xi − 4.95)2 = 6.10× 10−3(M€)2.

Remarque: Physiquement, il est préférable de considérer Sn =√S2

n .Ici, sn := Sn(ω) = 0.078M€ ⇒ entreprise régulière.


Exemples (3)Données: Nombre d’accidents sur une année pour n = 500 chauffeursde bus.

Nbe. Accidents 0 1 2 3 4 5+

Nbe. Chauffeurs 122 253 87 35 2 1

Modélisation: (x1, . . . , xn) = (X1(ω), . . . ,Xn(ω)) pour unn-échantillon (X1, . . . ,Xn) de loi P(λ)→ E = N et Θ = R∗+.

Application 1: si X1 ∼ P(λ), on a Eλ[X1] = λ.On est dans les conditions d’application de la première proposition.

Application 2: si X1 ∼ P(λ), on a Varλ[X1] = λ.On est dans les conditions d’application de la deuxième proposition.


Exemples (4)

Conclusion: on a exhibé deux estimateurs f.c.s.b. de λ:

λ(1)n = Xn, et λ(1)

n = S2n

Application numérique: λ(1)n (ω) = 1.09 et λ(2)

n (ω) = 0.71

Question: Comment choisir entre ces deux estimateurs?


Méthode des momentsThéorèmeSoit un modèle d’échantillonnage de loi µθ; θ ∈ Θ.Hypothèse: il existe F : R× R+ → R telle que, pour tout θ ∈ Θ,

F est continue en tout point (Eθ[X1],Varθ(X1)).θ = F (Eθ[X1],Varθ(X1))

Soitθn = S2

n := F(Xn, S2

n

)Alors θn est un estimateur fortement consistant de θ.

Démonstration:(i) Loi forte des grands nombres⇒

(Xn, S2

n

) p.s.−→ (Eθ[X1],Varθ(X1)).

(ii) Continuité de F ⇒ F(Xn, S2

n

) p.s.−→ F (Eθ[X1],Varθ(X1)) = θ.Samy T. (IECN) TN - Estimation ponctuelle Module MAP 36 / 50

ExempleDonnées: Durée de vie de n = 20 ampoules identiques (heures)

0.57 0.41 0.31 1.61 0.60 1.46 1.46 1.53 0.12 0.421.17 0.06 1.53 1.16 1.01 1.23 0.56 0.72 1.16 0.52

Modélisation: (x1, . . . , xn) = (X1(ω), . . . ,Xn(ω)) pour unn-échantillon (X1, . . . ,Xn) de loi E(λ)→ E = R+ et Θ = R∗+.Application 1: si X1 ∼ E(λ), on a Eλ[X1] = 1/λ.Donc λ = F1(Eλ[X1]) avec F1(u) = 1/u pour u > 0.F1 continue sur R∗+ ⇒ Théorème s’appliqueApplication 2: si X1 ∼ E(λ), on a Varλ(X1) = 1/λ2.Donc λ = F2(Varλ(X1)) avec F2(u) = 1/u1/2 pour u > 0.F2 continue sur R∗+ ⇒ Théorème s’applique


Exemple (2)

Conclusion: on a exhibé deux estimateurs f.c. de λ:

λ(1)n =

1Xn, et λ(1)

n =1Sn

Application numérique: λ(1)n (ω) = 0.96 et λ(2)

n (ω) = 1.01

Question: Comment choisir entre ces deux estimateurs?→ nécessité d’autres critères de choix.

Remarque: on peut montrer que Eλ[λ(1)n ] = n

n−1λ ⇒ b(1)n (λ) = λ

n−1Donc λ(1)

n est asymptotiquement sans biais.De plus λ(3)

n = n−1n λ(1)

n est un estimateur f.c.s.b de λ.


Plan

1 Introduction


3 Définitions




Vraisemblance

DéfinitionSoit (X1, . . . ,Xn) un n-échantillon de loi µθ; θ ∈ Θ.On suppose X1 ∈ E, et soit (x1, . . . , xn) ∈ E n.Si X1 est une variable aléatoire discrète, on pose

Lθ(x1, . . . , xn) =n∏

i=1Pθ(Xi = xi).

Lorsque X1 admet une densité fθ, on pose

Lθ(x1, . . . , xn) =n∏

i=1fθ(xi).

La fonction Lθ se nomme vraisemblance de l’échantillon (x1, . . . , xn).


Log-vraisemblance

DéfinitionSoit (X1, . . . ,Xn) un n-échantillon de loi µθ; θ ∈ Θ.On suppose X1 ∈ E, et soit (x1, . . . , xn) ∈ E n.Soit Lθ la vraisemblance de l’échantillon (x1, . . . , xn).On pose

`θ(x1, . . . , xn) = ln (Lθ(x1, . . . , xn)) .

La fonction `θ se nomme log-vraisemblance de l’échantillon(x1, . . . , xn).


Exemple: loi de BernoulliLoi: on a E = 0, 1 et pour p ∈]0, 1[, x ∈ E

P(X = x) = px (1− p)1−x

Vraisemblance: on obtient Lp : E n → [0, 1] avec

Lp(x1, . . . , xn) =n∏

i=1pxi (1− p)1−xi = p

∑ni=1 xi (1− p)

∑ni=1(1−xi ).

Log-vraisemblance: on obtient `p : E n → R− avec

`p(x1, . . . , xn) = ln(

p1− p

) n∑i=1

xi + n ln(1− p).


Log-vraisemblance des lois usuelles

Loi P(λ):

`λ(x1, . . . , xn) = −n∑

i=1ln(xi !) + ln(λ)

n∑i=1

xi − n λ.

Loi E(λ):`λ(x1, . . . , xn) = −λ

n∑i=1

xi + n ln(λ).

Loi N (µ, σ2):

`λ(x1, . . . , xn) = −n2 ln(2πσ2)−

∑ni=1(xi − µ)2

2σ2 .


Intuition du maximum de vraisemblance

Remarque: de manière générale, Lθ(x1, . . . , xn) représente→ la proba d’obtenir l’échantillon (x1, . . . , xn) sous la loi Pθ.

Idée: Choisir θ rendant l’échantillon (x1, . . . , xn) le plus probable.

Traduction: On choisit θ = θ∗ maximisant

L(x1, . . . , xn) : Θ → R+

θ 7→ Lθ(x1, . . . , xn)


EMV: définition

DéfinitionSoit un modèle d’échantillonnage de loi µθ; θ ∈ Θ.On dit que θ est unestimateur du maximum de vraisemblance (EMV) si

Lθ(x1, . . . , xn) = supθ∈Θ

Lθ(x1, . . . , xn).


EMV: caractérisation

PropositionSoit un modèle d’échantillonnage de loi µθ; θ ∈ Θ.Pour tout (x1, . . . , xn) ∈ E n, supposonsL(x1, . . . , xn) : Θ→ R+ différentiable et > 0.Soit θ l’EMV de θ. Alors

∂`θ∂θ

(x1, . . . , xn) = 0.


Démonstration(i) θ 7→ Lθ(x1, . . . , xn) différentiable.⇒ l’EMV satisfait

∂θLθ(x1, . . . , xn) = 0.

(ii) Si de plus Lθ(x1, . . . , xn) est > 0, on a

∂θ`θ(x1, . . . , xn) =∂θLθ(x1, . . . , xn)

Lθ(x1, . . . , xn).

Donc

∂θ`θ(x1, . . . , xn) = 0 ⇔ ∂θLθ(x1, . . . , xn) = 0,

et l’EMV satisfait∂θ`θ(x1, . . . , xn) = 0.


EMV pour les lois usuelles (1)

Loi B(p):

`p(x1, . . . , xn) = ln(

p1− p

) n∑i=1

xi + n ln(1− p).

L’EMV est pn = Xn.

Loi P(λ):

`λ(x1, . . . , xn) = −n∑

i=1ln(xi !) + ln(λ)

n∑i=1

xi − n λ.

L’EMV est λn = Xn.


EMV pour les lois usuelles (2)Loi E(λ):

`λ(x1, . . . , xn) = −λn∑

i=1xi + n ln(λ).

L’EMV est λn = 1/Xn.

Loi N (µ, σ2):

`λ(x1, . . . , xn) = −n2 ln(2πσ2)−

∑ni=1(xi − µ)2

2σ2 .

Si σ2 est connue: L’EMV est µn = XnSi µ est connue: L’EMV est σ2

n = Σ2n = 1

n∑n

i=1(Xi − µ)2

Si µ, σ2 inconnus: L’EMV est (µn, σ2n) = (Xn, B2

n),avec B2

n = 1n∑n

i=1(Xi − Xn)2


Estimateurs pour les v.a. usuellesTableau récapitulatif:

Loi Méth. Moments EMVB(p) Xn XnP(λ) Xn ou S2

n XnE(λ) 1/Xn ou 1/Sn 1/XnN (µ, σ2), σ2 connue Xn XnN (µ, σ2), µ connue S2

n Σ2n

N (µ, σ2) (Xn, S2n ) (Xn,B2

n)

Remarque: l’EMV permet de choisir entre les estimateursdans le cas P(λ) ou E(λ)→ pour P(λ): Xn plutôt que S2

npour E(λ): 1/Xn plutôt que 1/Sn


statistiques: estimation ponctuellesamy.tindel/... · statistiques: estimationponctuelle samytindel...

Documents