notes de cours vecteurs al eatoires cha^ nes de...

Notes de coursVecteurs aleatoiresChaınes de Markov

Olivier Francois

Table des matieres

1 Couples et conditionnement 5

1.1 Couples de variables aleatoires . . . . . . . . . . . . . . . . . . . . . . . 5

1.1.1 Lois conjointes discretes . . . . . . . . . . . . . . . . . . . . . . 6

1.1.2 Couples de variables a densite . . . . . . . . . . . . . . . . . . . 7

1.1.3 Independance . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.1.4 Variables aleatoires independantes . . . . . . . . . . . . . . . . . 9

1.1.5 Sommes de variables aleatoires independantes . . . . . . . . . . 11

1.2 Changement de variables . . . . . . . . . . . . . . . . . . . . . . . . . . 13

1.3 Lois conditionnelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

1.3.1 Cas discret . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

1.3.2 Variables a densite . . . . . . . . . . . . . . . . . . . . . . . . . 16

1.3.3 Autres cas de lois conditionnelles . . . . . . . . . . . . . . . . . 17

1.3.4 Esperance conditionnelle . . . . . . . . . . . . . . . . . . . . . . 19

1.3.5 Calcul d’esperance par conditionnement . . . . . . . . . . . . . 20

1.3.6 Calcul de probabilite par conditionnement . . . . . . . . . . . . 22

1.3.7 Esperance conditionnelle et prediction . . . . . . . . . . . . . . 23

1.4 Simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

1.4.1 Couples de variables . . . . . . . . . . . . . . . . . . . . . . . . 25

1.4.2 Methodes de conditionnement . . . . . . . . . . . . . . . . . . . 26

1.4.3 Methode de rejet . . . . . . . . . . . . . . . . . . . . . . . . . . 27

2 Vecteurs aleatoires - Vecteurs gaussiens 29

2.1 Vecteurs aleatoires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

2.1.1 Loi d’un vecteur aleatoire . . . . . . . . . . . . . . . . . . . . . 29

2.1.2 Matrice de covariance . . . . . . . . . . . . . . . . . . . . . . . . 30

2.1.3 Changement de variables . . . . . . . . . . . . . . . . . . . . . . 33

2.1.4 Fonctions caracteristiques . . . . . . . . . . . . . . . . . . . . . 34

2.2 Vecteurs gaussiens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

2.2.1 Caracterisation des vecteurs gaussiens . . . . . . . . . . . . . . . 36

2.2.2 Proprietes des vecteurs gaussiens . . . . . . . . . . . . . . . . . 37

2.3 Le theoreme de Fisher . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

2.3.1 Lois conditionnelles. Prediction lineaire affine . . . . . . . . . . 42

2.3.2 Simulation de variables gaussiennes . . . . . . . . . . . . . . . . 43

3

4 TABLE DES MATIERES

3 Introduction aux processus aleatoires 473.1 Chaınes de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

3.1.1 Processus a temps discret. Definitions . . . . . . . . . . . . . . . 473.1.2 Equations de Chapman-Kolmogorov . . . . . . . . . . . . . . . 493.1.3 Comportement asymptotique . . . . . . . . . . . . . . . . . . . 513.1.4 La ruine du joueur . . . . . . . . . . . . . . . . . . . . . . . . . 563.1.5 Le temps de sortie du rat . . . . . . . . . . . . . . . . . . . . . 57

3.2 Loi exponentielle et processus de Poisson . . . . . . . . . . . . . . . . . 583.2.1 Loi exponentielle . . . . . . . . . . . . . . . . . . . . . . . . . . 593.2.2 Absence de memoire . . . . . . . . . . . . . . . . . . . . . . . . 60

3.3 Processus de comptage . . . . . . . . . . . . . . . . . . . . . . . . . . . 623.4 Processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

3.4.1 Durees inter-occurrences et instants d’arrivee . . . . . . . . . . . 65

Chapitre 1

Couples et conditionnement

1.1 Couples de variables aleatoires

Nous etudions dans ce chapitre la loi conjointe d’un couple (X, Y ) de variablesaleatoires a valeurs reelles. Il s’agit d’une mesure de probabilite sur IR2 muni de satribu de Borel B(IR2). Nous notons cette mesure P(X,Y ) et nous la definissons de lamaniere suivante

∀B ∈ B(IR2) , P(X,Y )(B) = P( (X, Y ) ∈ B ) .

D’apres le theoreme de prolongement, cette mesure de probabilite se caracterise parsa fonction de repartition que nous appelerons fonction de repartition conjointe desvariables X et Y

∀s, t ∈ IR , F (s, t) = P(X ≤ s ; Y ≤ t) .

La loi de chacune des variables du couple peut se deduire de la fonction de repartitionconjointe. Par exemple, la fonction de repartition de la variable X se calcule de lamaniere suivante

FX(s) = P(X ≤ s)

= P(∪n∈IN(X ≤ s ; Y ≤ n))

= limn→∞

P(X ≤ s ; Y ≤ n)

= limn→∞

F (s, n) .

De la meme maniere, nous avons

∀s ∈ IR , FX(s) = limt→∞

F (s, t)

ou la limite est prise pour t reel. Les lois de chacune des variables X et Y s’appellentles lois marginales du couple (X, Y ).

Definition 1.1.1 Soit (X, Y ) un couple de variables aleatoires reelles positives ouintegrables. On definit l’esperance mathematique du couple (X, Y ) comme le couple

(m1,m2) = (E[X], E[Y ]) .

5

6 CHAPITRE 1. COUPLES ET CONDITIONNEMENT

Considerons maintenant une fonction mesurable ϕ definie de IR2 dans IR et lavariable Z = ϕ(X, Y ) supposee integrable (E[|Z|] < ∞). Alors, le theoreme de lamesure image conduit au resultat suivant

E[Z] = E[ϕ(X, Y )] =∫IR2 ϕ(x, y)dP(X,Y )(x, y) .

1.1.1 Lois conjointes discretes

Dans le cas ou X et Y sont des variables aleatoires discretes, a valeurs dans IN parexemple, il est commode de definir la fonction p suivante

∀k, l ∈ IN , p(k, l) = P(X = k ; Y = l) .

Dans ce cas, la fonction p est assimilee a la loi conjointe des variables X et Y etcaracterise cette loi. On retrouve la loi marginale de la variable X en sommant surtoutes les valeurs prises par Y

∀k ≥ 0 , P(X = k) =∑l≥0

p(k, l) .

Les variables X et Y sont independantes si et seulement si

∀k, l ≥ 0 , P(X = k ; Y = l) = P(X = k)P(Y = l) .

En d’autres termes, la loi du couple se factorise.

Exemple 1.1.1 Une urne contient r boules dont r1 sont blanches et r2 sont noires(r1 + r2 = r). On effectue n tirages successifs en replacant a chaque fois la boule tireedans l’urne. A l’issue des n tirages, on note X le nombre de boules blanches et Y lenombre de boules noires. Determiner la loi conjointe du couple (X, Y ) et les lois de Xet Y .

Solution. Pour tout k, l positifs tels que k + l = n,

P(X = k , Y = l) =(k + l)!

k!l!(r1

r)k(

r2

r)l .

On verifie facilement que la loi (marginale) de X est donnee par

∀k = 0, . . . , n , P(X = k) = P(X = k , Y = n− k) = Ckn p

k1(1− p1)n−k

ou p1 = r1r

. La variable X suit la loi B(n, p1). Par symetrie, la variable Y suit la loiB(n, p2) ou p2 = r2

r.

1.1. COUPLES DE VARIABLES ALEATOIRES 7

1.1.2 Couples de variables a densite

Definition 1.1.2 Soit f une fonction mesurable de IR2 dans IR+ telle que∫ ∫IR2 f(x, y)dxdy = 1 .

Le couple de variables aleatoires reelles (X, Y ) admet f pour densite si

∀C ∈ B(IR2) , P(X,Y )(C) =∫ ∫

Cf(x, y)dxdy .

Par la suite, nous considerons des fonctions densite continues (sauf peut-etre sur unensemble de mesure de Lebesgue nulle). Supposons que C soit le produit cartesien dedeux sous-ensembles A et B boreliens de IR. On obtient par le theoreme de Fubini

P(X ∈ A ; Y ∈ B) =∫B

(∫Af(x, y)dx

)dy .

La fonction de repartition d’un couple de densite f est donc

F (s, t) = P(X ≤ s ; Y ≤ t) =∫ t

−∞

∫ s

−∞f(x, y)dx dy .

Reciproquement, si F est donnee, il suffit de deriver (lorsque c’est possible) pour obtenir

f(x, y) =∂2F

∂s∂t(x, y) .

Commentaires. Il est possible de donner une idee intuitive (parfois utile pour cer-tains calculs) de la notion de densite conjointe. On peut verifier en effet que

P(X ∈ (x, x+ dx) ; Y ∈ (y, y + dy)) ' f(x, y)dxdy

a condition que dx et dy soient petits et que f soit continue au point (x, y).

Lorsque (X, Y ) est un couple de variables aleatoires de densite f , chacune desvariables X et Y admettent des densites que l’on appelle densites marginales. Onobtient les densites marginales de X et de Y de la maniere suivante

∀A ∈ B(IR) , P(X ∈ A) = P(X ∈ A ; Y ∈ IR)

=∫A

(∫IRf(x, y)dy

)dx

=∫AfX(x)dx .

Par consequent, nous avons

fX(x) =∫IRf(x, y)dy .

Par symetrie des roles de x et de y, on obtient

fY (y) =∫IRf(x, y)dx .

Nous terminons ce paragraphe par quelques exemples.


Exemple 1.1.2 Soit (X, Y ) un couple de variables aleatoires dont la densite conjointeest donnee par

f(x, y) =

2e−xe−2y x ∈ IR+ , y ∈ IR+ ,

0 sinon.

Quelle est la loi marginale de la variable X ? Calculer la probabilite de l’evenement(X < Y ).

Solution. On verifie que

∀s ≥ 0 , P(X ≤ s) =∫ s

0

∫ ∞0

2e−xe−2ydydx = 1− e−s .

Ainsi, la loi marginale de la variable X est la loi exponentielle E(1). Il est possible decalculer la probabilite de differents evenements faisant intervenir les variables X et Y .Par exemple

P(X < Y ) =∫ ∫

(x<y)f(x, y)dxdy =

∫ ∞0

(∫ y

02e−xe−2ydx

)dy = 1/3 .

Exemple 1.1.3 Loi uniforme sur le disque unite On considere un disque derayon 1 et on choisit un point au hasard dans ce disque. La distribution de la posi-tion de ce point sera dite uniforme. Les variables X et Y representent les coordonneescartesiennes du point choisi. Nous cherchons l’expression de la densite du couple (X, Y )et celles des densites des lois marginales.

Solution. Puisque la distribution des points dans le disque est uniforme, la densitedu couple (X, Y ) doit etre constante sur le disque

f(x, y) =

c si x2 + y2 ≤ 1 ,0 sinon.

Or, ∫IR

∫IRf(x, y)dxdy = 1 .

Doncc∫ ∫

(x2+y2≤1)dxdy = 1 .

Cette derniere integrale est egale a l’aire du disque. Ainsi, nous avons

c =1

π.

Connaissant la densite marginale de X, celle de Y s’obtient par symetrie des roles dex et y. Detaillons ce calcul pour la marginale en X. Soit |x| ≤ 1,

fX(x) =∫IRf(x, y)dy


=1

π

∫(x2+y2≤1)

dy

=1

π

∫ +√

1−x2

−√

1−x2dy

=2

π

√1− x2

Lorsque |x| ≥ 1, la densite de la variable X est nulle. Nous avons donc

∀x ∈ IR , fX(x) =2

π

√1− x211[−1,+1](x) .

Exemple 1.1.4 Supposons la densite conjointe de (X, Y ) donnee par

f(x, y) =

e−(x+y) x ∈ IR+ , y ∈ IR+ ,

0 sinon.

On souhaite determiner la loi de la variable X/Y .

Solution. Cherchons tout d’abord la fonction de repartition de X/Y . Pour t ≥ 0,

FX/Y (t) = P(X/Y ≤ t)

= P((X, Y ) ∈ (x, y) ; x/y ≤ t)

=∫ ∫

(x/y≤t)e−(x+y)dxdy

=∫ ∞

0

(∫ ty

0e−(x+y)dx

)dy

=∫ ∞

0(1− e−ty)e−ydy

= 1− 1/(t+ 1) .

On obtient la densite de X/Y par derivation

fX/Y (x) =1

(x+ 1)211IR+

(x) .

1.1.3 Independance

1.1.4 Variables aleatoires independantes

Lors du chapitre precedent, nous avons defini la notion de variables independantes.Regardons maintenant quelle est la consequence de cette definition sur la densiteconjointe d’un couple de variables independantes. Soit (X, Y ) un couple de variables


aleatoires reelles de densite conjointe f . Elles sont independantes si pour tous boreliensA et B de B(IR), on a

P(X ∈ A ; Y ∈ B) = P(X ∈ A)P(Y ∈ B) .

En s’appuyant sur le theoreme de prolongement, cette propriete est equivalente a

∀s, t ∈ IR , F (s, t) = P(X ≤ s ; Y ≤ t) = P(X ≤ s) P(Y ≤ t) = FX(s)FY (t) .

En derivant par rapport a chacune des variables, on obtient

f(x, y) = fX(x)fY (y)

ou fX et fY sont les densites marginales des variables X et Y . Autrement dit, la densitedu couple (X, Y ) se factorise. Nous venons d’etablir la proposition suivante.

Proposition 1.1.1 Soit (X, Y ) un couple de densite f . Les variables X et Y sontindependantes si et seulement si

f(x, y) = fX(x)fY (y) .

Voici des exemples de calculs effectues avec des variables independantes.

Exemple 1.1.5 Deux personnes se donnent un rendez-vous. L’heure d’arrivee de cesdeux personnes est une variable aleatoire uniforme repartie sur l’intervalle (20h, 21h).Ces deux variables sont independantes. Quelle est la probabilite pour que la premierepersonne arrivee attende plus de 10 minutes ?

Solution. Designons par X et Y les deux variables correspondant aux dates d’arriveede chacun des individus, exprimees en minutes. Il s’agit de deux variables independantesde loi U(0, 60). La probabilite cherchee est

P(X + 10 < Y ) + P(Y + 10 < X) = 2P(X + 10 < Y ) .

On obtient alors

2 P(X + 10 < Y ) = 2∫ ∫

x+10<yf(x, y)dxdy

= 2∫ ∫

(x+10<y)fX(x)fY (y)dxdy

= 2∫ 60

10

∫ y−10

0(

1

60)2dxdy

=25

36.

L’exemple qui suit est l’un des plus anciens problemes de probabilite en relation avecla geometrie.


Exemple 1.1.6 Probleme de Buffon. Sur une table, on trace des lignes parallelesespacees d’un ecart D les unes des autres. On y jette une aiguille de longueur L, avecL ≤ D. Quelle est la probabilite que l’aiguille coupe une ligne ? (L’alternative est quel’aiguille soit completement situee dans l’une des bandes delimitee par les lignes.)

Solution. On repere la position de l’aiguille grace aux coordonnees X et Θ suivantes.La variable X represente la distance entre le milieu de l’aiguille et la parallele la plusproche. L’angle Θ est l’angle forme entre l’aiguille et une perpendiculaire aux lignes.L’aiguille chevauchera une parallele si

X

cos Θ<L

2

ou

X <L

2cos Θ .

La variable X varie entre 0 et D/2 tandis que Θ varie entre 0 et π/2. Les variables Xet Θ sont des variables independantes de loi uniforme. Aussi aura-t-on

P(X <L

2cos Θ) =

∫ ∫(x<L

2cos θ)

fX(x)fΘ(θ)dxdθ

=4

πD

∫ π/2

0

∫ L/2 cos θ

0dxdθ

=4

πD

∫ π/2

0

L

2cos θdθ

=2L

πD

Application : Calcul de π. L’exemple precedent permet d’imaginer une methodede calcul de π faisant intervenir la loi des grands nombres. On repete n fois le jet del’aiguille sur la table de maniere a ce que l’independance soit garantie. Apres chaquejet, on compte le nombre N de fois ou l’aiguille coupe une ligne parallele. D’apres laloi des grands nombres, on peut considerer que la frequence empirique N/n convergevers 2L

πD. Ce resultat sera precise par la loi forte des grands nombres dans le chapitre

sur la convergence.

1.1.5 Sommes de variables aleatoires independantes

Soit (X, Y ) un couple de variables aleatoires independantes de densite conjointe f .Nous avons donc

∀(x, y) ∈ IR2 , f(x, y) = fX(x)fY (y) .

Nous souhaitons determiner la densite de la variable X + Y . Cherchons a calculer lafonction de repartition de X + Y

∀t ∈ IR , FX+Y (t) = P(X + Y ≤ t)


=∫ ∫

(x+y≤t)fX(x)fY (y)dxdy

=∫IR

(∫ t−y

−∞fX(x)fY (y)dx

)dy

=∫IRFX(t− y)fY (y)dy (1.1)

La fonction FX+Y obtenue dans l’equation (1.1) est appelee produit de convolution desfonctions FX et fY . La densite de la variable X + Y est obtenue comme produit deconvolution des densites marginales fX et fY . Ceci s’obtient par derivation

∀x ∈ IR , fX+Y (x) =d

dt

∫IRFX(t− y)fY (y)dy |t=x

=∫IR

d

dtFX(t− y)|t=xfY (y)dy

=∫IRfX(x− y)fY (y)dy

Application. La densite d’une variable de loi Gamma de parametre a > 0 et λ > 0notee G(a, λ) est de la forme

∀x ∈ IR , f(x) =λ

Γ(a)e−λx(λx)a−111IR+

(x)

ou Γ(a) est une constante qui s’obtient par integration

Γ(a) =∫ ∞

0λae−λxxa−1dx .

Pour n ≥ 1, nous avons Γ(n) = (n − 1)!. De plus Γ(12) =

√π et pour tout a > 0,

Γ(a+ 1) = aΓ(a).

Proposition 1.1.2 Si X et Y sont deux variables independantes de loi Gamma deparametres respectifs (a, λ) et (b, λ), a, b > 0, alors X + Y sera egalement une variablede loi Gamma avec pour parametres (a+ b, λ).

Commentaires. La famille des lois Gamma possede une propriete d’additivite lors-que λ est constant. On dit, pour λ constant, que la famille est stable par le produit deconvolution.

Demonstration. On utilise le produit de convolution obtenu ci-dessus. Soit x > 0,nous avons

fX+Y (x) =1

Γ(a)Γ(b)

∫ x

0λe−λ(x−y)(λ(x− y))b−1λe−λy(λy)a−1dy

= C(λ, a, b) e−λx∫ x

0(x− y)b−1ya−1dy .

1.2. CHANGEMENT DE VARIABLES 13

En posant z = y/x, on obtient

∀x ∈ IR , fX+Y (x) = K(λ, a, b)e−λxxa+b−1 .

La valeur de la constante K ne depend pas de x. De plus, cette derniere expression estcelle d’une densite. Son integration devra donner 1. Nous avons donc necessairement

K(λ, a, b) =λa+b

Γ(a+ b)et fX+Y (x) =

λ

Γ(a+ b)e−λx(λx)a+b−111IR+

(x) .

Exercice. Determiner la loi de la somme de n variables independantes de loi ex-ponentielle de parametre 1.

Commentaires. Bien entendu, il peut etre interessant du point de vue calculatoired’utiliser les fonctions caracteristiques pour determiner la loi de la somme de deuxvariables independantes (cf. proposition 4.5.4).

1.2 Changement de variables

Considerons un couple de variables aleatoires reelles (X, Y ) de densite conjointef(X,Y ). On appelera support de f(X,Y ) le domaine D, que l’on suppose ouvert, defini par

D = (x, y) ∈ IR2 ; f(X,Y )(x, y) > 0 .

On s’interesse a la densite conjointe du couple (Z, T ) obtenu par une transformationnotee ϕ(X, Y ) ou

∀(x, y) ∈ D , ϕ(x, y) =

z = ϕ1(x, y)t = ϕ2(x, y) .

Nous supposerons que ϕ est bijective de D sur son image ϕ(D) et nous noterons soninverse de la maniere suivante

∀(z, t) ∈ ϕ(D) , ϕ−1(z, t) =

x = ϕ−1

1 (z, t)y = ϕ−1

2 (z, t) .

Nous supposerons de plus ϕ et ϕ−1 de classe C1, et nous notons

Jac(ϕ)(x, y) =

∣∣∣∣∣∂ϕ1

∂x∂ϕ1

∂y∂ϕ2

∂x∂ϕ2

∂y

∣∣∣∣∣le determinant de la matrice des derivees partielles (il ne s’annule pas sur le support D).

Proposition 1.2.1 La densite du couple (Z, T ) est donnee par la formule suivante

∀(z, t) ∈ ϕ(D) , f(Z,T )(z, t) = |Jac(ϕ−1)(z, t)|f(X,Y )(ϕ−1(z, t)) . (1.2)


Commentaires. Le point delicat dans l’application de ce resultat reside souventdans la determination du domaine ϕ(D). En general, on pourra determiner ∆ = ϕ(D)en fixant un ∆ a priori puis en montrant les inclusions ϕ(D) ⊂ ∆ et ϕ−1(∆) ⊂ D.

Exemple 1.2.1 On cherche a exprimer la densite du coupleZ = X + YT = X − Y

en fonction de la densite f(X,Y ) du couple (X, Y ).

Solution. Ici, nous avons ϕ(IR2) = IR2. On verifie que le jacobien du changement devariable (lineaire) est non nul

Jac(ϕ) =

∣∣∣∣∣ 1 11 −1

∣∣∣∣∣ = −2 .

La formule (1.2) s’applique donc et nous obtenons

∀z, t ∈ IR , f(Z,T )(z, t) =1

2f(X,Y )

(z + t

2,z − t

2

).

Dans le cas ou X et Y sont de loi normale centree reduite N (0, 1) et independantes,on a

∀z, t ∈ IR , f(Z,T )(z, t) =1

4πe−((z+t)2/8+(z−t)2/8)

=1

4πe−(z2+t2)/4

=1√4πe−t

2/4 1√4πe−z

2/4 .

On decouvre ainsi, un resultat secondaire : les variables X +Y et X−Y sont indepen-dantes, de loi N (0, 2). Dans le chapitre 6, nous nous consacrerons plus largement auxvariables gaussiennes et nous retrouverons ce resultat facilement.

Exemple 1.2.2 Coordonnees polaires. Soit (X, Y ) un couple de variables de loiuniforme sur le disque unite

D = (x, y) ∈ IR2 ; x2 + y2 < 1 .

La densite de ce couple s’exprime de la maniere suivante

f(x, y) =

1π

si (x, y) ∈ D0 sinon.

Soit (R,Θ) le couple de coordonnees polaires definies parX = R cos ΘY = R sin Θ .

On cherche a exprimer la densite du couple (R,Θ).

1.3. LOIS CONDITIONNELLES 15

Solution. Remarquons tout d’abord que l’on ne change pas la loi du couple (X, Y )en enlevant au domaine D le segment [0, 1[×0 qui est de probabilite nulle. On cherchea verifier les hypotheses du theoreme (1.2.1) par inversion locale. Les ensembles D et∆ doivent etre ouverts. On considere le changement de variable ϕ defini de la manieresuivante

ϕ :D \ [0, 1[×0 −→ ]0, 1[×]0, 2π[

(x, y) −→ (r, θ)

ou

ϕ−1 :]0, 1[×]0, 2π[ −→ D \ [0, 1[×0

(r, θ) −→ (x = r cos θ, y = r sin θ) .

Nous avons

Jac(ϕ−1)(r, θ) =

∣∣∣∣∣ cos θ −r sin θsin θ r cos θ

∣∣∣∣∣et donc

Jac(ϕ−1)(r, θ) = r .

D’apres le theoreme (1.2.1), nous avons

f(R,Θ)(r, θ) =r

π11]0,1[×]0,2π[(r, θ) = 2r11]0,1[(r)

1

2π11]0,2π[(θ) .

Lorsque l’on tire un point au hasard dans le disque unite, le rayon et l’angle sontindependants. De plus, la variable Θ suit la loi U(0, 2π) et R admet pour densite

∀r ∈ IR , fR(r) = 2r11]0,1[(r) .

1.3 Lois conditionnelles

Nous avons souvent besoin de calculer des probabilites ou des esperances lorsque desinformations partielles sont disponibles. Dans ce cas, les grandeurs recherchees sont desprobabilites ou des esperances conditionnelles. De plus, il peut s’averer extremementutile pour faire des calculs en probabilite de conditionner selon une variable aleatoireappropriee.

1.3.1 Cas discret

Soient X et Y deux variables a valeurs dans IN. On se souvient que, pour toutepaire d’evenements A et B, la probabilite de A sachant B realise est

P(A|B) =P(A ∩B)

P(B),


pourvu que P(B) > 0. Il est naturel de definir la loi de probabilite conditionnelle de lavariable X sachant Y = l par

∀k ∈ IN , pY=lX (k) = P(X = k|Y = l)

=p(k, l)

pY (l)si pY (l) > 0.

Exemple 1.3.1 Soient X et Y deux variables independantes de loi de Poisson deparametres respectifsλ et µ. Alors, la loi conditionnelle de la variable X sachant X +Y = n est la loi binomiale de parametres n et λ/(λ+ µ).

Solution. Cette loi s’obtient ainsi

∀k = 0, . . . n , P(X = k | X + Y = n) =P(X = k , Y = n− k)

P(X + Y = n)

=P(X = k) P(Y = n− k)

P(X + Y = n)

La somme de deux variables de Poisson independantes est encore une variable de Pois-son dont le parametre est egal a la somme des parametres. L’expression precedentedevient donc

P(X = k | X + Y = n) =e−λλk

k!

e−µµn−k

(n− k)!

n!

e−(λ+µ) (λ+ µ)n

= Ckn(

λ

µ+ λ)k(

µ

µ+ λ)n−k .

1.3.2 Variables a densite

Definition 1.3.1 Soit (X, Y ) un couple de variables aleatoires de densite conjointe f .On definit la densite conditionnelle de X sachant Y = y lorsque fY (y) > 0 par larelation

∀x ∈ IR , fY=yX (x) =

f(x, y)

fY (y).

Cette definition se calque sur le cas discret. On peut toutefois lui trouver une justi-fication intuitive par le raisonnement heuristique suivant. Multiplions le membre degauche par dx et le membre de droite par dxdy/dy pour obtenir

fY=yX (x)dx =

f(x, y)dxdy

fY (y)dy

' P(x ≤ X ≤ x+ dx ; y ≤ Y ≤ y + dy)

P(y ≤ Y ≤ y + dy)

= P(x ≤ X ≤ x+ dx | y ≤ Y ≤ y + dy) .


En d’autre termes, lorsque dx et dy sont suffisamment petits, la quantite fY=yX (x)dx

represente la probabilite conditionnelle que X se trouve entre x et x+ dx sachant queY est entre y et y + dy.

Pour tout B ∈ B(IR) (“relatif” a X), on aura par definition

P(X ∈ B|Y = y) =∫BfY=yX (x)dx .

Il faut noter que les notions qui viennent d’etre presentees permettent le calcul deprobabilites conditionnelles meme dans le cas ou la probabilite de la condition Y = yest nulle...

Exemple 1.3.2 Soit D le domaine defini par

D = 0 < x < 1 , 0 < y < 1

et (X, Y ) un couple de densite

f(x, y) =

125x(2− x− y) si (x, y) ∈ D

0 sinon.

On cherche la loi conditionnelle de la variable X, sachant Y = y, 0 < y < 1.

Solution. On a, pour tout 0 < x < 1

fY=yX (x) =

x(2− x− y)∫ 10 x(2− x− y)dx

=6x(2− x− y)

4− 3y.

1.3.3 Autres cas de lois conditionnelles

Definition 1.3.2 On definit la loi conditionnelle de la variable X sachant l’evenementA realise par la relation

∀B ∈ B(IR) , P(X ∈ B | A) =P((X ∈ B) ∩ A)

P(A).

Lorsque cette loi admet une densite, on la note fA et on a

∀B ∈ B(IR) , P(X ∈ B | A) =∫BfA(x)dx .


Commentaires. Nous venons en fait de definir la conditionnelle de X sachant (11A =1). On peut donc parler de distribution conditionnelle meme lorsque les deux variablesmises en jeu ne possedent pas de densite conjointe ou ne sont pas toutes deux discretes.

Imaginons le cas de deux variables l’une notee X de densite f et l’autre discretenotee N . On s’interesse a la densite conditionnelle de X sous la condition N = n. Toutd’abord pour h > 0,

P(x < X < x+ h | N = n)

h=

P(N = n | x < X < x+ h)

P(N = n)

P(x < X < x+ h)

h.

Lorsque h→ 0, on peut ecrire

limh→0

P(x < X < x+ h | N = n)

h=

P(N = n | X = x)

P(N = n)f(x) .

ou nous avons defini

P(N = n | X = x) = limh→0

P(N = n | x ≤ X < x+ h) .

Ainsi, nous avons

Definition 1.3.3 Soit X une variable aleatoire reelle admettant pour densite f et Nune variable aleatoire entiere. La densite conditionnelle de X sachant (N = n) estdefinie par

∀x ∈ IR , fN=nX (x) =

P(N = n | X = x)

P(N = n)f(x) .

Commentaires. Bien entendu, lorsque N est egale a la variable de Bernoulli 11Apour un evenement A ∈ A, nous retrouvons la definition precedente.

Exemple 1.3.3 On considere une suite de m+n epreuves de Bernoulli independantesidentiques. Leur probabilite de succes est aleatoire et distribuee de maniere uniformesur l’intervalle (0, 1). Que devient cette distribution si l’on sait que l’on a exactementn succes et m echecs ?

Solution. Designons par U la probabilite de succes associee a une epreuve donnee.Sachant U = u, le nombre N de succes suit la loi binomiale de B(n+m,u). La densiteconditionnelle de U , sachant (N = n) est donc

fN=nU (u) =

P(N = n | U = u)

P(N = n)fU(u)

= K(n,m)un(1− u)m 0 < u < 1

ou K(n,m) est une constante que l’on obtient par integration

1/K(n,m) =∫ 1

0un(1− u)mdu

La loi conditionnelle est donc la loi beta β(1 + n, 1 +m).


1.3.4 Esperance conditionnelle

Definition 1.3.4 Soient M et N deux variables aleatoires a valeurs dans IN et n unentier tel que P(N = n) > 0. On appelle esperance conditionnelle de M sachant N = nla grandeur

E[M |N = n] =∑m≥0

mP(M = m | N = n) .

On constate que l’esperance conditionnelle de M sachant N = n n’est autre quel’esperance de M prise par rapport a la mesure de probabilite conditionnelle P( . | N =n). Dans le cas de variables a densite, la definition est la suivante.

Definition 1.3.5 Soit (X, Y ) un couple de variables aleatoires reelles admettant unedensite et y un reel tel que fY (y) > 0. On appelle esperance conditionnelle de X sachantY = y la grandeur

E[X|Y = y] =∫IRxfY=y

X (x)dx .

Exemple 1.3.4 Supposons que la densite du couple (X, Y ) soit donnee par

∀(x, y) ∈ IR2 , f(x, y) =1

yexp(−y − x/y)11IR+×IR+

(x, y) .

On souhaite calculer E[X|Y = y].

Solution. Calculons tout d’abord la densite conditionnelle

∀x ≥ 0 , fY=yX (x) =

f(x, y)∫IR+

f(x, y)dx

=1

ye−x/y .

Cette loi conditionnelle est donc la loi exponentielle de parametre 1/y. Nous avonsdonc

E[X|Y = y] =∫ ∞

0xfY=y

X (x)dx = y .

Definition 1.3.6 Soit (X, Y ) un couple de variables aleatoires a valeurs dans IR2. Onappelle esperance conditionnelle de X sachant Y et on note E[X|Y ] la composition dela fonction

y −→ E[X|Y = y]

et de la variable Y .

Attention ! L’esperance conditionnelleE[X|Y ] est une variable aleatoire a la differencede l’esperance conditionnelle sachant Y = y qui est deterministe. Ainsi, dans l’exempleprecedent, nous avons

E[X|Y ] = Y .


1.3.5 Calcul d’esperance par conditionnement

Le resultat qui suit enonce une propriete fondamentale de l’esperance conditionnelle.

Theoreme 1.3.1E[X] = E[E[X|Y ]]

Commentaires. Lorsque Y est une variable discrete, ce theoreme signifie que

E[X] =∑n∈IN

E[X|Y = n]P(Y = n) .

Tandis que lorsque Y est continue, le theoreme signifie

E[X] =∫IRE[X|Y = y]fY (y)dy .

Demonstration. On suppose pour cette demonstration que X et Y sont des va-riables discretes. Nous avons donc,∑

n∈INE[X|Y = n]P(Y = n) =

∑n∈IN

∑k∈IN

kP(X = k | Y = n)P(Y = n)

=∑n∈IN

∑k∈IN

kP(X = k ; Y = n)

=∑k∈IN

k∑n∈IN

P(X = k ; Y = n)

=∑k∈IN

kP(X = k) = E[X] .

Exemple 1.3.5 Reprenons l’exemple (1.3.4). Rappelons que nous avons

∀y ∈ IR+ E[X|Y = y] = y .

Nous cherchons a calculer E[X].

Solution. D’apres le theoreme (1.3.1), nous avons

E[X] =∫IRE[X|Y = y]fY (y)dy

=∫IR+

yfY (y)dy = E[Y ]

=∫IR+

e−y∫IR+

e−x/ydxdy = 1 .

Commentaires. Bien entendu, on peut etablir ce resultat directement a partir dela loi marginale de X. Toutefois, il est important d’avoir a l’esprit la methode deconditionnement car souvent les lois marginales s’expriment difficilement. Voici unautre exemple significatif.


Exemple 1.3.6 Un rat se trouve dans un labyrinthe face a deux portes. Il choisit lapremiere de ces deux portes avec probabilite 1

3et la deuxieme avec probabilite 2

3. Quand il

choisit la premiere porte, il revient a son point de depart en une minute. Quand il choisitla deuxieme porte, il effectue un trajet d’une minute (jusqu’a un point intermediaire)puis rebrousse chemin avec probabilite 1

2(le retour lui prend alors une minute) ou sort

du labyrinthe en une minute. Tous les choix du rat se font independamment les unsdes autres. Soit T le temps passe par le rat dans le labyrinthe. Quelle est la valeur deE[T ].

Solution. la variable N represente le numero de la porte choisie. Nous avons

E[T ] = E[T |N = 1]1/3 + E[T |N = 2]2/3 .

et

E[T |N = 1] = 1 + E[T ]E[T |N = 2] = 1 + (E[T ] + 1)1/2 + 1/2

AinsiE[T ] = (1 + E[T ])/3 + (2 + E[T ]/2)2/3

soitE[T ] = 5 .

Pour formuler les equations (1.3), nous avons raisonne de la maniere suivante. Si lerat emprunte la porte 1, il fait un trajet d’une minute et revient au point de depart.Le temps qu’il doit passer dans le labyrinthe est alors le meme qu’a l’origine. Pour laporte 2, c’est a peine plus complique ...

Exemple 1.3.7 Esperance de la somme d’un nombre aleatoire de variablesaleatoires. Soit (Xn) une suite de variables reelles independantes de meme loi etN une variable a valeurs dans IN independante de la suite (Xn). On souhaite calculerl’esperance

E[N∑i=1

Xi] .

Solution. On utilise le theoreme (1.3.1), en conditionnant selon la variable N

E[N∑i=1

Xi] = E[E[N∑i=1

Xi | N ]]

=∑n∈IN

E[N∑i=1

Xi|N = n]P(N = n)

=∑n∈IN

E[n∑i=1

Xi]P(N = n) par independance

=∑n∈IN

nE[X1]P(N = n)

= E[X1]E[N ]


1.3.6 Calcul de probabilite par conditionnement

La technique utilisee pour calculer des esperances par conditionnement peut aussis’appliquer pour calculer des probabilites. Soit A un evenement quelconque et Y unevariable aleatoire reelle. Nous posons

∀ω ∈ Ω , X(ω) = 11A(ω)

ou 11A est la fonction indicatrice de A. Du theoreme 1.3.1 (valable en toute generalite),il vient

P(A) = E[11A] = E[E[11A | Y ]] =conv E[P(A|Y )] .

Ainsi, lorsque Y est discrete, nous avons

P(A) =∑n∈IN

E[11A|Y = n]P(Y = n) =∑n∈IN

P(A | Y = n)P(Y = n) .

Cette relation peut, par ailleurs, facilement se deduire de la formule des probabilitestotales (chapitre 2). Lorsque Y admet une densite, nous avons

P(A) =∫IR

P(A | Y = y)fY (y)dy

ou nous avons defini

P(A | Y = y) = limh→0

P(A | y ≤ Y < y + h) .

Exemple 1.3.8 Soient X et Y deux variables independantes et de densites fX et fY .On peut expliciter par conditionnement la loi de X + Y .

Solution. En conditionnant selon Y , on obtient, pour tout t ∈ IR,

P(X + Y < t) =∫IR

P(X + Y < t | Y = y)fY (y)dy

=∫IR

P(X + y < t | Y = y)fY (y)dy

=∫IR

P(X < t− y)fY (y)dy par independance,

=∫IRFX(t− y)fY (y)dy .

Exemple 1.3.9 Processus de branchement. Un processus de branchement de-crit l’evolution de la taille d’une population par generations successives. A la generation0, on suppose que la population est composee d’un unique individu. Cet individu estsusceptible de donner naissance a X0 descendants (X0 ∈ 0, 1, 2), selon une loi de des-cendance de fonction generatrice GX0. A la generation 1, les X0 individus sont suscep-tibles de donner naissance a un nombre aleatoire d’individus, de maniere independanteles uns des autres et avec la meme loi de descendance qu’a la generation initiale. Leprocessus se poursuit a l’identique de generation en generation. On s’interesse a laprobabilite d’extinction de la population, c’est-a-dire, a la probabilite qu’il existe unegeneration sans descendance.


Solution. Bien entendu, nous conditionnons selon la variable X0

pe = P(extinction) =2∑i=0

P(extinction | X0 = i)P(X0 = i) .

Nous avons alors

P(extinction | X0 = 0) = 1

P(extinction | X0 = 1) = pe

P(extinction | X0 = 2) = p2e .

En reportant dans l’equation precedente, ceci conduit a

pe = P(X0 = 0) + P(X0 = 1)pe + P(X0 = 2)p2e = GX0(pe) .

En consequent, la probabilite pe est un point fixe de la fonction generatrice de la variableX0. Ceci constitue un resultat tout a fait general des processus de branchement. Enparticulier, si

P(X0 = 0) = P(X0 = 1) = 1/4

alors, la resolution de l’equation du second degre donne

pe = 1/2

1.3.7 Esperance conditionnelle et prediction

Il arrive que l’on puisse observer la valeur d’une variable aleatoire Y et qu’ensuite,on souhaite predire la valeur d’une autre variable X en se fondant sur ce que l’on saitsur Y . Admettons par exemple que Y soit une variable financiere observee au temps tet que l’on cherche a predire l’evolution de cette variable au temps t+ 1. On note doncX la valeur au temps t + 1. On cherche un predicteur de X, c’est-a-dire une variableg(Y ), la plus proche possible de X. Ce predicteur doit etre le plus precis possible. Nousimposons comme critere de precision que l’ecart quadratique moyen

E[(X − g(Y ))2]

soit minimal. Nous allons montrer que selon ce critere la meilleure prediction de X auvu de l’observation de Y est E[X|Y ].

Proposition 1.3.1 Soit X et Y deux variables aleatoires de carre integrable. Pourtoute fonction mesurable g telle que E[g2(Y )] <∞, nous avons

E[(X − g(Y ))2] ≥ E[(X − E[X|Y ])2] .


Demonstration. Nous allons demontrer que

E[(X − g(Y ))2| Y ] ≥ E[(X − E[X|Y ])2 | Y ] .

Nous pourrons alors conclure en prenant l’esperance des deux termes grace au theoreme(1.3.1). Developpons

E[(X − g(Y ))2 | Y = y] = E[(X − E[X|Y = y] + E[X|Y = y]− g(Y ))2 | Y = y]

= E[(X − E[X|Y = y])2 | Y = y]

+(E[X | Y = y]− g(y)])2

+2 (E[X|Y = y]− g(y)) E[X − E[X|Y = y] | Y = y] .

Le dernier terme est nul par linearite de l’esperance. Donc,

E[(X−g(Y ))2 | Y = y]−E[(X−E[X|Y = y])2 | Y = y] ≥ (E[X | Y = y]−g(y)])2 ≥ 0 .

Commentaires. Considerons un nombre U pris au hasard dans l’intervalle (0, 1) (Uadmet pour loi U(0, 1)). Admettons que l’on sache que l’evenement A = (U > 1/2) estrealise ou de maniere equivalente que 11A = 1. Calculons alors

E[U | 11A = 1] =∫ 1

1/2u

du

P(U > 1/2)= 3/4 .

La variable aleatoire E[U | 11A] prend les valeurs 1/4 et 3/4 avec les probabilites 1/2et 1/2. Ainsi, lorsque l’on pose la question “U est il plus grand que 1/2 ?” et que l’onobtient une reponse affirmative, la meilleure prediction de U est 3/4. Cela justifie lechoix de la methode de dichotomie comme strategie optimale de recherche de U dansl’intervalle (0, 1) (voir examen janvier 1997). Bien entendu, la methode de dichotomien’est pas forcement optimale lorsque la loi de U n’est pas uniforme.

Nous terminons ce paragraphe avec le constat suivant (facultatif). On trouve danscertains ouvrages de reference une autre definition de l’esperance conditionnelle.

Definition 1.3.7 Soit (X, Y ) un couple de variables aleatoires reelles. On appelleesperance conditionnelle et l’on note E[X|Y ] l’unique variable aleatoire reelle Z telleque

E[φ(Y )X] = E[φ(Y )Z]

pour toute fonction reelle φ mesurable pour la tribu de Borel sur IR.

L’equivalence des deux definitions est donnee par la proposition suivante qui generalisele theoreme (1.3.1).

Proposition 1.3.2 Soit (X, Y ) un couple de variables aleatoires reelles. Pour toutefonction reelle φ mesurable pour la tribu de Borel sur IR, on a

E[φ(Y )X] = E[φ(Y )E[X|Y ]] .

1.4. SIMULATION 25

Demonstration. Nous demontrons la proposition lorsque le couple (X, Y ) admetune densite. On a

E[φ(Y )X] = E[E[φ(Y )X|Y ]]

=∫IRE[φ(y)X|Y = y]fY (y)dy

=∫IRφ(x)E[Y |X = x]fX(x)dx

= E[φ(Y )E[X|Y ]]

1.4 Simulation

Les techniques de conditionnement sont tres utiles pour la simulation de couples devariables aleatoires ou de variables elles-memes (methode de rejet).

1.4.1 Couples de variables

Soit a simuler un couple (X, Y ) de densite f . On utilisera la methode suivante.On cherchera a simuler tout d’abord X selon la loi marginale de densite fX . Ensuite,sachant X = x, on cherchera a simuler la loi conditionnelle de densite fX=x

Y .

Exemple 1.4.1 Soit ∆ le domaine de IR2 defini par

∆ = (x, y) ∈ IR2 , 0 < y < x .

Nous cherchons a simuler un couple de variables de densite

f(x, y) =

1xe−x si (x, y) ∈ ∆0 sinon.

Solution. Nous pouvons verifier que

∀x ∈ IR , fX(x) = e−x11IR∗+(x)

et

∀y ∈ IR , fX=xY (y) =

1

x11]0,x](y) .

Nous pouvons utiliser la methode d’inversion pour simuler la variable X. Ainsi, l’algo-rithme suggere s’ecrit

X := − ln(ALEA)

Y := X ∗ ALEA


On peut verifier que cet algorithme est correct en utilisant la formule de changement devariables. Soit (U, V ) un couple de variables de loi uniforme sur (0, 1) et independantes.Soit ϕ l’application definie sur le domaine D = [0, 1]2 par

∀(u, v) ∈ D , ϕ(u, v) =

x = − lnuy = −v lnu

L’inverse de ϕ est defini par

∀(x, y) ∈ ϕ(D) , ϕ−1(x, y) =

u = e−x

v = y/x

Les deux inclusions ϕ(D) ⊂ ∆ et ϕ−1(∆) ⊂ D sont immediates. De plus, nous avons

Jac(ϕ) =

∣∣∣∣∣ −1/u 0−v/u − lnu

∣∣∣∣∣ = lnu/u = −xex

et, d’apres la formule de changement de variables

f(X,Y )(x, y) = |Jac(ϕ−1)|11∆(x, y) =1

xe−x11∆(x, y) = f(x, y) .

1.4.2 Methodes de conditionnement

Les methodes de conditionnement permettent de simuler des variables aleatoiresreelles (chapitre 4) en utilisant le principe de rejet. Nous allons voir que, sur le memeprincipe, nous pouvons aussi simuler des couples de variables aleatoires.

Nous avons vu lors du chapitre 2 qu’imposer lors d’une epreuve une condition detype l’evenement A doit etre realise revenait a changer de mesure de probabilite. Onpasse alors de la mesure P a la mesure P( . | A) et tous les calculs se font sous cettenouvelle mesure. Admettons que l’epreuve consiste a simuler une variable U de loi dedensite fU de maniere repetitive jusqu’a ce que la condition (U ∈ C) soit realisee. Lavariable X obtenue en sortie aura pour loi

∀B ∈ B(IR2) , P(X ∈ B) =∫B∩C

fU(x)

P(U ∈ C)dx .

Exemple 1.4.2 Loi uniforme sur (0, α), 0 < α < 1. On considere l’algorithmesuivant

Repeter

U := ALEA

Jusqu’a (U < α)

X := U .

1.4. SIMULATION 27

Solution. Dans cet exemple, l’epreuve consiste en un appel du generateur aleatoire.Le resultat de l’epreuve est donc une variable aleatoire U de loi U(0, 1). Nous avons ensortie

∀ 0 ≤ t ≤ α , P(X ≤ t) = P(U ≤ t | U < α) = t/α

et∀t ≥ α , P(X ≤ t) = P(U ≤ t | U < α) = α/α = 1 .

Ainsi, X admet pour loi la loi U(0, α).

Admettons que l’epreuve consiste a simuler un couple de variables (U, V ) de loi dedensite f(U,V ) de maniere repetitive jusqu’a ce que la condition ((U, V ) ∈ D) soitrealisee. Le couple (X, Y ) obtenu en sortie aura pour loi

∀B ∈ B(IR2) , P((X, Y ) ∈ B) =∫ ∫

B∩D

f(U,V )(x, y)

P((U, V ) ∈ D)dxdy .

Exemple 1.4.3 Loi uniforme sur le quart de disque unite. On considere ledomaine D defini par

D = x > 0 , y > 0 , x2 + y2 < 1 ,

et l’algorithme suivant

Repeter

U := ALEA

V := ALEA

Jusqu’a (U ∗ U + V ∗ V < 1)

X := U ; Y := V .

Solution. L’epreuve consiste a generer un couple de variables aleatoires independantes(U, V ) de loi U(0, 1). Nous avons en sortie de l’algorithme

∀B ∈ B(IR2) , P((X, Y ) ∈ B) = P( (U, V ) ∈ B | (U, V ) ∈ D )

=P( (U, V ) ∈ B ∩D )

Aire(D)

=∫B

4

π11D(x, y)dxdy .

La loi du couple (X, Y ) est donc la loi uniforme sur le domaine D.

1.4.3 Methode de rejet

La methode de conditionnement appliquee aux variables reelles se generalise. Lamethode obtenue pour les variables reelles est parmi les plus populaires. Il s’agit dela methode de rejet. Supposons que nous disposons d’une methode pour simuler une


variable aleatoire reelle de densite g. On peut se servir de cette simulation commepoint de depart pour simuler une variable qui aura pour densite f . L’idee consiste asimuler selon g puis d’accepter ou de rejeter le resultat y de cette simulation selon uneprobabilite proportionnelle a f(y)/g(y). Nous supposons donc qu’il existe une constantec > 0 telle que

∀y ∈ IR ,f(y)

g(y)≤ c .

L’algorithme de rejet s’ecrit alors

Repeter

simuler Y de densite g

U := ALEA

Jusqu’ a (U ≤ f(Y )/cg(Y ))

X := Y

Proposition 1.4.1 La variable aleatoire X en sortie de l’algorithme de rejet admetpour densite f . Le nombre d’appels au generateur aleatoire effectues par l’algorithmede rejet suit la loi geometrique G(1/c).

Demonstration. Soit Y une variable aleatoire de densite g. Nous avons

P(X ≤ t) = P(Y ≤ t | U ≤ f(Y )/cg(Y ))

=P(Y ≤ t ; U ≤ f(Y )/cg(Y ))

K

=1

K

∫IR

P(Y ≤ t ; U ≤ f(Y )/cg(Y ) |Y = y)g(y)dy

=1

K

∫ t

−∞

f(y)

cg(y)g(y)dy

=1

Kc

∫ t

−∞f(y)dy

ou l’on a note K = P(U ≤ f(Y )/cg(Y )). En faisant tendre t vers l’infini, on obtientK = 1/c.

L’esperance du nombre d’appels au generateur aleatoire est c. On a donc intert achoisir cette constante la plus petite possible dans l’optique de minimiser le cout del’algorithme.

Chapitre 2

Vecteurs aleatoires - Vecteursgaussiens

Cette partie du cours est consacree a la generalisation en dimension quelconque desnotions vues en dimensions 1 et 2. En dimension n ≥ 2, nous parlerons de vecteursaleatoires plutot que de variables. Nous insisterons sur les vecteurs gaussiens. Nous ver-rons que l’etude des vecteurs gaussiens se reduit souvent a des considerations d’algebrelineaire. Cette propriete confere a ces vecteurs un statut particulier. Nous utiliseronsdans ce chapitre la notation matricielle afin d’alleger certaines ecritures. Rappellonsces conventions d’ecritures.

Convention. Pour la notation matricielle, un vecteur X de dimension n sera consi-dere comme un vecteur colonne. Le vecteur transpose, note TX sera un vecteur ligne.Ainsi, nous aurons

X =

X1

.

.Xn

et TX = (X1, . . . , Xn) .

Le symbole T , place a gauche des matrices, designera l’operateur de transposition.

2.1 Vecteurs aleatoires

2.1.1 Loi d’un vecteur aleatoire

Un vecteur aleatoire de dimension n est une application mesurable X d’un espaceprobabilise (Ω,A,P) dans IRn. Il se caracterise par la donnee d’un n−uplet de variablesreelles

X =T(X1, . . . , Xn) .

La loi du vecteur X est une mesure de probabilite sur IRn muni de sa tribu de BorelB(IRn). Elle est notee PX et se definit de la maniere suivante

∀B ∈ B(IRn) , PX(B) = P(X ∈ B) .

29

30 CHAPITRE 2. VECTEURS ALEATOIRES - VECTEURS GAUSSIENS

On dira que le vecteur X admet une densite si la loi PX admet une densite par rapporta la mesure de Lebesgue sur IRn. Cette densite sera alors notee f . On ecrira dans cecas

P(X ∈ B) =∫Bf(x1, . . . , xn)dx1 . . . dxn .

Bien entendu, f est une fonction positive definie sur IRn et d’integrale egale a 1. La loide la coordonnee X1 (loi marginale) est alors la loi de densite

fX1(x1) =∫IRn−1 f(x1, . . . , xn)dx2 . . . dxn .

La loi marginale de la coordonnee i admet une densite que l’on calcule, en general, enfixant la variable xi et en integrant f suivant les autres variables.

Definition 2.1.1 L’esperance d’un vecteur aleatoire X est le vecteur constitue desesperances de chacune des coordonnees

E[X] =T(E[X1], . . . , E[Xn]) .

On rappelle que les variables X1, . . . , Xn sont independantes si

∀B1, . . . , Bn ∈ B(IR) , P(X1 ∈ B1 ; . . . ;Xn ∈ Bn) = P(X1 ∈ B1) . . .P(Xn ∈ Bn) .

Lorsque le vecteur X admet une densite, cette propriete implique que

∀x1, . . . , xn ∈ IR , fX(x1, . . . , xn) = fX1(x1) . . . fXn(xn) .

Reciproquement, lorsque la densite fX se factorise, les variablesX1, . . . , Xn sont necessairementindependantes. Rappelons le resultat suivant (chapitre 4).

Proposition 2.1.1 Soit X un vecteur aleatoire reel dont les coordonnees sont independanteset g1, . . . , gn des fonctions mesurables. Nous avons

E[g1(X1) . . . gn(Xn)] = E[g1(X1)] . . . E[gn(Xn)] ,

sous reserve que ces esperances existent.

2.1.2 Matrice de covariance

En dimension n ≥ 2, la notion de matrice de covariance remplace celle de variancepour les variables aleatoires reelles.

Definition 2.1.2 On appelle matrice de covariance du vecteur aleatoire X la matricecarree KX de taille n dont les coefficients sont donnes par

∀i, j = 1, . . . , n , kij = Cov(Xi, Xj) ,

ou

Cov(Xi, Xj) = E[(Xi − E[Xi])(Xj − E[Xj])]

= E[XiXj]− E[Xi]E[Xj]

sous reserve que ces esperances existent. La grandeur Cov(Xi, Xj) s’appelle covariancedes variables Xi et Xj.

2.1. VECTEURS ALEATOIRES 31

Pour un couple de variables aleatoires reelles (X, Y ), nous avons

K(X,Y ) =

(V ar(X) Cov(X, Y )Cov(X, Y ) V ar(Y )

).

La covariance de deux variables reelles est une notion utile pour mesurer la dependancemutuelle des variables. Nous donnons ses principales proprietes.

1) La covariance est symetrique en X et Y

Cov(X, Y ) = Cov(Y,X) .

2) La covariance est bilineaire. Pour tout a, b, c, d ∈ IR, nous avons

Cov(aX1 + bX2, cY1 + dY2) = a Cov(X1, cY1 + dY2)

+ b Cov(X2, cY1 + dY2)

= ac Cov(X1, Y1) + ad Cov(X1, Y2)

+ bc Cov(X2, Y1) + cd Cov(X2, Y2) .

3) D’apres l’inegalite de Cauchy-Schwarz, nous avons

|Cov(X, Y )| ≤√V ar(X)

√V ar(Y ) .

4) Si X et Y sont independantes alors

Cov(X, Y ) = 0 .

La reciproque est fausse : voir un exemple un peu plus loin.La matrice de covariance K donne une indication de la dispertion du vecteur T(X1,. . . , Xn) autour de sa moyenne (la matrice de covariance possede les memes proprietesque la matrice d’inertie en mecanique). On peut en etudier les valeurs et les directionspropres pour savoir comment se repartit la masse. Notons que les valeurs propres deK sont reelles et positives (il s’agit de variances, comme on pourra le verifier a l’aidede la proposition 2.1.3).

Convention. On dit qu’une matrice symetrique K est semi-definie positive si

∀x ,∑i,j

kijxixj ≥ 0 .

La matrice est definie positive si, de plus, det(K) 6= 0.

Nous pouvons retenir le resultat suivant

Proposition 2.1.2 La matrice de covariance est une matrice symetrique semi-definiepositive. Si les variables coordonnees X1, . . . , Xn sont independantes, la matrice decovariance du vecteur X est diagonale.


Exemple 2.1.1 Soit U et V deux variables aleatoires independantes de loi U(0, 1).Notons

X = U + VY = U − V

On cherche a calculer la matrice de covariance du couple (X, Y ).

Solution. Les termes diagonaux sont des termes de variance

V ar(X) = V ar(U) + V ar(V ) + 2Cov(U, V ) = 1/12 + 1/12 = 1/6

etV ar(Y ) = V ar(U) + V ar(−V ) = 1/12 + 1/12 = 1/6 .

Pour le terme non diagonal, nous avons

Cov(X, Y ) = V ar(U)− V ar(V ) + Cov(V, U)− Cov(U, V ) = 0 .

Ainsi, les variables X et Y sont non correlees et la matrice de covariance du couple estegale a

K =

(1/6 00 1/6

)mais les variables ne sont pas independantes.

En notation matricielle, la matrice de covariance du vecteur X est egale a

KX = E[(X − E[X]).T (X − E[X])] .

Voici une propriete importante de la matrice de covariance d’un vecteur aleatoire X.

Proposition 2.1.3 Soit X un vecteur aleatoire de dimension n. Soit A une matricede taille m× n. Alors,

KAX = A.KX .TA

Demonstration. Nous avons

KAX = E[(AX − E[AX]). T(AX − E[AX])]

= E[A (X − E[X]). T(X − E[X]) TA]

= A .E[(X − E[X]). T(X − E[X])]. TA

Il est possible de retrouver le resultat de l’exemple precedent de maniere directe.En effet, nous avons (

XY

)=

(1 11 −1

)(UV

)


Ainsi,

K =

(1 11 −1

)(1/12 0

0 1/12

)(1 11 −1

)=

(1/6 00 1/6

)

La notion de covariance de deux variables aleatoires reelles se generalise aux vecteurs.Soit X un vecteur de IRn et Y un vecteur de IRm. La matrice de covariance du couple(X, Y ) sera une matrice de dimension n×m. Cette notion sera utile pour la suite.

Definition 2.1.3 Soit X un vecteur de IRn et Y un vecteur de IRm. La matrice decovariance du couple (X, Y ) est

K(X,Y ) = E[(X − E[X]).T (Y − E[Y ])] .

2.1.3 Changement de variables

Considerons un vecteur aleatoire X =T (X1, . . . , Xn) de densite fX . On appellerasupport de fX le domaine D, supoose ouvert, defini par

D = x ∈ IRn ; fX(x) > 0

On s’interesse a la densite du vecteur Z obtenu par une transformation notee ϕ(X) duvecteur X. Nous supposerons que ϕ est definie sur le domaine D, qu’elle est bijectivesur son image ∆ = ϕ(D). Nous supposerons ϕ et son inverse ϕ−1 de classe C1 sur D et∆ respectivement. Considerons le determinant

Jac(ϕ)(x) =

∣∣∣∣∣∣∣∂ϕ1

∂x1. . . ∂ϕ1

∂xn

. . . . .∂ϕn

∂x1. . . ∂ϕn

∂xn

∣∣∣∣∣∣∣ 6= 0 .

Proposition 2.1.4 La densite du vecteur Z est donnee par la formule suivante

∀z ∈ ϕ(D) , fZ(z) = |Jac(ϕ−1)|(z)fX(ϕ−1(z)) . (2.1)

Exemple 2.1.2 Soient X1, X2, X3 trois variables independantes de loi U(0, 1). Oncherche a determiner la loi du triplet (Z1, Z2, Z3) defini par les relations

Z1 = − lnX1

Z2 = −X2 lnX1

Z3 = −X2 lnX3


Solution. L’image du domaine D = (0, 1)3 est egale a

∆ = (z1, z2, z3) ; 0 < z2 < z1 , 0 < z3

et nous avonsx1 = exp(−z1)x2 = z2/z1

x3 = exp(−z3z1/z2)

Le Jacobien du changement de variables est donne par∣∣∣∣∣∣∣− exp(−z1) 0 0−z2/z

21 1/z1 0

∗ −z1/z2 exp(−z3z1/z2)

∣∣∣∣∣∣∣ =exp(−z1(1 + z3/z2))

z2

Finalement, nous obtenons

f(z1, z2, z3) =exp(−z1(1 + z3/z2))

z2

11∆(z1, z2, z3)

2.1.4 Fonctions caracteristiques

Definition 2.1.4 On appelle fonction caracteristique du vecteur aleatoire X = T (X1,. . . , Xn) la fonction a valeurs complexes definie par

∀t ∈ IRn , φX(t) = E[ei∑n

k=1tkXk ] .

Lorsque le vecteur X admet une densite fX , nous avons

∀t ∈ IRn , φX(t) =∫IRn e

i∑n

k=1tkxkfX(x1, . . . , xn)dx1 . . . dxn .

La fonction caracteristique est donc la transformee de Fourier de la densite fX . Ladensite fX s’exprime en fonction de φX a l’aide de la transformee inverse

∀x ∈ IRn , fX(x) =1

(2π)n

∫IRn e

−i∑n

k=1tkxkφX(t1, . . . , tn)dt1 . . . dtn .

Comme son nom l’indique, la fonction caracteristique caracterise la loi du vecteur X.Nous pouvons enoncer la proposition suivante.

Proposition 2.1.5 Deux vecteurs X et Y ont meme loi si et seulement si φX = φY .

Lorsque les variables coordonneesX1, . . . , Xn sont independantes, la fonction caracteristiqueφX s’exprime facilement.

Exemple 2.1.3 Calculons la fonction caracteristique d’un triplet (U, V,W ) constituede variables de loi uniforme sur (0, 1) independantes.


Solution. Nous avons

φ(t1, t2, t3) = E[eit1U+it2V+it3W ]

= E[eit1U ]E[eit2V ]E[eit3W ] .

Or

E[eit1U ] =∫ 1

0eit1udu =

eit1 − 1

it1

et donc

φ(t1, t2, t3) = i(eit1 − 1)(eit2 − 1)(eit3 − 1)

t1t2t3.

Proposition 2.1.6 Les variables X1, . . . , Xn sont independantes si et seulement sila fonction caracteristique du vecteur X =T (X1, . . . , Xn) est le produit des fonctionscaracteristiques des coordonnees

∀t ∈ IRn , φX(t1, . . . , tn) = φX1(t1) . . . φXn(tn) .

Demonstration. Supposons que X1, . . . , Xn sont independantes. Alors

φX(t1, . . . , tn) = E[ei∑n

k=1tkXk ]

= E[n∏k=1

eitkXk ]

=n∏k=1

E[eitkXk ] par independance

=n∏k=1

φXk(tk) .

Pour la reciproque, il suffit d’observer que φX caracterise la loi de X.

Commentaires. La fonction caracteristique peut s’averer utile pour demontrer quedes variables sont independantes par factorisation.

Avant d’aborder le paragraphe suivant, nous rappelons que la fonction caracteristiquede la loi N (m,σ2) est (chapitre 4)

∀t ∈ IR , φ(t) = exp(itm− σ2 t2

2) .

Commentaires. La loi normale N (m,σ2) est caracterisee par la donnee de sonesperance m et de sa variance σ2.


2.2 Vecteurs gaussiens

2.2.1 Caracterisation des vecteurs gaussiens

Definition 2.2.1 On dit que X =T (X1, . . . , Xn) est un vecteur aleatoire gaussien sitoute combinaison lineaire a coefficients reels des Xi suit une loi normale N (m,σ2)(σ2 eventuellement nul).

En particulier, chaque composante d’un vecteur gaussien suit une loi normale. Lareciproque de cette affirmation est fausse. Un vecteur dont toutes les coordonnees sontgaussiennes n’est pas necessairement gaussien (voir Tds). Lorsque les coordonnees sontindependantes, en revanche, nous pouvons enoncer le resulat suivant.

Proposition 2.2.1 Soit X1, . . . , Xn des variables independantes de loi N (0, 1). Alorsle vecteur X =T (X1, . . . , Xn) est un vecteur gaussien.

Demonstration. Cherchons la loi d’une combinaison lineaire des Xi. Soit a1, . . . , andes scalaires et

Y =n∑k=1

akXk .

La fonction caracteristique de Y est

φY (t) = E[eitY ] = E[eit∑n

k=1akXk ]

=n∏k=1

E[eitakXk ]

=n∏k=1

φXk(tak)

=n∏k=1

exp(−a2kt

2

2)

= exp(−n∑k=1

a2k

t2

2)

La variable Y suit donc la loi N (0,∑nk=1 a

2k).

Proposition 2.2.2 Soit X un vecteur gaussien, d’esperance m =T(m1, . . . ,mn) et dematrice de covariance K. La fonction caracteristique de X est definie par

∀t ∈ IRn , φX(t) = exp(iTt.m− 1

2TtKt) .

Demonstration. Posons Y =∑nk=1 tkXk. Puisqu’il s’agit d’une combinaison lineaire

des Xk, Y suit une loi normale. Son esperance est egale a

E[Y ] = E[n∑k=1

tkXk] =n∑k=1

tkmk

2.2. VECTEURS GAUSSIENS 37

et

V ar(Y ) = TtKt

d’apres la proposition 2.1.3. La fonction caracteristique de Y est donc

φY (s) = exp(is(Tt.m)− 1

2s2 TtKt) .

On obtient le resultat souhaite en remarquant que

φX(t) = φY (1) .

Commentaires. D’apres la proposition (2.2.2), la loi d’un vecteur gaussien est ca-racterisee par son esperance m et par sa matrice de covariance K. On notera cette loiN (m,K). Lorsque que l’on effectue des transformations lineaires de vecteurs gaussiens,on obtient a nouveau des vecteurs gaussiens. Pour les caracteriser, il suffit de calcu-ler l’esperance et la matrice de covariance. Leurs calculs decoulent de considerationsd’algebre lineaire (cf. proposition 2.1.3).

Exemple 2.2.1 Determiner la fonction caracteristique d’un couple gaussien de moyennem = (1, 2) et de matrice de covariance

K =

(1 −1−1 2

).

Solution. La fonction caracteristique est

∀(t1, t2) ∈ IR2 , φ(t1, t2) = ei(t1+2t2)− 12

(t21+2t22−2t1t2) .

2.2.2 Proprietes des vecteurs gaussiens

En general, deux variables non correlees (Cov(X, Y ) = 0) ne sont pas necessairementindependantes. Pour des vecteurs gaussiens independance des coordonnees et absencede correlation sont deux notions equivalentes.

Proposition 2.2.3 Soit X =T (X1, . . . , Xn) un vecteur gaussien dont la matrice decovariance est K. Les variables Xk sont independantes si et seulement la matrice Kest diagonale.


Demonstration. Supposons que la matrice K soit diagonale. Notons

E[X] = m = (mk)k=1,...,n

et

K =

σ2

1 0 . . . 00 σ2

2 . . . 00 . . . . . . 00 . . . 0 σ2

n

.

La coordonnee Xk suit la loiN (mk, σ2k). La fonction caracteristique du vecteur X s’ecrit

φX(t) = exp(in∑k=1

tkmk −1

2

n∑k=1

tkσ2k) =

n∏k=1

φXk(tk) .

D’apres la proposition 2.1.6, les Xk sont independantes.

Proposition 2.2.4 Soit m un vecteur de IRn et K une matrice symetrique d’ordre n,definie positive (det K 6= 0). La loi normale N (m,K) admet pour densite

∀x ∈ IRn , f(x) =1

(√

2π)n1√

det(K)exp(−1

2T(x−m)K−1(x−m)) .

Demonstration. Il existe une matrice orthogonale P (P−1 =T P ) telle que

Λ = PKP−1

est une matrice diagonale (theoreme spectral des matrices symetriques). Les termesdiagonaux λi de la matrice Λ sont les valeurs propres de K. Soit X un vecteur de loiN (m,K). Posons

Y = P (X −m) .

Il s’agit d’un vecteur gaussien d’esperance

E[Y ] = PE[X −m] = 0

et de matrice de covarianceKY = PKTP = Λ

d’apres la proposition 2.1.3. Les coordonnees de Y sont independantes par la proposi-tion (2.2.3) et de plus Yk suit une loi N (0, λk). Nous avons donc

∀y ∈ IRn , fY (y) =n∏k=1

fYk(yk)

=n∏k=1

1√2πλk

exp(−1

2

y2k

λk)

=1

(√

2π)n1√

det(K)exp(−1

2TyΛ−1y) .

2.3. LE THEOREME DE FISHER 39

Pour en deduire la densite de X, on effectue le changement de variables X = ϕ(Y )defini par

X = TPY +m

de jacobien en valeur absolue egal a

|Jac(ϕ)| = det(P ) = 1 .

Finalement,

fX(x) =1

(√

2π)n1√

det(K)exp(−1

2T(x−m) TPΛ−1P (x−m)) .

On conclut en remarquant que

K−1 = TPΛ−1P .

Exemple 2.2.2 Determiner la densite d’un couple gaussien de moyenne m = (0, 0) etde matrice de covariance

K =1

2

(3 −1−1 3

)

Solution. Nous avons

K−1 =1

4

(3 11 3

)et ainsi

f(x, y) =1

2π√

2exp(−3x2 + 2xy + 3y2

8)

qui se reecrit

f(x, y) =1

2π√

2exp(−(x− y)2 + 2(x+ y)2

8) .

Cette derniere ecriture montre comment la “masse” se repartit autour des axes propres(1, 1) et (−1, 1) de la matrice de covariance K (les valeurs propres associees sont 1 et2).

2.3 Le theoreme de Fisher

Dans cette section, nous presentons sous la forme d’une suite d’exercices, un celebreresultat du a Fisher, et d’un interet capital en statistique.

Exercice 2.3.1 Soit X une variable aleatoire reelle admettant pour densite

∀x ≥ 0 , f(x) =λa

Γ(a)xa−1e−λx ,

ou a > 0 et λ > 0, (loi G(a, λ)). Determiner la fonction caracteristique de X.


Solution. La fonction caracteristique se calcule de la maniere suivante

ϕX(t) = E[eitX ] =λa

Γ(a)

∫ ∞0

xa−1e−λxeitxdx .

En changeant de variables, nous avons∫ ∞0

xa−1e−(λ−it)xdx =Γ(a)

(λ− it)a.

Finalement,

∀t ≥ 0, ϕX(t) =λa

(λ− it)a.

Exercice 2.3.2 Soit X une variable aleatoire reelle admettant pour loi la loi N (0, 1).Determiner la loi de la variable X2. Soit X =T(X1, . . . , Xn) un vecteur gaussien de loiN (m,σ2I) ou m =T(m1, . . . ,mn), σ2 > 0 et I est la matrice carree unite de dimensionn. On pose

Zn =(X1 −m1)2 + . . .+ (Xn −mn)2

σ2.

Determiner la loi de la variable Zn (loi χ2n).

Solution. Pour toute variable aleatoire reelle X admettant pour densite f , nousavons

∀x ≥ 0 fX2(x) =1

2√x

(f(√x) + f(−

√x)) .

Pour la loi N (0, 1), ceci conduit a

∀x ≥ 0 fX2(x) =1√2πx

e−x/2 .

On reconnait la densite de la loi G(12, 1

2). Le vecteur X est gaussien, de matrice de

covariance diagonale. Les coordonnees centrees (Xi −mi)/σ admettent donc pour loiN (0, 1) et sont independantes. Les variables (Xi−mi)

2/σ2 admettent pour loiG(12, 1

2) et

sont aussi independantes. Par consequent, la variable Zn admet pour loi, la loi G(n2, 1

2).

Exercice 2.3.3 Theoreme de Fisher. Soit X =T (X1, . . . , Xn) un vecteur gaussiende loi N (m,σ2I) ou m =T (m, . . . ,m), σ2 > 0 et I est la matrice carree unite dedimension n. On appelle moyenne empirique la variable

Xn =1

n(X1 + . . .+Xn)

et variance empirique la variable aleatoire

S2 =1

n

n∑i=1

(Xi −Xn)2 .


1) Montrer que Xn suit la loi N (m,σ2/n).2) Montrer que l’on peut construire une matrice orthogonale P dont la premiere

ligne est (1/√n, . . . , 1/

√n), (P TP = I).

3) Determiner la loi du vecteur Y = P (X −m). Les coordonnees de Y sont-ellesindependantes ? Que vaut

∑ni=1 Y

2i ?

4) Montrer que √n(Xn −m) = Y1 ,

et

nS2 =n∑i=2

Y 2i .

En deduire que la loi de nS2/σ2 est la loi χ2n−1 (cf. exercice precedent).

4) Montrer que Xn et S2 sont independantes.

Solution.1) La moyenne empirique Xn admet pour loi une loi normale. Il s’agit de determiner

son esperance et sa variance. L’esperance est m et la variance est σ2/n (cf. cours).La variable Xn admet donc pour loi N (m,σ2/n).

2) On fixe le vecteur u1 = (1/√n, . . . , 1/

√n) et on considere le sous-espace de

dimension n− 1 orthogonal a ce vecteur. Ce sous-espace admet une base ortho-normee (u2, . . . , un). En completant avec u1, on obtient une base orthonormee detout l’espace. La matrice cherchee est la matrice de passage de la base canoniquea la nouvelle base (u1, . . . , un).

3) Le vecteur Y = P (X − m) est gaussien d’esperance nulle et de matrice decovariance K = σ2PITP = σ2I. Les coordonnees de Y sont donc independantes.Puisque P est orthogonale, la norme est conservee et nous avons

n∑i=1

Y 2i =

n∑i=1

(Xi −m)2

4) Ce sont de simples calculs

Y1 =1√n

n∑i=1

(Xi −m) =√n(Xn −m) ,

et

nS2 =n∑i=1

(Xi −Xn)2

=n∑i=1

(Xi −m+m−Xn)2

=n∑i=1

(Xi −m)2 − n(m−Xn)2

=n∑i=2

Y 2i

D’apres l’exercice precedent, la loi de nS2/σ2 est la loi χ2n−1.


4) Les coordonnees de Y sont independantes. Donc Y1 est independante de S2. leresultat est alors immediat grace a la question 3).

2.3.1 Lois conditionnelles. Prediction lineaire affine

Nous etudions maintenant les lois conditionnelles de certaines coordonnees d’unvecteur gaussien sachant la valeur des autres coordonnees. Les lois conditionnelles sonta nouveau gaussiennes. Soit Z un vecteur aleatoire divise en deux blocs de coordonneesde dimensions supplementaires

Z =

(XY

).

Rappelons la notation (definition 2.1.3)

K(X,Y ) = E[(X − E[X]).T (Y − E[Y ])] .

Proposition 2.3.1 Supposons que Z soit un vecteur gaussien et que la matrice decovariance de X soit definie positive. Alors la loi conditionnelle de Y sachant X = xest une loi gaussienne d’esperance

E[Y |X = x] = E[Y ] +K(Y,X)K−1X (x− E[X])

et de matrice de covariance

KX=xY = KY −K(Y,X)K

−1X K(X,Y ) .

Commentaires. Remarquons que l’esperance de la loi conditionnelle est affine en xet que la variance ne depend pas de x. Lorsque X et Y sont des variables aleatoiresreelles, ces formules deviennent

E[Y |X = x] = E[Y ] +Cov(X, Y )

V ar(X)(x− E[X])

et

V ar(Y |X = x) = V ar(Y )− [Cov(X, Y )]2

V ar(X).

Bien entendu, on peut trouver ces resultats par un calcul direct portant sur les densitesconditionnelles. Nous donnons une demonstration plus generalisable.

Demonstration. Nous demontrons la proposition lorsque X et Y sont des variablesreelles et laissons au lecteur le soin de generaliser. Nous procedons en deux etapes.Posons

Y ′ = Y −(E[Y ] +

Cov(X, Y )

V ar(X)(X − E[X])

).


et montrons que X et Y ′ sont independantes (1ere etape). Le vecteur (X, Y ) est gaus-sien donc le vecteur Z ′ = (X, Y ′) est aussi gaussien car il se deduit par une trans-formation lineaire du precedent. Il suffit de montrer que ces deux variables sont noncorrelees. Or, nous avons,

Cov(X, Y ′) = E[(X − E[X])Y ′]

= Cov(X, Y )− Cov(X, Y )

V ar(X)V ar(X) = 0 .

La loi conditionnelle de Y ′ sachant X = x ne depend donc pas de x et est egale a la loide Y ′. Remarquons maintenant (2eme etape) qu’il s’agit d’une variable de loi normalede moyenne

E[Y ′] = E[Y ′ | X = x] = 0

et de variance

V ar(Y ′) = V ar(Y )− Cov(X, Y )2

V ar(X).

On conclut facilement la demonstration.

Commentaires. Considerons le couple gaussien (X, Y ) dont la densite a ete ex-primee dans l’exemple 2.2.2. Comme souvent en pratique, on cherche a predire lavaleur de Y a partir de l’observation X = x. Dans ce cas, nous avons vu au chapitre 5que la meilleure prediction au sens des moindres carres etait l’esperance conditionnelleE[Y |X = x]. Nous obtenons alors

E[Y |X = x] = −1

3x

qui est une fonction lineaire de x. La droite y = −x/3 est appelee droite de regression.Elle joue un role important en statistique, ou l’on considere naturellement des variablesgaussiennes. On cherchera bien entendu a estimer le coefficient directeur de cette droitesur la base d’un echantillon de donnees issues de l’observation du couple (X, Y ).

2.3.2 Simulation de variables gaussiennes

Nous souhaitons simuler tout d’abord un couple de variables independantes de loiN (0, 1).

Proposition 2.3.2 Algorithme polaire. Soit (U, V ) un couple de variables deloi uniforme sur le disque unite

D = (u, v) ∈ IR2 ; u2 + v2 < 1 .

Soit (R,Θ) les coordonnees polaires correspondantU = R cos ΘV = R sin Θ .


On pose R′ =√−4 lnR et

X = R′ cos ΘY = R′ sin Θ .

Alors X et Y sont deux variables independantes de loi N (0, 1).

Demonstration. Nous savons depuis le chapitre precedent queR et Θ sont independantes.De plus, la variable Θ suit la loi U(0, 2π) et R admet pour densite

∀r ∈ IR , fR(r) = 2r11]0,1[(r) .

Determinons la loi de R′.

Si r′ ≤ 0 , P(R′ ≤ r′) = 0

Si r′ ≥ 0 , P(R′ < r′) = P(R > exp(−r′2/4)) .

D’ou la densite

fR′(r′) = r′ exp(−1

2r′2)11IR+

(r′) .

La densite du couple (X, Y ) se deduit alors de la formule de changement de variables

∀(x, y) ∈ IR2 , f(X,Y )(x, y) =1

r′(x, y)f(R′,Θ)(R

′(x, y),Θ(x, y))

=1√

x2 + y2

1

2π

√x2 + y2 exp(−1

2(x2 + y2))

=1√2π

exp(−1

2x2)

1√2π

exp(−1

2y2)

Pour simuler une variable de loi N (0, 1) a partir d’un couple (U, V ) de loi uniforme sur[0, 1]2. Il suffit de considerer

X =√−2 lnU cos(2πV )

(on peut aussi utiliser le sinus plutot que le cosinus).

Grace a l’algorithme polaire, nous savons simuler des variables gaussiennes independantesde loi N (0, 1). D’apres la proposition precedente, Nous avons a disposition un vecteurgaussien de dimension quelconque de moyenne nulle et de matrice de covariance egalea l’identite. Nous cherchons a simuler des vecteurs gaussiens quelconques. Cette foisencore, ce sont les proprietes de linearite associees aux vecteurs gaussiens qui vontpermettre cette simulation. La simulation se fera a l’aide d’un changement de variableslineaire.

Proposition 2.3.3 Soit m un vecteur de IRn et K une matrice symetrique semi-definiepositive de dimension n. Soit X un vecteur gaussien de moyenne nulle et de matricede covariance egale a l’identite. Soit A une matrice carree d’ordre n telle que

A TA = K .


AlorsY = A.X +m

suit la loi normale de moyenne m et de matrice de covariance K.

Demonstration. Le vecteur Y est obtenu par transformation affine de X. Il estdonc gaussien de moyenne

E[Y ] = A. E[X] +m = m ,

et de matrice de covariance

KY = AKXTA = AId TA = K .

La matrice A porte le nom de matrice racine carree de la matrice symetrique K. Pourla trouver, une methode generale consiste a diagonaliser K dans une base orthogonale.Puis on construit la matrice diagonale constituee de termes diagonaux egaux aux ra-cines des valeurs propres de K. Enfin, on effectue le changement de base inverse pourtrouver A.

Chapitre 3

Introduction aux processusaleatoires

3.1 Chaınes de Markov

3.1.1 Processus a temps discret. Definitions

Un processus aleatoire a temps discret est une famille Xn ; n ∈ IN de variablesaleatoires indicees par les entiers positifs. Un processus a temps discret est caracterisepar la donnee de la loi de chacun des vecteurs (X0, X1, . . . , Xn) pour tout n ∈ IN. Onparle alors de loi du processus pour decrire l’ensemble des lois fini-dimensionnelles. Denombreux resultats ont etes obtenus dans le chapitre precedent concernant les processusconstitues de variables independantes et de meme loi. La notion de dependance laplus simple que l’on puisse introduire dans une suite de variables aleatoires consiste asupposer que la valeur observee pour la variable Xn ne depend que de la valeur observeepour la variable Xn−1. Dans ce chapitre, nous ne considerons que des processus a valeursdans un ensemble E fini ou denombrable (processus a valeurs discretes).

Definition 3.1.1 Un processus aleatoire Xn ; n ∈ IN a valeurs dans E est unechaıne de Markov homogene notee (Xn) si, pour tout n ≥ 0,

∀i0, i1, . . . , i, j ∈ E, P(Xn = j | Xn−1 = i, Xn−2 = in−2, . . . , X0 = i0) = pij .

Pour une chaıne de Markov, la loi conditionnelle de la variable Xn sachant le passedu processus au temps n ne depend du passe qu’a travers la derniere observationdu processus. Cette propriete est souvent appelee propriete de Markov. La valeur pijrepresente la probabilite que le processus effectue une transition vers l’etat j lorsqu’ilse trouve dans l’etat i. Puisque ces probabilites de transition sont des nombres positifset que le processus doit obligatoirement faire une transition vers un etat dans E, on a

∀i, j ∈ E, pij ≥ 0 et∑j∈E

pij = 1, ∀i ∈ E.

47

48 CHAPITRE 3. INTRODUCTION AUX PROCESSUS ALEATOIRES

On note P la matrice des probabilites pij de transition de l’etat i vers l’etat j

P =

p00 p01 p02 ...p10 p11 .... .. .

La matrice P s’appelle la matrice de transition de la chaıne.

Exemple 3.1.1 Prevoir le temps. Un modele simpliste d’evolution meteorologiqueest le suivant. Supposons que la probabilite qu’il pleuve demain soit fonction des condi-tions meteorologiques des jours precedents a travers le temps d’aujourd’hui uniquement.S’il pleut aujourd’hui, il pleuvra demain avec la probabilite α. S’il fait beau aujourd’hui,il pleuvra demain avec la probabilite β. On decrit l’evolution de la meteo a l’aide d’unprocessus a deux etats : 0 pour la pluie et 1 pour le beau temps.

Solution. Ce processus a deux etats est une chaıne de Markov de transition

P =

(α 1− αβ 1− β

).

On s’efforcera dans la suite de ce chapitre de repondre aux questions suivantes. Quelleest la probabilite conditionnelle qu’il pleuve dans quatre jours sachant qu’il pleut au-jourd’hui ? Que devient cette probabilite si l’on remplace “quatre jours” par une dureeplus longue ?

Exemple 3.1.2 La ruine du joueur. Un joueur gagne 1 franc avec la probabilitep et perd un franc avec la probabilite 1 − p a chaque mise d’un jeu aleatoire dont lesrepetitions sont supposees independantes. Il quitte la partie lorsque sa fortune atteintla valeur r ou bien lorsque qu’il est ruine.

Solution. L’evolution de la fortune du joueur est decrite par une chaıne de Markova valeurs dans 0, . . . , r dont les probabilites de transition sont donnees par

pi, i+1 = p = 1− pi, i−1, i = 1, . . . , r − 1

etp0, 0 = pr, r = 1 .

Dans ce cas, la matrice P est egale a

P =

1 0

1− p 0 p0 1− p 0 p

0 1

.

Lorsque la chaıne rentre dans les etats 0 ou r, elle ne peut plus en sortir. Ces etats sontdits absorbants.

3.1. CHAINES DE MARKOV 49

3.1.2 Equations de Chapman-Kolmogorov

La matrice de transition P decrit l’evolution de la chaıne en un seul pas. On souhaitemaintenant decrire l’evolution de la chaıne en un nombre arbitraire de pas a partir desprobabilites de transition.

Definition 3.1.2 On appelle matrice de transition en m etapes d’une chaıne de Mar-kov homogene (Xn), la matrice P (m) dont les coefficients sont egaux a

p(m)i, j = P(Xm+n = j | Xn = i) = P(Xm = j | X0 = i) .

Il vient immediatemment de la definition precedente

P (1) = P ; P (0) = Id .

et

p(m)i, j ≥ 0 ;

∑j∈E

p(m)i, j = 1 , ∀i ∈ E .

Theoreme 3.1.1 La matrice de transitions en m etapes de la chaıne (Xn) est la puis-sance m-ieme de P .

Demonstration.

P(Xm+n = j | X0 = i) =∑k∈E

P(Xm+n = j, Xn = k | X0 = i)

Or

P(Xm+n = j | Xn = k, X0 = i) = P(Xm+n = j | Xn = k)

par la propriete de Markov. Ceci implique

p(m+n)i, j =

∑k∈E

P(Xm+n = j | Xn = k) P(Xn = k | X0 = i)

=∑k∈E

p(n)i, kp

(m)k, j . (3.1)

En termes matriciels, la ligne precedente se traduit par

P (m+n) = P (m) P (n) .

Le resultat suit par une recurrence evidente.

Les equations precedentes s’appellent equations de Chapman-Kolmogorov. A ce stade,seules des probabilites conditionnelles ont ete considerees. Ce sont les probabilites detransition d’un etat vers l’autre dans l’espace d’etat E en une ou plusieurs etapes. Sil’on desire connatre la loi de la variable Xn, pour un n ∈ IN , il est necessaire de preciser


la loi de la variable X0. Cette variable est appelee condition initiale de la chaıne. Onnote

∀k ∈ E, P(X0 = k) = πk ≥ 0 ;∑k∈E

πk = 1 .

La loi de Xn s’obtient en conditionnant a la variable initiale X0

∀i ∈ E , P(Xn = i) =∑k∈E

P(Xn = i | X0 = k) P(X0 = k)

=∑k∈E

πkp(n)k, i (3.2)

Pour tout n ∈ IN , on designe par πn la loi de la variable Xn

∀i ∈ E, P(Xn = i) = πni .

En notant (vecteur ligne pour les lois de probabilite)

π = (π1, . . . , π|E|)

etπn = (πn1 , . . . , π

n|E|)

nous obtenons, en notation matricielle, la loi de Xn

πn = π P n .

Exemple 3.1.3 exemple (3.1.1) suite. On cherche la probabilite qu’il pleuve dans 4jours sachant qu’il pleut aujourd’hui et la probabilite qu’il pleuve le quatrieme jour.

Solution. On suppose α = 0.7 et β = 0.4. Alors,

P (2) =

(.61 .39.52 .48

)

et

P (4) =

(.5749 .4251.5668 .4332

)=

(.61 .39.52 .48

)2

La probabilite conditionnelle qu’il pleuve dans 4 jours sachant qu’il pleut aujourd’huiest p

(4)00 = 0.5749. Si, par exemple, π0 = .4 et π1 = .6, la probabilite qu’il pleuve le

quatrieme jour estP(X4 = 0) = .4 p

(4)00 + .6 p

(4)10 = 0.57 .

Montrons maintenant que la donnee d’une matrice de transition et de la loi de lacondition initiale π permet de caracteriser la chaıne (Xn). Determiner la loi de lachaıne (Xn), c’est donner la loi conjointe de tous les vecteurs (X0, . . . , Xn).


Proposition 3.1.1 ∀n ∈ IN , ∀i0, . . . , in ∈ E

P(X0 = i0 ; . . . ;Xn = in) = πi0pi1, i0 . . . pin, in−1 .

Demonstration.

P(X0 = i0 ; . . . ;Xn = in) = P(Xn = in | Xn−1 = in−1 ; . . . ;X0 = i0)

× P(X0 = i0 ; . . . ; Xn−1 = in−1)

= P(Xn = in | Xn−1 = in−1)

× P(X0 = i0 ; . . . ; Xn−1 = in−1)

= pin,in−1 P(X0 = i0 ; . . . ; Xn−1 = in−1)

D’ou le resultat par recurrence sur n.

3.1.3 Comportement asymptotique

A la suite de l’etude du comportement de la chaıne en n transitions, nous desironsetudier le comportement asymptotique de celle-ci lorsque n→∞. Soit (Xn) une chaınede Markov homogene de matrice de transition P sur un espace d’etat E. L’equation(3.2) etablit que la loi πn s’obtient par recurrence a partir de la loi π0 = π de la variableinitiale X0 :

πn = πn−1P ; π0 = π .

Definition 3.1.3 On appelle loi de probabilite invariante de la chaıne (Xn) toute loiπ solution de l’equation

π = πP . (3.3)

Une telle loi existe toujours. Une matrice de transition admet la valeur propre 1 (levecteur dont toutes les composantes sont egales a 1 est associe a cette valeur propre). Levecteur associe a une loi de probabilite invariante π est vecteur propre a gauche associea la valeur propre 1. L’equation (3.3) se formule de maniere equivalente en disant queTπ est vecteur propre de TP associe a la valeur propre 1. On peut s’assurer qu’un telvecteur propre existe bien. Lorsqu’une loi de probabilite invariante π est choisie commeloi pour la variable X0, on obtient alors

∀n ∈ IN, πn = πn−1 = . . . = π .

Ceci signifie que la loi de Xn est egale a π pour tout n ∈ IN.

Exemple 3.1.4 exemple (3.1.1) (suite). Determiner la loi invariante.

Solution. Une probabilite invariante π = (π0, π1) est, pour cet exemple, solution dusysteme

(π0, π1) = (π0, π1)

(α 1− αβ 1− β

)


soit

π0 = απ0 + βπ1

π1 = (1− α)π0 + (1− β)π1

π0 + π1 = 1 .

Ceci donne

π0 =β

1 + β − α; π1 =

1− α1 + β − α

.

Si, par exemple, on choisit α = .7 et β = .4, la probabilite π0 est egale a 4/7 soit .571

Commentaires. Dans l’exemple precedent, le systeme (3.3) admet une unique solu-tion qui soit une loi de probabilite. Diagonalisons la matrice P . Les valeurs propres sont1 et α− β. Remarquons que cette derniere valeur est en module strictement inferieurea un. Nous avons

πn = π0P n = π0Q

(1 00 (α− β)n

)Q−1 → µ

ou Q est la matrice des vecteurs propres et µ une limite. La loi πn definie a l’aide dela recurrence

πn = πn−1P

admet donc µ = π pour limite, quelle que soit la loi initiale π0, car la loi de probabiliteπ est le point fixe associe a la recurrence precedente. D’un point de vue de calculapproche, nous pouvons considerer que la loi invariante π est une approximation de laloi πn. Un probleme important est de savoir si cela constitue une bonne approximation.La convergence se fait a une vitesse exponentielle, controlee par la valeur propre α−β.

Nous cherchons desormais des conditions portant sur la matrice de transition P souslesquelles la loi invariante π est unique, i.e., pour lesquelles l’equation (3.3) admet uneunique solution qui soit une loi de probabilite. Les definitions suivantes sont necessairesafin d’etablir ces conditions.

Definition 3.1.4 Une chaıne de Markov de matrice de transition P est irreductible si

∀i, j ∈ E, ∃n t.q. p(n)i, j > 0 .

Elle est aperiodique si

∀i ∈ E, n t.q. p(n)i, i = 0 est fini.

Il est facile de visualiser ces proprietes sur les diagrammes de transition construits surE de la maniere suivante

∀i, j ∈ E, i→ j ssi pij > 0 .


En d’autres termes, la chaıne est irreductible si elle peut effectivement atteindre toutetat j a partir de n’importe quel etat i en un nombre fini de pas. La chaıne estaperiodique si elle ne boucle pas indefiniment sur quelques etats. Ceci se traduit aussipar le fait que le p.g.c.d. des longueurs des cycles fermes du graphe est egal a 1. Cesdeux proprietes signifient pour la chaıne qu’un certain melange est present. Lorsqueces proprietes sont reunies, on dit parfois que la chaıne est ergodique.

Avant d’enoncer le theoreme de convergence des chaınes de Markov, rappelons lecelebre resultat de Perron-Frobenius.

Theoreme 3.1.2 Soit A une matrice carree de dimension n t.q. aij > 0 alors A admetune valeur propre reelle strictement positive α de mutilplicite 1 et telle que

α > |λi|

pour toute autre valeur propre λi de A. A la valeur propre α correspond un vecteurpropre dont les coordonnees sont positives.

Theoreme 3.1.3 Soit Xn ; n ∈ IN une chaıne de Markov irreductible et aperiodique.1) Il existe une unique loi de probabilite π invariante. De plus, πi > 0 pour touti ∈ E.

2) Pour tout i, j ∈ E,

limn→∞

p(n)i, j = πj .

3) Quelle que soit la loi de X0, (Xn) converge en loi vers π.

Demonstration. Nous donnons quelques elements de preuve. Les hypotheses dutheoreme garantissent qu’il existe un rang m0 tel que

∀m ≥ m0 , pmij > 0 ∀i, j

Pour simplifier sans perte de generalite, nous supposerons que m0 = 1. D’apres letheoreme de Perron-Frobenius, la valeur propre de module maximal α = 1 est demultiplicite 1. Ainsi, P s’ecrit

P = Q

10 d11 ∗0 ∗ d|E|−1,|E|−1

Q−1

ou Q designe une matrice des vecteurs propres de P . Les valeurs propres λi de

D =

(d11 ∗

d|E|−1,|E|−1

)

sont de module strictement inferieur a 1. La norme matricielle de D est majoree de lamaniere suivante

|||Dn||| ≤ c (max |λi|)n


ou c est une constante positive. Nous avons

limn→∞

P n = limn→∞

Q

(1 00 Dn

)Q−1

et le theoreme decoule du fait que l’on peut choisir la premiere colonne de Q egale a 1.1

Commentaires. Nous avons etabli que

limn→∞

P(Xn+m = j | Xm = i) = πj .

Cette limite est donc independante de i. Ceci nous amene a l’approximation suivantelorsque n est grand

P(Xn+m = j | Xm = i) ≈ P(Xn+m = j) .

En d’autres termes, nous pouvons considerer que deux etats de la chaıne separes parune longue histoire sont independants. A propos de la vitesse de convergence, nousavons vu, lors de la demonstration precedente que

|P(Xn = j | X0 = i)− πj| ≤ cρn

ou c est une constante positive et

ρ = max|λi| ; λi valeur propre de P 6= 1 .

La limite est atteinte a une vitesse exponentielle et cette vitesse de convergence secaracterise par le coefficient ρ.

Nous terminons ce paragraphe par une exemple simple de chaıne de Markov.

Exemple 3.1.5 Un message peut prendre deux formes - 0 ou 1 - et doit etre trans-mis d’un individu A a un individu B par une suite de N intermediaires. Chaque in-termediaire modifie le message de 0 en 1 avec probabilite p et de 1 en 0 avec probabiliteq, independamment des modifications precedentes. Soit Xn la forme prise par le mes-sage apres le passage par le nieme intermediaire.

– Montrer que la suite (Xn)n≥0 est une chaıne de Markov homogene. Donner samatrice et son graphe de transition. La chaıne est-elle irreductible ?

– Exprimer la loi de la variable XN en fonction de la loi de X0.– Montrer la convergence en loi de XN lorsque N tend vers l’infini.


– On suppose p > 0, q = 0 et X0 = 0. Montrer la convergence presque sure de XN

vers 1 lorsque N tend vers l’infini.– Soit

T0 = infn ≥ 1; Xn = 0.

Calculer E[T0 | X0 = 0]. Que constate-t-on ?

Solution. En notant→ pour “est modifie par le nieme intermediaire en”, l’evenement(Xn = i) s’exprime de la facon suivante

∀i = 0, 1 , (Xn = i) = (Xn−1 = i) ∩ (i→ i) ∪ (Xn−1 = 1− i) ∩ (1− i→ i).

Par consequent, la variable Xn ne depend que de la variable Xn−1 (les modificationssont independantes les unes des autres). La probabilite conditionnelle

P(Xn = j | Xn−1 = i) =P(Xn = j ∩Xn−1 = i)

P(Xn−1 = i)

est egale a

P((Xn−1 = i) ∩ (i→ j))

P(Xn−1 = i)= P(i→ j).

cette derniere grandeur ne depend pas de n, (Xn)n≥0 est donc une chaıne de Markovhomogene. Sa matrice de transition est

P =

(1− p pq 1− q

)

La loi πN de la variable XN se calcule, en fonction de la loi π0 de la variable X0 enutilisant le fait que

πN = (P ∗)Nπ0

Ceci implique que XN est une variable de Bernoulli de parametre

P(XN = 1) = πN(1) =p

p+ q1− (1− (p+ q))N+ (1− (p+ q))N π0(1)

en eliminant les cas triviaux p = q = 0 et p = q = 1. On verifie la convergence de XN

vers la loi de Bernoulli de parametre p/(p+ q).Lorsque p 6= 0, 1 et q 6= 0, 1, la chaıne est irreductible et aperiodique, le theoremede convergence permet de retrouver directement le resultat precedent en resolvant lesysteme

π∞ = P ∗π∞.

Lorsque p 6= 0 et q = 0, la chaıne n’est plus irreductible. Il y a pourtant convergenceen loi de XN vers la masse de Dirac en 1 et si X0 = 0∑

N≥0

P( | XN − 1 | > ε) =∑N≥0

P(XN = 0) < ∞.


Par le lemme de Borel-Cantelli, XN converge p.s. vers 1. On peut meme preciser letemps d’entree T dans l’etat 1

P(T > n) = P(Xn = 0) = (1− p)n

et T suit la loi G(p).

3.1.4 La ruine du joueur

Nous revenons sur l’exemple (3.1.2). La fortune du joueur au cours des mises enjeu successives est decrite par une chaıne de Markov (Xn) a valeurs dans 0, . . . , r. Lesprobabilites de transition de cette chaıne sont donnees par

pi, i+1 = p = 1− pi, i−1, i = 1, . . . , r − 1

et

p0, 0 = pr, r = 1 .

Dans ce cas, la chaıne n’est pas irreductible. A chacun des etats absorbants 0 ou rcorrespond une mesure de probabilite invariante (egale a la masse de Dirac en 0 ou r).Le probleme du joueur consiste a determiner la probabilite qu’il a de terminer le jeugagnant (avec une fortune finale egale a r), sachant que sa fortune initiale est egale ai. Soit

τr = infn ∈ IN ; Xn = r .

On cherche a calculer la probabilite

pi = P(τr <∞ | X0 = i) .

En conditionnant a la valeur de X1, on obtient

pi = p pi+1 + (1− p) pi−1 , i = 1, 2, . . . r − 1

soit

pi+1 − pi =(1− p)p

(pi − pi−1) .

En utilisant, la relation

p0 = 0 ,

on obtient, de proche en proche,

pi − p1 = p1

(((1− p)/p) + ((1− p)/p)2 + . . .+ ((1− p)/p)i−1

).

En utilisant la relation

pr = 1 ,


on a finalement

p1 =

1−(1−p)/p

1−((1−p)/p)r , si p 6= 1/2

1/r , si p = 1/2

et

pi =

1−((1−p)/p)i1−((1−p)/p)r , si p 6= 1/2

i/r , si p = 1/2 .

3.1.5 Le temps de sortie du rat

Nous reprenons dans ce paragraphe un exemple introduit lors du chapitre sur leconditionnement (chapitre 5). Un rat se trouve dans un labyrinthe face a deux portes.Il choisit la premiere de ces deux portes avec probabilite 1

3et la deuxieme avec pro-

babilite 23. Quand il choisit la premiere porte, il revient a son point de depart en une

minute. Quand il choisit la deuxieme porte, il effectue un trajet d’une minute (jusqu’aun point intermediaire) puis rebrousse chemin avec probabilite 1

2(le retour lui prend

alors une minute) ou sort du labyrinthe en une minute. Tous les choix du rat se fontindependamment les uns des autres. Soit T le temps passe par le rat dans le labyrinthe.Nous connaissons l’esperance de ce temps (cf. chapitre 5)

E[T ] = 5 .

Nous souhaitons maintenant determiner la loi de T .

Solution. Le formalisme des chaınes de Markov permet de donner une solutionelegante de cet exercice qui peut se traiter par une methode combinatoire directe.Soient D, I, S les differents points visites par le rat aux instants entiers (en mi-nutes). On note evidemment D le point de depart, I le point intermediaire et S lasortie. La suite (Xn)n≥0 des points successivement visites par le rat est une chaıne deMarkov de condition initiale X0 = D et de matrice de transition P egale a 1/3 2/3 0

1/2 0 1/20 0 1

Le temps de sortie T s’exprime de la maniere suivante

T = infn ≥ 1 , Xn = S

et

P(T ≤ n) = P(Xn = S) = P(Xn = S | X0 = D).


La derniere identite provient du fait que l’on impose P(X0 = D) = 1. Ainsi P(T ≤ n)est le coefficient correspondant a la ligne D et a la colonne S de la matrice P (n) itereenieme de P . La recurrence evidente

P (n+1) = P P (n)

permet d’obtenir la relation

P(n+1)DS =

1

3(P

(n)DS + P

(n−1)DS + 1). (∗)

En remarquant d’une part que

P(0)DS = P

(1)DS = 0

et d’autre part que 1 est solution particuliere de (∗), on obtient

P(T ≤ n) = 1− (1 + 5/

√13

2(1 +√

13

6)n +

1− 5/√

13

2(1−√

13

6)n).

Ceci donne

E(T ) =∑n≥0

P(T > n) =1

2(

1 + 5/√

13

1− (1 +√

13)/6+

1− 5/√

13

1− (1−√

13)/6) = 5 .

3.2 Loi exponentielle et processus de Poisson

Lorsque l’on desire etablir un modele mathematique d’un phenomene reel, il estsouvent necessaire de faire de nombreuses hypotheses simplificatrices pour rendre lemodele tractable du point de vue calculatoire. Une hypothese simplificatrice souventemise en pratique est que certaines variables aleatoires suivent une loi exponentielle.Ceci se justifie du fait de la simplicite de calcul liee a la cette loi mais aussi du faitqu’elle constitue souvent une bonne approximation du phenomene reel.

La loi exponentielle est la loi de la duree de vie d’un materiel qui ne s’use pasau cours du temps. Un tel materiel possede un taux de destruction (taux de panne)constant dans le temps. Cette propriete d’absence de memoire sera mise en forme dansle premier paragraphe. La loi exponentielle sera la seule loi qui possedera une tellepropriete.La suite sera dediee a l’etude d’un processus aleatoire a temps continu : le processusde Poisson. Le processus de Poisson est un processus de comptage d’evenements quisurviennent au hasard au cours du temps independamment les uns des autres (arriveesde clients a un serveur par exemple). Nous decouvrirons que le processus de Poissonpossede des liens etroits avec la loi exponentielle.

3.2. LOI EXPONENTIELLE ET PROCESSUS DE POISSON 59

3.2.1 Loi exponentielle

Une variable aleatoire reelle X suit une loi exponentielle de parametre λ > 0 si sadensite est donnee par

f(x) =

λe−λx, x ≥ 0

0, x < 0 .

Sa fonction de repartition est alors donnee par

F (x) =∫ x

−∞f(x)dx =

1− e−λx si x ≥ 0

0 sinon.

La transformee de Laplace de la loi exponentielle est

∀s ≥ 0, L(s) = E[e−sX ]

=∫ +∞

0e−sxλe−λxdx

=λ

λ+ s.

Les moments de la variable X s’obtiennent par differentiations successives de la trans-formee de Laplace

E[X] = L′(0)

=1

λ

et

E[X2] = L′′(0)

=2

λ2.

Des deux equations precedentes, on deduit aisement

V ar(X) =1

λ2.

Exemple 3.2.1 Soient X1, . . . , Xn des variables independantes de loi exponentielle deparametre λ > 0. On demontre que la loi de la variable Sn egale a X1 + . . .+Xn est laloi G(n, λ) de densite

fX1+...+Xn(x) =

λe−λx(λx)n−1/(n− 1)! , x ≥ 0

0 , x < 0 .

Solution. Exercice (utiliser la transformation de Laplace).


3.2.2 Absence de memoire

Definition 3.2.1 Une variable aleatoire X est dite sans memoire (ou sans usure) si

∀s, t ≥ 0, P(X > t+ s | X > t) = P(X > s) . (3.4)

Si X est la duree de vie d’un materiel quelconque, l’equation (3.4) s’interprete de lamaniere suivante. Sachant le materiel en etat de bon fonctionnement au temps t, laloi de probabilite de sa duree de vie future est la meme que celle de sa duree de vieinitiale. En d’autres termes, le materiel ne s’use pas.

Proposition 3.2.1 Une variable aleatoire de loi exponentielle est sans memoire.

Demonstration. La condition d’absence de memoire (3.4) se formule de la manieresuivante

P(X > t+ s ; X > t)

P(X > t)= P(X > s) ,

soitP(X > t+ s) = P(X > t) P(X > s) . (3.5)

La condition (3.5) est evidemment satisfaite par la loi exponentielle.

Proposition 3.2.2 Une variable aleatoire sans memoire suit la loi exponentielle.

Demonstration. Soit X une variable possedant la propriete (3.4). On note

G(x) = P(X > x) .

Nous venons d’observer que la fonction G etait solution de l’equation fonctionnelle

∀x, y ∈ IR+ , g(x+ y) = g(x)g(y) .

Un resultat d’analyse tres classique garantit que les solutions continues (a droite) decette equation sont de la forme

∀x ∈ IR+ , g(x) = e−λx .

Ainsi, nous devons avoir

∀x ∈ IR+ , P(X ≤ x) = 1− e−λx .

La propriete d’absence de memoire de la loi exponentielle se traduit sur une grandeurappelee taux de panne ou taux de hasard.

Definition 3.2.2 Soit X une variable aleatoire reelle de densite f et de fonction derepartition F . On appelle taux de hasard la fonction definie par

∀t ≥ 0 , r(t) =f(t)

1− F (t). (3.6)

3.2. LOI EXPONENTIELLE ET PROCESSUS DE POISSON 61

Cette grandeur s’interprete de la maniere suivante. Supposons qu’un materiel de dureede vie X soit en etat de bon fonctionnement au temps t > 0. On desire calculer laprobabilite d’une panne dans l’intervalle de temps (t, t + dt). Cette probabilite estegale a

P(X ∈ (t, t+ dt) | X > t) .

Or

P(X ∈ (t, t+ dt) | X > t) =P(X ∈ (t, t+ dt) ; X > t)

P(X > t)

=P(X ∈ (t, t+ dt) )

P(X > t)

' f(t)dt

1− F (t)

= r(t)dt .

La fonction r(t) represente le taux (conditionnel) avec lequel un materiel cesse defonctionner a la date t. Pour la loi exponentielle, ce taux se doit d’etre constant parabsence d’usure. On verifie bien

∀t ≥ 0 , r(t) = λe−λt/e−λt = λ .

Proposition 3.2.3 Soit X une variable aleatoire positive admettant une densite f . Letaux de hasard de X caracterise la loi de cette variable.

Demonstration. Notons que l’equation (3.6) se formule de maniere equivalente

∀t ≥ 0 , r(t) =F ′(t)

1− F (t).

En integrant des deux cotes, on obtient

ln(1− F (t)) = −∫ t

0r(s)ds+ k

soit

1− F (t) = ek exp−∫ t

0r(s)ds

.

En prenant t = 0, on obtient, puisque F (0) = 0,

F (t) = 1− exp−∫ t

0r(s)ds

.

Exemple 3.2.2 Determiner la loi d’une variable aleatoire dont le taux de panne estegal a

1) r(t) = λt , t ≥ 0 ,2) r(t) = eλt , t ≥ 0 .


3.3 Processus de comptage

On appelle processus aleatoire a temps continu une famille Xt ; t ≥ 0 de variablesaleatoires indicees par un parametre reel positif. Le processus est dit a valeurs entieressi Xt ∈ IN , pour tout t ≥ 0 . Un processus aleatoire est caracterise par la donnee de seslois fini-dimensionnelles. On parle de loi du processus Xt ; t ≥ 0 lorsque l’on connaitla loi du vecteur (Xt1 , Xt2 , . . . , Xtn) pour toute suite finie 0 ≤ t1 ≤ t2 ≤ . . . ≤ tn .

Definition 3.3.1 Un processus aleatoire Nt ; t ≥ 0 a valeurs entieres est un pro-cessus de comptage si

i) N0 = 0 ;ii) ∀ s ≤ t, Ns ≤ Nt .

Il est a accroissements independants si, pour toute suite finie 0 ≤ t1 ≤ t2 ≤ . . . tn, lesvariables aleatoires

Nt1 , Nt2 −Nt1 , . . . , Ntn −Ntn−1

sont independantes.

Les processus de comptage peuvent modeliser de nombreux phenomenes. Si l’ons’interesse au nombre d’acces de clients a un serveur durant une periode (0, T ), onobserve en fait un processus de comptage sur cet intervalle de temps. De meme, lenombre de particules detectees par un capteur ou le nombre de buts marques lors d’unmatch de football peuvent etre modelises par des processus de comptage. On verifiefacilement qu’il suffit de connaitre la loi des accroissements Nt − Ns , t ≥ s pourcaracteriser un processus de comptage a accroissements independants (c’est-a-dire enconnaıtre la loi).

Definition 3.3.2 Un processus de comptage est dit a accroissements stationnaires si,pour tout t ≥ 0, la loi de l’accroissement Nt+s −Ns ne depend pas de s.

3.4 Processus de Poisson

L’un des processus de comptage parmi les plus importants est le processus de Pois-son. Intuitivement, il s’agit de compter le nombre d’occurrences d’evenements qui sur-viennent au hasard et independamment les uns des autres au cours du temps.

Definition 3.4.1 Le processus de comptage Nt ; t ≥ 0 est un processus de Poissonde taux λ > 0, si

i) le processus est a accroissements independants ;ii) le nombre d’occurrences dans un intervalle de temps quelconque de longueur t

suit la loi de Poisson de parametre λt.

∀ s, t ≥ 0 , P(Nt+s −Ns = n) = e−λt(λt)n/n! , n = 0, 1, ...

3.4. PROCESSUS DE POISSON 63

Il vient immediatement d’une telle definition qu’un processus de Poisson est un pro-cessus a accroissements stationnaires et de plus

E[Nt] = λt .

En pratique, on a besoin de savoir si un processus de comptage arbitraire peut etremodelise comme un processus de Poisson. La condition i) peut se justifier (ou non)a partir des connaissances que l’on a sur le processus reel. En revanche, il n’est pasclairement determine quel type de processus satisfait aussi a la condition ii). Pourcette raison, il est utile d’avoir des definitions equivalentes du processus de Poisson.Rappelons, dans un premier temps, la notion de fonction o(h).

Definition 3.4.2 Une fonction g est dite o(h) si

limh→0

g(h)

h= 0 .

Nous pouvons maintenant donner une alternative a la definition 3.4.1.

Definition 3.4.3 Le processus de comptage Nt ; t ≥ 0 est un processus de Poissonde taux λ > 0, si

i) le processus est a accroissements independants et stationnaires ;ii) P(Nh = 1) = λh+ o(h) ;iii) P(Nh ≥ 2) = o(h) .

Commentaires. Un argument heuristique permet de bien comprendre pourquoi laloi de Poisson intervient de maniere naturelle. Considerons l’intervalle de temps (0, t)que nous subdivisons en n sous intervalles de longueur egale a t/n. La probabilite pourqu’une occurrence survienne dans (kt/n, (k + 1)t/n) est approximativement egale aλt/n. Puisque les occurrences sont independantes, le nombre Nt d’occurrences dans(0, t) “suit” la loi binomiale B(n, λt/n). L’approximation binomiale-Poisson montreque l’on peut considerer que Nt suit la loi de Poisson de parametre nλt/n = λt. Nousjustifions ceci de maniere rigoureuse dans le theoreme suivant.

Theoreme 3.4.1 Les definitions 3.4.1 et 3.4.3 sont equivalentes.

Demonstration. Nous montrons que definition 3.4.3 =⇒ definition 3.4.1. Posons

pn(t) = P(Nt = n) .

Montrons dans un premier temps que p0 est solution d’une certaine equation differentielle

p0(t+ h) = P(Nt+h = 0)

= P(Nt = 0 ; Nt+h −Nt = 0)

= P(Nt = 0) P(Nt+h −Nt = 0)

= p0(t) [1− λh+ o(h)] .


Dans la troisieme equation, nous avons utilise l’assertion i). Nous avons pu poursuivreen combinant ii) et iii) pour aboutir a la derniere equation. On obtient finalement

p0(t+ h)− p0(t)

h= −λ p0(t) +

o(h)

h.

En passant a la limite h→ 0, on obtient

p′0 = −λ p0 .

L’integration de cette equation lineaire d’ordre un conduit, en tenant compte de lacondition initiale p0(0) = 1, a

p0(t) = e−λt .

En procedant de la meme maniere, pour tout n > 0, il vient

pn(t+ h) = P(Nt+h = n)

= P(Nt = n ; Nt+h −Nt = 0)

+ P(Nt = n− 1 ; Nt+h −Nt = 1)

+n∑k=2

P(Nt = n− k ; Nt+h −Nt = k) .

Par l’assertion iii), le dernier terme est d’ordre o(h). En utilisant a nouveau l’assertioni), on otient

pn(t+ h) = pn(t) p0(h)− pn−1(t) p1(h) + o(h)

= (1− λh) pn(t) + λh pn−1(t) + o(h) .

Soit, en passant a la limite h→ 0

p′n(t) = −λ pn(t) + λ pn−1(t) . (3.7)

Posons

qn(t) = eλtpn(t) .

Alors, en multipliant les deux termes par eλt, l’equation (3.7) se formule de maniereequivalente

d

dtqn(t) = λ qn−1(t) .

On termine la demonstration en verifiant par recurrence que

qn(t) =λntn

n!

est l’unique solution de ce systeme sous la condition qn(0) = 0. La reciproque est facilea etablir. C’est un exercice.

3.4. PROCESSUS DE POISSON 65

3.4.1 Durees inter-occurrences et instants d’arrivee

Soit Nt ; t ≥ 0 un processus de Poisson de taux λ > 0. On note X1 le tempsd’attente de la premiere occurrence du processus Nt. De meme, pour tout n > 1, onnote Xn la variable aleatoire egale a la duree separant la (n − 1)ieme et la niemeoccurrence du processus Nt. Une autre variable d’interet est la variable Sn egale al’instant d’arrivee de la nieme occurrence du processus Nt. Par definition,

∀n ∈ IN , Sn =n∑i=1

Xi .

Le processus de Poisson est a accroissements independants et stationnaires. Intui-tivement, il redemarre de la meme maniere a n’importe quel instant positif. A toutinstant, l’etat du processus est independant de tout les etats passes du processus. End’autres termes, il s’agit d’un processus sans memoire. Ainsi, on s’attend a voir ap-paraıtre la loi exponentielle pour les variables de durees inter-occurrences.

Proposition 3.4.1 Les variables aleatoires X1, . . . , Xn sont independantes et de loiexponentielle de parametre λ.

Demonstration. Notons, tout d’abord, que l’evenement (X1 > t) se realise si etseulement si il n’y a aucune occurrence du processus de Poisson dans l’intervalle (0, t).Ainsi,

P(X1 > t) = P(Nt = 0) = e−λt .

Donc X1 suit la loi exponentielle de parametre λ. De plus,

P(X2 > t) = E[ P(X2 > t | X1)] =∫ ∞

0P(X2 > t | X1 = s)λe−λsds .

Calculons

P(X2 > t | X1 = s) = P(0 occurrence dans (s, s+ t) | X1 = s)

= P(0 occurrence dans (s, s+ t))

= P(Nt+s −Ns = 0)

= e−λt .

Les deux dernieres equations decoulent de la propriete d’accroissements independantset stationnaires du processus de Poisson. On conclut que X2 suit la loi exponentiellede parametre λ et qu’elle est independante de X1. En repetant cet argument pour toutn > 2, on demontre la proposition.

Le processus de Poisson peut etre defini a partir de la suite des instants d’arrivee(Sn) (et donc des (Xn) ) en posant

∀n ∈ IN , ∀t > 0 , Nt ≥ n ⇐⇒ Sn ≤ t . (3.8)

Nous souhaitons etablir une reciproque a la proposition precedente. Supposons doncque les variables Sn sont definies comme somme de n variables independantes de loi


E(λ) (Sn suit la loi G(n, λ)). Montrons qu’une variable Nt definie a partir de la relation(3.8) suit la loi de Poisson de parametre λt. Soit n ∈ IN ,

P(Nt ≥ n) = P(Sn ≤ t)

=λn

(n− 1)!

∫ t

0xn−1e−λxdx

=λn

(n− 1)!In

Par parties, on obtient

In = [xn

ne−λx]t0 +

∫ t

0λxn

ne−λxds .

Donc

P(Nt ≥ n) =(λt)n

n!e−λt +

λn+1

n!In+1 .

Par consequent, puisque le dernier terme est egal a P(Nt ≥ n+ 1),

P(Nt = n) = P(Nt ≥ n)− P(Nt ≥ n+ 1) =(λt)n

n!e−λt .

notes de cours vecteurs al eatoires cha^ nes de...

Documents