cadenas de markov

FIMCP Ingeniera y Administracion de la Produccion Industrial

Cadenas de MarkovInvestigacion de Operaciones II

Andres G. Abad, [email protected]

ESCUELA SUPERIOR POLITECNICA DEL LITORALIngeniera y Administracion de la Produccion Industrial

Andres G. Abad, Ph.D. [email protected] Cadenas de Markov


Cadenas de MarkovEjemplo: Modelo del clima en un pueblo I

Supongamos que en cierto pueblo se ha observado que 90% detodos los das soleados son seguidos por otro da soleado, y 80%de los das nublados son seguidos por otro da nublado. Comopodramos utilizar esta informacion para modelar el clima de estepueblo?



Definicion de Cadenas de Markov I

Se dice que un proceso estocastico {Xt}, (t = 0, 1, . . . ) es unacadena de Markov con estados finitos si posee las siguientescaractersticas

I Un numero finito de estados

I Un conjunto de probabilidades iniciales P{X0 = i} para todo iI Probabilidades de transicion estacionarias

I La propiedad Markoviana



Propiedad Markoviana

Se dice que un proceso estocastico Xt tiene la propiedadmarkoviana si

P{Xt+1 = j|Xt = i,Xt1 = kt1, . . . ,X0 = k0} = P{Xt+1 = j|Xt = i}

para t = 0, 1, 2, . . . y toda sequencia de estados k0, . . . , kt1, i, j



Probabilidades de transicion

La probabilidad condicional P{Xt+1 = j|Xt = i} son llamadasprobabilidades de transicion

Probabilidades de transicion estacionariaSi para cada i y j tenemos

P{Xt+1 = j|Xt = i} = P{X1 = j|X0 = i}

entonces decimos que las probabilidades de transicion sonestacionarias y las denotamos por pij



Ejemplo: Sacando bolas de una urna I

Una urna contiene inicialmente dos bolas sin pintar. Escogemosuna bola al azar y lanzamos una moneda. Si la bola escogida estasin pintar y obtenemos una cara en la moneda, entonces pintamosla bola color rojo; si la bola esta sin pintar y obtenemos un sello enla moneda, entonces pintamos la bola color negro. Si la bola yaesta pintada, entonces (independientemente del resultado de lamoneda) cambiamos el color de la bola (de rojo a negro o denegro a rojo).



Ejemplo: Modelo del clima en un pueblo 2 I

Supongamos ahora que el clima de manana depende de los dosultimos das de la siguiente manera:

1. Si los dos ultimos das han sido soleados, 95% de las vecesmanana es soleado tambien;

2. Si ayer fue nublado y hoy es soleado, manana sera soleadoun 70% de las veces;

3. Si ayer fue soleado y hoy es nublado, entonces manana seranublado un 60% de las veces; y

4. Si los dos ultimos das ha sido nublado, entonces mananasera nublado un 80%.

Utilizando esta informacion, modele el clima de este pueblo comouna cadena de Markov.



Ejemplo: Reparacion de maquinas I

Una compana tiene dos maquinas. Durante cualquier da, cadamaquina que esta funcionando al inicio del da tiene unaprobabilidad de 13 de que se dane. Si una maquina se danadurante el da, es enviada a reparacion y estara reparada dos dasdespues de que se dano (as, si una maquina se dana durante elda 3, estara funcionando al inicio del da 5.) Haciendo que losestados del sistema sean el numero de maquinas funcionando alinicio de cada da, obtenga la matriz de transicion para estasituacion.



Ejemplo: Problema de inventario I

Una tienda almacena camaras que pueden ser ordenadassemanalmente. Sea D1,D2, . . . la demanda de la camara durantela primera semana, la segunda semana, y as respectivamenteI Asumimos que los Di s son variables aleatorias

independientes e identicamente distribuidas

Sea X0 el numero de camaras al inicio, X1 el numero de camarasal final de la 1era semana, X2 el numero de camaras al final de la2nda semana, y as sucesivamenteI Asumimos que X0 = 3



Ejemplo: Problema de inventario II

La tienda utiliza la siguiente poltica de ordenamiento (s,S)I Si el numero de camaras al final de la semana es menor a

s = 1, entonces se enva una orden de S = 3I Caso contrario, la tiendo no enva una orden esta semana

Asi, {Xt} para t = 0, 1, es un proceso estocasticoI Las variables aleatorias Xt s son claramente dependientes y

pueden ser evaluadas iterativamente por la expresion

Xt+1 ={

max{(3 Dt+1), 0} si Xt < 1;max{(Xt Dt+1), 0} si Xt 1.



Ejemplo: Problema de inventario III

Matriz de transicion

P =

p00 p01 p02 p03p10 p11 p12 p31p20 p21 p22 p32p30 p31 p32 p33

Asumiendo que Dt+1 sigue una distribucion de Poisson con media1, tal que

P{Dt+1 = n} = (1)ne1

n!, n = 0, 1, . . .



Ejemplo: Problema de inventario IV

P{Dt+1 = 0} =e1 = 0.368P{Dt+1 = 1} =e1 = 0.368

P{Dt+1 = 2} =e1

2= 0.184

P{Dt+1 3} =1 P{Dt+1 2} = 0.080



Ejemplo: Problema de inventario V

Dado que si Xt = 0, entonces Xt+1 = max{3 Dt+1, 0}

p03 = P{Dt+1 = 0} =e1 = 0.368p02 = P{Dt+1 = 1} =e1 = 0.368

p01 = P{Dt+1 = 2} =e1

2= 0.184

p00 = P{Dt+1 3} =0.080



Ejemplo: Problema de inventario VI

De manera similar podemos encontrar los demas pij s, obteniendoas

P =

0.080 0.184 0.368 0.3680.632 0.368 0 00.264 0.368 0.368 00.080 0.184 0.368 0.368



Ejemplo: Problema de inventario VII



Ejemplo: Apuestas

Supongamos que un jugador tiene $2 y en cada juego gana $1con probabilidad p o pierde $1 con probabilidad 1 p. El juegotermina cuando el juegador acumula $4 o pierde todo.

P =

1 0 0 0 0

1 p 0 p 0 00 1 p 0 p 00 0 1 p 0 p0 0 0 0 1



Probabilidades de transicion de n pasos I

La existencia de probabilidades de transicion estacionarias implicaque para cada i , j , y n (n = 0, 1, 2, . . . )

P{Xt+n = j|Xt = i} = P{Xn = j|X0 = i}

para todo t = 0, 1, . . . .

Para simplificar notaciones escribiremos:

pij = P{Xt+1 = j|Xt = i},

p(n)ij = P{Xt+n = j|Xt = i}.



Probabilidades de transicion de n pasos II

Naturalmente, las probabilidades condicionales p(n)ij , satisfaceran

p(n)ij 0, para todo i, j, y n = 0, 1, 2, . . .

Mj=0

p(n)ij = 1, para todo i y n = 0, 1, 2, . . .



Representacion matricial de las probabilidades detransicion I

Una representacion conveniente de las probabilidades detransicion son las matrices

State 0 1 M0 p(n)00 p(n)0M

P(n) = 1...

......

......

M p(n)M0 p(n)MMO equivalentemente

P(n) =

p(n)00 p(n)0M...

...p(n)M0 p(n)MM



Ejemplo: La cola I

Supongamos que la industria total de bebidas gaseosas producensolo dos colas. Dado que la ultima compra de una persona es lacola 1, hay un 90% de probabilidad de que su siguiente comprasea cola 1. Dado que la ultima compra de una persona es la cola2, entonces hay un 80% de probabilidad de que su siguientecompra sea la cola 2.

1. Si la persona acaba de comprar la cola 2, cual es laprobabilidad de que compre la cola 1 dos compras despues.

2. Si la persona acaba de comprar la cola 1, cual es laprobabilidad de que compre la cola 1 tres compras despues.



Ecuaciones de Chapman-Kolgomorov I

Las ecuaciones de Chapman-Kolgomorov proporcionan unmetodo para calcular las probabilidades de transicion p(n)ij :

p(n)ij =M

k=0

p(m)ik p(nm)kj ,

para todo i = 1, 2, . . . ,M, j = 1, 2, . . . ,M y cualquierm = 1, 2, . . . , n 1 y n = m + 1,m + 2, . . .



Ecuaciones de Chapman-Kolgomorov II

En particular, con m = 1 y m = n 1 obtenemos

p(n)ij =M

k=0

pikp(n1)kj y p

(n)ij =

Mk=0

p(n1)ik pkj

Estas ecuaciones nos permiten obtener las probabilidades detransicion de n pasos recursivamente de las probabilidades pij s



Ecuaciones de Chapman-Kolgomorov IIIPara n = 2, tenemos

p(2)ij =M

k=0

pikpkj , para todo estado i y j



Ecuaciones de Chapman-Kolgomorov IV

Notemos que los elementos p(2)ij son los elementos de la matriz

P(2) = P P = P2

Por induccion se puede mostrar entonces que

P(n) = P P(n1) = P Pn1 = Pn

P(n) = P(n1) P = Pn1 P = Pn



Ecuaciones de Chapman-Kolgomorov V

P(2) = P2 =

0.080 0.184 0.368 0.3680.632 0.368 0 00.264 0.368 0.368 00.080 0.184 0.368 0.368

0.080 0.184 0.368 0.3680.632 0.368 0 00.264 0.368 0.368 00.080 0.184 0.368 0.368

=

0.249 0.286 0.300 0.1650.283 0.252 0.233 0.2330.351 0.319 0.233 0.0970.249 0.286 0.300 0.165



Ecuaciones de Chapman-Kolgomorov VI

P(4) = P4 =

0.249 0.286 0.300 0.1650.283 0.252 0.233 0.2330.351 0.319 0.233 0.0970.249 0.286 0.300 0.165

0.249 0.286 0.300 0.1650.283 0.252 0.233 0.2330.351 0.319 0.233 0.0970.249 0.286 0.300 0.165

=

0.289 0.286 0.261 0.1640.282 0.285 0.268 0.1660.284 0.283 0.263 0.1710.289 0.286 0.261 0.164



Ecuaciones de Chapman-Kolgomorov VII

Probabilidades incondicionales de estadosLas probabilidades incondicionales de estados P{Xn = j} puedenser obtenidas utilizando las probabilidades del estado inicialP{X0 = i}, asi

P{Xn = j} =P{X0 = 0}p(n)0j + P{X0 = 1}p(n)1j + + P{X0 = M}p(n)Mj

=Mi=0

P{X0 = i}p(n)0i



Ecuaciones de Chapman-Kolgomorov VIII

Ejemplo: InventarioDado que asumimos que inicialmente haban 3 camaras tenemos

P{X0 = 0} = P{X0 = 1} = P{X0 = 2} = 0 y P{X0 = 3} = 1

y por consiguiente tenemos que

P{X2 = 3} = (1)p(2)33 = 0.165



Estados accesibles y comunicados I

Decimos que un estado j es accesible desde otro estado i (i j)si p(n)ij > 0 para algun n

I En general, una condicion suficiente para que todos losestados sean accesibles es que exista un valor n para el cualp(n)ij > 0, para todo i y j



Estados accesibles y comunicados II

Si i j y j i , entonces decimos que los estados i y j secomunican (i j)

1. Cualquier estado se comunica consigo mismo (ya quep(0)ii = P{X0 = i|X0 = i}=1)

2. Si i j , entonces j i3. Si i j y el estado j k , entonces i k



Estados accesibles y comunicados III

Por consiguiente, los estados pueden ser particionados en una omas clases separadas tal que aquellos estados que se comunicanentre ellos esten en una misma clase

I Una clase puede consistir en un solo estado

Si solo existe una clase, i.e. todos los estados se comunican,decimos que la cadena de Markov es irreducible



Estados recurrentes y transitorios I

Decimos que un estado es transitorio si, despues de entrar alestado, es posible que el proceso no regrese a este estado

I Un estado i es transitorio si y solo si existe un estado j (i 6= j)accesible del estado i pero no viceversa (i.e. el estado i no esaccesible desde el estado j)

Como consecuencia, un estado transitorio solo sera visitado unnumero finito de veces



Estados recurrentes y transitorios II

Decimos que un estado es recurrente si, despues de entrar alestado, el proceso definitivamente regresara a este estado

I Un estado es recurrente si y solo si no es transitorio

Dado que un estado recurrente sera definitivamente visitadodespues de cada visita, entonces sera visitado un numero infinitode veces si el proceso continua por siempre



Estados recurrentes y transitorios III

La recurrencia es una propiedad de las clasesI Todos los estado pertenecientes a una clase son recurrentes

o transitorios

En una cadena de Markov con estados finitos, no todos losestados pueden ser transitoriosI Todos los estados en una cadena de Markov irreducible son

recurrentes

Uno puede identificar una cadena de Markov irreducible deestados finitos (y por consiguiente concluir que todos los estadosson recurrentes) mostrando que todos los estados del proceso secomunican



Estados recurrentes y transitorios IV

Decimos que un estado es absorbente si, despues de entrar alestado, el proceso nunca deja este estado

I El estado i es absorbente si y solo si pii = 1



Estados recurrentes y transitorios V

Ejemplo

P =

14

34 0 0 0

12

12 0 0 0

0 0 1 0 00 0 13

23 0

1 0 0 0 0

I El estado 0 y 1 son recurrentesI El estado 2 es absorbente (recurrente)I El estado 3 es transitorioI El estado 4 es transitorio



Perioricidad de un estado I

Perioricidad de un estadoDefinimos el periodo de un estado i como el entero t (t 1) talque p(n)ii = 0 para todo n distinto a t , 2t , 3t , . . . y t es el entero masgrande con esta propiedad.

Considere el ejemplo del apostador



Perioricidad de un estado II

Si existen dos numeros consecutivos s y s + 1 tal que p(s)ii > 0 y

p(s+1)ii > 0 decimos que el estado tiene periodo 1

I Es un estado aperiodico

Se puede demostrar que la perioricidad es una propiedad de lasclases

I Si un estado i que pertenece a una clase C tiene periodo d ,entonces el periodo de todos los estados en C es d



Probabilidades de estado estable

En el ejemplo de inventario observamos que

P(8) = P8 = P(4) P(4) =

0.286 0.285 0.264 0.1660.286 0.285 0.264 0.1660.286 0.285 0.264 0.1660.286 0.285 0.264 0.166



Probabilidades de estado estable - pij I

Una cadena es ergodica si es aperiodica, irreducible, y recurrente.Para cualquier cadena de Markov ergodica, lim

n p(n)ij existe y es

independiente de i . Mas aun:

limn p

(n)ij = pij > 0



Probabilidades de estado estable - pij II

Aqu, pij satisface de manera unica las siguientes ecuaciones deestados estables

pij =Mi=0

piipij , para j = 0, 1, . . . ,M

Mj=0

pij = 1



Probabilidades de estado estable - pij III

Notas:I Es importante notar que las probabilidades de estado estable

no implica que el proceso se queda estable en algun estadoI El proceso continua haciendo transiciones de un estado al otroI En cualquier estado n la probabilidad de ir de un estado i a un

estado j se mantiene como pij



Obtencion de probabilidades pij I

Tenemos M + 2 ecuaciones en M + 1 variables.En el ejemplo de inventario tenemos

pi0 = pi0p00 + pi1p10 + pi2p20 + pi3p30pi1 = pi0p01 + pi1p11 + pi2p21 + pi3p31pi2 = pi0p02 + pi1p12 + pi2p22 + pi3p32pi3 = pi0p03 + pi1p13 + pi2p23 + pi3p331 = pi0 + pi1 + pi2 + pi3

Ipij = 1 es necesaria



Obtencion de probabilidades pij II

Substituyendo los pij tenemos

pi0 = 0.080pi0 + 0.632pi1 + 0.264pi2 + 0.080pi3pi1 = 0.184pi0 + 0.368pi1 + 0.368pi2 + 0.184pi3pi2 = 0.368pi0 + 0.368pi2 + 0.368pi3pi3 = 0.368pi0 + 0.368pi31 = pi0 + pi1 + pi2 + pi3



Obtencion de probabilidades pij III

Lo que nos da

pi0 = 0.286 pi1 = 0.285 pi2 = 0.263 pi3 = 0.166



Resultados adicionales de probabilidades de largo plazo

I Si i y j son dos estados recurrentes correspondientes aclases distintas, entonces

p(n)ij = 0, para todo n

I Si j es un estado transitorio, entonces

limn p

(n)ij = 0, para todo i



Probabilidad de los tiempos de la primera pasada I

Muchas veces es de interes hacer una afirmacion probabilsticasobre el numero de transiciones que le toma a un proceso en ir delestado i al estado j por primera vez

I A este numero de transiciones llamaremos tiempo de laprimera pasada



Probabilidad de los tiempos de la primera pasada II

Supongamos en el ejemplo de inventario que observamos lasiguiente realizacion de la cadena de Markov {Xt}

X0 = 3,X1 = 2,X2 = 1,X3 = 0,X4 = 3,X5 = 1

I El tiempo de la primera pasada del estado 3 al estado 1 son 2semanas

I El tiempo de la primera pasada del estado 3 al estado 0 son 3semanas



Probabilidad de los tiempos de la primera pasada III

Hagamos que f (n)ij denote la probabilidad de que el tiempo de laprimera pasada del estado i al estado j sea igual a nLas siguientes relaciones recursivas son satisfechas:

f (1)ij =p(1)ij = pij ,

f (2)ij =k 6=j

pik f(1)kj ,

f (n)ij =k 6=j

pik f(n1)kj



Probabilidad de los tiempos de la primera pasada IV

En el ejemplo del inventario tenemos:

f (1)30 = p30 = 0.080

f (2)30 =k 6=j

p3k f(1)k0 = p31f

(1)10 + p32f

(1)20 + p33f

(1)30

= 0.184(0.632) + 0.368(0.264) + 0.368(0.080) = 0.243



Probabilidad de los tiempos de la primera pasada V

Notemos que para valores fijos de i y j , los valores f (n)ij son valoresno negativos tales que

n=1

f (n)ij 1

ya que un sistema en un estado inicial i puede que nunca llegue aun estado jSolo cuando

n=1 f

(n)ij = 1 podemos considerar a los valores f

(n)ij

como la distribucion de probabilidad de los tiempos de llegada



Valor esperado de los tiempos de la primera pasada I

Aun cuando puede ser tedioso encontrar los valores de f (n)ij ,encontrar los valores esperados de los tiempos de la primerapasada (denotados por ij ) es relativamente simple

ij =

{, si n=1 f (n)ij < 1

n=1 nf(n)ij , si

n=1 f

(n)ij = 1



Valor esperado de los tiempos de la primera pasada II

Si

n=1

f (n)ij = 1

entonces ij satisfacera de manera unica la ecuacion

ij = 1 +k 6=j

pikkj



Valor esperado de los tiempos de la primera pasada III

En el ejemplo del inventario, tenemos las siguientes ecuaciones:

30 =1 + p3110 + p3220 + p333020 =1 + p2110 + p2220 + p233010 =1 + p1110 + p1220 + p1330



Valor esperado de los tiempos de la primera pasada IV

Remplazando valores tenemos

30 =1 + 0.18410 + 0.36820 + 0.3683020 =1 + 0.36810 + 0.3682010 =1 + 0.36810



Valor esperado de los tiempos de la primera pasada V

Resolviendo el sistema tenemos

30 =3.50 semanas

20 =2.51 semanas

10 =1.58 semanas



Valor esperado de los tiempos de la primera pasada VI

Para el caso de i = j , el valor esperado ii (el tiempo esperadopara regresar a un estado i por primera vez) es obtenido como

ii =1pii

donde pii es la probabilidad de estado estableAs en el ejemplo del inventario tenemos

00 =1pi0

= 3.5 semanas 11 =1pi1

= 3.51 semanas

22 =1pi2

= 3.8 semanas 33 =1pi3

= 6.02 semanas



Estados absorbentes I

Un estado k es absorbente si pkk = 1Si el proceso se encuentra en un estado i , la probabilidad de serabsorbido por el estado k es llamada probabilidad de absorcionpor el estado k

I Denotada por fik



Estados absorbentes II

Las probabilidades de absorcion satisfacen las siguientesecuaciones

fik =Mj=0

pij fjk , para i = 0, 1, . . . ,M

sujeto a:

fkk = 1

fik = 0, si el estado i es recurrente y i 6= k



Ejemplo I

Considere la siguiente matriz de transicion

P =

1 0 0 0

0.7 0.2 0.1 00.5 0.1 0.2 0.20 0 0 1

f13 =p10f03 + p11f13 + p12f23 + p13f33f23 =p20f03 + p21f13 + p22f23 + p23f33



Ejemplo II

Ya que f03 = 0 y f33 = 1, tenemos

(1 p11)f13 =p12f23 + p13(1 p22)f23 =p21f13 + p23

Reemplazando los valores de pij y resolviendo el sistemaobtenemos

f13 = 0.032 y f23 = 0.254


FIMCPIngeniera y Administracin de la Produccin Industrial

cadenas de markov

Documents