Cadenas de Markov

Hernán Cáceres
[email protected]

10/10/2019
 Procesos Estocásticos

Por ejemplo Xt podría representar

En un proceso de este tipo los valores de las los niveles de inventario al final de
observaciones no pueden predecirse con la semana t.
precisión. Sin embargo puede especificarse una
probabilidad de observar un determinado valor.

2
 Ejemplo: Inventario
Una tienda de cámaras tiene en almacén un modelo de cámara que puede ordenar
semanalmente, donde:
𝐷𝑡 : demanda al final de la semana 𝑡, 𝑡 = 1, 2, …
𝑋𝑡 : número de cámaras al final de la semana 𝑡, 𝑡 = 1, 2, …

El sábado en la noche la tienda hace un pedido que es entregado el lunes. La

política de la tienda es la siguiente: si no hay cámaras en el inventario, ordena 3. De
otra manera si se cuentan con cámaras en el almacén no se hace pedido.
Por estudios anteriores, se sabe que la demanda semanal Dt tiene una distribución
Poisson con media 1.
Considerar X0 = 3 y que las ventas se pierden cuando la demanda excede el
inventario.

3
 Ejemplo: Inventario

a) Deduzca la función Qt(Xt-1) que representa la cantidad de compra semanal

b) Deduzca la función Xt(Xt-1,Dt) que describe la evolución del estado en función
de la demanda, incorporando la política de compra
c) Construya la matriz de transición
d) Construya el diagrama de transición de estados
e) Obtenga la distribución probabilística del estado después de una y de dos
semanas. (Es decir, obtenga la distribución prob. de X1 y de X2)

4
 Ejemplo: Inventario
a) La política es que:
3 𝑠𝑖 𝑋𝑡−1 = 0
𝑄𝑡 𝑋𝑡−1 = ቊ
0 𝑠𝑖 𝑋𝑡−1 > 0
La política es de comprar sólo cuando se acaba el inventario, y de comprar lotes de 3.
b) Deduce la función Xt(Xt-1,Dt) que describe la evolución del estado en función de la demanda,
incorporando la política de compra
𝑋𝑡 𝑋𝑡−1 , 𝐷𝑡 = max 𝑋𝑡−1 + 𝑄𝑡 − 𝐷𝑡 , 0
Considerando la posibilidad de que la demanda exceda a la oferta, la evolución se da por:

3 𝑠𝑖 𝑋𝑡−1 = 0
𝑄𝑡 𝑋𝑡−1 =ቊ
0 𝑠𝑖 𝑋𝑡−1 > 0
Entonces:
max 3 − 𝐷𝑡 , 0 𝑠𝑖 𝑋𝑡−1 = 0
𝑋𝑡 𝑋𝑡−1 , 𝐷𝑡 =ቊ
max 𝑋𝑡−1 − 𝐷𝑡 , 0 𝑠𝑖 𝑋𝑡−1 > 0
5
 Ejemplo: Inventario
c) Construya la matriz de transición: pij = P(Xt = j| Xt-1 = i)

Xt 0 1 2 3
Xt-1
0 P(Dt>3) P(Dt = 2) P(Dt = 1) P(Dt = 0)

1 P(Dt>1) P(Dt = 0) 0 0
P= 2 P(Dt>2) P(Dt = 1) P(Dt = 0) 0
=
3 P(Dt>3) P(Dt = 2) P(Dt = 1) P(Dt = 0)

(La matriz de transición muestra la evolución Xt(Xt-1,Dt) , según la distribución de Dt)

6
 Ejemplo: Inventario
d) Construya el diagrama de transición de estados

0,184
0,080 0 0,632
1 0,368

0,368 0,368 0,184

0,368

0,264
0,080

0,368 2 0,368 3 0,368

7
 Ejemplo: Inventario

e) Obtener la distribución probabilística del estado después de una y de dos semanas. (Es decir,
obtenga la distribución prob. de X1 y de X2)

• Utilicemos p(t) para representar la distribución probabilística de Xt, en forma vectorial

• En el contexto de nuestro ejemplo, p(t)= [P(Xt = 0);P(Xt = 1);P(Xt = 2);P(Xt = 3)]
• Ya que X0 = 3, según el enunciado, p(0) = [0 0 0 1]

• La matriz de transición está hecha a propósito para que p(t)= p(t-1)P

• Entonces, p(1) = [0,080 0,184 0,368 0,368 ]

• Luego, p(2)= p(1)P = [0,249 0,286 0,300 0,165 ]

8
 Ejemplo: Inventario

¿Cómo interpretar estos resultados?

Si empezamos con 3 cámaras, hay una probabilidad de:

• 8% que nos queda 0 después de una semana, y 24,9% después de dos semanas.
• 18,4% que nos queda 1 después de una semana, y 28,6% después de dos
semanas.
• 36,8% que nos queda 2 después de una semana, y 30% después de dos semanas.
• 36,8% que nos queda 3 después de una semana, y 16,5% después de dos
semanas, etc.

9
Formulación de Cadenas de Markov

Acabamos de ver un ejemplo de un proceso estocástico, además es un ejemplo

de una Cadena de Markov.
Una cadena de Markov es un proceso estocástico 𝑋𝑡 |𝑡 = 0, … , 𝑛 que tiene la
propiedad markoviana:

𝑃 𝑋𝑡+1 = 𝑗|𝑋0 = 𝑘0 , 𝑋1 = 𝑘1 , . . . , 𝑋𝑡−1 = 𝑘𝑡−1 , 𝑋𝑡 = 𝑖 = 𝑃 𝑋𝑡+1 = 𝑗|𝑋𝑡 = 𝑖

Es decir, la probabilidad condicional de un evento futuro dado eventos pasados

y el estado actual, depende sólo del presente y es independiente de eventos
pasados.

10
Formulación de Cadenas de Markov

• En el contexto de Cadenas de Markov, se pueden definir probabilidades de

transición (de un paso):

𝑝𝑖𝑗 = 𝑃 𝑋𝑡+1 = 𝑗|𝑋𝑡 = 𝑖

• Son estacionarias (no cambian en el tiempo), esto es:

𝑃 𝑋𝑡 = 𝑗|𝑋𝑡−1 = 𝑖 = 𝑃 𝑋1 = 𝑗|𝑋0 = 𝑖 = 𝑝𝑖𝑗 , ∀𝑡 ≥ 1

11
Formulación de Cadenas de Markov

Probabilidades de Transición
• Lo último implica que también se cumple que para cada estado 𝑖, 𝑗 y para cada
etapa 𝑛 ∈ 0,1, … , 𝑡 :

𝑃 𝑋𝑡+𝑛 = 𝑗|𝑋𝑡 = 𝑖 = 𝑃 𝑋𝑛 = 𝑗|𝑋0 = 𝑖

• Lo cual se conoce como probabilidad de transición de 𝑛 pasos.

Notación de probabilidades estacionarias:

𝑝𝑖𝑗 = 𝑃 𝑋𝑡+1 = 𝑗|𝑋𝑡 = 𝑖

(𝑛)
𝑝𝑖𝑗 = 𝑃 𝑋𝑡+𝑛 = 𝑗|𝑋𝑡 = 𝑖

12
Formulación de Cadenas de Markov

(𝑛)
• Las probabilidades de transición de 𝑛 pasos, 𝑝𝑖𝑗, son las
probabilidades condicionales de que el sistema se encuentre en el
estado 𝑗 justo después de 𝑛 pasos (unidades de tiempo, etapas), dado
que comenzó en el estado 𝑖 en un tiempo 𝑡.
• Estas probabilidades condicionales cumplen las siguientes
propiedades:
𝑀
𝑛 𝑛
𝑝𝑖𝑗 ≥ 0​​ ∀𝑖, 𝑗, 𝑛 ෍ 𝑝𝑖𝑗 = 1​​ ∀𝑖, 𝑛
𝑗=0

13
Formulación de Cadenas de Markov

Notación conveniente:
forma matricial

14
Formulación de Cadenas de Markov

Matriz de Transición de 𝑛 pasos:

La probabilidad de transición de cada celda se refiere a la probabilidad de transición de 𝑛

pasos de pasar desde el estado en el renglón de la celda, al estado de la columna de la
celda.
Si 𝑛 = 1, entonces la matriz se denomina simplemente Matriz de Transición, y el
superíndice 𝑛 no se escribe.

15
Formulación de Cadenas de Markov

En las cadenas de Markov en tiempo discreto (CMTD) que se estudiarán

en el capítulo, se tendrán las siguientes propiedades:
• Un número finito de estados.
• Probabilidades de transición estacionarias.
• Según estos suposiciones, P(n) = Pn
Resultado de Chapman-Kolmogorov
• Además se supondrá que se conocen las probabilidades iniciales
𝑃 𝑋0 = 𝑖 , ∀𝑖 = 0, … , 𝑀
(corresponde al vector p(0))

16
Formulación de Cadenas de Markov

Problema de Inventario
Aplicando el resultado de Chapman-Kolmogorov al problema de inventario:

• Entonces, p(2) = p(0) P2 = [0,249 0,286 0,300 0,165 ], igual como antes
• Ahora que tenemos P2, se puede calcular p(2) para cualquier distribución inicial p(0)
17
Formulación de Cadenas de Markov

Lo mismo se puede aplicar para la matriz de transición de 4 pasos, que se puede

obtener como P(4) = P4 = P2*P2.

• Lo cual permite obtener las mismas conclusiones previas, pero para un inventario de 4 semanas
más tarde.
• En general p(n) = p(0) Pn = nos da la distribución probabilística de estado Xt después de t = n pasos.

18
Formulación de Cadenas de Markov

Probabilidades Condicionales v/s Incondicionales

La matriz Pn tiene las distribuciones probabilísticas condicionales,
pij (n) = Probabilidad de que (Xn = j), dado que (X0 = i)
= P(Xn = j|X0 = i)

Muchas veces se pone la distribución incondicional, lo cual implica una suma

ponderada, según la distribución inicial
pj (n) = Probabilidad de que (Xn = j), según la dist. inicial
(0) (𝑛)
= 𝑃 𝑋𝑛 = 𝑗 = σ𝑀 𝑖=0 𝑖 𝑝𝑖𝑗
𝑝

O se lo puede escribir en forma matricial,

p(n) = p(0) Pn
como lo hemos hecho con el ejemplo del inventario con n = 2.

19
Clasificación de estados en una CM

(𝑛)
• Se dice que el estado 𝑗 es accesible al estado 𝑖 si 𝑝𝑖𝑗 > 0 para alguna etapa 𝑛 ≥ 0.
• En general, una condición suficiente para que todos los estados sean accesibles es
(𝑛)
que exista un valor de 𝑛 para el que 𝑝𝑖𝑗 > 0 para todo 𝑖 y 𝑗.
• Si el estado 𝑗 es accesible desde el estado 𝑖 y el estado 𝑖 es accesible desde el estado
𝑗, entonces se dice que los estados 𝑖 y 𝑗 se comunican.
• En general:

20
Clasificación de estados en una CM

• Las propiedades 1 y 2 siguen de la definición de estados que se comunican.

• La propiedad 3 sigue el resultado de Chapman-Kolmogorov, y de la asociatividad
de la multiplicación matricial.
• Como resultado de las propiedades de comunicación se puede hacer una
partición del espacio de estados en clases ajenas, en donde se dice que dos
estados que se comunican pertenecen a la misma clase (una clase puede consistir
en un solo estado).
• Si existe sólo una clase, es decir, todos los estados se comunican, se dice que la
cadena de Markov es irreducible (como en el ejemplo de inventarios).

21
Tipos de Estados

• Transitorio:
• Si después de haber entrado a este estado, el proceso nunca regresa a él.
• Por lo tanto, el estado 𝑖 es transitorio si y sólo si existe un estado 𝑗 (𝑗 distinto de 𝑖) que
es accesible desde el estado 𝑖, pero no viceversa, esto es, el estado 𝑖 no es accesible
desde el estado 𝑗.
• Recurrente:
• Si después de haber entrado en este estado, el proceso definitivamente regresará a ese
estado.
• Por lo tanto, un estado es recurrente, si y sólo si no es transitorio.
• Absorbente:
• Si después de haber entrado ahí, el proceso nunca sale de él. Por lo tanto, el estado 𝑖 es
absorbente si y sólo si 𝑝𝑖𝑖 = 1.

22
Tipos de Estados

Como ejemplo, suponga que un proceso de Markov tiene la siguiente matriz de transición:

• El estado 2 es absorbente, porque si el proceso entra en él, nunca sale.

• El estado 3 es transitorio porque una vez que el proceso se encuentra en él, existe una
probabilidad positiva de nunca regresar (si se va al estado 2).
• Cuando el proceso deja el estado 4, nunca vuelve. Los estados 0 y 1 son recurrentes (si el proceso
comienza en ellos nunca sale de allí).
• Aún más, cuando el proceso se mueve de uno de estos estados al otro, siempre regresa al estado
original.
23
Propiedad de Periodicidad

(𝑛)
• El periodo de un estado 𝑖 se define como el entero 𝑡 (𝑡 > 1) si 𝑝𝑖𝑗 = 0
para todos los valores de 𝑛 distintos de 𝑡, 2𝑡, 3𝑡, … , y 𝑡 es el entero más
grande con esta propiedad (se habla de periodo t).
• De forma simple, un estado es periódico si partiendo desde ese estado sólo
es posible volver a él en un número de etapas que sea múltiplo de un
número entero mayor a uno.
• Si existen dos números consecutivos 𝑠 y (𝑠 + 1) tales que el proceso puede
encontrarse en el estado 𝑖 en los tiempos 𝑠 y (𝑠 + 1), se dice que el estado
tiene periodo 1 y se llama aperiódico.
• En una cadena de Markov de estado finito, los estados recurrentes
aperiódicos se llaman ergódicos.
• Se dice que una cadena de Markov es ergódica si todos sus estados son
ergódicos.

24
Ejemplo de Periodicidad

Suponga que un jugador tiene 1 dólar y que en cada jugada gana 1 dólar con probabilidad
𝑝 > 0 o pierde 1 dólar con probabilidad 1 − 𝑝. El juego termina cuando el jugador acumula
3 dólares o cuando quiebra (se queda sin dólares). Este modelo es una cadena de Markov
en la que los estados representan la fortuna del jugador, esto es, 0, 1, 2 o 3 dólares, con la
matriz de transición dada por:

Al comenzar en el estado 1, es posible que el proceso entre al estado 1 sólo en los tiempos
2, 4, . . ., en cuyo caso se dice que el estado 1 tiene periodo 2.

25
Ejemplo de Periodicidad

Igual que la recurrencia es una propiedad de clase, se puede demostrar que la periodicidad
también lo es. Esto es, si el estado 𝑖 de una clase tiene periodo 𝑡, todos los estados de esa
clase tienen periodo 𝑡.

En este ejemplo, las clases son: {0}, {1, 2} y {3} (se puede ver más fácil con un diagrama de
estados). Así, como el estado 2 pertenece a la misma clase que el estado 1, y este último
tiene periodo 2, entonces el estado 2 también tiene periodo 2.

26
Propiedades a largo plazo de las CM

Probabilidad de Estado Estable

En la parte anterior se obtuvo la matriz de transición de cuatro pasos para el
ejemplo de inventarios. Conviene examinar las probabilidades de transición de
ocho pasos dadas por la matriz:

El que las filas sean iguales significa que la probabilidad de estar en el estado 𝑗
después de 8 semanas es independiente del nivel de inventario inicial.

27
Estado Estable

(𝑛)
Para una cadena de Markov irreducible ergódica en la que lim 𝑝𝑖𝑗 existe y es
𝑛→∞
independiente de i , entonces,
(𝑛) (𝑛)
lim 𝑝𝑖𝑗 = lim 𝑝𝑗
𝑛→∞ 𝑛→∞

O de forma más breve,

(∞) (∞)
𝑝𝑖𝑗 = 𝑝𝑗

∞
Estos límites 𝑝𝑗 se llaman probabilidades de estado estable.

28
Estado Estable

Aquí introducimos el símbolo 𝜋𝑗 , el cual representará las probabilidades de estado

estable para casos irreducibles ergódicos:

(𝑛) (∞) (𝑛) (∞)

𝜋𝑗 = lim 𝑝 = 𝑝𝑖𝑗 = lim 𝑝 = 𝑝𝑗
𝑛→∞ 𝑖𝑗 𝑛→∞ 𝑗

(Luego se va a generalizar el uso de símbolo 𝜋𝑗 , para cuando estos límites aún no

existen).
Enfocándonos en cadenas que sí tiene estado estable, se pueden encontrar,
resolviendo el siguiente sistema de ecuaciones:
𝜋𝑇𝑃 = 𝜋𝑇 donde: 𝜋 𝑇 = 𝜋0 𝜋1 … 𝜋𝑀
𝑀

෍ 𝜋𝑗 = 1
𝑗=0

29
Estado Estable

• Las ecuaciones de estado estable consisten en 𝑀 + 2 ecuaciones con 𝑀 + 1

incógnitas. Como el sistema tiene solución única, al menos de una de las
ecuaciones es redundante, por lo que se puede eliminar.

• Volviendo al ejemplo de inventarios, las ecuaciones de estado estable se pueden

expresar como:

30
Estado Estable

Al sustituir los valores de pij (vea la matriz de transición) en estas ecuaciones se obtiene:

Cuando se resuelven las últimas cuatro ecuaciones se llega a la solución simultanea:

que en esencia son los resultados que aparecen en la matriz P(8) calculada anteriormente.
Por lo tanto, después de muchas semanas, la probabilidad de encontrar cero, una, dos y
tres cámaras en el almacén tiende a 0.286, 0.285, 0.263 y 0.166, respectivamente.

31
Costo promedio esperado

Considerando los estados ergódicos (recurrentes y aperiódicos) de las cadenas de

Markov, si se relaja el requerimiento de que todos sean aperiódicos, entonces el límite
(𝑛)
lim 𝑝𝑖𝑗 puede no existir.
𝑛→∞
Para ilustrar este punto considere la matriz de transición de dos estados:

Si el proceso comienza en el estado 0 en el tiempo 0, estará en el estado 0 en los

(𝑛)
tiempos 2, 4, 6, . . . y en el estado 1 en los tiempos 1, 3, 5, . . .. Entonces, 𝑝00 = 1 si 𝑛 es
(𝑛) (𝑛)
par y 𝑝00 = 0 si 𝑛 es impar, de manera que el lim 𝑝00 no existe.
𝑛→∞

32
Costo promedio esperado

Sin embargo, el siguiente límite siempre existe para una cadena de Markov irreducible de
estado finito:
𝑛
1 (𝑡)
lim ෍ 𝑝𝑖𝑗 = 𝜋𝑗
𝑛→∞ 𝑛
𝑡=1

En lo cual j satisface las ecuaciones de estado estable.

• Este resultado es importante para obtener los costos promedios por periodo, a largo plazo
(costos periódicos asintóticos).
• Suponga que se incurre en un costo (u otra función de penalización) C(Xt) cuando el proceso
está en el estado Xt, en los tiempos t = 0, 1, 2, …
• C(Xt) es una variable aleatoria que toma valores C(0), C(1), …, C(M) y que la función C(∙) es
independiente de t.
• El costo promedio esperado en el que se incurre a lo largo de los primeros n periodos está dado
por: 𝑛
1
𝐸 ෍ 𝐶(𝑋𝑡 )
𝑛
𝑡=1
33
Costo promedio esperado

1 𝑛 (𝑡) 1 𝑛
Si usamos el hecho que lim σ𝑡=1 𝑝𝑖𝑗 = 𝜋𝑗 y 𝐸 σ 𝐶(𝑋𝑡 )
𝑛→∞ 𝑛 𝑛 𝑡=1

Se obtiene costo promedio esperado por unidad de tiempo a largo plazo:

𝑛 𝑀
1
lim 𝐸 ෍ 𝐶(𝑋𝑡 ) = ෍ 𝜋𝑗 𝐶(𝑗)
𝑛→∞ 𝑛
𝑡=1 𝑗=0

Este resultado nos ofrece un interpretación válida para los factores j : j corresponde a la
proporción de tiempo que el sistema se demora en el estado j, a largo plazo (es una
generalización de la interpretación anterior).

34
Costo promedio esperado

Volvemos al ejemplo de las cámaras, donde ya conocemos los valores de j

Suponemos que hay costos según la cantidad de cámaras que nos queda en la tienda al fin de la
semana:

0 𝑠𝑖 𝑥𝑡 = 0
2 𝑠𝑖 𝑥𝑡 = 1
𝐶(𝑥𝑡 ) =
8 𝑠𝑖 𝑥𝑡 = 2
18 𝑠𝑖 𝑥𝑡 = 3

El costo promedio esperado por semana, a largo plazo, por mantener el inventario es:
𝑛
1
lim ෍ 𝐶(𝑋𝑡 ) = (0,286)(0) + (0,285)(2) + (0,263)(8) + (0,166)(18)
𝑛→∞ 𝑛
𝑡=1

Lo cual nos da un costo esperado de $5,662 por semana.

35
Ejemplo

Dentro de una fábrica, hay un equipo que es clave para la producción de un

producto, pero este equipo se descompone con frecuencia. Dado varios
indicadores, se consideran tres niveles de condición:

(1) Buena Condición

(2) Mala Condición
(3) Roto.

Los niveles de condición están relacionados según el siguiente diagrama de

transiciones; cada paso corresponde a una semana de uso del equipo.

36
 Ejemplo

Por experiencias anteriores, sabemos que cuando el equipo se

rompe, se incurre un costo promedio de 6.000.000 CLP; esto se
traduce en una pérdida de producción de una semana y una
compleja reparación. Después de esta compleja reparación, el
equipo sale en buena condición.

Si el equipo termina la semana en mala condición, se puede aplicar

una mantención, lo cual no afecta la producción pero incurre en un
costo de 300.000 CLP. Después de esta mantención, el equipo se
encuentra en buena condición.

37
 Ejemplo

La gerencia de la fábrica quiere evaluar las siguientes dos políticas

de mantención/reparación.

Política 1: Siempre esperar hasta que se rompa el equipo,

aplicando una reparación compleja en consecuencia.

Política 2: Hacer una mantención cada vez que el equipo se

encuentra en mala condición, y reparar el equipo
cada vez que se rompa.

38
Ejemplo

a) Modifique el diagrama de transición para ilustrar Política 1

b) Modifique el diagrama de transición para ilustrar Política 2
c) Haga un análisis de largo plazo para saber cuál de las dos
políticas será más rentable

39
Ejemplo

(Estado 3 es absorbente)

a) Modifique el diagrama de transición para ilustrar Política 1

(Con la acción de reparación, el estado 3

no sigue siendo absorbente)

40
Ejemplo

b) Modifique el diagrama de transición para ilustrar Política 2

La política 2 considera ambas formas de

reparación (2→1) y (3→1).

41
Ejemplo

c) Haga un análisis de largo plazo para saber cuál de las dos políticas será más
rentable:

Política 1 (viene del

 0,1 0,8 0,1 
 TP =  T Con

P =  0 0,7 0,3 
 diagrama de
transiciones)
j = 1 1 0 
 0

0,1  1 +  3 = 1
0,8  1 + 0, 7  2 = 2
0,1  1 + 0,3  2 =3 Trabajamos
con estas tres
1 + 2 + 3 = 1

42
Ejemplo

c) Haga un análisis de largo plazo para saber cuál de las dos políticas será más
rentable:

Política 1

0,8  1 − 0,3  2 =0
0,1  1 + 0,3  2 −  3 = 0
1 + 2 + 3 = 1

−1
  1   0,8 −0,3 0   0   0, 21898 
       

 2  = 0,1 0,3 − 1 0
    = 0,58394 
   1 1   1   0,19708 
 3  1

43
Ejemplo

c) Haga un análisis de largo plazo para saber cuál de las dos políticas será más
rentable:

Política 1
−1
  1   0,8 −0,3 0   0   0, 21898 
       

 2  = 0,1 0,3 − 1 0
    = 0,58394 
   1 1   1   0,19708 
 3  1

El costo esperado por semana según la política 1 será

0 1 + 0 2 + 6.000.000 3 = 1.182.481, 75 CLP

Es decir, aproximadamente 1.182.482 CLP

44
Ejemplo

c) Haga un análisis de largo plazo para saber cuál de las dos políticas será más
rentable:

Política 2 (viene del

 TP =  T Con
 0,1 0,8 0,1 

P= 1

diagrama de
0 0  transiciones)
j = 1  1
 0 0 

Nos da
0,1  1 +  2 +  3 =  1
0,8  1 = 2 Trabajamos
0,1  1 =3 con estas tres

1 +  2 +  3 = 1

45
Ejemplo

c) Haga un análisis de largo plazo para saber cuál de las dos políticas será más
rentable:
Política 2
−1
  1   0,8 −1 0   0   0,52632 
       

 2  = 0,1 0 − 1 0
   = 0, 42105 
   1 1 1   1   0, 05263 
 3 
El costo esperado por semana según la política 2 será

0 1 + 300.000 2 + 6.000.000 3 = 442.105, 26 CLP

Es decir, aproximadamente 442.105 CLP, entonces la política 2 es mejor (más económica)

46
Costo en funciones complejas

Costo Promedio Esperado por unidad de tiempo para funciones

de costo complejas
• En algunos problemas, el costo puede depender de otra v.a. al igual que del estado en
que se encuentra el proceso.
• En el ejemplo de inventarios, se podría considerar el costo de ordenar y de penalización.
• Se puede suponer que el número de cámaras ordenadas para el principio de la
semana 𝑡 depende sólo del estado del proceso 𝑋𝑡−1 cuando se hace el pedido al final
de la semana 𝑡 − 1.
• Sin embargo, el costo de la demanda que no se satisfizo durante la semana 𝑡
dependerá de la demanda 𝐷𝑡 .
• Así, el costo total para la semana 𝑡 es una función de 𝑋𝑡−1 y de 𝐷𝑡 , esto es,
𝐶 𝑋𝑡−1 , 𝐷𝑡 .

47
Costo en funciones complejas

En estas condiciones se puede demostrar que a la larga el costo promedio

esperado por unidad de tiempo esta dado por:

𝑛 𝑀
1
lim 𝐸 ෍ 𝐶(𝑋𝑡−1 , 𝐷𝑡 ) = ෍ 𝑘(𝑗) 𝜋𝑗 𝑘(𝑗) = 𝐸[𝐶(𝑗, 𝐷𝑡 )]
𝑛→∞ 𝑛
𝑡=1 𝑗=0

Y esta última esperanza (condicional) se toma respecto a la distribución de la

probabilidad de la v.a. 𝐷𝑡 , dado el estado 𝑗.
De igual manera, el costo promedio real (a la larga) por unidad de tiempo está
dado por:
𝑛 𝑀
1
lim ෍ 𝐶(𝑋𝑡−1 , 𝐷𝑡 ) = ෍ 𝑘(𝑗) 𝜋𝑗
𝑛→∞ 𝑛
𝑡=1 𝑗=0

48
Costo en funciones complejas
Asignando valores a las dos componentes de 𝐶 𝑋𝑡−1 , 𝐷𝑡 , se tiene que si se ordenan 𝑧 > 0 cámaras,
se incurre en un costo de (10 + 25𝑧).
Si no se ordenan, no hay cargos por ordenar. Para cada unidad de demanda insatisfecha, se tiene un
costo de $50 por unidad, por lo que el costo de ordenar en la semana t es:

para 𝑡 = 1,2, … En consecuencia,

de manera que:

donde 𝑃𝐷 (𝑖) es la probabilidad de que la demanda sea igual a 𝑖, según una distribución de Poisson
con media 1, de manera que 𝑃𝐷 (𝑖) se vuelve insignificante para las 𝑖 mayores a aproximadamente 6.

49
Costo en funciones complejas

Como 𝑃𝐷 (4) = 0.015, 𝑃𝐷 (5) = 0.003, 𝑃𝐷 (6) = 0.001, se obtiene 𝑘(0) = 86.2. También, si se usa
𝑃𝐷 (2) = 0.184 y 𝑃𝐷 (3) = 0.061 y se realizan cálculos similares, se obtienen los siguientes
resultados:

Así, el costo promedio esperado (a largo plazo) por semana está dado por:

50
Costo en funciones complejas

Se puede generalizar el procedimiento anterior para otras funciones de costos

periódicos, siempre y cuando se satisfagan las siguientes condiciones:

1. {𝑋𝑡 } es una cadena de Markov irreducible (estado finito).

2. Asociada con esta cadena de Markov se tiene una secuencia de v.a. {𝐷𝑡 } , que
son i.i.d.
3. Para una 𝑚 fija, 𝑚 = 0, ±1, ±2, . . . , se incurre en un costo 𝐶(𝑋𝑡 , 𝐷𝑡+𝑚 ) en el
tiempo 𝑡, para 𝑡 = 0, 1, 2. . . .
4. La secuencia 𝑋0 , 𝑋1 , 𝑋2 , . . . , 𝑋𝑡 debe ser independiente de 𝐷𝑡+𝑚 .

51
Costo en funciones complejas
En particular, si se satisfacen estas condiciones, entonces:
𝑛 𝑀
1
lim 𝐸 ෍ 𝐶(𝑋𝑡 , 𝐷𝑡+𝑚 ) = ෍ 𝑘(𝑗) 𝜋𝑗
𝑛→∞ 𝑛
𝑡=1 𝑗=0

donde: 𝑘(𝑗) = 𝐸[𝐶(𝑗, 𝐷𝑡+𝑚 )]

y donde este último valor esperado condicional se toma con respecto a la distribución
de probabilidad de la v.a. 𝐷𝑡 dado el estado 𝑗. Aún más,
𝑛 𝑀
1
lim ෍ 𝐶(𝑋𝑡 , 𝐷𝑡+𝑚 ) = ෍ 𝑘(𝑗) 𝜋𝑗
𝑛→∞ 𝑛
𝑡=1 𝑗=0

en esencia, para todas las rutas del proceso.

52
Costo en funciones complejas

Sin embargo, el caso típico es que 𝐶 𝑋𝑡−1 , 𝐷𝑡 , lo cual se deduce según la política de
decisión 𝑄𝑡 𝑋𝑡−1 .
𝐶(𝑋𝑡−1 , 𝑄𝑡 , 𝐷𝑡 )
𝐶(𝑋𝑡−1 , 𝐷𝑡 )
𝑄𝑡 (𝑋𝑡−1 )
En el contexto de inventarios, se puede considerar costos…
• preparación de compra (producción)
• unitarios
• almacenamiento (mantención)
• faltantes
Consideremos costos que no dependen del tiempo 𝐶𝑡 = 𝐶, o a lo mejor hacemos el
análisis asintótico (𝑡 grande→ 𝐶 constante),
𝐶(𝑋𝑡−1 , 𝑄𝑡 , 𝐷𝑡 ) ≈ 𝐶∞ (𝑋𝑡−1 , 𝑄𝑡 , 𝐷𝑡 )
53
Tiempos de primera pasada

Ya fueron definidas las probabilidades de transición de 𝑛 pasos del estado 𝑖 al 𝑗. A veces

resulta conveniente poder hacer afirmaciones en términos probabilísticos sobre el número
de transiciones que hace el proceso al ir del estado 𝑖 al 𝑗 por primera vez. Este lapso se
denomina tiempo de primera pasada al ir del estado 𝑖 al 𝑗.

Cuando 𝑗 = 𝑖, este tiempo de primera pasada es justo el número de transiciones en que

proceso se demora en regresar a 𝑖. En este caso, el tiempo de primera pasada se
denomina como tiempo de recurrencia para estado 𝑖.

Para entender, considere el problema de inventario inicial, donde 𝑋𝑡 es el número de

cámaras en inventario al final semana 𝑡 y se inicia en 𝑋0 = 3. Suponga que:

54
Tiempos de primera pasada

En este caso, el tiempo de primera pasada para ir de estado 3 al estado 1 es 2 semanas, el tiempo
para ir de 3 a 0 es 3 semanas y el tiempo de recurrencia del estado 3 es 4 semanas.

En general, los tiempos de primera pasada son v.a. y sus distribuciones de probabilidad dependen
(𝑛)
de las probabilidades de transición del proceso. En particular, 𝑓𝑖𝑗 denota la probabilidad de que
el tiempo de primera pasada del estado 𝑖 al 𝑗 sea igual a 𝑛. Para 𝑛 > 1, este tiempo de primera
pasada es 𝑛 si la primera transición es del estado 𝑖 a algún estado 𝑘 (𝑘 ≠ 𝑗) y después el tiempo
de primera pasada del estado 𝑘 al estado 𝑗 es 𝑛 – 1.

Estas probabilidades satisfacen las siguientes relaciones recursivas:

55
Tiempos de primera pasada

En ejemplo de inventarios, la distribución de probabilidad de los tiempos de primera pasada al ir

de estado 3 a 0 se obtiene con la relación anterior:

(1)
donde 𝑝31 y 𝑓𝑘0 = 𝑝𝑘0 se obtienen de la matriz de transición (de un paso).

(𝑛) (𝑛)
Para 𝑖 y 𝑗 fijas, las 𝑓𝑖𝑗 son números no negativos tales que: σ∞
𝑛=1 𝑓𝑖𝑗 ≤ 1.

Desafortunadamente, esta suma puede ser estrictamente menor a 1, lo que significa que un
proceso en estado 𝑖 puede nunca alcanzar 𝑗.

56
Tiempos de primera pasada

El tiempo esperado de primera pasada de estado 𝑖 al 𝑗, 𝜇𝑖𝑗 , se define como:

∞
(𝑛)
∞ 𝑠𝑖 ෍ 𝑓𝑖𝑗 <1
𝑛=1
𝜇𝑖𝑗 = ∞ ∞
(𝑛) (𝑛)
෍ 𝑛 ∙ 𝑓𝑖𝑗 𝑠𝑖 ෍ 𝑓𝑖𝑗 =1
𝑛=1 𝑛=1

(𝑛)
Además, siempre que σ∞
𝑛=1 𝑓𝑖𝑗 = 1, entonces 𝜇𝑖𝑗 satisface, de manera única, la relación:

𝜇𝑖𝑗 = 1 + ෍ 𝑝𝑖𝑘 ∙ 𝜇𝑘𝑗

𝑘≠𝑗

57
Tiempos de primera pasada

Para el ejemplo del inventario, estas ecuaciones de 𝜇𝑖𝑗 se pueden usar para calcular el tiempo
esperado hasta que ya no se tengan cámaras en el almacén, dado que el proceso se inicia cuando se
tienen tres cámaras.

Este tiempo esperado es igual que el tiempo esperado de primera pasada 𝜇30 . Como todos los
estados son recurrentes, el sistema de ecuaciones conduce a las expresiones:

58
Tiempos de primera pasada

La Solución simultanea a este sistema es:

De manera que tiempo esperado hasta que tienda quede sin cámaras es 3,5 semanas. Con estos
cálculos para 𝜇30 , se obtiene también 𝜇20 y 𝜇10 .
Para el caso en que 𝑗 = 𝑖, 𝜇𝑖𝑗 es el N° esperado de transiciones hasta que proceso regrese a estado
inicial 𝑖, y se llama tiempo esperado de recurrencia.
Después de obtener probabilidades de estado estable 𝜋0 , 𝜋1 , … , 𝜋𝑀 , los tiempos esperados de
recurrencia se pueden calcular como:
1
𝜇𝑖𝑖 = , ∀𝑖 = 0,1, … , 𝑀
𝜋𝑖

Entonces, para el problema de inventario, donde:

los tiempos de recurrencia serán:

59
Probabilidad de visitar un estado

La probabilidad de visitar eventualmente el estado 𝑗 dado que al inicio el proceso está en el estado
𝑖 se denotará por 𝑓𝑖𝑗 y corresponde a:

(𝑛)
𝑓𝑖𝑗 = ෍ 𝑓𝑖𝑗
𝑛

Además se tiene que:

𝑓𝑖𝑗 = 𝑝𝑖𝑗 + ෍ 𝑝𝑖𝑟 𝑓𝑟𝑗

𝑟≠𝑗

La probabilidad de visitar el estado 𝑗, dado que partimos del estado 𝑖, es igual a la probabilidad de ir
de 𝑖 a 𝑗 en una etapa más la suma de las probabilidades de ir de 𝑖 a 𝑟 (𝑟 ≠ 𝑗) en una etapa y visitar
𝑗 alguna vez dado que se partió desde 𝑟.

60
Clasificación de estados

• Si la probabilidad de visitar eventualmente el estado 𝑖 dado que al inicio el

proceso está en el estado 𝑖, esto es, 𝑓𝑖𝑖 vale uno, entonces se dice que el estado 𝑖
es recurrente.
• En caso contrario, es decir, que 𝑓𝑖𝑖 sea menor que uno (y mayor a cero) se dice
que el estado 𝑖 es transitorio.
• Matemáticamente:
𝑓𝑖𝑖 = 1 ⇒ el estado 𝑖 es 𝐫𝐞𝐜𝐮𝐫𝐫𝐞𝐧𝐭𝐞
ቊ
𝑓𝑖𝑖 < 1 ⇒ el estado 𝑖 es 𝐭𝐫𝐚𝐧𝐬𝐢𝐭𝐨𝐫𝐢𝐨

61
Estados Absorbentes

Si 𝑘 es un estado absorbente y el proceso comienza en el estado 𝑖, la probabilidad de llegar en

algún momento a 𝑘 se llama probabilidad de absorción al estado 𝑘, dado que el sistema comenzó
en el estado 𝑖. Esta probabilidad se denota por 𝑓𝑖𝑘 .
Es deseable encontrar estas probabilidades de absorción si se tienen dos o más estados
absorbentes en una cadena de Markov y es evidente que el proceso será absorbido en uno de
estos estados. Dichas probabilidades se pueden obtener con sólo resolver un sistema de
ecuaciones lineales.
En particular, si el estado 𝑘 es un estado absorbente, entonces el conjunto de probabilidades de
absorción 𝑓𝑖𝑘 satisface el sistema de ecuaciones:

62
Caminatas aleatorias

✓Una caminata aleatoria es una cadena de Markov con la propiedad de que, si el

sistema se encuentra en el estado 𝑖, entonces en una sola transición permanecerá
en 𝑖 o bien se moverá a uno de los dos estados inmediatamente adyacentes a 𝑖.
✓Las probabilidades de absorción son importantes en las caminatas aleatorias.
✓La caminata aleatoria con frecuencia se usa como modelo para situaciones que
incluyen juegos de azar.

63
Ejemplo: Juegos de azar

Suponga que hay dos jugadores (A y B) con $2 cada uno, y que aceptan seguir jugando y apostando
$1 cada vez hasta que uno de ellos quiebre. La probabilidad de que A gane una apuesta es de 1/3,
por lo tanto B tiene 2/3 de probabilidad de ganar. El número de dólares que tiene el jugador A
antes de cada apuesta (0, 1, 2, 3 o 4) proporciona los estados de una CMTD con matriz de
transición:

Comenzando en el estado 2, la probabilidad de

absorción al estado 0 (A pierde todo su dinero)
se puede obtener a partir del sistema de
4
ecuaciones anterior como 𝑓20 = 5, y la
probabilidad de que A gane $4 (B quiebre) está
1
dada por 𝑓24 = 5.

64
Ejemplo: Evaluación de crédito

Considere una tienda de departamentos que clasifica el saldo de la cuenta de un cliente como …
• Pagado (estado 0)
• 1 a 30 días de retraso (estado 1)
• 31 a 60 días de retraso (estado 2)
• Mala deuda (estado 3)
Las cuentas se revisan cada mes y se determina el estado de cada cliente. En general, los créditos no
se extienden y se espera que los clientes paguen sus cuentas dentro de 30 días.
En ocasiones, los clientes pagan sólo una parte de su cuenta. Si esto ocurre cuando el saldo queda
dentro de los 30 días retraso (estado 1), la tienda considera que este cliente permanece en el estado 1.
Si esto ocurre cuando el saldo está entre 31 y 60 días de retraso, la tienda considera que el cliente se
mueve al estado 1 (1 a 30 días de retraso).

65
Ejemplo: Evaluación de crédito

Los clientes que tienen más de 60 días de retraso se clasifican en la categoría de una mala deuda
(estado 3); y envía las cuentas a una empresa de cobranza.
Después de examinar los datos de años anteriores, la tienda ha desarrollado la siguiente matriz de
transición:

66
Ejemplo: Evaluación de crédito

Aunque cada cliente acaba por llegar al estado 0 o al estado 3, la tienda se interesa en determinar
la probabilidad de que un cliente llegue a ser una mala deuda, dado que la cuenta pertenece al
estado 1 a 30 días de retraso, y de igual forma, si se encuentra en 31 a 60 días de retraso.
Para obtener f13 y f23, debe resolverse el conjunto de ecuaciones presentado al principio de esta
sección. Las siguientes dos ecuaciones de obtienen por sustitución:

Como f03 = 0 y f33 = 1 ahora se tienen dos ecuaciones con dos incógnitas, esto es,

67
Ejemplo: Evaluación de crédito

Al sustituir los valores de la matriz de transición, se llega a:

y la solución es:

Entonces, alrededor de 3% de los clientes cuyas cuentas tienen 1 a 30 días de retraso, y 25% de
los clientes con 31 a 60 días de retraso llegan a ser una mala deuda.

68
Cadenas de Markov Tiempo Continuo

• Existen ciertos casos en los que se requiere un parámetro de tiempo continuo

(t), pues la evolución del proceso se observa de manera continua a través del
tiempo.

Tasa promedio
(en casos discretos representan probabilidades)

69
Formulación

• Tal como en las CMTD, los estados posibles del sistema se denotan
por 0,1,2, … , 𝑀
• La v.a. 𝑋(𝑡′) representa el estado del sistema en el tiempo 𝑡′ (> 0),
𝑋(𝑡′) ∈ 0,1,2, … , 𝑀 .
• 𝑋(𝑡′) toma uno de los valores 0,1,2, … , 𝑀 entre 0 ≤ 𝑡 ′ < 𝑡1 , luego
cambia su valor en 𝑡1 ≤ 𝑡 ′ < 𝑡2 , y así sucesivamente.
• Los puntos de tránsito 𝑡1 , 𝑡2 , … son puntos aleatorios en el tiempo,
y no necesariamente enteros.

70
Formulación

• Sean 𝑟, 𝑠, 𝑡 > 0 con 𝑟 < 𝑠. Sea 𝑠 el tiempo actual. Lo que se busca

responder es cuánto vale la probabilidad:
𝑃 𝑋 𝑠 + 𝑡 = 𝑗|𝑋 𝑠 = 𝑖, 𝑋 𝑟 = 𝑥(𝑟) , ∀𝑗 = 0, … , 𝑀

• Estas probabilidades suelen ser muy complicadas de calcular, pero no

si tiene la propiedad markoviana:
𝑃 𝑋 𝑠 + 𝑡 = 𝑗|𝑋 𝑠 = 𝑖, 𝑋 𝑟 = 𝑥(𝑟) = 𝑃 𝑋 𝑠 + 𝑡 = 𝑗|𝑋 𝑠 = 𝑖

• Es decir, el futuro depende del pasado sólo a través del presente.

71
Formulación

• Estas probabilidades 𝑃 𝑋 𝑠 + 𝑡 = 𝑗|𝑋 𝑠 = 𝑖 son probabilidades

de transición, al igual que las vistas en CMTD.
• Si estas probabilidades no dependen de 𝑠 (> 0) de manera que:

𝑃 𝑋 𝑠 + 𝑡 = 𝑗|𝑋 𝑠 = 𝑖 = 𝑃 𝑋 𝑡 = 𝑗|𝑋 0 = 𝑖

• Se llaman probabilidades de transición estacionarias.

72
Definición

• El proceso estocástico 𝑋 𝑡 , 𝑡 ≥ 0 es una cadena de Markov en

tiempo continuo (CMTC) si cumple con la propiedad markoviana y la
propiedad de estacionaria.
• Las probabilidades de transición de estados se denotan y definen por:

𝑝𝑖𝑗 (𝑡) = 𝑃 𝑋 𝑡 = 𝑗|𝑋 0 = 𝑖

73
Distribución Exponencial

• Cada vez que el proceso entra en el estado 𝑖 , el tiempo de

permanencia en ese estado antes de moverse a uno diferente es una
variable aleatoria 𝑇𝑖 , 𝑖 = 0, 1, … , 𝑀.
• La propiedad markoviana indica que
𝑃 𝑇𝑖 > 𝑡 + 𝑠|𝑇𝑖 > 𝑠 = 𝑃 𝑇𝑖 > 𝑡 + 0|𝑇𝑖 > 0
= 𝑃 𝑇𝑖 > 𝑡|𝑇𝑖 > 0
= 𝑃 𝑇𝑖 > 𝑡
• Esta propiedad se conoce como carencia de memoria. La distribución
de probabilidad continua que posee esta propiedad es la distribución
exponencial.
74
Definición Alternativa

Una CMTC es un proceso estocástico 𝑋 𝑡 , 𝑡 ≥ 0 que tiene las

siguientes propiedades:
• Cada vez que entra al estado 𝑖, el tiempo de permanencia en ese
estado antes de efectuar una transición a un estado diferente tiene
una distribución exponencial con media 1/𝑞𝑖 .
• Cuando el proceso deja el estado 𝑖 , a continuación entra al
estado 𝑗 con una probabilidad 𝑝𝑖𝑗 . Las probabilidades 𝑝𝑖𝑗 deben
satisfacer:

𝑝𝑖𝑖 = 0, ∀𝑖, ෍ 𝑝𝑖𝑗 = 1, ∀𝑖

𝑗

75
Tasas de transición

• Para cualquier par de estados 𝑖 y 𝑗, se define: 𝑞𝑖𝑗 = 𝑞𝑖 ∙ 𝑝𝑖𝑗

• Como 𝑞𝑖 es la tasa a la cual el proceso realiza una transición (a otro estado)
cuando se encuentra en el estado 𝑖 (“tasa de salida de 𝑖”), y 𝑝𝑖𝑗 es la probabilidad
de que esta transición sea al estado 𝑗, se tiene que 𝑞𝑖𝑗 es la tasa a la cual el
proceso realiza una transición del estado i al estado j (cuando está en i). Las 𝑞𝑖𝑗 se
denominan tasas de transición instantánea.
• Además, se cumple:
𝑞𝑖𝑗 𝑞𝑖𝑗
𝑞𝑖 = ෍ 𝑞𝑖 ∙ 𝑝𝑖𝑗 = ෍ 𝑞𝑖𝑗 y 𝑝𝑖𝑗 = =
𝑗 𝑗 𝑞𝑖 σ𝑗 𝑞𝑖𝑗

• La especificación de las tasas de transición instantáneas determina los parámetros

de una CMTC.

76
Distribución de largo plazo

• La probabilidad de que una cadena de Markov en tiempo continuo esté en el

estado 𝑗 después de un tiempo 𝑡 a menudo converge a un valor límite, que puede
ser independiente del estado inicial.

• Un par de estados 𝑖 y 𝑗 se comunican si existen tiempos 𝑡1 y 𝑡2 tales que

𝑝𝑖𝑗 𝑡1 > 0 y 𝑝𝑖𝑗 𝑡2 > 0.

• Todos los estados que se comunican forman una clase.

• Si todos los estados de una cadena forman una sola clase, i.e., si la cadena de
Markov es irreducible, entonces:
𝑝𝑖𝑗 𝑡 > 0, ∀𝑡 > 0, ∀𝑖, 𝑗

77
Distribución de largo plazo

• Aún más: lim 𝑝𝑖𝑗 (𝑡) = 𝜋𝑗

𝑛→∞

siempre existe y es independiente del estado inicial 𝑖 de la cadena de Markov,

para 𝑗 = 0,1, … , 𝑀.

• Estas probabilidades límite se conocen como las probabilidades de estado

estable (o probabilidades estacionarias) de la cadena de Markov.

78
Ecuaciones de balance

• Para obtener las probabilidades de largo plazo, cuando existen, se emplea la

condición siguiente:

𝜋𝑗 𝑞𝑗 = ෍ 𝜋𝑖 𝑞𝑖𝑗 , ∀𝑗 = 0,1, … , 𝑀 (1)

𝑖≠𝑗

para todos los estados 𝑗, junto con la condición: 𝑀

෍ 𝜋𝑗 = 1
𝑗=0

• La expresión (1) refleja la igualdad en el largo plazo entre la tasa a la cual el proceso
sale del estado 𝑗 y la tasa a la cual el proceso entra al estado 𝑗.
• Es decir es el balance entre la tasa de salida y la tasa de entrada para cada estado.
Considerando todos los estados, tenemos un conjunto de ecuaciones de equilibrio
o de balance en el largo plazo.

79
Ejemplo 1

• Cierta tienda tiene dos máquinas idénticas en operación continua excepto

cuando se descomponen. Como lo hacen con bastante frecuencia, la tarea con
más alta prioridad para la persona de mantenimiento que trabaja tiempo
completo es repararlas cuando sea necesario.
• El tiempo requerido para reparar una máquina tiene distribución exponencial
con media de 1/2 día. Una vez que se termina la reparación, el tiempo que
transcurre hasta la siguiente descompostura tiene distribución exponencial con
media de 1 día. Estas distribuciones son independientes.

80
Ejemplo 1

a) Realice el Diagrama de tasas para esta CMTC, identificando todas las 𝑞𝑖𝑗 . Defina la variable de estado 𝑋(𝑡):
número de máquinas descompuestas en el instante 𝑡. Así, 𝑋(𝑡) ∈ 0,1,2 .

81
Ejemplo 1

b) Determine las tasas 𝑞𝑗 . Utilícelas para escribir las ecuaciones de estado estable y
calcular 𝜋𝑗 . Interprete estas probabilidades de largo plazo.
Las tasas 𝑞𝑗 se determinan según:

𝑞𝑗 = ෍ 𝑞𝑗𝑖
𝑖≠𝑗
Así,
𝑞0 = 𝑞01 + 𝑞02 = 2 + 0 = 2
𝑞1 = 𝑞10 + 𝑞12 = 2 + 1 = 3
𝑞2 = 𝑞20 + 𝑞21 = 0 + 2 = 2

Luego, las ecuaciones de estado estable son: 𝜋𝑗 𝑞𝑗 = ෍ 𝜋𝑖 𝑞𝑖𝑗 , ∀𝑗 = 0,1, … , 𝑀

𝑖≠𝑗

82
Ejemplo 1

Ecuación de Balance en el estado:

0: 2𝜋0 = 𝜋1 𝑞10 + 𝜋2 𝑞20 = 2𝜋1 + 0 ⇒ 𝜋0 = 𝜋1
1: 3𝜋1 = 𝜋0 𝑞01 + 𝜋2 𝑞21 = 2𝜋0 + 2𝜋2 ⇒ 3𝜋1 = 2𝜋0 + 2𝜋2
2: 2𝜋2 = 𝜋0 𝑞02 + 𝜋1 𝑞12 = 0 + 𝜋1 ⇒ 2𝜋2 = 𝜋1
Además: 𝜋0 + 𝜋1 + 𝜋2 = 1
Eliminando la ecuación del estado 1, se obtiene la solución:
2 2 1
𝜋0 , 𝜋1 , 𝜋2 = , ,
5 5 5
Con lo cual, en el largo plazo, ambas máquinas estarán descompuestas de forma
simultánea el 20% del tiempo, mientras que c/u de las máquinas estará
descompuesta el 40% del tiempo.

83
Ejemplo 2

• Un local limpia zapatos en dos etapas. Cuando un cliente entra al local pasa
primero por la etapa 1, luego por la etapa 2, y luego se va. Los tiempos de servicio
de ambas etapas son independientes con distribución exponencial de tasas 𝜇1 y
𝜇2 respectivamente.
• Potenciales clientes llegan según un Proceso Poisson de tasa 𝜆 independiente de
los tiempos de servicio de ambas etapas, pero los clientes entran si en el local no
hay otro cliente.
a) Modele mediante una CMTC identificando 𝑞𝑖𝑗 , 𝑞𝑖 y 𝑝𝑖𝑗 .
b) Si es posible, encuentre la proporción de tiempo que se permanece en el largo
plazo en cada uno de los estados.
c) En particular, ¿qué % del tiempo el local está vacío en el largo plazo si, en
promedio, la etapa 1 toma 2 min., la etapa 2 toma 1 min. y en promedio arriba
un cliente cada 5 min.?

84
Ejemplo 2

a) Espacio de estados = 0,1,2 , en donde:

• 0: el local está vacío.
• 1: hay una persona en la etapa 1.
• 2: hay una persona en la etapa 2.

Las tasas de transición instantáneas 𝑞𝑖𝑗 se muestran en el siguiente diagrama:

Además, dado que hay sólo una entrada y una salida por cada estado, se puede
observar que: 𝑝01 = 𝑝12 = 𝑝20 = 1

85
Ejemplo 2

b) Para calcular las proporciones/probabilidades en el largo plazo:

0: 𝜆𝜋0 = 𝜇2 𝜋2
1: 𝜇1 𝜋1 = 𝜆𝜋0
2: 𝜇2 𝜋2 = 𝜇1 𝜋1
𝜋0 + 𝜋1 + 𝜋2 = 1
Resolviendo este sistema de ecuaciones:
𝜇1 𝜇2 𝜆𝜇2 𝜆𝜇1
𝜋0 = , 𝜋1 = , 𝜋2 =
𝜇1 𝜇2 +𝜆𝜇1 +𝜆𝜇2 𝜇1 𝜇2 +𝜆𝜇1 +𝜆𝜇2 𝜇1 𝜇2 +𝜆𝜇1 +𝜆𝜇2

86
Ejemplo 2

c) En promedio, la etapa 1 toma 2 min., la etapa 2 toma 1 min. y en promedio

arriba un cliente cada 5 min., entonces:
1 1
𝜇1 = , 𝜇2 = 1, 𝜆 =
2 5
Así, el porcentaje (proporción) del tiempo el local está vacío en el largo plazo es:
1
𝜇1 𝜇2 ∙1 5
𝜋0 = = 2 = = 62,5%
𝜇1 𝜇2 + 𝜆𝜇1 + 𝜆𝜇2 1 1 1 1
∙1+ ∙ + ∙1 8
2 5 2 5

87