Cadenas de Markov

Mónica Castañeda Riascos

Sebastián Zapata Ramírez
2019
Contenido
1. Proceso estocástico
2. Cadena de Markov
3. Diagrama de transición
4. Matriz de transición
5. Matriz de transición de n pasos
6. Vector de probabilidades iniciales
7. Vector de probabilidades absolutas
8. Probabilidades de estado estable
 1. Proceso estocástico
Los procesos estocásticos estudian como
evolucionan las variables aleatorias en el tiempo.
Sea 𝑋𝑡 una variable aleatoria en el tiempo 𝑡.
Usualmente 𝑋𝑡 es desconocida e incierta por ello es
una variable aleatoria.
Un proceso estocástico es una familia de variables
aleatorias 𝑋𝑡 . Que puede tomar un conjunto de
posibles valores llamados estados.
Sigue
Ejemplos de procesos estocásticos

• 𝑋𝑡 : número de personas que esperan un autobús

en un instante t donde t ∈ [9, 10]
• 𝑋𝑡 : precio de una acción de una empresa en un día
t del mes (t = 1, 2,..., 30).
• 𝑋𝑡 : número de desempleados en el mes t (t = 1,
2,..., 12).
• 𝑋𝑡 : clima seco o lluvioso en el día t (t=0,1,2…).
• 𝑋𝑡 : número de estudiantes en la universidad en la
hora t (t=0,1,2, …).
Una cadena de markov es un tipo de
proceso estocástico.
 2. Cadena de Markov
En un proceso de Markov un estado futuro depende
sólo del estado inmediatamente anterior. Esta
propiedad se llama perdida de la memoria. Esto
significa que dados los tiempos cronológicos
𝑡0 , 𝑡1 , … , 𝑡𝑛 , la familia de variables aleatorias es un
proceso de Markov si

Pasado Presente

Pij = P {Xt+1 = j / X0 = k0, X1 = k1,..., Xt-1 = kt-1 , Xt = i}

Pij = P {Xt+1 = j / Xt = i} Sigue

Ejemplo
El clima de Bogotá puede cambiar con rapidez de un día
a otro. La probabilidad de que mañana sea seco dado
que hoy esta seco es 0.8. La probabilidad de que
mañana sea seco dado que hoy llovió es 0.6. Estas
probabilidades no cambian si se considera el clima antes
de hoy.

0 𝑠𝑖 𝑑í𝑎 𝑡 𝑒𝑠 𝑠𝑒𝑐𝑜
𝑋𝑡 =ቊ
1 𝑠𝑖 𝑑í𝑎 𝑡 𝑒𝑠 𝑙𝑙𝑢𝑣𝑖𝑜𝑠𝑜

𝑋𝑡 = 𝑋0, 𝑋1, 𝑋2, … … .

Sigue
1-7
 3. Diagrama de transición

Una cadena de Markov puede representarse a través

de un diagrama de transición. Los nodos (círculos)
son los estados mientras que las flechas muestran las
transiciones posibles de un periodo al siguiente con
la probabilidad de transición.

Sigue
 Ejemplo
El diagrama de transición para el ejemplo del clima de Bogotá se
muestra a continuación:
Todas las flechas que
salen de un estado
0.2 (círculo) suman 1:

0.8 Seco Lluvia 0.4

0.6
La probabilidad de
que mañana sea seco
dado que hoy esta La probabilidad de
seco es 0.8 que mañana sea seco
dado que hoy llovió
es 0.6
Sigue
1-9
En una cadena de Markov con n estados mutuamente
excluyentes, las probabilidades en un punto específico del
tiempo 𝑡 = 0,1,2, … se definen como

𝑝𝑖𝑗 se conoce como probabilidad de transición en un paso al ir

del estado 𝑖 en el instante 𝑡 − 1 al estado 𝑗 en el instante 𝑡. Por
definición, tenemos:
Ejemplo
Peggy viaja a su casa, el trabajo y el gimnasio. Rene esta
obsesionado con Peggy y comienza a seguirla. Él se da cuenta
que de cada 100 viajes: 50 son de la casa al trabajo, 10 de la
casa al gimnasio, 100 del gimnasio a la casa, 60 del trabajo a la
casa, 10 del trabajo al gimnasio. Ayuda a Rene a construir el
diagrama de transición de esta cadena de Markov.
 1

0.1

0.5
0.1
Casa Trabajo Gym 0

0.6 0
0.4
0.3
 4. Matriz de transición
Si tenemos 𝑀 estados, entonces podemos construir
una matriz 𝑀 por 𝑀 con las probabilidades de
transición 𝑃𝑖𝑗 . Así formamos la siguiente matriz de
transición:

La matriz P define una cadena de Markov.

Sigue
 4. Matriz de transición
En las columnas leemos el
estado futuro.

La suma de
cada fila es 1
SIEMPRE.

En las filas leemos

el estado presente.
Sigue
Ejemplo
Continuando con el ejemplo de Bogotá sabemos que
la probabilidad de que mañana sea seco dado que hoy
esta seco es 0.8. La probabilidad de que mañana sea
seco dado que hoy llovió es 0.6. La matriz de
transición sería:
MAÑANA

•Estado 0 : Seco seco lluvioso

•Estado 1 : Lluvioso seco 0.8 0.2
𝑃=
lluvioso 0.6 0.4
http://setosa.io/ev/markov-chains/
HOY 1-15 1-15
Ejemplo

Cada año, durante la temporada de siembra de marzo a

septiembre, un jardinero realiza una prueba química para
verificar la condición de la tierra. Según el resultado de la
prueba, la productividad en la nueva temporada puede ser
uno de tres estados: (1) buena, (2) regular y (3) mala. A lo
largo de los años, el jardinero ha observado que la condición
de la tierra del año actual afecta la productividad del año
siguiente. Plantee la matriz de transición.

Sigue
Si la condición de la tierra es buena en este año (estado 1)
hay: 30% de que no cambie el año siguiente, 60% de
probabilidad de que sea regular (estado 2).
Si la condición de la tierra es regular en este año (estado 2)
hay: 60% de que no cambie el año siguiente, 30% de
probabilidad de que sea mala (estado 3).
Si la condición de la tierra es mala en este año (estado 3) hay:
55% de que no cambie el año siguiente, 5% de probabilidad
de que pase a buenas (estado 3).

Siguiente año

Este año
5. Matriz de transición de n pasos
(𝑛)
Probabilidades de transición de 𝑛 pasos 𝑝𝑖𝑗 son
simplemente la probabilidad condicional de que el
sistema se encuentre en el estado 𝑗 exactamente
después de 𝑛 pasos (unidades de tiempo), dado que
comenzó en el estado 𝑖 en cualquier tiempo t. Se
encuentran al elevar la matriz 𝑃 a la 𝑛

Sigue
Ejemplo
Retomando el ejemplo de Bogotá. La matriz de transición de 2 pasos
sería:

Si el clima esta en el estado 0 (seco) en un día particular, la

probabilidad de estar en el estado 0 dos días después es 0.76, por lo
que la probabilidad de estar en el estado 1 (lluvia) es 0.24. Si el clima
esta en el estado 1 ahora (lluvia), la probabilidad de estar en el
estado 0 dos días después es 0.72 mientras que la probabilidad de
estar en el estado 1 es 0.28.
Sigue
Las probabilidades del estado del clima tres, cuatro o cinco días a
futuro también se pueden leer de la misma forma a partir de las
matrices de transición de tres, cuatro y cinco pasos que se calculan con
tres cifras significativos a continuación.

En la matriz de la matriz de transición de cinco pasos se tienen las

probabilidades de estado estable, son independiente del estado del
clima cinco días antes.
Ayuda

Pueden usar esta página para elevar matrices a la

potencia n
https://octave-online.net/
Por ejemplo, pueden escribir el siguiente código para
insertar una matriz A y luego dar enter:
A=[[0.65 0.2 0.15]; [0.6 0.15 0.25]; [0.5
0.1 0.4]]
Noten que la matriz se ingresa por filas.
Luego insertar A^2 y dar enter para obtener el
resultado.
Sigue
Para multiplicar matrices también podemos usar:
http://matrix.reshish.com/es/
O programarlo en R como se muestra en la imagen
Ejemplo

Para el ejemplo del jardinero determine las probabilidades de

transición de los estados del sistema después de 1, 8 y 16
temporadas de siembra.

Sigue
 6. Vector de probabilidades
iniciales
(0)
Dado 𝑎𝑗 la probabilidad de estar en el estado 𝑗 en el
momento 𝑡 = 0
Y dados 𝑀 estados, entonces llamamos al vector de
probabilidades iniciales de la cadena de markov a:

(0) (0) (0)

𝑎(0) = 𝑎1 , 𝑎2 , … … , 𝑎𝑀

Las componentes del vector 𝑎(0) deben sumar 1 (100%).

Sigue
 7. Vector de probabilidades
absolutas
Para encontrar el vector de probabilidades absolutas
en cualquier momento n, es decir 𝑎(𝑛) solamente
tenemos que multiplicar la matriz de transición
𝑃𝑛 de 𝑛 pasos por el vector de probabilidades
iniciales 𝑎(0)

𝑎(𝑛) = 𝑎(0) ∙ 𝑃𝑛
Ejemplo
De nuevo con el caso del clima de Bogotá. Suponga que
inicialmente la probabilidad de que no llueva es 95%. Calcule la
probabilidad de que no llueva mañana, en dos, tres y cuatro días.

𝑎(0) = 0.95 0.05

Estado inicial de probabilidad

0 1

0 0.8 0.2
𝑃=
1 0.6 0.4
1-26
Sigue
Se puede obtener así:

0.8 0.2
𝑎(1) =𝑎(0) ∙ 𝑃 = 0.95 0.05 = 0.79 0.21
0.6 0.4

Por lo tanto, 𝑎 (1) = 0.79 0.21

Cuál es la probabilidad de
que no llueva mañana? 0.95*0.8 + 0.05*0.6=0.79

Cuál es la probabilidad de 0.95*0.2 + 0.05*0.4

que llueva mañana? =1 - 0.79= 0.21
 Similarmente se obtendría:

2
0.8 0.2
𝑎(2) =𝑎(0) ∙ 𝑃2 = 0.95 0.05 = 0. 758 0.242
0.6 0.4

3
0.8 0.2
𝑎(3) =𝑎(0) ∙ 𝑃3 = 0.95 0.05 = 0. 7516 0.2484
0.6 0.4
 Ejemplo

La siguiente matriz de transición es aplicable al problema

del jardinero con fertilizante

La condición inicial de la tierra es buena, es decir

Determine las probabilidades absolutas de los tres

estados del sistema después de 1, 8 y 16 temporadas de
siembra.
Tenemos que:

Por lo tanto, las probabilidades iniciales son:

Note que:

• Las filas de 𝑷𝟖 y el vector de probabilidades

absolutas 𝒂(𝟖) son casi idénticos. El resultado es
más evidente para 𝑷𝟏𝟔 . Ello demuestra que, a
medida que la cantidad de transiciones aumenta,
las probabilidades absolutas se vuelven
independientes del 𝒂(𝟎) inicial. Las probabilidades
resultantes se conocen como probabilidades de
estado estable
 8. Probabilidades de estado
estable
Para una cadena de Markov que presente estados
recurrentes las probabilidades de estado estable se
definen como:

Sigue
 Ejemplo
En el ejemplo del clima de El sistema de ecuaciones que
Bogotá se tiene: crearemos es de la forma:

0.8 0.2
𝑃=
0.6 0.4
Pasamos las columnas de P a filas

𝜋0 = 0.8 𝜋0 + 0.6 𝜋1 Como tenemos 3 ecuaciones y

2 incógnitas 1 ecuación es
𝜋1 = 0.2 𝜋0 + 0.4 𝜋1 redundante. Descartamos una
de las 2 primeras pero nunca la
última. Solucionando:
1= 𝜋0 + 𝜋1
 Y si continuáramos encontraríamos….
𝜋0𝑡+1 =0.8∙ 𝜋0𝑡 + 0.6 ∙ 𝜋1𝑡
n No llueve Llueve
0 0.9500 0.0500
𝜋1𝑡+1 =0.2∙ 𝜋0𝑡 + 0.4 ∙ 𝜋1𝑡
1 0.7900 0.2100
2 0.7580 0.2420 1.0000
0.9000
3 0.7516 0.2484
0.8000
4 0.7503 0.2497 0.7000
5 0.7501 0.2499 0.6000
0.5000
6 0.7500 0.2500 0.4000
7 0.7500 0.2500 0.3000

8 0.7500 0.2500 0.2000

0.1000
9 0.7500 0.2500 0.0000
10 0.7500 0.2500 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14

No llueve Llueve
11 0.7500 0.2500
12 0.7500 0.2500
13 0.7500 0.2500
14 0.7500 0.2500
 Ejemplo

Para determinar la distribución de probabilidad de

estado estable del problema del jardinero con
fertilizante:

La solución es 𝜋1 = 0.1017, 𝜋2 = 0.5254 y

𝜋3 = 0.3729; es decir que a la larga la
condición de la tierra será buena 10% del
tiempo, regular 52% del tiempo, y mala 37%
del tiempo.
 Ayuda
Para solucionar el sistema de ecuaciones anterior
podemos volverlo de la forma AX=b

1 1 −0.7𝜋1 + 0.1𝜋2 + 0.05𝜋3 = 0

2 2 0.6𝜋1 − 0.4𝜋2 + 0.4𝜋3 = 0
3 4 𝜋1 + 𝜋2 + 𝜋3 = 1
4 Descartamos
ecuación 3
por
redundante
-0.7 0.1 0.05 0
𝐴= 0.6 -0.4 0.4 𝑏= 0
Sigue 1 1 1 1
 Ayuda
Para solucionar el sistema de ecuaciones anterior
podemos volverlo de la forma AX=b

1 1 −0.7𝜋1 + 0.1𝜋2 + 0.05𝜋3 = 0

2 2 0.6𝜋1 − 0.4𝜋2 + 0.4𝜋3 = 0
3 4 𝜋1 + 𝜋2 + 𝜋3 = 1
Descartamos
4 ecuación 3
por
redundante

-0.7 0.1 0.05 0 𝜋1

𝐴= 0.6 -0.4 0.4 𝑏= 0 𝜋= 𝜋2
Sigue
1 1 1 1 𝜋3
Ayuda
Para encontrar 𝜋 decimos que este es igual a:
𝜋 = inv A ∗ b
Primero, vamos a https://octave-online.net/
Segundo, ingresamos la matriz A así:
A= [[-0.7 0.1 0.05]; [0.6 -0.4 0.4]; [1 1 1]]

Tercero, escribimos inv(A) y damos enter

Cuarto, ingresamos b
b=[0; 0; 1]
Quinto, escribimos inv(A)*b damos enter y el resultado
será 𝜋
Cadenas de Markov
Mónica Castañeda Riascos
Sebastián Zapata Ramírez

Agosto 2018