INVESTIGACIÓN DE OPERACIONES II

Cadenas de Markov
 Introducción
Una cadena de Markov, también conocida como proceso de Markov o modelo de
Markov, es un concepto fundamental en la teoría de la probabilidad y en la
estadística.

Se utiliza para describir sistemas estocásticos o procesos aleatorios que

evolucionan a través de una secuencia de estados o estados discretos en el
tiempo.

La característica principal de una cadena de Markov es que su futuro depende

únicamente del estado presente y no de los estados anteriores, lo que se conoce
como la propiedad de Markov o propiedad de la memoria nula.
Características importantes de los estados discretos en una cadena de Markov:

1.Conjunto Finito o Numerable: Los estados discretos pueden ser finitos, lo que significa
que hay un número finito de estados posibles, o numerables, lo que implica que hay un
número infinito pero contable de estados posibles.

2.Representación de Situaciones o Condiciones: Cada estado discreto representa una

situación, condición o configuración específica en la que se encuentra el sistema. Por
ejemplo, en una cadena de Markov que modela el clima, los estados discretos podrían ser
"soleado", "nublado" y "lluvioso".

3.Transiciones Probabilísticas: La evolución de la cadena de Markov implica transiciones

probabilísticas entre estos estados. Las transiciones están caracterizadas por probabilidades
que indican la probabilidad de pasar de un estado a otro en el siguiente paso del tiempo.

4.Independencia de los Estados Pasados: La propiedad fundamental de Markov establece

que la probabilidad de transición de un estado futuro solo depende del estado presente y no
de los estados pasados. En otras palabras, los estados pasados no influyen en las transiciones
futuras.
Una cadena de Markov se define por los siguientes elementos:
1. Espacio de Estados: Un conjunto finito o numerable de estados posibles, que
representa las condiciones o configuraciones en las que se encuentra un sistema en
un momento dado.
2. Matriz de Transición: Una matriz que describe las probabilidades de transición entre
los estados. Esta matriz indica la probabilidad de pasar de un estado a otro en el
siguiente paso del tiempo. Las probabilidades de transición deben cumplir con ciertas
restricciones, es decir, deben ser no negativas y la suma de las probabilidades de
transición desde un estado dado debe ser igual a 1.
3. Proceso Estocástico: La cadena de Markov se describe como un proceso estocástico,
lo que significa que la evolución de los estados a lo largo del tiempo es aleatoria y se
rige por las probabilidades de transición.
4. Propiedad de Markov: La propiedad fundamental de Markov establece que la
probabilidad de pasar a un estado futuro depende únicamente del estado presente y
no de los estados pasados. Esto se conoce como propiedad de la memoria nula.
Las cadenas de Markov se utilizan en una amplia variedad de aplicaciones,
como
• modelado de sistemas en ciencias de la computación,
• análisis de redes,
• pronóstico del clima,
• procesamiento de señales,
• economía;
y muchas otras disciplinas donde se pueden describir las transiciones entre
estados con probabilidades.

Además, las cadenas de Markov tienen varias propiedades y teoremas que

las hacen útiles para el análisis y la toma de decisiones en situaciones
inciertas o aleatorias.
 GENERALIDADES
 El análisis de Markov es una técnica que maneja las probabilidades de ocurrencia futura,
mediante el análisis de las probabilidades conocidas en el presente.
 Tiene diversas aplicaciones en los negocios.
 El análisis de Markov supone que el sistema comienza en un estado o condición inicial.
 Las probabilidades de cambio de un estado a otro se conocen como matriz
de probabilidades de transición.
SUPUESTOS

1. Existe un número limitado o finito de estados posibles.

2. La probabilidad de cambiar de estado permanece igual con

el paso del tiempo.

3. Podemos predecir cualquier estado futuro a partir del estado

anterior y la matriz de probabilidades de transición.

4. El tamaño y la composición del sistema no cambia

durante el análisis.
PROCESO ESTOCÁSTICO

Concepto matemático que sirve para usar magnitudes aleatorias que varían con el tiempo o para
caracterizar una sucesión de variables aleatorias que evolucionan en función de otra variable
(tiempo)
 Sea Χ 𝑡 una variable aleatoria que caracteriza el estado del sistema en puntos discretos en el
tiempo 𝑡 = 1,2, …
 La familia de variables aleatorias {Χ 𝑡 } forma un proceso estocástico con una cantidad finita
de estados
EJEMPLO 1: PROCESO ESTOCÁSTICO – MANTENIMIENTO
PREVENTIVO
Las condiciones de una máquina en el momento de mantenimiento preventivo mensual son
mala, regular o buena.

Para el mes t el proceso estocástico se representa como :

Χ 𝑡 = 𝑐𝑜𝑛𝑑𝑖𝑐𝑖ó𝑛 𝑑𝑒 𝑢𝑛𝑎 𝑚á𝑞𝑢𝑖𝑛𝑎 𝑒𝑛 𝑒𝑙 𝑚𝑜𝑚𝑒𝑛𝑡𝑜 𝑑𝑒𝑙 𝑚𝑎𝑛𝑡𝑒𝑛𝑖𝑚𝑖𝑒𝑛𝑡𝑜 𝑝𝑟𝑒𝑣𝑒𝑛𝑡𝑖𝑣𝑜 𝑑𝑒𝑙 𝑚𝑒𝑠 𝑡

La variable aleatoria puede tomar los siguientes estados

0, 𝑠𝑖 𝑙𝑎 𝑐𝑜𝑛𝑑𝑖𝑐𝑖ó𝑛 𝑒𝑠 𝑚𝑎𝑙𝑎
Χ𝑡 = * 1, 𝑠𝑖 𝑙𝑎 𝑐𝑜𝑛𝑑𝑖𝑐𝑖ó𝑛 𝑒𝑠 𝑟𝑒𝑔𝑢𝑙𝑎𝑟
2, 𝑠𝑖 𝑙𝑎 𝑐𝑜𝑛𝑑𝑖𝑐𝑖ó𝑛 𝑒𝑠 𝑏𝑢𝑒𝑛𝑎

La variable aleatoria Xt es finita porque representa tres estados: malo (0), regular (1) y bueno
(2).
EJEMPLO 2: PROCESO ESTOCÁSTICO – EVOLUCIÓN DEL CLIMA

El clima en la ciudad de David puede cambiar con rapidez de un día a otro. Sin
embargo, las posibilidades de tener clima seco (sin lluvia) mañana es de alguna
forma mayor si hoy está seco, es decir, si no llueve. En particular, la probabilidad
de que mañana esté seco es de 0.8 si hoy está seco, pero es de sólo 0.6 si hoy
llueve. Estas probabilidades no cambian si se considera la información acerca del
clima en los días anteriores a hoy.

Χ 𝑡 = 𝑐𝑙𝑖𝑚𝑎 𝑑𝑒 𝑙𝑎 𝑐𝑖𝑢𝑑𝑎𝑑

Para t = 0, 1, 2…. la variable puede tomar los valores

0, 𝑑í𝑎 𝑡 𝑒𝑠 𝑠𝑒𝑐𝑜
Χ𝑡 = ?
1, 𝑑í𝑎 𝑡 𝑒𝑠 𝑙𝑙𝑢𝑣𝑖𝑜𝑠𝑜
El proceso estocástico 𝑋𝑡 = 𝑋O, 𝑋1 , 𝑋$, … . proporciona una representación
matemática de la forma en que evoluciona el clima en la ciudad de David a través del
tiempo.
 EJEMPLO 3: PROCESO ESTOCÁSTICO – INVENTARIO DE CÁMARAS

Panafoto tiene el siguiente problema de inventario. El negocio tiene en almacén un modelo

especial de cámara que se puede solicitar cada semana. Panafoto desea aprender más acerca de
cómo evoluciona el inventario en el tiempo utilizando la siguiente política de inventario. Al final
de cada semana (sábado en la noche), la tienda hace un pedido que le entregan en el momento de
abrir la tienda el lunes. Si el inventario final es cero se ordenan tres cámaras y si es mayor que
cero no se ordena ninguna cámara. La demanda se comporta bajo una distribución de Poisson con
media 1

𝐷𝑡 = número de cámaras que se venderían en la semana t si el inventario no se agota (este número incluye
las ventas perdidas cuando se agota el inventario)

𝑋𝑡 = número de cámaras disponibles al final de la semana t

Proceso estocástico Χ 𝑡 = Χ 0 + Χ1 + Χ $ , …

Las variables aleatorias se pueden evaluar en forma iteractiva por medio de la expresión

𝑚á𝑥 3 − 𝐷𝑡 %1 , 0 , 𝑠𝑖 Χ 𝑡 = 0
Χ𝑡 1 = ? 𝑚á𝑥 Χ −𝐷
𝑡 𝑡 %1 , 0 𝑠𝑖 Χ 𝑡 ≥ 1
,
 PROPIEDAD DE MARKOV
 Proceso estocástico  variables aleatorias que evolucionan a través del tiempo

 Un proceso estocástico es un proceso de Markov si un estado futuro depende sólo del estado
inmediatamente anterior

Propiedad de Markov

𝑝 i j = 𝑃{𝑋 𝑡$1 = 𝑗| 𝑋𝑡 = 𝑖, 𝑋𝑡&1 = 𝑖𝑡&1, 𝑋𝑡&2 = 𝑖𝑡&2, … , 𝑋 ( = 𝑖 ( }

 Un proceso estocástico {Xt} (t = 0, 1, . . .) es una cadena de Markov si presenta la

propiedad markoviana.

 Cuando la probabilidad de transición 𝑝&j (𝑡)es independiente de 𝑡 para todo 𝑖, 𝑗

se obtiene una cadena de Markov homogénea que se escribe de la siguiente manera:

𝑝 i j = 𝑃{𝑋 𝑡$1 = 𝑗| 𝑋𝑡 = 𝑖}
CLASIFICACIÓN DE LOS ESTADOS DE UNA CADENA
DE MARKOV

Los estados de una cadena de Markov se clasifican con base en la probabilidad de

transición 𝑝&j de P

1. Un estado 𝑗 es absorbente si está seguro de regresar a sí mismo en una transición, es

decir 𝑝&j = 1

2. Un estado 𝑗 es transitorio si puede llegar a otro estado pero no puede regresar desde
otro estado.
3. Un estado 𝑗 es recurrente si la probabilidad de ser revisitado desde otros estados es 1.
Esto puede suceder si, y solo si, el estado no es transitorio
4. Un estado 𝑗 es periódico con periodo 𝑡 > 1 si es posible un
retorno sólo en 𝑡, 2𝑡, 3𝑡,…pasos
CLASIFICACIÓN DE LOS ESTADOS DE UNA CADENA DE MARKOV

- Irreducible
1 2 3
- Todos los estados son recurrentes

1 2 3
- Reducible (se pueden pensar como dos
cadenas separadas)

4 5 6

- Irreducible
1 - Irreducible
0 1 2 3 - Estado absorbente
3 2
 MATRIZ DE PROBABILIDADES DE TRANSICIÓN
 La información de probabilidad de transición para una cadena de Markov de tiempo
discreto se resume en forma de matriz
 La matriz de probabilidades de transición nos permite ir de un estado actual a un estado futuro

Sea pij = probabilidad condicional de estar en el estado j en el futuro, dado

el estado actual i

Sea P = la matriz de probabilidades de transición:

…
p11 p12 p13 p1n
…
P=
p21 p22 … p23
…

…
p2n
pm1 pmn

 Los valores individuales de pij se determinan empíricamente

 Las probabilidades en cada renglón sumarán 1
ESTADOS Y PROBABILIDADES DE
ESTADO
 Los estados se utilizan para identificar todas las condiciones posibles de un proceso o sistema.

 Es posible identificar los estados específicos de muchos procesos o sistemas.

 En el análisis de Markov suponemos que los estados son tanto
colectivamente exhaustivos como mutuamente excluyentes.
 Después de identificar los estados, el siguiente paso consiste en determinar
la probabilidad de que el sistema esté en dicho estado.

La información se coloca en un vector de probabilidades de estado:

 (i) = vector de probabilidades de estado para el periodo i

= ( 1 ,  2 ,  3 , … ,  n )
Donde:

n = número de estados
1, 2, … , n = probabilidad de estar en el estado 1, estado 2, …, estado n
ESTADOS Y PROBABILIDADES DE
ESTADO
 En algunos casos, es posible saber con total certidumbre en qué estado se encuentra el artículo:

 Entonces, el vector de estado se representa como:

 (1) = (1, 0)

donde

 (1) = vector de estado en el periodo 1

1 = 1 = probabilidad de estar en el primer estado

2 = 0 = probabilidad de estar en el segundo estado
EJEMPLO 4: CADENA DE MARKOV
HOMOGÉNEA
 Considere que una máquina puede estar en dos estados diferentes, funcionando o parada. Se
escoge un espacio de estado de {0, 1} donde 1 significa que la máquina está funcionando y 0
significa que la máquina está parada. El estado de la máquina se revisa cada hora, dada 𝑡 = 0, 1, …
Se forma la secuencia estocástica {𝑋𝑡}, donde 𝑋𝑡 es el estado de la máquina a la 𝑡 hora. Asumamos
que si la máquina está funcionando tiene una probabilidad 𝛼 de fallar durante la siguiente hora. Si
la máquina esta parada, tiene una probabilidad 𝛽 de ser reparada en la siguiente hora.
Esquematice el diagrama de transición de estados
EJEMPLO 5: TIENDA DE
ABARROTES
 Analicemos el vector de estado para las personas de la pequeña ciudad que tiene tres tiendas de
comestibles. Podría haber un total de 100,000 personas que compran en las tres tiendas de
comestibles durante un mes determinado. Cuarenta mil personas pueden ir de compras e American
Food Store, que se llamará el estado 1. Treinta mil personas pueden ir a compras a Food Mart, que
se llamarà el estado 2, y treinta mil personas pueden ir de compras a Atlas Foods, que se llamará
el estado 3. La probabilidad de que una persona vaya de compras a una de las tres tiendas
comestibles es la siguiente:

 Estado 1, American Food Stores 40,000

10,000= 0.40 → 40%

 Estado 2, Food Mart 30,000

10,000= 0.30 → 30%

30,000
 Estado 3, Atlas Foods
= 0.30 → 30%
10,000
EJEMPLO 5: TIENDA DE
ABARROTES
Estas probabilidades se colocan en el vector de probabilidades de estado como

 (0) = (0.4, 0.3, 0.3)

donde  (0) = vector de probabilidades de estado para las tres tiendas en el periodo inicial

1 = 0.4 = probabilidad de que una persona compre en American Food, estado 1

2 = 0.3 = probabilidad de que una persona compre en Food Mart, estado 2
3 = 0.3 = probabilidad de que una persona compre en Atlas Foods, estado 3

 Las probabilidades en el vector de estado representan la participación en el mercado de las

tres tiendas.
 La gerencia de las tres tiendas estará interesada en la manera en que cambia su
participación en el mercado con el tiempo.
 EJEMPLO 5: TIENDA DE
ABARROTES

 Un estudio determinó qué tan leales son los clientes.

 Se determinó que 80% de los clientes que compran en American Food en un mes volverán a la
tienda el mes siguiente. El restante 20% de los clientes pasarán 10% a Food Mart y 10% a Atlas
Foods en su próxima compra.

 De los clientes que compren en Food Mart 70% regresarán, 10% pasará a American Food y 20%
pasará a Atlas Foods

 De los clientes que compren en Atlas Foods, el 60% regresará mientras que 20% se irá a
American Food y el restante 20% hacia Food Mart.

Esquematice el diagrama de transición de estados

Represente por medio de diagrama de árbol

EJEMPLO 5: DIAGRAMA DE ÁRBOL PARA LAS
TRES TIENDAS

0.8
 Un estudio determinó qué tan leales
#1 0.32 = 0.4(0.8)
son los clientes.
American Food #1 0.1
#2 0.04 = 0.4(0.1)  Se determinó que 80% de
0.4 0.1 clientes
los que compran en American Food
#3 0.04 = 0.4(0.1) en un mes volverán a la tienda el mes
siguiente. El restante 20% de los clientes
0.1 #1 0.03 pasarán 10% a Food Mart y 10% a
Atlas Foods en su próxima compra.
Food Mart #2 0.7
#2 0.21
0.3 0.2  De los clientes que compren
#3 0.06 Fooden Mart 70%
pasará regresarán, 10% a
0.2 #1 0.06 pasará a Atlas Foods American Food
 De los clientes que compren
y 20%
en Atlas
Atlas Foods #3 0.2
0.3
#2 0.06 Foods, el 60% regresará
0.6
mientras
#3 0.18
que 20% se irá a American Food y el
restante 20% hacia Food Mart.
 EJEMPLO 5: DIAGRAMA TRANSICIÓN DE PROBABILIDADES PARA
LAS TRES TIENDAS
 Un estudio determinó qué tan leales son
los clientes.
 Se determinó que 80% de los clientes
0.2 que compran en American Food en un
mes volverán a la tienda
el mes siguiente. El restante 20% de los
0.8 0.1 0.7 0.2 clientes pasarán 10% a Food Mart y
0.6 10% a Atlas Foods en su próxima
compra.
1 2 3  De los clientes que compren en
Food Mart 70%
pasará regresarán, 10% a
0.1 0.2 pasará a Atlas Foods American Food
 De los clientes que compren
y 20%
en Atlas
Foods, el 60% regresará
mientras
0.1 que 20% se irá a American Food y el
restante 20% hacia Food Mart.
 EJEMPLO 5: MATRIZ DE PROBABILIDADES DE TRANSICIÓN PARA LAS
TRES TIENDAS
Usamos los datos históricos para desarrollar la siguiente matriz:

0.8 0.1 0.1

P=
0.1 0.7 0.2
0.2 0.2 0.6
Renglón 1
0.8 = P11 = probabilidad de estar en el estado 1, después de estar en el estado 1 en
el periodo anterior
0.1 = P12 = probabilidad de estar en el estado 2, después de estar en el estado 1 en
el periodo anterior
0.1 = P13 = probabilidad de estar en el estado 3, después de estar en el estado 1 en
el periodo anterior
Renglón 2
0.1 = P21 = probabilidad de estar en el estado 1, después de estar en el estado 2 en
el periodo anterior
0.7 = P22 = probabilidad de estar en el estado 2, después de estar en el estado 2 en
el periodo anterior
0.2 = P23 = probabilidad de estar en el estado 3, después de estar en el estado 2 en
el periodo anterior
Renglón 3
0.2 = P31 = probabilidad de estar en el estado 1, después de estar en el estado 3 en
el periodo anterior
PREDICCIÓN DE LA PARTICIPACIÓN FUTURA EN
EL MERCADO
 Uno de los propósitos del análisis de Markov es predecir el futuro.
 Dado el vector de probabilidades de estado y la matriz de probabilidades de transición, no es
muy difícil determinar las probabilidades de estado en una fecha futura.
 Este tipo de análisis permite el cálculo de la probabilidad de que una persona compre en
alguna de las tiendas en el futuro.
 Como esta probabilidad es igual a la participación en el mercado, es posible determinar la
participación futura en el mercado de las tiendas de abarrotes

Cuando el periodo actual es 0, las probabilidades de estado del siguiente periodo 1 se

determinan como sigue:

 (1) =  (0)P
Para cualquier periodo n calculamos las probabilidades de estado del periodo n + 1 como sigue:

 (n + 1) =  (n)P
EJEMPLO 5: PREDICCIÓN DE LA PARTICIPACIÓN FUTURA
EN EL MERCADO
Los cálculos para la participación en el mercado del periodo siguiente son:

 (1) =  (0)P

0.8 0.1 0.1

= (0.4, 0.3, 0.3) 0.1 0.7 0.2
0.2 0.2 0.6

= [(0.4)(0.8) + (0.3)(0.1) + (0.3)(0.2),

(0.4)(0.1) + (0.3)(0.7) + (0.3)(0.2),
(0.4)(0.1) + (0.3)(0.2) + (0.3)(0.6)]

= (0.41, 0.31, 0.28)

 EJEMPLO 5: PREDICCIÓN DE LA PARTICIPACIÓN FUTURA
EN EL MERCADO
 La participación de mercado para American Food y Food Mart aumenta, en tanto
que para Atlas Foods disminuye.
 Podemos determinar si esto continuará, observando las probabilidades de estado en el
futuro.
 Si se considera dos periodos a partir de ahora:

Entonces, las probabilidades de estado n periodos en el futuro se obtienen de las

probabilidades de estado actuales y la matriz de probabilidades de transición.
 EJEMPLO 6: OPERACIONES DE MAQUINARIA
El dueño de Maquinaria SA, registró durante varios años la operación de sus fresadoras. En los dos últimos años, 80% de las
veces la fresadora funcionaba correctamente en el mes actual, si había funcionado correctamente el mes anterior. Esto también
significa que tan solo 20% del tiempo el funcionamiento de la máquina era incorrecto para cualquier mes, cuando estaba
funcionando correctamente el mes anterior. Además, se observó que el 90% de las veces la máquina estaba mal ajustada en
cualquier mes dado, si estaba mal ajustada el mes anterior. Solamente el 10% del tiempo operó bien en un mes en que el mes
anterior no operaba correctamente. En otras palabras, esta máquina puede corregirse cuando no ha funcionado bien en el pasado y
esto ocurre 10% de las veces. Estos valores ahora se utilizan para construir la matriz de probabilidades de transición. De
nuevo, el estado 1 es una situación donde la máquina funciona correctamente; y el estado 2, donde la máquina no lo hace.

La matriz de probabilidades de transición para esta máquina es:

0.8 0.2
P= 0.1 0.9
donde

P11 = 0.8 = probabilidad de que la máquina funcione correctamente este mes, dado que funcionaba correctamente el mes pasado
P12 = 0.2 = probabilidad de que la máquina no funcione correctamente este mes, dado que funcionaba correctamente el mes pasado P21 = 0.1 =
probabilidad de que la máquina funcione correctamente este mes, dado que no funcionaba correctamente el mes pasado P22 = 0.9 = probabilidad de
que la máquina no funcione correctamente este mes, dado que no funcionaba correctamente el mes pasado
EJEMPLO 6: OPERACIONES DE MAQUINARIA

¿Cuál es la probabilidad de que la máquina funcione correctamente dentro de uno y dos

meses a partir de ahora?

 (1) =  (0)P

0.8 0.2
= (1, 0)
0.1 0.9

= [(1)(0.8) + (0)(0.1), (1)(0.2) + (0)(0.9)]

= (0.8, 0.2)
EJEMPLO 6: OPERACIONES DE MAQUINARIA

¿Cuál es la probabilidad de que la máquina funcione correctamente dentro de uno y dos

meses a partir de ahora?

 (2) =  (1)P

0.8 0.2
= (0.8, 0.2)
0.1 0.9

= [(0.8)(0.8) + (0.2)(0.1), (0.8)(0.2) + (0.2)(0.9)]

= (0.66, 0.34)
CONDICIONES DE EQUILIBRIO

 Es fácil pensar que con el paso del tiempo todas las participaciones de mercado serán 0 o 1.

 Pero es normal encontrar un porcentaje de equilibrio de los valores o las probabilidades de

mercado.
 Se presenta una condición de equilibrio cuando las probabilidades de estado no cambian después
de muchos periodos.
 Entonces, en equilibrio, las probabilidades de estado para un periodo futuro deben ser iguales a
las probabilidades de estado del periodo actual.
 Las probabilidades de estado en equilibrio se calculan repitiendo el análisis de Markov para un
gran número de periodos.

Las condiciones de estado estable existen si las probabilidades de estado no cambian después
de un número grande de periodos.
CONDICIONES DE EQUILIBRIO

La ecuación establece que, en el equilibrio, las probabilidades de estado para el siguiente

periodo son las mismas que las probabilidades de estado para el periodo actual.
EJEMPLO 6: ESTADO DE PROBABILIDADES PARA LA MÁQUINA
CON 15 PERIODOS
Para la máquina,
=P

0.8 0.2
(1, 2) = (1, 2) 0.1 0.9

Aplicando la multiplicación de matrices:

(1, 2) = [(1)(0.8) + (2)(0.1), (1)(0.2) + (2)(0.9)]

El primero y segundo términos del lado izquierdo, 1 y 2, son

iguales a los primeros términos del lado derecho:

1 = 0.81 + 0.12
2 = 0.21 + 0.92

Las probabilidades de estado deben sumar 1:

1 + 2 + … + n = 1
 EJEMPLO 6: ESTADO DE PROBABILIDADES PARA LA MÁQUINA CON 15 PERIODOS

Para la máquina :
1 + 2 = 1

De manera arbitraria, se resuelve las siguientes dos ecuaciones:

2 = 0.21 + 0.92

1 + 2 = 1

Reagrupando y sustituyendo, se obtiene:

0.12 = 0.21
 2 = 21
1 + 2 = 1
1 + 21 = 1
31 = 1

1= 1/3 = 0.33333333 2 = 2/3 = 0.66666667

EJEMPLO 2: PROCESO ESTOCÁSTICO – EVOLUCIÓN DEL CLIMA
El clima en la ciudad de David puede cambiar con rapidez de un día a otro. Sin embargo, las
posibilidades de tener clima seco (sin lluvia) mañana es de alguna forma mayor si hoy está seco, es
decir, si no llueve. En particular, la probabilidad de que mañana esté seco es de 0.8 si hoy está seco,
pero es de sólo 0.6 si hoy llueve. Estas probabilidades no cambian si se considera la información
acerca del clima en los días anteriores a hoy.

Χ 𝑡 = 𝑐𝑙𝑖𝑚𝑎 𝑑𝑒 𝑙𝑎 𝑐𝑖𝑢𝑑𝑎𝑑

Para t = 0, 1, 2…. la variable puede tomar los valores

0, 𝑑í𝑎 𝑡 𝑒𝑠 𝑠𝑒𝑐𝑜
Χ𝑡 = ?
1, 𝑑í𝑎 𝑡 𝑒𝑠 𝑙𝑙𝑢𝑣𝑖𝑜𝑠𝑜

El proceso estocástico 𝑋𝑡 = 𝑋O, 𝑋1 , 𝑋$, … . proporciona una representación matemática de

la forma en que evoluciona el clima en la ciudad de David a través del tiempo
EJEMPLO 2: MATRIZ Y DIAGRAMA DE TRANSICIÓN –
EVOLUCIÓN DEL CLIMA
𝑝OO = 𝑃 𝑋𝑡%1 = 0 𝑋𝑡 = 0 = 0.8
𝑝1O = 𝑃 𝑋𝑡%1 = 0 𝑋𝑡 = 1 = 0.6

𝑝OO + 𝑝O1 = 1
𝑝1O + 𝑝11 = 1

La matriz de transición es:

𝑝O1 = 0.8
𝑃= 𝑝11 0.2
𝑝1O
𝑝OO 0.6

0.4
ECUACIONES CHAPMAN-KOLGOMOROV
Las ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular
probabilidades de transición de 𝑛 pasos

Estas ecuaciones simplemente señalan que al ir del estado 𝑖 al estado 𝑗 en 𝑛 pasos, el proceso
estará en algún estado 𝑘 después de exactamente 𝑚 (menor que 𝑛) pasos. Así,
es sólo la probabilidad condicional de que, si comienza en el estado 𝑖, el proceso vaya
al estado 𝑘 después de 𝑚 pasos y después al estado 𝑗 en 𝑛 – 𝑚 pasos. Por lo tanto, al resumir
estas probabilidades condicionales sobre todos los estados posibles 𝑘 se debe obtener .
La matriz de probabilidades de transición de 𝑛 pasos se puede obtener al calcular la
𝑛 − é𝑠𝑖𝑚𝑎 potencia de la matriz de transición de un paso 𝑃.
EJEMPLO 2: MATRIZ DE TRANSICIÓN DE N PASOS – EVOLUCIÓN
DEL CLIMA

Se calcula ahora las diferentes matrices de transición de n pasos a partir de la matriz de

transición P (de un paso).

Para iniciar, la matriz de transición de dos pasos es

Ejemplo 2: Matriz de transición de n pasos – evolución del clima
Las probabilidades del estado del clima tres, cuatro o cinco días a futuro también se pueden leer de
la misma forma a partir de las matrices de transición de tres, cuatro y cinco pasos que se calculan
con tres dígitos signifi cativos a continuación
EJEMPLO 2: PROPIEDAD DE ESTADO ESTABLE– EVOLUCIÓN DEL CLIMA
Las ecuaciones de estado estable se convierten en

Basado en las probabilidades de transición el el sistema de ecuaciones será

Resolviendo el sistema de ecuaciones

Éstas son las mismas probabilidades que las que se obtuvieron en cada renglón de la matriz de cinco pasos que se
calculó previamente, debido a que cinco transiciones probaron ser suficientes para que las probabilidades de
estado sean en esencia independientes del estado inicial.
Estados absorbentes y matriz
fundamental
ESTADOS ABSORBENTES Y MATRIZ FUNDAMENTAL

Los estados absorbentes y la matriz fundamental

son conceptos clave en la teoría de cadenas de
Markov, que se utiliza en diversos campos para
modelar sistemas estocásticos que evolucionan
en el tiempo, como la teoría de colas, la ingeniería,
la economía, y la biología, entre otros.

0 1 2 3
ESTADOS ABSORBENTES Y MATRIZ FUNDAMENTAL

0 1 2 3
Estados absorbentes:
• Los estados absorbentes son aquellos en los que una vez que un sistema entra
en uno de ellos, ya no puede salir.
• En otras palabras, una vez que el sistema llega a un estado absorbente,
permanecerá allí de forma permanente.
• Los estados absorbentes son útiles para modelar situaciones en las que el
sistema alcanza un estado final y no puede retroceder.
Por ejemplo, en un modelo de atención médica, un estado absorbente podría
representar la recuperación de un paciente.
ESTADOS ABSORBENTES Y MATRIZ FUNDAMENTAL

Matriz fundamental
• La matriz fundamental (también conocida como matriz de tiempo de primera
pasada o matriz de probabilidad de absorción) se utiliza para calcular la
probabilidad de absorción en los estados absorbentes en una cadena de Markov.
• Esta matriz se construye a partir de la matriz de transición de la cadena de Markov
y se utiliza para calcular la probabilidad de llegar a un estado absorbente partiendo
desde cualquier estado inicial en un número finito de pasos.
• Esto es útil para calcular métricas importantes, como el tiempo esperado para
absorber el sistema en un estado absorbente, la probabilidad de absorción en un
estado específico y otras medidas de interés.
ESTADOS ABSORBENTES Y MATRIZ FUNDAMENTAL

 Un estado 𝑗 es absorbente si está seguro de regresar a sí mismo en una transición, es decir

𝑝&j = 1
 Si se encuentra en un estado donde no podrá pasar a otro en el futuro

Ejemplo de cuentas por pagar

 Un sistema de cuentas por cobrar generalmente ubica las deudas en cuatro estados
posibles:
Estado 1 (1): pagadas, todas las cuentas
Estado 2 (2): deuda incobrable, atrasada por más de tres meses
Estado 3 (3): atrasada menos de un mes
Estado 4 (4): atrasada entre uno y tres meses
EJEMPLO: ESTADOS ABSORBENTES Y MATRIZ FUNDAMENTAL
SIGUIENTE MES
DEUDA 1A3
ESTE MES PAGADA INCOBRABLE <1 MES MESES
Pagada 1 0 0 0
Deuda incobrable 0 1 0 0
Menor de 1 mes 0.6 0 0.2 0.2
1 a 3 meses 0.4 0.1 0.3 0.2

Por lo tanto:
1 0 0 0
0 1 0 0
P= 0.6 0 0.2 0.2
0.4 0.1 0.3 0.2
EJEMPLO: ESTADOS ABSORBENTES Y MATRIZ FUNDAMENTAL

Para obtener la matriz fundamental, es necesario hacer una partición de la matriz de

probabilidades de transición como sigue:
I 0

1 0 0 0 1 0 0 0
I= 0=
0 1 0 0 0 1 0 0
P= 0.6 0 0.2 0.2
0.6 0 0.2 0.2
0.4 0.1 0.3 0.2 A= B=
0.4 0.1 0.3 0.2

A B

donde
I = matriz identidad
0 = matriz solo con ceros
EJEMPLO: ESTADOS ABSORBENTES Y MATRIZ FUNDAMENTAL
La matriz fundamental se calcula como:

F = (I – B)–1
–1
1 0 0.2 0.2
F= 0 1– 0.3 0.2

–1
0.8 –
F=
0.2
–0.3 0.8
d –b
a b a b –1 r
El inverso de la matriz
c d es c d = r a
–c
r r
donde
r = ad –
bc
EJEMPLO: ESTADOS ABSORBENTES Y MATRIZ
FUNDAMENTAL
Para obtener la matriz F calculamos:

r = ad – bc = (0.8)(0.8) – (–0.2)(–0.3) = 0.64 – 0.06 = 0.58

Con esto tenemos:

0.8 –(–0.2)
–1 0.58 0.58
0.8 – 1.38 0.34
F= = –(–0.3) 0.8 = 0.52 1.38
0.2
–0.3 0.8 0.58 0.58
EJEMPLO: ESTADOS ABSORBENTES Y MATRIZ FUNDAMENTAL
Para determinar la cantidad de dinero de deudas incobrables que se esperaría en el largo
plazo se multiplica la matriz fundamental por la matriz A
1.38 0.34 0.6 0
F A=
0.52 1.38 X 0.4 0.1

0.97 0.03
F A=
0.86 0.14

Interpretación para los estados no absorbentes

La probabilidad de que una cantidad con un retraso inferior a un mes sea pagada es de 0.97 y
la probabilidad de que una cantidad con un retraso inferior a un mes termine como deuda
incobrable es de 0.03
La probabilidad de que una cantidad que tiene uno a tres meses de retraso sea pagada es de
0.86 y de que no sea pagada es de 0.14
EJEMPLO: ESTADOS ABSORBENTES Y MATRIZ FUNDAMENTAL

Podemos usar la matriz FA para contestar preguntas como cuánto de la deuda en la categoría de
menos de un mes se pagará, y cuánto se convertirá en deuda incobrable:

M = (M1, M2, M3, … , Mn)

donde
n = número de estados no
absorbentes
M1 = cantidad en el primer estado o
categoría M2 = cantidad en el segundo estado o
categoría Mn = cantidad en el n-ésimo estado o
categoría
EJEMPLO: ESTADOS ABSORBENTES Y MATRIZ
FUNDAMENTAL

Si se supone que hay $2,000 en la categoría de menos de un mes y

$5,000 en la de uno a tres meses, M sería:

M = (2,000, 5,000)

Cantidad pagada y
cantidad de deuda = MFA
incobrable 0.97 0.03
= (2,000, 5,000) 0.86 0.14

= (6,240, 760)

Entonces, del total de $7,000, $6,240 se pagarán al final y $760 terminarán como
deuda incobrable.