MODELOS ESTOCÁSTICOS

Clase 8: procesos markovianos en tiempo discreto

Contenido
1. Cadenas de Markov en tiempo discreto.
2. Probabilidades de estado y matriz de
transición.
3. Conceptos y aplicaciones.
Resultado de aprendizaje
Internaliza aspectos teórico prácticos de los
procesos markovianos y opera cadenas de
Markov en tiempo discreto.
 Procesos markovianos en tiempo discreto

Procesos Estocásticos

Un proceso estocástico es una colección o familia de variables aleatorias 𝑋𝑡, 𝑐𝑜𝑛 𝑡 ∈ 𝑇 , ordenadas
según el subíndice t que en general se suele identificar con el tiempo.

Por tanto, para cada instante t tendremos una variable aleatoria distinta representada por 𝑋𝑡, con lo que
un proceso estocástico puede interpretarse como una sucesión de variables aleatorias cuyas
características pueden variar a lo largo del tiempo.
 Procesos markovianos en tiempo discreto

Procesos Estocásticos

• Una Cadena es un proceso estocástico en el cual el tiempo se mueve en forma discreta y la variable
aleatoria sólo toma valores discretos en el espacio de estados.

• Un Proceso de Saltos Puros es un proceso estocástico en el cual los cambios de estados ocurren en
forma aislada y aleatoria pero la variable aleatoria sólo toma valores discretos en el espacio de
estados.

• En un Proceso Continuo los cambios de estado se producen en cualquier instante y hacia cualquier
estado dentro de un espacio continuo de estados. Un proceso continuo en tiempo discreto es un
proceso estocastico que puede tomar cualquier valor en un intervalo de tiempo.
 Procesos markovianos en tiempo discreto

Procesos Estocásticos

Ejemplo de una Cadena. (proceso de estado discreto a tiempo discreto)

• Considere una máquina dentro de una fábrica. Los posibles estados para la máquina son que esté
operando o que esté fuera de funcionamiento y la verificación de esta característica se realizará al
principio de cada día de trabajo.
• Si hacemos corresponder el estado ’fuera de funcionamiento’ con el valor 0 y el estado en
“operación” con el valor 1, la siguiente figura muestra una posible secuencia de cambios de estado
a través del tiempo para esa máquina.
 Procesos markovianos en tiempo discreto

Procesos Estocásticos

Ejemplo de Procesos de Saltos Puros (proseso de estado discreto a tiempo continuo).

• Se puede considerar como un ejemplo una señal telegráfica. Sólo hay dos posibles estados (por
ejemplo 1 y -1), pero la oportunidad del cambio de estado se da en cualquier instante en el
tiempo, es decir, el instante del cambio de estado es aleatorio.
 Procesos markovianos en tiempo discreto

Procesos Estocásticos

Ejemplo de Proceso de estado continuo a tiempo discreto.

• Se puede considerar como un ejemplo la producción diaria de un producto, agrupando los datos
de una semana se puede observar la variación respecto al tiempo establecido.
 Procesos markovianos en tiempo discreto

Procesos Estocásticos

Ejemplo de Procesos de estado continuo a tiempo continuo.

• Como un ejemplo de un Proceso Continuo, se puede mencionar la señal de voz vista en la pantalla
de un osciloscopio.
• Esta señal acústica es transformada en una señal eléctrica analógica que puede tomar cualquier
valor en un intervalo continuo de estados.
 Procesos markovianos en tiempo discreto

Procesos Estocásticos

Cadenas de Markov
 Procesos markovianos en tiempo discreto

Cadenas de Markov

Las cadenas de Markov y los procesos de Markov

son un tipo especial de procesos estocásticos que
poseen la siguiente propiedad:

Propiedad de Markov: conocido el estado del

proceso en un momento dado, su
comportamiento futuro no depende del pasado.
Dicho de otro modo, “dado el presente, el futuro
es independiente del pasado”.
 Procesos markovianos en tiempo discreto

Cadenas de Markov en tiempo discreto

• Las cadenas de Markov de utilización más general disponen de espacios de estados S discretos y
conjuntos de instantes de tiempo T también discretos, T={t0, t1, t2,…}
• Una cadena de Markov (CM) es una sucesión de variables aleatorias Xi, i∈N, tal que su probabilidad
está definida por:

Esta expresión algebraica representa la propiedad de Markov para instantes de tiempo discreto.
 Procesos markovianos en tiempo discreto

Probabilidades de transición

Las cadenas de Markov están completamente caracterizadas por las probabilidades de transición en una
etapa.

Donde qij se llama probabilidad de transición en una etapa desde el estado i hasta el estado j.
 Procesos markovianos en tiempo discreto

Matriz de transición

Los qij se agrupan en la denominada matriz de transición de la Cadena de Markov:

 Procesos markovianos en tiempo discreto

Propiedades de la matriz de transición

Por ser los qij probabilidades:

Por ser 1 la probabilidad del suceso seguro, cada fila ha de sumar 1, es decir:

Una matriz que cumpla estas dos propiedades se llama matriz estocástica.
 Procesos markovianos en tiempo discreto

Diagrama de transición de estados

El diagrama de transición de estados (DTE)

de una CM es un grafo dirigido cuyos nodos qij
son los estados de la CM y cuyos arcos se i j
etiquetan con la probabilidad de transición
entre los estados que unen. Si dicha
probabilidad es nula, no se pone arco.
 Procesos markovianos en tiempo discreto

Ejemplo: línea telefónica

• Sea una línea telefónica de estados ocupado = 1 y

desocupado = 0.

• Si en el instante t está ocupada, en el instante t+1 estará

ocupada con probabilidad 0,7 y desocupada con
probabilidad 0,3.

• Si en el instante t está desocupada, en el t+1 estará

ocupada con probabilidad 0,1 y desocupada con
probabilidad 0,9.
 Procesos markovianos en tiempo discreto

Ejemplo: línea telefónica

0,1

0,9 0 1 0,7

0,3
 Procesos markovianos en tiempo discreto

Ejemplo:Formulación del ejemplo del efecto del clima con Cadena de Markov.

El clima en el pueblo de Timotes puede cambiar con rapidez de un día a otro. Sin embargo, las
posibilidades de tener clima seco (sin lluvia) mañana es de alguna forma mayor si hoy está seco, es decir,
si no llueve. En particular, la probabilidad de que mañana esté seco es de 0.8 si hoy está seco, pero es de
sólo 0.6 si hoy llueve.

La evolución del clima día tras día en Timotes se formula como un proceso estocástico {𝑋𝑡} (𝑡 =
0, 1, 2, … ) donde:
 Procesos markovianos en tiempo discreto

Ejemplo:

A partir de los datos mencionados en el enunciado se tiene que:

𝑃{𝑋!"# = 0|𝑋! = 0} = 0.8
𝑃{𝑋!"# = 0|𝑋! = 1} = 0.6

Aún más, como estas probabilidades no cambian si también se toma en cuenta la información del clima
antes del día de hoy (día t)
𝑃 𝑋!"# = 0 𝑋$ = 𝑘$ , 𝑋# = 𝑘# , … , 𝑋!%# = 𝑘!%# , 𝑋! = 0 = 𝑃{𝑋!"# = 0|𝑋! = 0}
𝑃{𝑋!"# = 0|𝑋$ = 𝑘$ , 𝑋# = 𝑘# , … , 𝑋!%# = 𝑘!%# , 𝑋! = 1} = 𝑃 𝑋!"# = 0|𝑋! = 1
 Procesos markovianos en tiempo discreto

Ejemplo:

Lo anterior también se cumple si se reemplaza 𝑋!"# = 0 por 𝑋!"# = 1

Las probabilidades de transición (de un paso) son:

𝑝$$ = 𝑃{𝑋!"# = 0|𝑋! = 0} = 0.8,

𝑝#$ = 𝑃{𝑋!"# = 0|𝑋! = 1} = 0.6

Para todo t = 1, 2, …, por lo que estas son probabilidades estacionarias.

 Procesos markovianos en tiempo discreto

Ejemplo:

Ejemplo del clima:

Las probabilidades indicadas en el enunciado no cambian si se considera la información acerca del clima en
los días anteriores a hoy.

La evolución del clima día tras día en Timotes es un proceso estocástico.

Si se comienza en algún día inicial (etiquetado como día 0), el clima se observa cada día t, para t = 0, 1, 2, . . .

El estado del sistema en el día t puede ser:

• Estado 0 = El día t es seco

• Estado 1 = El día t es lluvioso

 Procesos markovianos en tiempo discreto

Ejemplo:

Ejemplo del clima:

Así, para t = 0, 1, 2, . . ., la variable aleatoria 𝑋𝑡 toma los valores,

El proceso estocástico {𝑋𝑡} = {𝑋0, 𝑋1, 𝑋2, . . . } proporciona una representación matemática de la forma
en que evoluciona el clima en Timotes a través del tiempo.
 Procesos markovianos en tiempo discreto

Ejemplo:

Formulación del ejemplo del efecto del clima con Cadena de Markov.

Sabiendo que la sumatoria de las probabilidades (en un paso) de que la variable pase desde un estado i
hasta un estado j debe ser igual 1, se tiene:

𝑝00 + 𝑝01 = 1 entonces 𝑝01 = 1– 0.8 = 0.2

𝑝10 + 𝑝11 = 1 entonces 𝑝11 = 1– 0.6 = 0.4

Como se mencionó anteriormente, las probabilidades suministradas como dato (para este caso) son
estacionarias, la matriz de transición queda de la siguiente manera:

Estas probabilidades de transición proporcionan la

probabilidad del estado del clima el día de
mañana, dado el estado del clima del día de hoy.
Matriz de transición
t
Seco Lluvioso

Seco
t-1 Lluvioso

Diagrama de transición
 Procesos markovianos en tiempo discreto

Ejemplo: línea telefónica

 Procesos markovianos en tiempo discreto

Ecuaciones de Chapman-Kolmogorov

Ahora veremos dos métodos para la obtención de las probabilidades de estado estable, las
cuales permiten prever el comportamiento a largo plazo de un proceso estocástico
estudiado, favoreciendo la toma de decisiones.
Además, aspectos como la comunicación y período de los estados de la cadena de Markov,
así como un ejemplo de aplicación utilizándo las probabilidades de estado estable.
Ecuaciones de Chapman-Kolmogorov
Anteriormente se introdujo la probabilidad de transición de n pasos p . Las
(n)

ij

ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular

estas probabilidades de transición de n pasos:
M
Pij(n) = ∑Pik(m) Pkj(n-m), para toda i = 0, 1, …, M, j = 0, 1, …, M,
K=0

y cualquier m = 1, 2, …, n-1,
n = m+1, m+2, …, n
Estas ecuaciones simplemente señalan que al ir del estado i al estado j en n
pasos, el proceso estará en algún estado k después de exactamente m (menor
que n) pasos.
 Ecuaciones de Chapman-Kolmogorov
Así, p p es sólo la probabilidad condicional de que, si comienza en el estado i,
(m) ( n-m )

ik ki

el proceso vaya al estado k después de m pasos y después al estado j en n – m

pasos. Por lo tanto, al resumir estas probabilidades condicionales sobre todos
los estados posibles k se debe obtener p .
(n)

ij

Los casos especiales de m=1 y m= n – 1 conducen a las expresiones:

para todos los estados i y j.

Para n=2
pij(2) = ∑pikpkj, para todos los estados i y j
Donde las Pij(2) son los elementos de la matriz P(2).
Note que estos elementos se obtienen al multiplicar la matriz de transición
de un paso por sí misma; esto es, P(2) = P . P = P2

De la misma manera, las expresiones anteriores de Pij(n) cuando m = 1 y m =

n-1 indican que la matriz de transición de n pasos es:
P(n) = P P(n-1) = P(n-1)P = Pn
 Procesos markovianos en tiempo discreto

Ecuaciones de Chapman-Kolmogorov

Teorema: las probabilidades de transición en n etapas vienen dadas por la matriz Qn:

Obtenida de Flaticon, 2020.

Por este teorema sabemos que la probabilidad de transitar de i hasta j en n pasos es el elemento (i,j) de Qn.
Matrices de transición para el ejemplo del clima
Ahora se usarán las fórmulas anteriores para calcular las diferentes matrices de
transición de n pasos a partir de la matriz de transición P (de un paso) que se
obtuvo en anteriormente. La matriz de transición de dos pasos es:

Así, si el clima está en el estado 0 (seco) en un día particular, la probabilidad de

estar en el estado 0 dos días después es 0.76, por lo que la probabilidad de
estar en el estado 1 (lluvia) es 0.24.
En forma similar, si el clima está en el estado 1 ahora, la probabilidad de estar
en el estado 0 dos días después es 0.72 mientras que la probabilidad de estar
en el estado 1 es 0.28.
Matrices de transición para el ejemplo del clima
Las probabilidades del estado del clima tres, cuatro o cinco días a futuro
también se pueden leer de la misma forma a partir de las matrices de
transición de tres, cuatro y cinco pasos que se calculan con tres dígitos
significativos a continuación:
Matrices de transición para el ejemplo del clima
Las probabilidades del estado del clima tres, cuatro o cinco días a futuro
también se pueden leer de la misma forma a partir de las matrices de
transición de tres, cuatro y cinco pasos que se calculan con tres dígitos
significativos a continuación:

Renglones
idénticos
 Probabilidades de Estado Estable

Matrices de transición para el ejemplo del clima

Renglones
idénticos

Ello refleja el hecho de que la probabilidad del clima que está en un estado
particular es en esencia independiente del estado del clima cinco días antes.
Por lo tanto, las probabilidades de cualquier renglón de esta matriz de
transición de cinco pasos se denominan probabilidades del estado estable de
la cadena de Markov.
 Propiedades a Largo Plazo de Una Cadena de Markov
Probabilidades de estado estable
Mientras se calculaban las matrices de transición de n pasos del ejemplo del clima, se observó una
característica interesante de estas matrices. Si n es lo suficientemente grande (n = 5 en el ejemplo del
clima), todos los renglones de la matriz tienen elementos idénticos, lo que significa que la probabilidad de
que el sistema esté en cada estado j ya no depende del estado inicial del sistema.

En otras palabras, parece que existe una probabilidad límite de que el sistema se encuentre en el estado j
después de un número grande de transiciones, y que esta probabilidad es independiente del estado inicial.

Probabilidades de estado estable

En realidad, estas propiedades del comportamiento a largo plazo de un proceso de Markov de estado
finito se cumplen en condiciones relativamente generales, como se resume a continuación.

Para una cadena de Markov el lim pij(n) y es independiente de i.

Propiedades a Largo Plazo de Una Cadena de Markov

Probabilidades de estado estable

Aún más,
lim pij(n) = πj > 0,
n→ꝏ

Donde las πj satisfacen de manera única las siguientes ecuaciones de estado

estable
M
πj = ∑ πipij, para j = 0, 1, …, M,
i=0
M
∑ πj = 1
j=0
Probabilidades de estado estable
Las πj se llaman probabilidades de estado estable de la cadena de Markov, esto significa que la
probabilidad de encontrar el proceso en cierto estado, por ejemplo j, después de un número grande de
transiciones tiende al valor pπj, y es independiente de la distribución de probabilidad inicial definida para
los estados.

Es importante observar que la probabilidad de estado estable no significa que el proceso se establezca
en un estado. Por el contrario, el proceso continúa haciendo transiciones de un estado a otro y en
cualquier paso n la probabilidad de transición del estado i al estado j es todavía pij.

Probabilidades de estado estable

Debe observarse que las ecuaciones de estado estable consisten en M + 2 ecuaciones con M + 1
incógnitas. Como el sistema tiene una solución única, al menos una de las ecuaciones debe ser
redundante, por lo que se puede eliminar.

No se puede eliminar la ecuación:

åp = 1
M

j
j =0
Probabilidades de estado estable. Aplicación al ejemplo del clima.
Al resolver el sistema de ecuaciones se tiene que:

π0 = 0,75 π1= 0,25

Exactamente los mismos valores que los obtenidos en la matriz de transición de 5 pasos.
 Comunicación
Sea {Xt} una cadena de Markov y sean i y j dos de sus estados:
a) j es accesible desde i si existe n ≥ 0 tal que Pij(n) > 0. Se denota como (i→j)
b) i y j son comunicantes si i→j, j→i Se denota como i↔j
La comunicación induce una partición del espacio en estados en clases comunicantes.
Las clases comunicantes son subconjuntos de estados en los que todos ellos se comunican.
c(i) = clase de comunicación del estado i
Una cadena de Markov es irreducible si todos sus estados se comunican entre si.
Comunicación
0 1 2 3
De forma gráfica:
0 1 0 0 0 0 1
1 ½ 0 ½ 0
2 0 ½ ½ 0
3 ½ 0 ½ 0 3 2

No se
comunica 0 1
se comunican
Pertenecen a la
No se 3 2 misma clase
comunica
Clases de comunicación
C(0)
C(3)
C(1) = 1,2 C(1) = C(2)
 Período

El período se define como un número que se calcula para cada estado de una cadena de Markov.

Sea i un estado en una cadena de Markov {Xn}:

a) El período i es un número entero que se denota como d(i), además, d(i) será el máximo común divisor
(m.c.d) del conjunto de enteros n ≥ 1 tales que Pij(n) es estrictamente positiva, lo anterior se representa
como: d(i) = m.c.d. {n ≥ 1 = Pij(n) > 0}
b) El d(i) se define como cero, cuando el conjunto de tiempos a los que se hace referencia en el inciso anterior
es vacío. Esto se representa como: d(i) = 0 {n ≥ 1 = Pij(n) = 0}
c) Cuando d(i)=1 el estado es aperiódico.
d) Si d(i) = k para toda k ≥ 2, se dice que i es periódico de período k.
 Período
Pasos en los que se
puede llegar al estado

0 1 2 3 d(0) = m.c.d {1,2,3,…}

0 1
0 1 0 0 0
1 ½ 0 ½ 0 El máximo común divisor es 1
2 0 ½ ½ 0 3 2
3 ½ 0 ½ 0 d(0) = 1
Para llegar al estado 1
desde el estado 1 se
requieren dos pasos

0 1 2 3 d(1) = m.c.d {2,4,6}

0 1
0 1 0 0 0
1 ½ 0 ½ 0
2 0 ½ ½ 0 3 2 El máximo común divisor es 2
3 ½ 0 ½ 0 d(1) = 2
 Período
Para llegar al estado 2
desde el estado 2 se
requieren dos pasos

0 1 2 3 d(2) = m.c.d {2,4,6}

0 1
0 1 0 0 0
1 ½ 0 ½ 0 El máximo común divisor es
2 0 ½ ½ 0 3 2 2
3 ½ 0 ½ 0 d(2) = 2

Dos estados que comparten la misma clase de

comunicación, tienen el mismo período

d(3) = m.c.d Ø
d(3) = 0
 Clasificación de los Estados en una
Cadena de Markov
Los estados de una cadena de Markov se clasifican con base en la probabilidad de transición pij de P.

Se dice que i es :
a) Recurrente si P(Xn= i para alguna n≥ 1 / Xo=i) = 1
b) Transitorio si P(Xn= i para alguna n≥ 1 / Xo=i) < 1

Si i↔j (se comunican) entonces:

a) Si i es recurrente, entonces j es recurrente.
b) Si i es transitorio, entonces j es transitorio La recurrencia y la
transitoriedad son
propiedades de clase

Se dice que una cadena de Markov es ergódica si todos los estados son recurrentes y
aperiódica (período = 1).
Se utilizará la siguiente matriz de transición para ilustrar la mayoría de las definiciones que
se darán:

Representación gráfica de la matriz de transición

 Definición:

Dados dos estados 𝑖 𝑦 𝑗, una trayectoria de 𝑖 𝑦 𝑗 es una secuencia de transiciones

que comienza en 𝑖 y termina en 𝑗, tal que cada transición en la secuencia tiene una
probabilidad positiva de ocurrir.

Un estado 𝑗 es alcanzable desde el estado 𝑖 si hay una trayectoria que conduzca de

𝑖 𝑎 𝑗.

Se dice que dos estados 𝑖 𝑦 𝑗 se comunican si 𝑗 es alcanzable de 𝑖, e 𝑖 es alcanzable

desde 𝑗.
Ejemplos:
➢ Para la matriz de probabilidad de transición P, el estado 5 es alcanzable desde el
estado 3 (vía trayectoria 3-4-5), pero el estado 5 no es alcanzable desde el estado 1 (no
hay trayectoria desde 1 a 5).

➢ También los estados 1 y 2 se comunican, se puede ir de 1 a 2 y de 2 a 1.

 Definición:
Un conjunto de estados 𝑆 en una cadena de Markov es un conjunto cerrado si
ningún estado fuera de 𝑆 es alcanzable desde algún estado en 𝑆.
Ejemplo:
Para la matriz P del ejemplo, se tiene: S1={1,2} y S2={3,4,5} son conjuntos cerrados.
Note que una vez que se entra en un conjunto cerrado, nunca se puede salir de él.

Un estado 𝑖 es un estado absorbente si 𝑝!! = 1

Siempre que se entra a un estado absorbente, nunca se saldrá de él.
En el ejemplo, los estados 0 y 4 son estados absorbentes. Por supuesto, un estado
absorbente es un conjunto cerrado que contiene sólo un estado.
 Definición:
Un estado 𝑖 es un estado transitorio si existe un estado 𝑗 que es alcanzable desde 𝑖,
pero el estado 𝑖 no es alcanzable desde el estado 𝑗.

Si un estado no es transitorio, se denomina estado recurrente.

En el ejemplo, el estado 3 es un estado transitorio ya que podemos ir al estado 4,

pero no hay camino para volver al estado 3 desde el estado 4.
Lo mismo ocurre con el estado 1, podemos llegar al estado 0, pero no hay forma de
volver al estado 1 desde el estado 0.
 Definición:
Un estado 𝑖 es periódico con periodo 𝑘 > 1, si 𝑘 es el número más pequeño tal que las
trayectorias que conducen del estado 𝑖 de regreso al estado 𝑖 tienen una longitud que es un
múltiplo de 𝑘. Si un estado recurrente no es periódico, se conoce como aperiódico.
Ejemplo: Para la cadena de Markov con matriz de transición:

Cada estado tiene periodo 3. Por ejemplo, si comenzamos en el estado 1, la única forma de volver
al estado 1 es seguir la trayectoria 1-2-3-1 para cierto número de veces (por ejemplo, “m”). Por
consiguiente, cualquier retorno al estado 1 tendrá 3m transiciones, así que el estado 1 tiene
periodo 3. Sin importar donde estemos, se tiene la seguridad de volver tres períodos después.
 Definición:
Si los estados en una cadena son recurrentes, aperiódicos y se comunican entre sí, se dice que
la cadena es ergódica 1 1
0 0
2 2
1 1
0 0
Ergódica 𝑃& = 2 2 No ergódica Ergódica
2 1
0 0 3 3
0 0 1 3
4 4
Ejemplo : Cadenas absorbentes

La situación de deudas activas de una empresa se modela como una cadena de Markov absorvente.
Suponga que una empresa asume que una cuenta es incobrable si tiene mas de tres meses de atraso.

Entonces, al comienzo de cada mes, cada cuenta se puede clasificar en uno de os siguientes estados:
Suponga que los datos históricos indican que la siguiente cadena de Markov describe como
cambia el estado de una cuanta al mes siguiente:

Por ejemplo; si una cuenta tiene dos meses de atraso al comienzo del mes, hay 40% de
probabilidades de que al comienzo del siguiente mes no se pague la cuenta ( y, por consiguiente
tres meses de atraso) y 60% de probabilidades de que se pague la cuenta.

Para simplificar el ejemplo suponga que después de tres meses se cobra la deuda o se borra como
deuda incobrable.
Una vez que se paga la deuda o se borra como deuda incobrable, se cierra la cuanta y ya no ocurren
mas transacciones. Por lo tanto, las deudas pagadas e incobrables son estado absorbentes.
Los otros estados son estados estacionarios.

Para este problema, hay varias preguntas de interés, por ejemplo:

1) ¿Cuál es la probabilidad de que finalmente se cobre una cuenta nueva?

2) Cual es la probabilidad de que una cuenta con un mes de atraso en algún momento sea deuda
incobrable?
3) Si en promedio las ventas de la empresa son US$ 100.000 por mes, ¿cuánto dinero por año se
quedará sin cobrar?

Para responder las preguntas, es necesario escribir la matriz de transición con los estado listados en
el siguiente orden: primero los estados transitorios, luego los estados absorbentes.
 Para garantizar la concreción, supóngase que hay (s-m) estados transitorios (t1, t2, t3,….,ts-m )
Por lo tanto hay m estado absorbentes (a1, a2, a3,….,am)
Entonces la matriz de transición para la cadena absorbente se podrá escribir como sigue:

En este formato, los renglones y las columnas de P corresponden (en orden) a los estados
(t1,t2,t3,…,ts-m, a1,a2,a3,…,am)

I corresponde a la matriz identidad de m x m, que refleja el hecho de que nunca se puede dejar un estado
absorbente.
Q es una matriz de (s - m) x (s - m) que representan las transiciones entre los estados transitorios.
R es una matriz de (s – m) x m que representa transiciones de estados transitorios a estados absorbentes.
0 es una matriz de m x (s – m) que consiste por completo de ceros. Esto refleja el hecho de que es imposible ir de un
estado absorbente a un estado transitorio.
Luego, Las matrices Q y R son
t1 = Nuevo
t2 = 1 mes
t3 = 2 meses
t4 = 3 meses
a1 = Pagada
a2 = deuda incobrable

En este ejemplo, s = 6 y m = 2
Analizaremos algunos hechos de las cadenas absorbentes.
 Procesos markovianos en tiempo discreto

Bibliografía
Hillier, F., Lieberman, G. (2010). Introducción a la Investigación de operaciones. (9ª

Ed.). México: McGraw Hill.

Render, B., Stair, R., Hanna, M. (2012). Métodos cuantitativos para los negocios. (11ª

Ed.). España: Pearson.

Taha, H. (2004). Investigación de operaciones. (7ª Ed.). México: Pearson Educación.