CADENAS DE MARKOV

Santiago Javez Valladares

 CADENAS DE MARKOV
Unidad de Aprendizaje Cadenas de Markov
Cadenas de Markov Ergodicas

Objetivos  Conocer la relación entre estados basados en

probabilidades.
 Aprender a elaborar Matrices de Cadenas de
Markov.
 Aprender a calcular estados estables.
 Interpretar la solución .

Temas a tratar 1. Matriz de Cadena de Markov.

2. Características de una cadena de Markov
3. Solución de Cadenas de Markov Ergodicas.
4. Aplicaciones de Cadenas de Markov .

Santiago Javez Valladares

 Cadena de Markov
• De forma sencilla una cadena de Markov es una serie de
eventos, en el cual la probabilidad de que ocurra un evento
depende del evento inmediato anterior.
En efecto las cadenas de Markov tienen memoria. “Recuerdan” el
último evento y esto condiciona las posibilidades de los eventos
futuros.
 ¿Qué es una Cadena de Markov?

Es una Matriz discreta

E1 E2 E3 E4 E5
que relaciona estados
finitos mediante E1

probabilidades que E2
expresan los E3
intercambios de
E4
estados en un periodo
de tiempo. E5

4
MULTIPLICAR MATRICES CON EXCEL
Extender la formula y hacer clic en F2
Apretar las teclas de: shift+ctrl y sin soltarlas
hacer clic en enter
 DESARROLLO

• Consideremos un cajero que

atiende a las personas que llegan
a una sucursal bancaria
• Pensemos que en la fila nunca
hay más de tres personas
(incluyendo la que se atiende)
• Supongamos que los clientes no
llegan en grupos
• Entonces el número de personas
en la fila (incluyendo la que se
atiende) puede tomar los valores
0, 1, 2, 3

9
 DESARROLLO
• Pensemos que el cajero tarda al
menos un minuto en atender a Minuto 5
un cliente y que en un minuto
dado no puede llegar más de un
cliente al banco
• Si observamos el número de Minuto 6
personas en la fila cada minuto,
esta cantidad puede:
– Aumentar en 1, si llega otro
cliente antes de que atiendan al Minuto 7
que está en servicio
– Disminuir en 1, si se termina de
atender al cliente y nadie más
llega
• Esto se repite a lo largo del día Minuto 8

10
 DESARROLLO
• Si podemos considerar que la cantidad de clientes en el
próximo minuto depende solamente de la cantidad de
clientes en el minuto actual, entonces podríamos determinar
la probabilidad de tener una cierta cantidad de clientes en la
fila en el próximo minuto
• Para ello requeriríamos solamente probabilidades
condicionales del tipo:
– P(en el siguiente minuto haya i clientes | en este minuto hay j
clientes)
• A fin de poder calcular tales probabilidades, debemos contar
con:
– Información acerca de la “velocidad” con que atiende el cajero a los
clientes
– Información sobre la cantidad de clientes que llega al banco por
unidad de tiempo

11
 Clasificación de estados de una cadena de
Markov
• Estado transitorio
– El estado i es transitorio si y sólo si existe un estado j que es accesible
desde i, pero donde el estado i no es accesible desde j
• Estado recurrente
– Un estado es recurrente si y sólo si no es transitorio
• Estado absorbente
– Es un estado tal que después de haber entrado allí, el sistema ya nunca
saldrá
– Para que un estado i sea absorbente se requiere que pii = 1
 DESARROLLO: TOMA DE DATOS
1 0
2 0
SE RECOJEN DATOS MINUTO 3 1
A MINUTO Y SE HACE UNA 4 2
LISTA
5 1
6 2
7 3
8 3
9 2
10 2
11 1
12 1
13 0
14 1
 DESARROLLO
• Una forma adecuada de
organizar dicha información
es mediante una tabla o
matriz Clientes en el minuto n+1
0 1 2 3
• En los renglones colocamos
0 1 2 0 0 3
el número actual de clientes

Clientes en
1 1 1 2 0 4

el minuto n
• En las columnas, el número
2 0 2 1 1 4
de clientes en el siguiente
3 0 0 1 1 2
minuto
• Llamemos Xn al número de
clientes en el minuto n
 DESARROLLO
• Una forma adecuada
de organizar dicha
información es
mediante una tabla o
matriz Clientes en el minuto n+1
• En los renglones 0 1 2 3
colocamos el número
actual de clientes Clientes en 0 1/3 2/3 0 0
• En las columnas, el el minuto n 1 1/4 1/4 2/4 0
número de clientes en 2 0 2/4 1/4 1/4
el siguiente minuto 3 0 0 1/2 1/2
• Llamemos Xn al
número de clientes en
el minuto n
DESARROLLO: ERGODICA
 DESARROLLO
• Notemos que el primer renglón de la matriz anterior
indica las probabilidades de pasar a 0, 1, 2 o 3
clientes en la fila dado que ahora hay cero clientes
– Como estos valores representan todos los posibles
resultados, deben sumar 1
– Lo mismo ocurre con los otros renglones
• A una matriz que cumple con esta condición se le
llama matriz estocástica (probabilística)

17
 DESARROLLO
• Una forma adecuada
de organizar dicha
información es
mediante una tabla o
matriz Clientes en el minuto n+1
• En los renglones 0 1 2 3
colocamos el número
actual de clientes Clientes en 0 1/3 2/3 0 0
• En las columnas, el el minuto n 1 1/4 1/4 2/4 0
número de clientes en 2 0 2/4 1/4 1/4
el siguiente minuto 3 0 0 1/2 1/2
• Llamemos Xn al
número de clientes en
el minuto n
https://www.youtube.com/watch?
v=BmK6PBVIZm4&ab_channel=carlosvelazco

DESARROLLO

PROBABILIDADES
AL PASAR DOS
MINUTOS

PROBABILIDADES
AL PASAR CUATRO
MINUTOS
DESARROLLO
DESARROLLO

PROBABILIDADES
AL PASAR
SESENTA Y
CUATRO
MINUTOS, SE
ESTABILIZA LA
MATRIZ
DESARROLLO: ESTADO ESTABLE

LA PROBABILIDAD DE NO TENER CLIENTES ES 1/8

LA PROBABILIDAD DE TENER 1 CLIENTE ES 1/3
LA PROBABILIDAD DE TENER 2 CLIENTES ES 1/3
LA PROBABILIDAD DE TENER 3 CLIENTES ES 1/6
 DESARROLLO: TOMA DE DATOS
1 TWITTER
2 FACEBOOK
SE RECOGE INFORMACION DE 3 FACEBOOK
ingreso diario a las siguientes 4 INSTAGRAM
plataformas:
5 YOUTUBE
6 YOUTUBE
7 TWITTER
8 FACEBOOK
9 YOUTUBE
10 INSTAGRAM
11 INSTAGRAM
12 FACEBOOK
13 TWITTER
14 YOUTUBE
1.-¿Cuál es la probabilidad de que una persona este en Facebook?

2.-¿Cuál es la probabilidad de que una persona este en twitter?

3.-¿Cuál es la probabilidad de que una persona este en Instagram?

4.-¿Si el ingreso que tienen cada plataforma es de: $30.$24 ,$40 y $12 por ingresar
a: Facebook,twitter,Instagram y youtube.¿Cual es el ingreso promedio en una
semana?
 USO EMPRESARIAL
• Un agente comercial realiza su trabajo en tres ciudades A, B y C. Para evitar desplazamientos
innecesarios está todo el día en la misma ciudad y allí pernocta, desplazándose a otra ciudad al día
siguiente, si no tiene suficiente trabajo. Después de estar trabajando un día en C, la probabilidad de
tener que seguir trabajando en ella al día siguiente es 0.4, la de tener que viajar a B es 0.4 y la de
tener que ir a A es 0.2. Si el viajante duerme un día en B, con probabilidad de un 20% tendrá que
seguir trabajando en la misma ciudad al día siguiente, en el 60% de los casos viajará a C, mientras
que irá a A con probabilidad 0.2. Por último si el agente comercial trabaja todo un día en A,
permanecerá en esa misma ciudad, al día siguiente, con una probabilidad 0.1, irá a B con una
probabilidad de 0.3 y a C con una probabilidad de 0.6.
• a) Si hoy el viajante está en C, ¿cuál es la probabilidad de que también tenga que trabajar en C al
cabo de cuatro días?

• b) ¿Cuáles son los porcentajes de días en los que el agente comercial está en cada una de las tres
ciudades?
• c) En un mes ,¿Cuántos días en promedio estará en la ciudad B?
• d) El costo por nocha e cada ciudad A,B y C es de $120,$130 y $90 ,entonces¿Cuál debe ser su
presupuesto para pernoctar en un mes?
SISTEMA DE INVENTARIOS
PRUEBA PRACTICA CALIFICADA
 DESARROLLO: TOMA DE DATOS
TOMA DE DATOS PANETON
1
SE RECOGE INFORMACION DE 2 DONOFRIO
preferencia de compra de 3
panetones diariamente,
a) ¿Cuál es el panetón que 4
mas prefiere el público? 5
b) Si el panetón 6
Donofrio,Todino,Motta y
Alaska se venden a : 7 TODINO
s/20,s/34,s/28 y s/15, 8
¿Cuál es el ingreso 9
promedio en 40 días de
venta? 10 MOTTA
11
12
13 ALASKA
14
15
 USO EMPRESARIAL

• Un agente comercial realiza su trabajo en cuatro ciudades A, B , C. y D Para evitar desplazamientos

innecesarios está todo el día en la misma ciudad y allí pernocta, desplazándose a otra ciudad al día
siguiente, si no tiene suficiente trabajo. Después de estar trabajando un día en C, la probabilidad de
tener que seguir trabajando en ella al día siguiente es 0.4, la de tener que viajar a B es 0.4 y la de
tener que ir a A es 0.2. Si el viajante duerme un día en B, con probabilidad de un 20% tendrá que
seguir trabajando en la misma ciudad al día siguiente, en el 60% de los casos viajará a C, mientras que
irá a A con probabilidad 0.2. si el agente comercial trabaja todo un día en A, permanecerá en esa
misma ciudad, al día siguiente, con una probabilidad 0.1, irá a B con una probabilidad de 0.3 y a C con
una probabilidad de 0.6. Por ultimo si esta en la ciudad D al dia siguiente tiene una probabilidad de
0.60 de estar en A y de 0.40 de estar en B

• a) Si hoy el viajante está en D, ¿cuál es la probabilidad de que también tenga que trabajar en C al cabo
de cuatro días?

• b) ¿Cuáles son los porcentajes de días en los que el agente comercial está en cada una de las cuatro
ciudades?
• c) En un mes ,¿Cuántos días en promedio estará en la ciudad D?
• d) El costo por nocha e cada ciudad A,B y C es de $120,$130 y $90 ,entonces¿Cuál debe ser su
presupuesto para pernoctar en un mes?
SISTEMA DE INVENTARIOS

Se piden 3-i unidades

 EVALUACION

• 1.- Markov fue:

• a) Teólogo y Húngaro.
• c) Teólogo y Ruso.
• d) Matemático y Húngaro.
• e) Matemático y ruso.
• 2.- La cadena de Markov es una matriz con filas y columnas diferentes (…..)
• 3.- Una cadena de Markov esta formada por estados y alternativas (…….)
• 4.-La matriz de Markov tiene valores económicos dentro de la matriz(…….)
• 5.-Una cadena ergodica llega a estado estable (………)