Cadenas de Markov Parte I PDF

INVESTIGACIÓN DE
OPERACIONES II
CADENAS DE MARKOV
Parte I
Ing. Esp. Carlos Miguel Rodríguez Moreno, M. Sc.
CADENAS DE MARKOV INVESTIGACIÓN DE
Parte I OPERACIONES II
¿Qué es un Proceso Estocástico?

Suponiendo que se Ejemplos
observan algunas 1. En el tiempo 0, tengo $2. En los tiempos 1, 2, …, participo en
características de un un juego en el que apuesto $1. Con probabilidad p, gano el
sistema en puntos juego, y con probabilidad 1-p, pierdo el juego. Mi objetivo es
discretos en el tiempo, incrementar mi capital hasta $4, y cuando lo logre el juego se
un proceso estocástico termina. El juego también se termina si mi capital se reduce a
discreto en el tiempo $0.
es simplemente una 2. Una urna tiene 2 bolas sin pintar. Se elige una bola al azar y
descripción de la se lanza una moneda. Si la bola elegida no esta pintada y resulta
relación entre las cara en la moneda, se pinta de rojo la bola, si resulta cruz, se
variables aleatorias que pinta de negro la bola. Si la bola ya está pintada, entonces sea
componen dicho cual sea el resultado de la moneda, se cambia el color de la bola
proceso. (de rojo a negro, o de negro a rojo).
¿Qué es una Cadena de Markov?

Un tipo especial de 𝑃 𝑿!"# = 𝑗 𝑿! = 𝑖 = 𝑝$%
proceso discreto en el
Donde 𝑝!" es la probabilidad de que el sistema
tiempo se llama Cadena
de Markov, en el que estará en el estado 𝑗 en el tiempo 𝑡 + 1, dado que
en cualquier instante de está en el estado 𝑖 en el timepo 𝑡.
tiempo, dicho proceso
estocástico discreto Si el sistema se mueve del estado 𝑖 durante un
puede estar en un periodo al estado 𝑗 durante el siguiente periodo,
número finito de se dice que ocurrió una transición de 𝑖 a 𝑗.
estados, y existe una
probabilidad de cambio Probabilidades de
𝑝!"
de estado o mantenerse transición
en el mismo.
Definiciones esenciales
1. 𝑞' es la probabilidad de que 2. Las probabilidades de transición de los
la cadena se encunetre en el cambios de estado se representan en una
estado 𝑖 en el tiempo 0 Matriz de probabilidad de transición o
(𝑃 𝑿# = 𝑖 = 𝑞! ). Matriz de transición 𝑃 de orden 𝑠 𝑥 𝑠, de la
siguiente manera:
Por tanto se conoce como
distribución de probabilidad 𝑝$$ 𝑝$% … 𝑝$&
inicial para la cadena de 𝑝%$ 𝑝%% … 𝑝%&
𝑷= ⋮ ⋮ ⋱ ⋮
Markov al vector:
𝑝&$ 𝑝&% … 𝑝&&
𝒒 = 𝑞$ 𝑞% … 𝑞& &
1 𝑝!" = 1 ∀ 𝑖 = 1, 2, … , 𝑠
"'$
Probabilidades de transición en la n-ésima

etapa
𝑝!" 𝑛 = 𝑖𝑗 − é𝑠𝑖𝑚𝑜 𝑒𝑙𝑒𝑚𝑒𝑛𝑡𝑜 𝑑𝑒 𝑃(
Ejemplo
Suponga que toda la industria de bebidas de cola produce solo dos tipos. Dado que una
persona la última vez compró cola 1, hay un 90% de probabilidades de que su siguiente
compra sea cola 1. Dado que la última compra de una persona fue cola 2, hay 80% de
probabilidades de que su siguiente compra sea cola 2.
1. Si una persona en la actualidad es comprador de cola 2, ¿Cuál es la probabilidad de

que compre cola 1 en su segunda compra a partir de ahora?
2. Si una persona en la actualidad es comprador de cola 1, ¿Cuál es la probabilidad de
que compre cola 1 en su tercera compra a partir de ahora?
Probabilidades de transición en la n-ésima

etapa
𝑃𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑑𝑎𝑑 𝑑𝑒 𝑒𝑠𝑡𝑎𝑟 𝑒𝑛 𝑒𝑙 𝑒𝑠𝑡𝑎𝑑𝑜 𝑗 𝑒𝑛 𝑒𝑙 𝑡𝑖𝑒𝑚𝑝𝑜 𝑛 = 𝒒(𝑐𝑜𝑙𝑢𝑚𝑛𝑎 𝑗 𝑑𝑒 𝑃( )
Ejemplo
Suponga que el 60% de las personas en la actualidad beben cola

1 y el restante cola 2, en la tercera compra a partir de ahora,
¿Qué fracción de los compradores estará bebiendo cola 1?
Clasificación de los estados en una cadena

de Markov
0,4 0,6 0 0 0
0,5 0,5 0 0 0
𝑃= 0 0 0,3 0,7 0
0 0 0,5 0,4 0,1
0 0 0 0,8 0,2
Trayectoria, para dos estados 𝑖 y 𝑗, es una secuencia de transiciones

que comienza en 𝑖 y termina en 𝑗, tal que cada transición en la secuencia
tiene una probabilidad positiva de ocurrir.

de Markov
Un estado 𝑗 es alcanzable desde el estado 𝑖 si hay una trayectoria que
conduzca de 𝑖 a 𝑗.
Se dice que dos estados 𝑖 y 𝑗 se comunican si 𝑗 es alcanzable desde 𝑖, e

𝑖 es alcanzable desde 𝑗.
Un conjunto de estados 𝑆 en una cadena de Markov es un conjunto

cerrado si ningún estado fuera de 𝑆 es alcanzable desde algún estado
en 𝑆.
Un estado 𝑖 es un estado absorbente si 𝑝!! = 1.


de Markov
Un estado 𝑖 es un estado transitorio si existe un estado 𝑗 que es alcanzable
desde 𝑖, pero el estado 𝑖 no es alcanzable desde el estado 𝑗.
Si un estado no es transitorio, se llama estado recurrente.
Un estado 𝑖 es periódico con periodo 𝑘 > 1 si 𝑘 es el número más pequeño tal

que las trayectorias que conducen del estado 𝑖 de regreso al estado 𝑖 tienen una
longitud que es un multiplo de 𝑘. Si un estado recurrente no es periódico, se
conoce como aperiódico.
0 1 0
𝑄= 0 0 1
1 0 0

de Markov
Si los estados en una cadena son recurrentes, aperiódicos y se
comunican entre sí, se dice que la cadena es ergódica.
$ $
$ % % % 0 0 $ $ $
0 $ $
) ) 0 0 * % *
$ $ % % % $
𝑃$ = 0 𝑃% = % $ 𝑃) = 0
% % ) )
$ ) 0 0 ) ) % $
0 $ ) 0
* * 0 0 ) )
* *
Probabilidades de estado estable y tiempos

promedio de primer paso
𝜋 = 𝜋𝑃 𝜋$ + 𝜋% + ⋯ + 𝜋& = 1
Determinar las probabilidades de estado estable para el ejemplo de la fabrica de

producción de bebidas de cola.
Luego, suponga que cada cliente realiza una compra de refresco de cola durante
cualquier semana (52 semanas = 1 año). Suponga que hay 100 millones de clientes
que consumen refresco de cola. A la compañía le cuesta $1 producir un refresco de
cola y lo vende en $2. Por $500 millones al año, una empresa publicitaria garantiza
disminuir de 10 a 5% la fracción de clientes de cola 1 que cambian a cola 2 después
de una compra. ¿Debe la compañía que fabrica cola 1 contratar a la empresa
publicitaria?
Probabilidades de estado estable y tiempos

promedio de primer paso
1
𝑚!" = 1 + 1 𝑝!+ 𝑚+" 𝑚!! =
+ ," 𝜋!
Determinar los tiempos promedios de primer paso

para el ejemplo de la fabrica de producción de
bebidas de cola.
¡MUCHAS GRACIAS!

Cadenas de Markov Parte I PDF

Cargado por

Copyright:

Formatos disponibles

Cadenas de Markov Parte I PDF

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Cadenas de Markov Parte I PDF

Cargado por

Copyright:

Formatos disponibles

INVESTIGACIÓN DE

¿Qué es un Proceso Estocástico?

¿Qué es una Cadena de Markov?

Probabilidades de transición en la n-ésima

1. Si una persona en la actualidad es comprador de cola 2, ¿Cuál es la probabilidad de

Probabilidades de transición en la n-ésima

Suponga que el 60% de las personas en la actualidad beben cola

Clasificación de los estados en una cadena

Trayectoria, para dos estados 𝑖 y 𝑗, es una secuencia de transiciones

Clasificación de los estados en una cadena

Se dice que dos estados 𝑖 y 𝑗 se comunican si 𝑗 es alcanzable desde 𝑖, e

Un conjunto de estados 𝑆 en una cadena de Markov es un conjunto

Un estado 𝑖 es un estado absorbente si 𝑝!! = 1.

Clasificación de los estados en una cadena

Si un estado no es transitorio, se llama estado recurrente.

Un estado 𝑖 es periódico con periodo 𝑘 > 1 si 𝑘 es el número más pequeño tal

Clasificación de los estados en una cadena

Probabilidades de estado estable y tiempos

Determinar las probabilidades de estado estable para el ejemplo de la fabrica de

Probabilidades de estado estable y tiempos

Determinar los tiempos promedios de primer paso

También podría gustarte