CADENAS DE

MARKOV

INTRODUCCIN

Cadenas de Markov es un modelo matemtico que se basa en dos conceptos:

estado y transicin. El sistema ocupa un estado i con probabilidad p i y, despus
de un periodo, procede a una transicin para el estado j con probabilidad de
transicin tij. Sean N los estados del sistema, entonces, para cualquier estado i:
N

t
j1
ij 1, con 0 tij 1
En los modelos ms simples de cadenas de Markov, los valores de las
probabilidades de transicin tij no dependen ni de cmo el sistema lleg al estado i,
ni del periodo n. Las probabilidades de ocupar un estado i dependen del nmero de
periodos o de transiciones efectuadas.
Por lo tanto una secuencia de intentos de un experimento es una cadena de
Markov.

Algunas veces nos interesa saber cmo cambia una variable aleatoria a travs
del tiempo. Por ejemplo, desearamos conocer cmo evoluciona el precio de las
acciones de una empresa en el mercado a travs del tiempo. El estudio de cmo
evoluciona una variable aleatoria incluye el concepto de procesos
estocsticos. En este captulo explicaremos esos procesos, en especial uno que
se conoce como cadena de Markov. Las cadenas de Markov se han aplicado en
reas tales como educacin, mercadotecnia, servicios de salud, contabilidad y
produccin.

Definicin de Cadena de Markov

El proceso estocstico de tiempo discreto puede estar en uno de un nmero finito

de estados identificados por 1, 2,...,s.

Un proceso estocstico de tiempo discreto es una CADENA DE MARKOV s, para t

= 0,1,2,... y todos los estados,
P(Xt+1=it+1/Xt=it) =
P(Xt+1=it+1/X0=i0, X1=i1,...Xt-1=it-1, Xt=it)

Adems para todos los estados i y j y toda t, P(Xt+1=j / Xt=i) es independiente de t.

Esta hiptesis permite escribir:
pij = P(Xt+1=j / Xt=i)

Con frecuencia se llaman probabilidades de transicin a las pij en una cadena de

Markov.
La ecuacin: pij = P(Xt+1=j / Xt=i)

Indica que la ley de probabilidad que relaciona el estado del siguiente perodo con
el estado actual no cambia, o que permanece estacionaria en el tiempo.

Toda cadena de Markov que cumple con esta condicin se llama cadena
estacionaria de Markov.

Se necesita saber las probabilidades de encontrar la cadena en el estado i en el

tiempo 0, es decir, P(X0=i) = qi

Al vector q = [q1 q2 .....qn] se le llama vector de condiciones iniciales o distribucin

inicial de probabilidad.

q= 1
j=1,n j

Las probabilidades de transicin se presentan como una matriz P de probabilidad

de transicin s x s. La matriz de probabilidad de transicin se puede escribir como:

Dado que el estado es i en el tiempo t, el proceso debe estar en algn lugar en el

tiempo t+1. Esto significa que para cada i:

j=1,s P(Xt+1=j / Xt=i) = j=1,s pij = 1(pij 0)

Elementos de una Cadena de Markov:

Estados del Sistema: X(t)

Perodo de Transicin
Probabilidades de Transicin: Matriz de probabilidades
Distribucin inicial de probabilidad

IMPORTANCIA:

Permite encontrar la probabilidad de que un sistema se encuentre en un estado en

particular en un momento dado.

Permite encontrar el promedio a la larga o las probabilidades de estado estable.

APLICACIONES

Biologa (Comportamiento de molculas y prediccin de comportamientos).

Gentica y Paleontologa (Evolucin de las especies).

Marketing (Identificar patrones de comportamiento de clientes).

Gobierno (Efecto de Polticas Gubernamentales).

Qu es un Proceso Estocstico?

Supngase que observamos alguna caracterstica de un sistema en puntos

discretos en el tiempo (que llamamos 0, 1, 2,...). Sea Xt el valor de la
caracterstica del sistema en el tiempo t. En la mayor parte de los casos no se
conoce Xt con certeza antes del tiempo t y se puede considerar como variable
aleatoria. Un proceso estocstico de tiempo discreto es simplemente una
descripcin de la relacin entre las variables aleatorias X0, X1, X2,... A continuacin
daremos algunos ejemplos de procesos estocsticos de tiempo discreto.
Sucesin de eventos que se desarrolla en el tiempo, en el cual el resultado en
cualquier estado contiene algn elemento que depende del azar.

Ejemplo
Xt = Condiciones de tiempo en una ciudad
Ejemplo

Xt = El valor de venta del kilogramo de pollo cada semana

Ejemplo

Xt = Lanzamiento de una moneda

En los casos de la condicin del clima y del precio de venta de la carne de aves, su
estado en un tiempo determinado no es aleatorio por completo, sino que es afectado
en cierto grado por el tiempo de das previos. No obstante la sucesin es tan
compleja que dicho comportamiento cambia da a da de una manera que en
apariencia es algo aleatorio.

En el caso del lanzamiento de una moneda, el resultado en cualquier etapa es

independiente de todos los resultados previos.

Por lo mencionado, decimos que un proceso estocstico discreto en el tiempo es la

relacin entre variables aleatorias.

Ejemplo
Xt = Temperatura registrada en cada da del ao en la ciudad de Arequipa.

Ejemplo
Xt = Cantidad de alumnos que egresan semestralmente en la especialidad de
ingeniera industrial.

Ejemplo

Cadena de Markov con 2 estados

Supongamos, que en Lima, si un da est nublado, el 65% del tiempo ser nublado
al da siguiente y que si un da est soleado, con probabilidad 38% ser soleado al
da siguiente. Hallar la Matriz de Transicin.

Grfico:
Matriz de transicin:

Ejemplo

Cadena de Markov con 3 estados

Supongamos que el estado de nimo de Enzo puede ser, alegre, triste o molesto.
Si est alegre, habr una probabilidad de 80% de que siga alegre al da siguiente
y 15% de que est triste. Si est triste, 30% de que siga triste y 50% de que est
molesto. Y, si est molesto, 80% de que no siga molesto y 50% de que est alegre
al da siguiente. Hallar la Matriz de Transicin.

Grfico:

Matriz de transicin:
Ejemplo:

Cadena de Markov con 4 estados

Considere el siguiente modelo para el valor de una accin. Si la accin sube o no

maana depende de si subi o no hoy y ayer. Si la accin subi hoy y ayer , maana
subir con probabilidad a. Si la accin subi hoy y ayer baj, maana subir con
probabilidad b. Si la accin baj hoy y ayer subi, la probabilidad de que suba
maana es c. Por ltimo, si la accin baj hoy y ayer, la probabilidad de que suba
maana es d. Determine la matriz de transicin de un paso para la cadena de
Markov.

Grfico:

Matriz de transicin:

Ejemplo:
Lnea telefnica

Sea una lnea telefnica de estados ocupado=1 y desocupado=0. Si en el instante

t est ocupada, en el instante t+1 estar ocupada con probabilidad 0,7 y
desocupada con probabilidad 0,3. Si en el instante t est desocupada, en el t+1
estar ocupada con probabilidad 0,1 y desocupada con probabilidad 0,9

Grfico:

Matriz de transicin:

Ejemplo: Lanzamiento de un dado

Se lanza un dado repetidas veces. Cada vez que sale menor que 5 se pierde 1 ,
y cada vez que sale 5 o 6 se gana 2 . El juego acaba cuando se tienen 0 o 100
.
Sea Xt=estado de cuentas en el instante t. Tenemos que { Xt } es una CM
S={0, 1, 2, , 100}

Grfico:
Ejemplo: Lanzamiento de una moneda

Lanzamos una moneda al aire 6 veces. El jugador gana 1 cada vez que sale
cara (C), y pierde 1 cada vez que sale cruz (F).
Xi = estado de cuentas del jugador despus de la i-sima jugada
La familia de variables aleatorias {X1, X2,, X6} constituye un proceso
estocstico
={CCCCCC,CCCCCF,}
Combinaciones () = 26 = 64
P()=1/64
T={1, 2, 3, 4, 5, 6}
S={6, 5, , 1, 0, 1, 2, , 5, 6}

Usando diagramas de rbol:

 Si fijo , por ejemplo 0=CCFFFC, obtengo una secuencia de valores
completamente determinista:
X1(0)=1, X2(0)=2, X3(0)=1, X4(0)=0, X5(0)= 1, X6(0)=0
Puedo dibujar con estos valores la trayectoria del proceso:

Si fijo t, por ejemplo t0=3, obtengo una de las variables aleatorias del proceso:
X3 :
 X 3
Los posibles valores que puede tomar el proceso en :X3()={3, 1, 1, 3}

Podemos hallar la probabilidad de que el proceso tome uno de estos valores:

APLICACIONES

Aplicacin 1:

Participaciones de mercado

Una investigacin de mercados sobre el consumo de 3 marcas de cerveza: A, B y

C por 1000 personas dar al inicio (n=0) y despus de un periodo (n=1) los
siguientes resultados:

Se desea saber:
a) El porcentaje de los clientes que consumen cada marca de cerveza despus
de un periodo.
b) El porcentaje de los clientes que consumen cada marca de cerveza despus
de 2 periodos.
c) A la larga cmo se reparte el mercado de bebedores de cerveza entre las
tres marcas?

Grficamente se tiene:

Observamos que estamos delante de un fenmeno dinmico, en el cual A aument

su participacin en el mercado de 20% a 29%.
Siendo p la probabilidad de que un consumidor est demostrando preferencia por
uno de los tres productos (o sea la participacin de cada producto en el mercado) y
observando que cada producto (o el hecho de estar consumiendo un determinado
producto) corresponde a un estado, resulta:
Xo = [pA(0) pB(0) pC(0)] = [0,2 0,3 0,5]
Donde X0 es el vector de distribucin de estados al inicio. y
X1 = [0,29 0,27 0,44]
Donde X1 es el vector de distribucin de estados despus de un periodo (n=1).
Las probabilidades del vector X1 nos indican que despus de un periodo, el
comportamiento del mercado ser: 29% consume el producto A, 27% el B y 44% el
producto C.
Deseando analizar como ocurren estas alteraciones, y utilizando el cuadro
correspondiente a las transiciones, se tiene que:
La probabilidad de que un consumidor de A (o en A) permanece con A es:
tAA = 140 0,7.
200
20
La probabilidad de que un consumidor en A pase a C es tAC = 0,1.
200
Entonces las probabilidades de transicin resultan:

Donde observamos que la suma de los elementos de cada fila siempre es 1.

Para visualizar mejor el fenmeno, diseamos la siguiente cadena:
La probabilidad de ocupar estado j despus de un periodo es:

N
pj(1)= pi(0). tij
i 1

En forma matricial: X1 = X0T

Despus de la segunda transicin (n=2), resulta:
X2 = X1 T

X2 = [0,34 0,26 0,40]

Lo que significa que despus de 2 periodos, el comportamiento del mercado ser:
34% consume el producto A, 26% el B y 40% el producto C.

Tambin X2= X0T T = X0T2

Despus de la tercera transicin (n=3), resulta:

X3 = X2 T = X0T2 T = X0T3
Despus de n transiciones se tiene:

Xn=Xn-1T =X0Tn-1T =X0Tn

Donde Xn es el vector de distribucin de probabilidad de estados en el periodo n.

Despus de muchas transiciones, se llega a una situacin estacionaria o de rgimen
de equilibrio dinmico (o sea, lo contrario de transitoria) en la cual las participaciones
de mercado no se alteran ms. En este caso:
Xn= Xn-1 =
dnde : Vector de distribucin de estado estable).
Por lo tanto: = .T
Deseando calcular los elementos de =[ABC], tenemos:

adems de:
A + B + C =1
El sistema de ecuaciones sera:
A + B + C = 1
0,7A + 0,1B + 0,24C = A
0,2A + 0,5B + 0,16C = B
0,1A + 0,4B + 0,6C = C
Este sistema es redundante y, para resolverlo, eliminamos una de las tres ltimas
ecuaciones (por ejemplo la ltima).
A + B + C = 1
-0,3A + 0,1B + 0,24C = 0
0,2A - 0,5B + 0,16C = 0
y la solucin es: = [ 0,376 0,265 0,359]
Observamos el aumento en la participacin de A, que pasa de 20% a 37.6%;
principalmente a costa de C, que cae de 50% a 35,9%. Entonces si C quiere
promover una campaa publicitaria para quebrar el proceso, debera,
principalmente, dirigirla hacia los actuales consumidores de A, ya que t AC=0,1 (muy
pequeo). Se observa que tBC es bastante grande.
La siguiente tabla muestra las distribuciones de estado para diferentes periodos de
transicin:
Se observa que a partir del periodo 7, las variaciones en los tres estados son casi
despreciables.

ANLISIS ECONOMICO: Si la marca A, por cada cliente ganado aumenta sus

ventas en $40 por cuntos perodos se debe realizar la campaa publicitaria,
sabiendo que esta cuesta $500 por semana?
Para dar respuesta a esta inquietud realizamos el siguiente cuadro:

En consecuencia se deber realizar la campaa durante 3 semanas, luego cambiar.

NOTA.- Para que exista un nico vector de distribucin estacionaria , se requiere

que T sea regular.

T = [tij] es regular si tij> 0 en al menos una de sus potencias Tm

Ejemplos:

1 / 2 1 / 2
a) T= es regular ya que tij> 0
1 / 3 2 / 3
 1 / 2 1 / 2 2 1 / 4 3 / 4
b) T= ,T = ,
0 1 0 1
1 / 8 7 / 8
T3= ,
0 1
entonces cualquier Tm no cumplir la condicin tij> 0 ya que siempre existir el
elemento t21= 0, por lo tanto T no es regular.

0 1 / 2 1 / 2 1 / 2 1 / 4 1 / 4
T= 1 / 2 0 1 / 2 , T2= 1 / 4 1 / 2 1 / 4 ,

1 / 2 1 / 2 0 1 / 4 1 / 4 1 / 2

Por lo tanto T es regular.

Si T es matriz regular existe un vector nico de tal forma que T = donde
es llamado a menudo vector de distribucin de estado estable compuesto por
probabilidades de estar en cada estado a largo plazo.

Aplicacin 2: Competencia de mercado

Las compras de los consumidores estn influidas por la publicidad, el precio y

muchos otros factores. Un factor clave en las compras de los consumidores es la
ltima compra.
Segn datos recolectados en el cafetn de ingeniera industrial (2 semanas):
Si alguien compra una bebida Coca-Cola, y se le agrada el sabor, quedar dispuesto
a comprar otra Coca-Cola (lealtad a la marca).
Coca-Cola es la marca de inters.
Pepsi es su competencia directa.
El 74% de los clientes son leales. La oposicin conserva el 62% de sus clientes.
Qu porcentaje del mercado esperar recibir Coca-Cola en el largo plazo?
Hay que resolver el siguiente sistema:
=P
= 1
Donde: = [A B]
[A B] = [A B] P
= [0.74A + 0.38B 0.26A + 0.62B ]
A = 0.74A + 0.38B
B = 0.26A + 0.62B
A + B = 1
De donde: A = 0.59375
B = 0.40625
Coca-Cola esperar recibir el 59.375% del mercado en el largo plazo
Ejemplo solucin (elevando Pn para estabilizarlo en el largo plazo)
 P(13) = P(14) = P(15) = ...... = P(n)
A = 0.59375
B = 0.40625
Podemos observar que las probabilidades se han estabilizado, es decir, cada fila
poseen valores iguales.

Aplicacin 3: Pronstico del clima

Las probabilidades del estado del tiempo para la ciudad de Arequipa el mes de
enero del presente ao fueron extradas de la base de datos de SENAMHI Arequipa.
Dichos valores han sido tomados de un da anterior al da que iran a ser puestos a
conocimiento de la poblacin arequipea. Estos datos se pueden expresar mediante
la siguiente matriz de transicin:
Grficamente:

La matriz P representa el modelo del clima, en donde dice que un da es soleado es

90% posible de que sea seguido por otro da soleado y un da lluvioso es 50%
posible de que sea seguido por otro da lluvioso. Las columnas pueden ser
nombradas como soleado y lluvioso respectivamente y las filas pueden ser
nombradas en el mismo orden.

(P) es la probabilidad que, dado un da de tipo j, sea seguido por un da i.

Ntese que las columnas de P suman 1, es as porque P es una matriz estocstica.

Pronosticando el clima.-

El clima en el da 0 es conocido como soleado. Esto es representado por el vector

en donde la entrada de soleado es 100% y la de lluvioso es 0%

El clima en el da 1 puede ser pronosticado de la siguiente manera

Por eso, hay un 90% de posibilidad de que el da 1sea tambin soleado

El clima para el da 2 puede ser pronosticado de la siguiente manera:
Las reglas generales para el da n son:

Xn = X(n-1)P o
Xn = XoPn

Estado estacional del clima.-

Para este caso, las predicciones para el clima en das ms distantes son
incrementalmente imprecisas y tienden a tornarse en un vector de estado
estacional. Este vector representa las probabilidades de condiciones soleadas y
lluviosas para todos los das y son independientes del clima inicial. El vector del
estado estacional se define como:

Xn = X(n-1)

pero solo converge si P es una matriz de transicin regular.

Desde que q es independiente desde condiciones iniciales, no debe ser alterada
cuando transformada por P. Esto genera un eigenvector (vocablo alemn que
significa vector propio) y significa que puede ser derivado de P.

Par el caso que se est tratando:

Asi que;
0.9SO +0.5LL = SO - 0.1SO + 0.5LL = 0
0.1SO + 0.5LL = LL 0.1SO -0.5LL = 0
Adems SO + LL = 1
Resolviendo:
SO = 0.8333 y LL = 0.1667

Repuesta.- En conclusin, a final de cuentas, 83% de los das fueron soleados en

la ciudad de Arequipa para el mes de Enero del presente ao.

Aplicacin 4: La ruina del jugador

Cierto juego tiene las siguientes caractersticas:

Se dispone de $3 para jugar. Se apuesta $1 por jugada. En cada jugada se gana
$1 o se pierde $1 (no hay empate). Se gana $1 con probabilidad p y se pierde $1
con probabilidad 1 p. La meta es tener la mxima cantidad de dinero posible. El
juego termina cuando se llega a $5 o cuando el capital se reduce a $0.
El proceso es el siguiente, en el tiempo 0 se tiene 3 dlares. En los tiempos 1,2,3,
4 y 5 participo en un juego en el que apuesto 1 dlar. Gano el juego con probabilidad
p, y lo pierdo con probabilidad 1-p. Mi meta es aumentar mi capital a 5 dlares como
mximo, y tan pronto como lo logre se suspende el juego. El juego tambin se
suspende si mi capital se reduce a 0 dlares. Si definimos que Xt es mi capital
despus del juego cuando el tiempo es t, si es que lo hay, entonces se puede
considerar que X0, X1, ..., Xt son procesos estocsticos de tiempo discreto. Ntese
que X0=3 es una constante conocida, pero que X1 y las dems Xt son aleatorias.
Por ejemplo X1=4 con probabilidad p y X1=2 con probabilidad 1-p. Ntese que si
Xt=5, entonces Xt+1 y todas las dems Xt tambin sern igual a 5. Igualmente, si
Xt=0, entonces Xt+1 y todas las dems Xt sern 0 tambin.
Matricialmente

Grficamente:
Usando diagramas de rbol:

Matricialmente
Grficamente:

Aplicacin 5: Urna de bolas

Usando diagramas de rbol

En consecuencia se respondern las preguntas:

a. La matriz de probabilidades de transicin ser:

 b. Despus de haber pintado dos bolas se inicia con dos bolas sin pintar (E0) y
nos piden la probabilidad de que pasemos al estado [0 2 0] (E4) despus
de pintar dos bolas (a dos pasos). Entonces nos piden P = P*P.
Elevamos la matriz P al cuadrado:

c. Despus de haber pintado dos bolas, iniciamos en E0 y nos preguntan cul

es la probabilidad de pasar al estado [0 1 1] (E3) despus de haber pintado
tres bolas (a tres pasos). Entonces nos piden P = P*P*P.
Elevamos la matriz P al cubo y nos queda:

Ejemplo: Compaa de seguros

E0: No ha tenido accidentes los ltimos dos aos [N N]. ($100)
E1: Ha tenido un accidente en cada uno de los dos ltimos aos [S S].
($400)
E2: Tuvo un accidente el primero de los dos ltimos aos. [S N]. ($300)
E3: Tuvo un accidente el segundo de los dos ltimos aos. [N S]. ($300)

Usando diagramas de rbol

Encontrando las probabilidades de estado estable por medio de ecuaciones
SOLUCIN

Probabilidad de transicin de n pasos

Si una cadena de Markov se encuentra en el estado i en el tiempo m, la

probabilidad que n perodos despus la cadena de Markov est en el estado j, es:
pij (n) = P(Xm+n= j / Xm=i) = P(Xn= j / X0=i)

Donde pij (1) = pij

Las pij(n) se pueden representar en la matriz P(n):

Probabilidad de transicin de n pasos

Se puede demostrar que pij(n) es el elemento ij-simo de la matriz Pn. Entonces:

pij (n) = k=1,s pik(v)pkj(n-v)

Para n=0, pij(0) = P(X0 = j / X0 = i) y por lo tanto:

pij (0) = 1, si i = j

pij (0) = 0, si i j

Probabilidad de Transicin de 2 pasos

Pij (2) = k Pik * Pkj

Pij (2) = P( Xm+2=j / Xm=i )

Probabilidad de Transicin de 3 pasos

Pij (3) = k l ( Pik * Pkl * Plj )

Pij (3) = P( Xm+3=j / Xm=i )

Probabilidad de Transicin de n pasos

En general,

P( Xn+m=j / Xm=i ) = Pij (n)

P (n) = P*P*P*.....*P (n veces)

Ejemplo

Una fotocopiadora de oficina tiene uno de dos posibles comportamientos:

FUNCIONA o NO FUNCIONA

Si funciona durante un da, la probabilidad de que al da siguiente siga funcionando

es de un 75%. Si no funciona durante un da cualquiera, hay un 75% de probabilidad
de que tampoco funcione al da siguiente.

a. Si actualmente funciona, Cul es la probabilidad de que est funcionando

dentro de dos das?

b. Si actualmente no funciona, Cul es la probabilidad que no est

funcionando dentro de tres das?

Solucin
Grfico:

Matriz:

Clasificacin de estados de una Cadena de Markov

Definicin:

Dados dos estados i y j, la trayectoria de i a j es la sucesin de transiciones que

comienza en i y termina en j, de modo que cada transicin tenga probabilidad
positiva de presentarse.

Definicin:

Un estado j es alcanzable desde el estado i, si hay una trayectoria que vaya de i a

j.

Definicin:

Dos estados, i y j se comunican, si el estado j es alcanzable desde el estado i, y

adems el estado i es alcanzable desde el estado j.

Definicin:

Un conjunto de estados S en una Cadena de Markov es conjunto cerrado, si ningn

estado fuera de S es alcanzable desde un estado S.
Definicin:

Un estado i, es estado absorbente si pii = 1

Definicin:

Un estado i es estado transitorio si hay un estado j alcanzable desde i, pero el estado

i no es alcanzable desde el estado j.

Definicin:

Un estado i es peridico con perodo k > 1, si k es el menor nmero tal que todas
las trayectorias que parten del estado i y regresan al estado i tienen una longitud
mltiplo de k.
Si k>1, entonces diremos que i es peridico de periodo j. El estado j ser peridico
de periodo k>1 si existen caminos que llevan desde j hasta i pero todos tienen
longitud mk, con m>0

Periodicidad

Ejemplo: En la siguiente CM todos los estados son peridicos de periodo k=2:

Ejemplo: En la siguiente CM todos los estados son peridicos de periodo k=3:

Ejemplo de CM peridica de periodo k=3:

Definicin:

Si un estado recurrente no es peridico, se llama aperidico.

Definicin:

Si todos los estados de una cadena de Markov son recurrentes, aperidicos y se

comunican entre s, se dice que la cadena es ergdica.

Ejemplo, evaluar la siguiente cadena de Markov

Cadenas ergdicas

Ejemplo: Analizar la siguiente CM, con S={a, b, c, d, e}:

Ejemplo

Clasificar los estados

Recurrentes: a, c, e
Transitorios: b, d
Peridicos: ninguno
Absorbentes: ninguno

Ejemplo: Analizar la siguiente CM, con S={a, b, c, d, e, f, g}:

Ejemplos

Clasificar los estados

Recurrentes: a, c, d, e, f, g
Transitorios: b
Peridicos: a, c, e (todos de periodo 2)
Absorbentes: g

Tiempos promedio de primera pasada

En una cadena ergdica, sea ij el nmero esperado de transiciones antes de

alcanzar por primera vez el estado j, dado que estamos actualmente en el estado i.
ij se llama tiempo promedio de primera pasada del estado i al estado j.

Cuando i = j, ij se llama tiempo promedio de recurrencia:

ij = 1/i

Cuando i j, se tiene que resolver el siguiente sistema de ecuaciones:

ij = 1 + k j pik kj
Ejemplo

Una computadora se inspecciona cada hora. Se encuentra que est trabajando o

descompuesta. Si est trabajando, la probabilidad de que siga trabajando la
siguiente hora es 0.87. Si est descompuesta, se repara, lo que puede llevar ms
de una hora. Siempre que la computadora est descompuesta, la probabilidad de
que siga descompuesta la siguiente hora es 0.43.

Encontrar las ij.

Solucin:

Los estados del ejemplo estn dados por:

La matriz ser:

Las ecuaciones para hallar los son:

1 = 0.871 + 0.572
2 = 0.131 + 0.432
1 + 2 = 1

De donde:
1 = 57/70
2 = 13/70

Por tanto:

11 = 1/1 = 1.23 horas

22 = 1/2 = 5.38 horas

Hay que resolver el siguiente sistema:

ij = 1 + k j pik kj
12 = 1 + p11 12
= 1 + 0.8712
21 = 1 + p22 21
= 1 + 0.4321
Dnde:

12 = 7.69 horas
21 =1.75 horas

Cadenas de Markov con recompensa

El costo promedio a largo plazo, por unidad de tiempo est dado por:
g = j=1,s (j Cj)
Done:
Cj = Inventarios, Nivel de ventas, Mquinas malogradas, etc.

CADENAS DE MARKOV ABSORBENTES

Una cadena de Markov es absorbente, si tiene por lo menos un estado

absorbente, y es posible ir de cada estado no absorbente hasta por lo menos un
estado absorbente.

En una cadena de Markov absorbente se puede calcular:

Nmero esperado de veces que se estar en un estado transitorio antes de

llegar a un estado absorbente.
Probabilidad de terminar en estados absorbentes.

Muchas aplicaciones interesantes de las cadenas de Markov incluyen cadenas en

las que algunos de los estados son absorbentes y el resto son transitorios. A esas
cadenas se les llaman cadenas absorbentes.
Un estado i de una cadena de Markov se dice que es absorbente si, una vez
alcanzado el estado i en algn intento, el sistema permanece en el estado i en todos
los intentos futuros.
Una cadena de Markov es absorbente si tiene uno o ms estados absorbentes y es
posible llegar a un estado absorbente a partir de cualquiera de los estados no
absorbentes o transitorios.
Nota.- Puede ser necesario pasar por varios estados transitorios para llegar a un
estado absorbente.

Si el estado i es absorbente, la probabilidad de transicin de i a j es de 1. En otras

palabras, el estado i es absorbente s y slo s t ij=1. El nmero de estados
absorbentes de una cadena de Markov es igual al nmero de unos en la diagonal
de su matriz de transicin. La probabilidad de que el sistema est en un estado
transitorio disminuye al aumentar el nmero de intentos.
Se requiere una matriz de transicin ordenada como la que se muestra a
continuacin:

Se puede entonces determinar:

Nmero esperado de veces en un estado antes de la absorcin:

(I Q)-1
Probabilidad de terminar en cada uno de los estados absorbentes:
(I Q)-1R

As tenemos:

I: Es una matriz identidad de orden m x m que representa las probabilidades de

permanecer dentro de un estado absorbente.
Q: es una matriz de orden (s-m) x (s-m) que representa las probabilidades de ir de
un estado transitorio hasta otro estado transitorio.
R: es una matriz de orden (s-m) x m que representa las probabilidades de ir de un
estado transitorio hasta un estado absorbente.
O: es una matriz nula de orden m x (s-m) que representa las probabilidades de ir de
un estado absorbente hasta un estado transitorio.

En conclusin:

Para un determinado ejemplo se pueden definir 4 matrices {Q, R, O, I}

APLICACIONES

Aplicacin 1:

Planificacin de Personal

La empresa de abogados Los Justicieros emplea a tres categoras de abogados:

principiantes, con experiencia y socios. Durante un ao determinado hay una
probabilidad 15% que un abogado principiante sea ascendido a abogado con
experiencia y una probabilidad 5% que deje la empresa. Tambin hay una
probabilidad 20% que un abogado con experiencia sea ascendido a socio y una
probabilidad 10% que deje la empresa. Tambin hay una probabilidad 5% que un
socio deje la empresa. La empresa nunca degrada a un abogado.
Surgen muchas preguntas interesantes que la empresa podra contestar. Por
ejemplo:
1. Cul es la duracin promedio de un abogado joven recin contratado en la
empresa?
2. Cul es la probabilidad de que un abogado joven llegue a ser socio?
3. Cul es la duracin promedio que pasa un socio en el bufete? entre muchas
otras.

Solucin:

Modelaremos la trayectoria de un abogado en Los Justicieros como cadena

absorbente con la siguiente matriz de probabilidad de transicin:
 S hacemos la siguiente notacin:
t1= Principiante,
t2 = Experimentado,
t3= Socio,
a1= Sale sin ser socio y
a2 = Sale siendo socio.
Generamos el siguiente grfico:

Los dos ltimos estados (a1, a2) son estados absorbentes y los dems son
transitorios (t1, t2, t3). Por ejemplo, Experimentado es estado transitorio, porque hay
una trayectoria de Experimentado a Sale sin ser socio, pero no hay trayectoria que
regrese de Sale sin ser socio ha Experimentado. Suponemos que una vez que un
abogado sale de la empresa nunca regresa.
Para dar respuesta a las preguntas formuladas anteriormente, es necesario obtener
las matrices: (I-Q)-1 y (I-Q)-1R, la informacin contenida en estas matrices
debidamente interpretadas, permite tomar decisiones.
Entonces s=5, m=2, y
Luego:

Con el mtodo Gauss-Jordan o el mtodo de la matriz adjunta, se encuentra la

matriz fundamental:

La matriz de probabilidades es determinada :

Interpretacin:

Matriz fundamental, si en este momento estamos en el estado transitorio t i, el

nmero esperado de periodos que pasarn en un estado transitorio t j antes de la
absorcin es el ij-simo elemento de la matriz (I-Q)-1.

Matriz de probabilidades, si en este momento estamos es un estado transitorio t i,

la probabilidad de ser absorbidos finalmente por un estado absorbente a j es el ij-
simo elemento de la matriz (I-Q)-1R.
Por lo tanto, respondemos a las preguntas
1. El tiempo esperado que un abogado principiante permanece en la empresa =
(duracin esperada del abogado principiante en la empresa como principiante) +
(tiempo esperado que el abogado principiante permanece en la empresa como
abogado con experiencia) + (tiempo esperado que el abogado principiante
permanece en la empresa como socio). Entonces
- Tiempo esperado como principiante = (I-Q)-111=5
- Tiempo esperado como con experiencia = (I-Q)-112=2,5
- Tiempo esperado como socio = (I-Q)-113 =10
Por lo tanto, el tiempo total esperado que un abogado principiante permanece en
la empresa es 5 + 2,5 + 10 = 17,5 aos.
2. La probabilidad de que un abogado principiante recin ingresado llegue a ser
socio es tan slo la probabilidad de que salga de la empresa siendo socio. Como t 1
= Principiante y a2 = Sale siendo socio, la respuesta es el elemento 12 de (I-Q)-1R =
50.
3. Como t3 = Socio, buscamos el nmero esperado de aos que pasa en t 3, dado
que comenzamos en t3. Este es justamente el elemento 33 de (I-Q)-1 = 20 aos. Es
razonable, porque durante cada ao hay una probabilidad de 0,05 (1 en 20) que un
socio deje el bufete y, por lo tanto, debe tardar un promedio de 20 aos en dejar la
empresa.

APLICACIN 2: MODELOS DE PLANEACION DE PERSONAL

Muchas empresas, como por ejemplo Los Justicieros del ejemplo de planificacin
de personal, emplean varias categoras de personal. Con fines de planeacin a largo
plazo, a menudo es til poder predecir el nmero de empleados de cada categora
que, si las tendencias actuales continan, estarn disponibles en el estado estable.
Si existe censo de estado estable podemos encontrarlo al resolver un sistema de S
ecuaciones que se plantea como sigue: tan slo ntese que para que exista ese
estado, debe ser vlido, para i = 1, 2 .. S.
Nmero de personas que entran al grupo i durante cada periodo = Nmero de
personas que salen del grupo i durante cada periodo
Ejemplo: Regresemos al bufete de abogados Los Justicieros (Ejemplo anterior)
Supongamos que la meta a largo plazo de ese bufete es tener 50 abogados
principiantes, 30 con experiencia y 10 socios. Para alcanzar este censo de estado
estable, cuntos abogados de cada tipo deben contratar cada ao?
Solucin: Sean
H1= nmero de abogados principiantes a contratar
H2 = nmero de abogados con experiencia a contratar
H3 = nmero de abogados asociados a contratar
Entonces:
Generando el grfico de Markov

Nmero que ingresa al grupo i = nmero que sale del grupo i

H1 = (0,15 + 0,05)50 (abogados principiantes)

(0,15)50 + H2 = (0,20 + 0,10)30 (abogados con experiencia)
(0,20)30 + H3 = (0,05)10 (abogados asociados)

La solucin nica de este sistema de ecuaciones es H1=10, H2=1,5, H3=-5,5. Esto

significa que para mantener el censo deseado de estado estable, Los Justicieros
deben despedir 5,5 socios cada ao. Esto es razonable, porque cada ao hay
0,20(30) = 6 abogados con experiencia que pasan a ser socios, y una vez que lo
hacen, permanecen en ese puesto un promedio de 20 aos. Esto muestra que para
mantener el nmero de asociados en 10, deben despedirse algunos de ellos. Otra
solucin podra ser reducir, a menos de su valor actual de 0,20, la fraccin de
abogados con experiencia que pasan a ser socios cada ao.

Aplicacin 3

A travs del anlisis de cuentas por cobrar pasadas, un contralor proporciona la

siguiente informacin:
El balance de cuentas por cobrar indica que se tiene $60000 en cuentas por
cobrar con retraso entre 0 y 30 das y $40000 en cuentas por cobrar con retraso
entre 31 y 90 das.

Cul debe ser la concesin?

Solucin:

Generamos los estados del problema:

Con los datos del problema, diferenciamos cada una de las matrices

Graficamos
Definimos las matrices absorbente (R) y transitoria (Q)

Determinamos la matriz fundamental

Determinamos la matriz de probabilidades

La concesin ser:

60000(0.021) + 40000(0.128)= $6380

APLICACIN 4.- Una empresa necesita contratar copiadoras en renta, escogiendo

entre dos mquinas. Las dos mquinas hacen copias que no se pueden distinguir.
Cada mquina funciona o no funciona. Segn los registros anteriores, se ha
determinado que si la mquina I trabaja un da determinado, la probabilidad es de
0,95 que trabaje el da siguiente. Si no trabaja un cierto da, la probabilidad es de
0,75 que funcione el siguiente da. Si la mquina II trabaja hoy, la probabilidad es
de 0,9 que trabaje maana. Si no funciona hoy, la probabilidad es de 0,8 que trabaje
maana. Qu mquina debe rentar la empresa?

SOLUCIN:
Siendo los estados: F (funciona) y NF (no funciona), elaboramos las matrices de
transicin de estados respectivas.
Matriz de transicin de estados (T) para la Mquina 1

Matriz de transicin de estados para la Mquina 2

Luego hallamos los vectores de estado estable para ambas mquinas aplicando la
relacin:
= .T
Siendo = [ F NF ]
Dnde :
F: probabilidad de estado estable de que la mquina Funcione
NF: probabilidad de estado estable de que la mquina No Funcione
Adems F + NF =1
Para la mquina 1 tenemos:
[ F NF ]= [ F NF ]*T
F + NF =1
Reemplazando los datos de matriz de Transicin de estados de la mquina 1 y
resolviendo el sistema de ecuaciones tenemos:
F= 0.9375 y NF=0.0625
entonces 1= [ F NF ]= [ 0.9375 0.0625 ]
Para la mquina 2 tenemos 2 =[ F NF ]= [ 0.8889 0.1111 ]
Por lo tanto se observa que la mquina 1 tiene mayor probabilidad de
funcionamiento (93.75%) frente a 88.89% de la mquina 2, en consecuencia la
empresa debe rentar la mquina 1.

APLICACIN 5.- Una pequea tienda de videos lleva un control del nmero de
veces por semana que es rentado un video y estima las siguientes probabilidades
de transicin (ver matriz siguiente).

Grfico:

Dnde: los estados en orden son: 5 veces, 4 veces, 3 veces, 2 veces, 1 vez y 0
veces
Por ejemplo, si un video se rent 5 veces esta semana, entonces hay una
probabilidad de 80% de que sea rentado 5 veces la siguiente semana, 10% de
probabilidades de que sea rentado 4 veces y 10% de probabilidades de que sea
rentado 3 veces. Cuando un video es rentado 0 veces, este se desecha.
Se determina la matriz fundamental y expresan el nmero de semanas que sern
rentados ( 5, 4, 3, 2,1) veces:

a) Suponga que un video fue rentado 5 veces esta semana. Cul es la

probabilidad de que sea rentado 4 veces durante la siguiente semana?.
Entonces se tiene que:
Xo = [ 1 0 0 0 0 0 ]
Hallamos X1
X1 = XoT
X1 = [ 0.8 0.1 0.1 0.0 0.0 0.0 ]
Entonces la probabilidad de que sea rentado 4 veces la prxima semana es 10%.

b) Suponga que un video fue rentado 3 veces esta semana. Cul es la

probabilidad de que sea rentado 2 veces durante la segunda semana?
Entonces se tiene que:
Xo = [ 0 0 1 0 0 0 ]
Hallamos X2
X1 = XoT
X1 = [ 0.0 0.0 0.6 0.3 0.1 0.0 ]
X2 = X1T
X2 = [ 0.0 0.0 0.51 0.30 0.15 0.004 ]
Entonces la probabilidad de que sea rentado 2 veces la segunda semana es 30%.

c) Suponga que un video fue rentado 5 veces esta semana. En promedio,

cuntas veces ms ser rentado antes de que se deseche?
Para responder esta pregunta usamos la informacin de la matriz (I-Q)-1 (primera
fila)
5(5)+ 1.667(4) + 6.481(3) + 3.519(2) + 2.5(1) = 61 veces
d) Suponga que esta semana se rent 5 veces. En promedio, cuntas
semanas ser rentado por lo menos 2 veces?.
Para responder esta pregunta usamos la informacin de la matriz (I-Q)-1 (primera
fila)
3.519 semanas ser rentado 2 veces
6.481 semanas ser rentado 3 veces
1.667 semanas ser rentado 4 veces
5.000 semanas ser rentado 5 veces
Entonces ser rentado por lo menos 2 veces 3.519 + 6.481 + 1.667 + 5 = 16.7
semanas.

e) Suponga que un video fue rentado 3 veces esta semana. En promedio,

cuntas veces ms ser rentado?.
Para responder esta pregunta usamos la informacin de la matriz (I-Q)-1 (tercera
fila)
0(5)+ 0(4) + 6.667(3) + 3.333(2) + 2.5(1) = 29 veces.

f) Suponga que un video fue rentado 4 veces esta semana. Cul es la

probabilidad de que sea desechado?

Usamos la informacin de la segunda fila: La probabilidad de que sea desechado

es 100%

APLICACIN 6.- Juan es propietario de un terreno con 5000 pinos. Cada ao Juan
permite a los detallistas de rboles de navidad seleccionar y cortar rboles para la
venta a clientes individuales. Juan protege los rboles pequeos (por lo general de
menos de 120 cm. de alto) de manera que estn disponibles para la venta en aos
futuros. Actualmente estn clasificados 1500 rboles como protegidos, en tanto que
los 3500 restantes estn disponibles para corte. Sin embargo, aunque en un ao
dado un rbol est disponible para corte, quizs no sea seleccionado sino hasta en
aos futuros. Aunque la mayora de los rboles que no se cortan en un ao dado
viven hasta el siguiente, todos los aos se pierden algunos pinos enfermos.
Al estudiar la operacin de los rboles de navidad de Juan como un proceso de
Markov con periodos anuales, definimos los cuatro estados siguientes:
Estado 1. Cortado y vendido.
Estado2. Perdido por enfermedad.
Estado3. Pequeo para cortarse
Estado4. Disponible para cortar, pero no cortado ni vendido
La siguiente matriz de transicin es apropiada

Grfico:

Determinamos la matriz fundamental:

Determinamos la matriz probabilidades:

a) Cuntos de los 5000 rboles se vendern y cuntos se perdern?

1500*0.52 + 3500*0.8 = 3580 rboles se vendern

1500*0.48 + 3500*0.2 = 1420 rboles se perdern
b) Cuntos aos se espera que pase un rbol pequeo en el vivero antes de ser
cortado y vendido o perdido por enfermedad?

2 + 0.8 = 2.8 aos

c) Cul es la probabilidad de que un rbol disponible para cortar sea cortado y
vendido? y cul es la probabilidad de que se pierda por enfermedad?

80% de probabilidad de que un rbol disponible para cortar sea cortado y vendido y
20% de probabilidad de que un rbol disponible para cortar se pierda por
enfermedad.

APLICACIN 7.- Problema de produccin

En un proceso de produccin cada producto pasa por seis etapas, tres de

fabricacin y tres de inspeccin. Al final de cada etapa los productos se desechan,
se regresan para rehacerlos slo en inspeccin, o pasan a la siguiente etapa. En la
siguiente tabla se muestran datos del problema:

El costo de los materiales es de 25.00 UM por parte y el de los residuos 2.00 UM

por parte. Describirlo como una cadena de Markov
Si se desea producir 100 productos
a. cul es el nmero de partes que se deben comenzar a producir en un lote?
b. Con los datos de tiempo de operacin cules son los requerimientos
esperados de horas hombres en cada etapa?
c. Con los costos de mano de obra y de materiales, cules son los costos
directos esperados?
Solucin:

a) Describimos los estados que son generados en el problema por la

fabricacin de los artculos en las mquinas, las inspecciones realizadas a
 los artculos en cada etapa de produccin, los artculos desechados y
almacenados, considerando los siguientes estados:

Estado Descripcin
1 Artculo en mquina 1
2 Artculo en inspeccin
1
3 Artculo en mquina 2
4 Artculo en inspeccin
2
5 Artculo en mquina 3
6 Artculo en inspeccin
3
7 Artculo en almacn
8 Artculo desechado

El diagrama de operaciones est dada por:

Grfico:
Matriz:

Si deseamos producir 100 artculos, cul es el nmero de partes que se deben

producir en un lote?

Definimos las matrices:

El nmero esperado de partes buenas que desean completarse es N*P17 =
N(0.747) = 100, luego N = 134 partes

c. Con los sobretiempos estimados por operacin que se muestra en la tabla,

cules son los requerimientos esperados de horas hombres es cada
etapa?

Los requerimientos esperados de horas hombres en cada etapa se muestran a

continuacin:

d. Con los datos de costos de mano de obra y de materiales, cules son los
costos directos esperados?

Los costos directos son:

Costo total de mano de obra: sumatoria (4) = 100.15 UM

Costo de materiales: (25/0.747) (2*0.253/0.747) = 32.79 UM
Costos directos por unidad producida 132.94 UM

Aplicacin 7.- Problema del ratn.

Tenemos un ratn encerrado en una casa dividida en cuatro habitaciones con

diversas entradas: el saln, la cocina, una habitacin y la entrada.
La probabilidad de que el ratn pase a las habitaciones adyacentes es la misma por
cada puerta.

Las probabilidades pueden representarse en una matriz

Para calcular el tiempo que permanece el ratn en cada estancia resolvemos el

siguiente sistema de ecuaciones

Resolviendo:

PE = PH = 0.2
PC = PS = 0.3
As que para un periodo de 5 horas (300 minutos)

tE = tH = 60 min
tC = tS = 90 min

Ahora vamos a calcular la posibilidad de que el dueo de la casa mate al ratn

poniendo queso envenenado en la cocina y abriendo una nueva puerta hacia el
exterior desde la entrada.

Este tipo de distribucin es lmite ya que existe una sola clase final y es aperidica.

Debido a que ahora tenemos una nueva puerta debemos tener en cuenta la
aparicin de un nuevo estado (SL), genera el grfico siguiente:

En esta nueva situacin no tenemos una distribucin lmite ya que existen dos
posibles estados finales que pueden acabar con el ratn. Adems el estado inicial
va a repercutir en el resultado del problema ya que si el ratoncito se encuentra en
un principio en la cocina es ms probable que muera envenenado en la cocina,
mientras que si se encuentra en la entrada tiene ms posibilidades de salir de la
casa.

Ahora nuestro problema se va a centrar en encontrar las probabilidades de que

acabar en un estado final, eliminando al ratn, dependiendo de las distintas
situaciones iniciales. Y calcular el tiempo que va a tardar el ratn en hacerlo.

Para ello nos planteamos que los estados E, S, D son estados transitorios, mientras
que C y SL son estados absorbentes o finales.

La matriz de probabilidad:

La matriz de estados transitorios:

La matriz de estados absorbentes:

Resta de matriz identidad y matriz de estados transitorios:

Determinamos la matriz fundamental:

Matriz fundamental, si en este momento estamos en el estado transitorio t i, el

nmero esperado de periodos que pasarn en un estado transitorio tj antes de la
absorcin es el ij-simo elemento de la matriz (I-Q)-1.

Por ltimo determinamos la matriz de probabilidades:

Matriz de probabilidades, si en este momento estamos es un estado transitorio t i,

la probabilidad de ser absorbidos finalmente por un estado absorbente aj es el ij-
simo elemento de la matriz (I-Q)-1R.

APLICACIONES PROPUESTAS

APLICACIN 1.- Una mquina puede estar en dos estados: F funciona o Q

averiada, con tFF =0.8, tQQ =0.4, tQF = 0.6, tFQ = 0.2. Cuando funciona da una utilidad
de 480 por periodo y, cuando est averiada, los gastos son de 160 por periodo,
considerando la situacin de rgimen estable:
a) Calcule la ganancia media por periodo.
b) Verifique si un plan de mantenimiento preventivo que cuesta $50 por
periodo, alterando: tFF a 0.9 y tQQ a 0.3 vale la pena?

APLICACIN 2.- Calcule la situacin de rgimen para el modelo cuyas

probabilidades de transicin son las siguientes:
t11= 0.4 t22=0.3 t31=0.5
t12= 0.3 t23=0.7 t33=0.5
t13= 0.3
Repita en el caso de t23=0,4 en vez de 0,7.

APLICACIN 3.- Un asaltante notorio puede estar en uno de tres estados:

Suelto, practicando asaltos.
Preso en la delegacin de polica, esperando su transferencia.
Preso en la crcel.

Considerando las siguientes probabilidades de transicin:

taa = 0.6; Permanecer suelto.
tab = 0.4; Ser preso y llevado para la delegacin.
tba = 0.2; Fugar de la delegacin.
tbb = 0.2; Continuar en la delegacin.
tbc = 0.6; Ser llevado a prisin.
tcc = 0.8; Continuar en la prisin.
tca = 0.2; Fugar de la prisin.
Haga un diagrama de la situacin.
Calcule la probabilidad de que un asaltante, inicialmente suelto, siga suelto
(practicando asaltos) despus de dos periodos.

APLICACIN 4.- Se usa una mquina para producir herramientas de precisin. Si

la mquina est hoy en buenas condiciones, entonces estar bien maana con 90%
de probabilidad. Si la mquina est en mal estado hoy, entonces estar en mal
estado maana con 80% de probabilidad. SI la mquina est en buen estado,
produce 100 herramientas por da, y si est en mal estado, 60 herramientas por da.
En promedio, cuntas herramientas por da se producen?

APLICACIN 5.- La Zephyr Electronics Co. Fabrica tocacintas porttiles. Antes de

mandar a ventas un casete o portacintas, se analiza el lote. Las categoras de
inspeccin son: no funciona (NF), regular, bueno y excelente. Los portacintas NF se
desechan, mientras que los lotes excelentes se envan inmediatamente a ventas.
Los lotes regulares y buenos se regresan para ajustes y se vuelven a probar. Las
proporciones de lotes regulares y buenos que cambian de categora se dan en la
tabla siguiente:
a) Descrbase este proceso de prueba como una cadena de Markov
absorbente y calclese la matriz de transicin.
b) Cuntas veces, en promedio, se volver a inspeccionar un lote que ya
se haba probado y haba resultado regular en la prueba anterior?
c) Cuntas veces, en promedio, se inspeccionar de nuevo un lote que ya
se haba probado y dio por resultado ser bueno?
d) Cul es la probabilidad de que se deseche un lote regular?
e) Cul es la probabilidad de que un lote regular llegue a ventas?
f) De 30 000 lotes probados como buenos originalmente. Cuntos llegarn
a ventas?

APLICACIN 6.- Freezco, Inc., vende refrigeradores. La fbrica otorga una garanta
en todos los refrigeradores que especifica cambio gratis de cualquier unidad que se
descomponga antes de tres aos. Se nos da la siguiente informacin: (1) el 3% de
todos los refrigeradores nuevos falla durante su primer ao de funcionamiento; (2)
el 5% de todos los refrigeradores con 1 ao de funcionamiento falla durante el
segundo ao de trabajo, y (3) el 7% de todos los refrigeradores con dos aos de
funcionamiento falla durante su tercer ao. La garanta no vale para el refrigerador
de repuesto.
a) Use la teora de cadenas de Markov para predecir la fraccin de todos los
refrigeradores que deber cambiar Freezco.
b) Suponga que a Freezco le cuesta 500 dlares cambiar un refrigerador y que
vende 10000 refrigeradores al ao. Si la fbrica redujera el plazo de garanta a dos
aos, cunto dinero se ahorrara en costos de reemplazo?

APLICACIN 7.- El Programa Profesional de Ingeniera Industrial, despus de

haber recogido datos durante varios aos, puede predecir las proporciones de los
estudiantes que pasarn de una categora a otra en un ao dado. Estos datos se
dan en la tabla siguiente.

Se observa el estado de cada estudiante al principio de cada ao. Por ejemplo, si

un estudiante es del 3er ao al principio de este ao, habr 65% de probabilidades
de que al principio del ao siguiente sea del 4to ao, 15% de probabilidad de que
an sea del tercer ao y 20% de que se retire. Suponemos que una vez de que se
retire un estudiante ya nunca vuelve a inscribirse.
a) Si un estudiante entra al Programa a primer ao, Cuntos aos se espera
que pasen siendo estudiante?
b) Cul es la probabilidad de que egrese un estudiante de nuevo ingreso?
c) Si hay 250 estudiantes de primer ao, 150 estudiantes de segundo ao, 120
de tercer ao, 80 de cuarto ao y 50 de quinto ao. Cuntos de estos estudiantes
culminarn la carrera?

APLICACIN 8.- El equipo de ftbol del FBC Melgar consta de 2 estrellas, 9

novatos y 11 sustitutos. Para fines de impuestos, los accionistas deben evaluar a
los jugadores. Se define el valor de cada jugador como el valor total del sueldo que
gana hasta su retiro. Al inicio de cada temporada, se clasifican los jugadores en
cuatro categoras:
Categora 1: Estrella (Gana 1 milln de dlares al ao).
Categora 2: Novato (Gana 400 mil dlares al ao).
Categora 3: Reserva (Gana 100 mil dlares al ao).
Categora 4: Retirado (No gana salario).
Si un jugador es estrella, novato o reserva el principio de sta temporada, las
probabilidades de que pase a ser estrella, novato, reserva o retirado al principio de
la siguiente temporada son como sigue:

Determine el valor de los jugadores del equipo.

APLICACIN 9.- En un proceso productivo las piezas una vez procesadas son
inspeccionadas para determinar si son rechazadas, reprocesadas o aceptadas para
su posterior venta. Estadsticamente el 80% de las piezas son aceptadas y el 5%
son rechazadas.
a) Si el costo de proceso es de $15 por pieza y el de reproceso $5. Cul sera
el costo de un tem que termine en ventas?
b) En un lote de 10000 piezas cuntas sern rechazadas?

APLICACIN 10.- Una fbrica de jabn se especializa en jabn de tocador de lujo.

Las ventas de este jabn fluctan entre dos niveles bajo y alto- y dependen de dos
factores: 1) si hacen o no publicidad y 2) si los competidores anuncian y
comercializan nuevos productos. El segundo factor est fuera de control de la
compaa, pero quieren determinar cul debe ser su propia poltica publicitaria. Por
ejemplo, el gerente de comercializacin propone hacer publicidad cuando las ventas
estn bajas y no hacerla cuando estn altas. La publicidad que se hace en un
trimestre dado del ao tiene su impacto el siguiente trimestre. De cualquier manera,
al principio de cada trimestre se dispone de la informacin necesaria para
pronosticar con exactitud si las ventas sern altas o bajas ese trimestre y decidir si
hacer publicidad o no.
El costo de publicidad es de $1 milln de dlares cada trimestre del ao que se
haga. Cuando se hace publicidad en un trimestre, la probabilidad de tener ventas
altas el siguiente trimestre es o segn si en el trimestre actual se tiene ventas
bajas o altas. Estas probabilidades bajan a y cuando no se hace publicidad en
el trimestre actual. Las ganancias trimestrales de la compaa (sin incluir los costos
de publicidad) son de $4 millones cuando las ventas son altas pero slo $2 millones
cuando son bajas. (De aqu en adelante utilice cifras en millones de dlares).
a) Construya la matriz de transicin (de un paso) para cada una de las
siguientes estrategias de publicidad: i) nunca hacer publicidad, ii) siempre hacer
publicidad, iii) seguir la propuesta del gerente de comercializacin.
b) Determine las probabilidades de estado estable para los tres casos del inciso
a).
c) Encuentre la ganancia promedio a la larga (incluyendo una deduccin por los
costos de publicidad) por trimestre para cada una de las estrategias del inciso a).
Cul de estas estrategias es la mejor segn esta medida de desempeo?

APLICACIN 11.- El estado de las cuentas por cobrar en una empresa se modela
con frecuencia como una cadena absorbente de Markov. Suponga que una empresa
supone que una cuenta es incobrable si han pasado ms de tres meses de su fecha
de vencimiento. Entonces, al principio de cada mes, se puede clasificar cada cuenta
en uno de los siguientes estados especficos:
Estado 1 Cuenta nueva.
Estado 2 Los pagos de la cuenta estn retrasados un mes.
Estado 3 Los pagos de la cuenta estn retrasados dos meses.
Estado 4 Los pagos de la cuenta estn retrasados tres meses.
Estado 5 Se ha saldado una cuenta.
Estado 6 Se ha cancelado la cuenta por ser mal pagador.
Supongamos que los ltimos datos indican que la siguiente cadena de Markov
describe cmo cambia el estado de una cuenta de un mes al siguiente:
Por ejemplo si al principio de un mes una cuenta lleva dos meses de vencida, hay
40% de probabilidades de que no se pague al principio del mes siguiente y, por lo
tanto, que tenga tres meses de retraso y una probabilidad de 60% de que se pague.
Suponga ademn que despus de tres meses, la cuenta o se cobra o se considera
incobrable.
Una vez que una deuda se paga o se considera incobrable, se cierra y no se tiene
ms transiciones.
a) Cul es la probabilidad que una cuenta nueva sea cobrada alguna vez?
b) Cul es la probabilidad que una cuenta atrasada un mes se vuelva
finalmente incobrable?
c) Si las ventas de la empresa son 100 000 dlares en promedio mensual,
cunto dinero ser incobrable cada ao?

APLICACIN 12.- En la siguiente matriz de probabilidad de transicin se resume la

informacin del progreso de los estudiantes universitarios en una universidad en
particular.
1.00 0.00 0.00 0.00 0.00 0.00
0.00 1.00 0.00 0.00 0.00 0.00

0.00 0.20 0.15 0.65 0.00 0.00
T
0.00 0.15 0.00 0.10 0.75 0.00
0.00 0.10 0.00 0.00 0.05 0.85

0.90 0.05 0.00 0.00 0.00 0.05
Donde los estados son:
Estado 1: Graduado, Estado 2: Abandona, Estado 3: De primer ao, Estado 4: De
segundo ao, Estado 5: De tercer ao y Estado 6: De cuarto ao
a) Qu estados son absorbentes?
b) Cul es la probabilidad de que un estudiante de segundo ao se grade?,
cul la probabilidad de que abandone?
c) En un discurso de bienvenida a 600 alumnos de nuevo ingreso, el rector les
pide que se den cuenta de que aproximadamente 50% de los presentes no llegar
al da de graduacin. Un anlisis de los procesos de Markov apoya la declaracin
del rector? Explique.
d) Cuntos aos se espera que pase en la universidad un estudiante de nuevo
ingreso antes de que se grade?
e) Hoy, la universidad tiene 600 estudiantes nuevos; 520 de segundo ao; 460
de tercero y 420 de cuarto. Qu porcentaje se graduar de los 2000 estudiantes
de la universidad?
f) Dentro de 5 aos, cul ser la distribucin de los 2000 estudiantes?

APLICACIN 13.- El 1 de enero (de este ao), las panaderas Klosman controlaban
el 40% de su mercado local, mientras que las otras dos panaderas, A y B, tenan
40 y 20 por ciento, respectivamente, del mercado. Basndose en un estudio de una
empresa de investigacin de mercado, se compilaron los siguientes datos: la
panadera Klosman retiene el 90% de sus clientes, y gana el 5% de los clientes de
A y el 10% de los de B. La panadera A retiene el 85% de sus clientes y gana 5%
de los clientes de Klosman y 7% de los de B. La panadera B retiene 83% de sus
clientes y gana 5% de los clientes de Klosman y 10% de los de A.
a) Cul ser la participacin de cada empresa en 1 de enero del ao
siguiente?
b) Klosman decide hacer una campaa publicitaria a efectos de ganar clientes,
dicha campaa altera las probabilidades de transicin de estados de la siguiente
manera: la panadera Klosman retiene el 90% de sus clientes, y gana el 15% de los
clientes de A y el 20% de los de B. La panadera A retiene el 75% de sus clientes y
gana 5% de los clientes de Klosman y 7% de los de B. La panadera B retiene 73%
de sus clientes y gana 5% de los clientes de Klosman y 10% de los de A. Si a
Klosman le cuesta 350 dlares por mes una campaa publicitaria y por cada cliente
ganado obtiene un ingreso igual a 10 dlares mensuales, por cuntos periodos
debe mantener su campaa publicitaria, sabiendo que se compite en un mercado
de 1000 clientes?