2 2 Cadenas Markov Procesos Discretos

Cadenas de Markov Discretas
Introducción a las Cadenas de Markov
 Las Cadena de Markov son Procesos Estocásticos

en donde el espacio de estados es discreto y el
parámetro temporal también; además se satisface
la Propiedad Markoviana, esto es:
P[Xn+1 = in+1| X1=i1, X2=i2,......, Xn=in]
=P[Xn+1 = in+1| Xn =in]
2
Cadenas de Markov discretas
Conceptos básicos
 Para denotar el estado en que se encuentra la

cadena en un tiempo n se utilizará la siguiente
notación:
– Xn = i, quiere decir que el proceso está en el estado i
en el instante o transición o tiempo n, y
– pi j = P [ Xn+1 = j | Xn = i], es la probabilidad de
transición para ir desde el estado i
al estado j en un paso
3
DIAGRAMA DE TRANSICION DE ESTADOS
Representación gráfica:
 Es posible representar una cadena de Markov por un grafo.
 Cada nodo representa a un valor posible de la v.a., estado
 Cada arco dirigido representa a la probabilidad de transición
pij ( desde i a j) asociada al par de estados que conecta (i , j)
p11
p10 1 p21
p00 p01 p12

0 2 p22
p20
p02 4
Conceptos básicos
Matriz de Probabilidad de Transición:
 Las probabilidades de transición pij se pueden
representar en una matriz cuadrada llamada
Matriz de Probabilidad de Transición de la
cadena. Hasta el
estado j
 P00 P01   P0 K 
 pij 
Desde el  P10 P11 
estado i   
P  
 
   
P PKK 
 K0
5
Representación Matricial
 O equivalentemente, el diagrama de estados puede
representarse en forma matricial de la siguiente
manera:
1 2 3 4 5
1
P= 2
3
4
5
6
Conceptos básicos
 Las propiedades de la matriz de transición de

probabilidad son:
1. pij  0 ; i, j  0 ,1, 2 , ....
Como cada elemento de la matriz representa una

probabilidad, ésta debe tener un valor entre 0 y 1.
7
Conceptos básicos
 Las propiedades de la matriz de transición de

probabilidad son:

2. p
j 0
ij 1 ; para i  0 ,1, 2 , ....
 Esto significa que para cada estado la suma de

todas las probabilidades de transición sean 1.
 Además, dentro de cada fila los valores son no
negativos, estos valores están entre 0 y 1. La suma
de los valores de la fila es 1, luego, se dice que la
matriz es de tipo estocástica.
8
Ejemplo:
¿Como se representa una Cadena
de Markov?
 Existen dos formas de representar una cadena de
Markov; en forma GRÁFICA y en forma MATRICIAL
1
1/4
3/4
3/4
 0 3 / 4 1/ 4
1/4
0 1/4 P  1 / 4 0 3 / 4
2 1/2  
1 / 4 1 / 4 1 / 2 
1/4
9
1. Representación Gráfica
 El diagrama de estados puede representarse en forma de
tabla de la siguiente manera:
– En la posición (i,j) de la matriz se coloca la probabilidad de
transitar desde el estado i al estado j
0.97 i 1 2 3 4 5
1 2 0.97 0.03
1
0.0
3 2
4
P= 3
4
5
10
j
1. Representación Gráfica
 El diagrama transición de estados :
0.97 0.95
1 2 3
0.05 0.93
0. 0 7
3 0.0
4 5
 Matriz de Probabilidad de transición entre estados:

1
1 2 3 4 5
1 0 0.97 0 0.03 0
2 0 0 0.95 0.05 0
P= 3 0 0 0 0.07 0.93
4 0 0 0 1 0
5 0 0 0 0 1
11
 Dada pij, que corresponde a la probabilidad de

transición del estado i al estado
n
j en 1 paso, se
puede generalizar a que p ij representa la
probabilidad de ir del estado i al estado j en n
transiciones como:
p ijn  P[ X n  j | X 0  i ]; n0
Además i,j pertenecen al espacio de estados
12
 Si las probabilidades de transición son

estacionarias, podemos generalizar la expresión
anterior a:
p ijn  P[ X n  m  j | X m  i ]; n0
Además i,j pertenecen al espacio de estados
Esto representa la probabilidad de pasar desde el

estado i al estado j en n pasos, partiendo desde el
estado i, sin importar como se llegó a este estado
(en general, en m pasos).
13
EJEMPLOS
 CADENAS DE MARKOV DISCRETAS
14
1-Ruina de un jugador
15
2-Urnas de Ehrenfest
16
Ejemplo 3: caminata aleatoria con
barreras absorbentes
En el tiempo 0 tengo $ 2 y en los tiempos 1,2,3,...
participo en un juego en el que apuesto $1. Gano
el juego (y gano $1) con probabilidad p y lo pierdo
(perdiendo lo apostado) con probabilidad 1-p. Mi
meta es aumentar mi capital hasta $4 y tan pronto
lo logre me salgo del juego. También salgo
cuando me arruine (capital $0).
Ejemplo 3 (cont)
- Xn : mi capital inmediatamente después del

juego n
- Estados del proceso = {0,1,2,3,4}
- Matriz de transición:  1 0 0 0 0

1  p 0 p 0 0
P   0 1 p 0 p 0
 
 0 0 1 p 0 p
 0 0 0 0 1 

Ecuaciones de Chapman-Kolmogorov
 La forma obtener la probabilidad de ir del estado i al

estado f en n pasos, es la expresada en esta ecuación:
p p
n
if
n 1
ik p kf n, k  0
k
i, k , f  
 Pero lo que se está buscando es una forma más general de
expresar esta probabilidad.
19
n-1 pasos 1 pa
E1 so
n-1 pasos 1 paso

E2
i f
n-1 pasos
E3
1 paso
n-1 a so
p p
aso 1
s
El
20
 Se desea generalizar el resultado anterior, o sea, obtener

la probabilidad de estar en el estado f en el tiempo b dado
que se estuvo en el estado i en el tiempo a.
 Lo anterior queda representado por la siguiente

expresión:
 P X b  f | X a  i 
( a ,b )
pif
21
 Si en el tiempo a se estuvo en el estado i y en el tiempo b

se está en el f, entonces en un tiempo intermedio q se pasó
por algún estado k.
 Así es posible rescribir la expresión anterior como:
pif
 a ,b 

 P Xb  f  Xq  k | Xa  i 
k
22
E1
E2
i f
E3
El
a q b
23
 La expresión anterior es independiente del tipo de proceso

estocástico que se presente, por el hecho de contar absolutamente
todos los casos.
 Usando las propiedades de las probabilidades condicionales puede

escribirse de la siguiente manera:
pif
 a ,b 
 
 P Xq  k | Xa  i P Xb  f | Xa  i  Xq  k 
k
24
 Esta expresión puede simplificarse, pero debe ser acotada a

las cadenas de Markov.
 Aplicando la propiedad de que el estado actual depende

exclusivamente del estado anterior, se llega a la siguiente
expresión:
pif
( a ,b )

 P Xq  k | Xa  i P Xb  f | Xq  k   
k
 a ,q   q ,b 
  pik
( a ,b )
pif p kf
k
25
 Sean i, k, f  , estados genéricos de la cadena de

Markov, se define la ecuación de Chapman-
Kolmogorov :
pif m ,n    pikm p kfn k , m, n  0

k
i, k , f  
 pikmpkfn representa la probabilidad de ir desde el

estado i al estado f en m+n transiciones a través de
una ruta en la que, en el tiempo q, la Cadena de
Markov se encuentra en el estado k.
26
E1
E2
i
f
E3
El
a q b
m n
27
 Tenemos por lo tanto un procedimiento que nos

permite calcular la probabilidad de ir de i a f en
n+m pasos, considerando todos los posibles estados
intermedios
 Es conveniente en este punto introducir notación
matricial:
– Se tiene la matriz P= {pij} con M estados
(matriz de MxM), donde pij es la probabilidad
de ir de un estado i a un estado j en un paso,
independiente de las anteriores transiciones.
28
 Considerando que en el primer paso se efectuó la
transición desde el estado k al estado f, tenemos
la siguiente forma para la ecuación de Chapman-
Kolmogorov:
  pik  p kf
m 1 1 m
pi f
k
 Para el caso especial de m=1, es decir se llega al

estado f en dos pasos se tiene la siguiente
forma:
pi f   pik  p kf
2
29
Descomponiendo:
M
pi f   pie2  p e2 f
2 1 1
e2 1
2
pi f  pi1  p1 f  pi 2  p 2 f  ....  piM  p Mf
 p11 ... ... p1M  Matriz de

 . p 22 .  transiciones de un
P ( pij )   paso del sistema
 . .. . 
 
 pM1 ... ... p MM 
30
 Se observa que la probabilidad de ir de i a f en 2 pasos

es:
 p1 f 
 .. 
pi f   pi1 .. .. piM    
( 2)
 .. 
 
p
 Mf 
 Por lo que se puede extender este resultado para

obtener de una vez las probabilidades de ir de un estado
i cualquiera a un estado j cualquiera, en dos pasos
utilizando la operación multiplicación entre dos
matrices…
31
 p11 .. .. p p1M   p11 .. .. p p1M 
 . p22 .   . p22 . 
P (2)    P2
 . .. .   . .. . 
   
 p1M .. .. pMM   p1M .. .. pMM 
Que es la matriz de transiciones de 2 pasos:
P ( 2 )  { p ( 2) if }
P ( 2)
P 2
Utilizando este resultado se puede extender el

análisis al caso en que n+m=3, es decir calcular la
probabilidad de ir de i a j en 3 pasos
32
Para el caso de n+m = 3 y siguiendo con el caso en que el
estado intermedio e2 se alcanza en un paso, para ir de un
estado i cualquiera a j tenemos que la ecuación de Ch-K nos
queda:
M
3 n m
e2 1
Descomponiendo en casos podemos escribir la siguiente

ecuación:
M
3 1 2
e2 1
33
 Utilizando el resultado obtenido anteriormente podemos escribir
la ecuación:
 p1 f 
 .. 
 
M
Pi f   pie2  pe2 1 .. ..  
3
pe 2 M
e2 1
 .. 
 
p
 Mf 
 Desarrollando la expresión resulta:
 p1 f   p1 f 
 ..   .. 
Pi f  pi1   p11 .. .. p1M      ...  p   p pMM    
3
.. ..
 ..  iM M1
 .. 
   
 pMf   pMf 
34
 Se puede ver que es equivalente a:
 p11 .. .. .. p1M   p ( 2 )11 .. p ( 2 )1 f .. p ( 2)1M 

 .. ..   
  .. .. .. 
P   pi1 .. .. .. piM  P ( 2)   .. .. .. .. .. 
   
 .. ..   .. .. .. 
 pM 1 .. .. .. pMM   p ( 2) M 1 .. p ( 2) M 1 .. p ( 2) MM 

p(3)if = *
35
 Por lo tanto podemos obtener la matriz de transición de 3 pasos,
es decir:
P ( 3)  P  P ( 2 )  P  P 2
Que entrega las
P ( 3)
 { p if }
( 3) probabilidades p(3)if de ir de
i a f en tres pasos
P ( 3)
P 3
36
 Generalizando este resultado para n pasos, vemos que
resolver la ecuación de Chapman-Kolmogorov es
equivalente a encontrar la matriz de transiciones de n
pasos P(n):
P ( n)
P n
37
Notación
 Se define la probabilidad de estar en el estado e

en el n-ésimo paso, y se anota:
 (n)
e  P[ X n  e], e  
 Se define el vector al que se asocia la probabilidad de estar en
cualquiera de los estados existentes en la cadena en el n-ésimo,
y se anota:
(n )  
 1
(n )
......  E( n ) 
38
Notación
 Se define la probabilidad inicial del sistema, como la

probabilidad de estar en el estado e en el comienzo del
análisis, y se anota:
(0)  
 1
(0)
......  E( 0 ) 
39
Análisis Transiente
Ejemplo:
 Ahora se puede generalizar la expresión a:
 ( n )   ( n 1)  P
 ( n )   (0)  P ( n )
 Este vector indica la probabilidad de estar en
cualquiera de los estados de la cadena después
de n pasos, con la condición inicial  (0) ( que
define el estado en el cual se inicia el proceso).
40
Sea,  e la probabilidad de estar en el estado e

(n)

en un tiempo n.
 Sea,  ( n )   1( n ) ......  E ( n )  , el vector que indica
la probabilidad de estar en cualquier estado
después de n pasos.
 Sea, P la matriz de transición de estados: donde Pij
es la probabilidad de ir desde el estado i al estado
j, en un paso.
41
 La ecuación de Chapman-Kolmogorov en el último

paso, en forma matricial, es:
 ( n )   ( n 1)  P (3)
 ( n )   (0)  P ( n ) (4)
Obs: La ecuación (3) presenta un mejor desempeño al realizar

cálculos cuando el número de pasos es muy grande.
42
Clasificación de Estados
1.- Estado Alcanzable (accesible):
 Un estado j, es alcanzable desde el estado i si se

puede transitar desde j a i en un número finito de
pasos.
p 0
n
ij n0
 Donde n representa el número de pasos (asociado
al parámetro de tiempo discreto).
IPD-436 44
2.- Comunicación de Estados:
 Los estados i y j se comunican, cuando i es alcanzable desde

j y vice-versa.
 Es decir, existe un n y m tal que:
 m  n
p ji 0 y pij 0
 Propiedades:
 (i) El estado i se comunica con si mismo.
 (ii) Si i se comunica con j, entonces j se comunica con i.
 (iii) Si, i se comunica con j, y j con k, entonces i se
comunica con k.
IPD-436 45
P00
3.- Estado Absorbente:
0
 Un estado i es
absorbente cuando no
es posible a alcanzar
otro estado excepto a
sí mismo.
P10
pii  1
Estado
Absorbente p11=1
1
IPD-436 46
4.- Probabilidad de Retorno
 Para cada estado i se define f i  n  como la

probabilidad de que el primer retorno al estado i
ocurra n transiciones después de dejar i.
 Esto es:
f i  n   P X n  i, X k  i para k  1, 2 , ..., n  1 | X 0  i 
que representa la probabilidad del primer retorno a
i en n pasos.
IPD-436 47
 Se define:
fi 0  1
que representa la probabilidad de estar en el mismo estado
después de 0 transiciones.
 La probabilidad de regresar al estado i alguna vez está

descrita por:
 Esta expresión
fi   fi n  representa la suma de

las probabilidades de
n 1 volver al estado i en 1,
2, 3, 4....n pasos.
IPD-436 48
5.- Estado Recurrente:
 Si fi=1 entonces se dice que el estado i es recurrente.

 Esto indica que con certeza se retornará al estado i.
 Propiedades:
– Un estado i es recurrente si el número esperado de visitas al
estado i es infinito

p
n 1
 n
ii 
– Si un estado i es recurrente y se comunica con j, entonces

j también es recurrente
IPD-436 49
• Se define el tiempo promedio de retorno al estado i, llamado

Tiempo medio de Recurrencia de i, como:

i   n  fi n  equivale al número de transiciones
n 1 esperadas para volver a i
Un estado es recurrente nulo si i= .

• El tiempo medio para volver al estado i es infinito
Un estado es recurrente positivo si i< .

• El tiempo medio para volver al estado i es finito.
IPD-436 50
Propiedades de 
• En una cadena de Markov de espacio de estado finito todos los

estados recurrentes son recurrentes positivos
• Se sostiene que el tiempo esperado para retornar a j es el

inverso de la probabilidad estacionaria de permanecer en j
1
j   j  lim n P n
j ij
IPD-436 51
6.- Estado Transiente (Transitorio):
 Un estado i es Transiente si 0< fi <1.
 Es decir que al salir desde el estado i existe la probabilidad de no retornar,

a diferencia de los estados recurrentes, que retornará con certeza.
 Se cumple que:
p
n 1
 n
ii 
el número esperado de visitas al estado i es finito
IPD-436 52
7.- Periodicidad:
 Un estado i es periódico de periodo d si:
piin  0  n  d , 2d , 3d .....
 Si d=1, el estado se denomina Aperiódico.
a b a b c
a es aperiódico a,b,c son periódicos d=2
IPD-436 53
8.- Clases de Estados:
pij
i j
 Dos estados que se comunican
pertenecen a la misma clase. pki
pik pjk
 El concepto de comunicación k
divide el espacio de estados en
un número de clases disjuntas
pkl
 Ejemplo gráfico: 2 clases l
plm pnl
pml
m n
IPD-436
pmn 54
9.- Cadena Irreductible:
Pij
 Es una cadena que tiene i j
una única clase. Pki
Pik Pjk
 Xn es una cadena de k
Markov irreductible si
todos los estados son: Pkl Plk
– recurrentes positivos ó
l
– recurrentes nulos ó
Plm Pnl
– transientes.
Pml
m n
IPD-436
Pmn 55
10.- Ergocidad:
Teorema:
Si una cadena de Markov es irreductible y aperiódica (d=1),

entonces pertenece a una de las siguientes clases:
1. Si todos los estados son transientes ó recurrentes nulo,

entonces pij(n) 0 cuando n ∞ para todo i, j. Por lo tanto
no existe una distribución de probabilidad estacionaria.
2. Si todos los estados son recurrente positivos (espacio de

estados finito) entonces la cadena de Markov es Ergódica.
Por lo tanto existe una única distribución de probabilidad
estacionaria.
IPD-436 56
CADENAS DE MARKOV
DISCRETAS (REGULARES)
 ANALISIS ESTACIONARIO
 CADENA DE MARKOV REGULAR
– ES IRREDUCIBLE (una sola clase de
estados)
– ES APERIODICA ( tiene periodo 1)
57
THM estacionariedad de una
Cadena Regular
 Dada una cadena regular por su matriz
de transiciones instantaneas P = (pij)
 Bajo condiciones de estacionariedad
se cumple:
– Limite pij(n) →πj
n→∞
– Limite Pn (πj)
58
Cadenas de Markov DISCRETAS
Análisis Estacionario
Definición:
 Una cadena de Markov con probabilidad estacionaria

cumple:
lim  e( n )   e ; e 
n 
es decir, la probabilidad de estar en el estado e es
independiente del tiempo (n), y es constante.
59
Definición:
 Se define el vector de probabilidad estacionaria

como:
lim ( n )  
n 
 Se dice que la cadena de Markov tiene probabilidad

de transición estacionaria si se cumple la ecuación
matricial:
  P ó  j   i  i Pij ; para j  0,1,2...., E
60
Tiempo de visitas y de primera
pasada
 Dada una CMR el tiempo esperado en
que puede permanecer en un mismo
estado i sera :
– E(Sii) = 1/(1-pii)
• Dem: Sii = numero de transiciones que permanece
en i
P(Sii=n) = (1- pii) pii n -1
distribucion geométrica de media
E(Sii) = 1/(1-pii)
61
Tiempo de visitas y de primera
pasada
 Dada una CMR por sus probabilidades
estacionarias πj si Tij es el número de
transiciones necesariaspara pasar por
primera vez de i a j Entonces el tiempo
esperado de la primera recurrencia es:
E(Tii) = 1/πi
62
Corolorario
 El valor esperado de las otras primeras

pasadas resuelve el sistema
sobredeterminado de ecuaciones :
 T=U+P(T-D) con
– T=(E(Tij)) U=( 1)
– D=(E(Tii))
63
Ejemplo 1R:
 Se dispone de 4 módulos de atención que
se van activando secuencialmente a
medida que la cantidad de usuarios que Central
deben ser atendidos aumenta. Telefónica
 Cada módulo tiene un máximo de
usuarios a los que puede entregar
servicio.
 Cuando un módulo está completamente
utilizado, entra en servicio el siguiente
módulo.
 Si un módulo deja de ser utilizado, el
G1 G2 G3 G4
módulo se desactiva temporalmente,
quedando en servicio los módulos
anteriores. 64
Ejemplo 1R:
 Interesa conocer:
 ¿Cuál es la probabilidad de que Central
cada módulo esté en uso?. Telefónica
 Es decir, se desea conocer,
con que probabilidad se utiliza
cada módulo, en cualquier
instante de tiempo.
G1 G2 G3 G4
65
Ejemplo 1R:
 La definición de estados para el

ejemplo será:
Central
Telefónica
– Estado 1: El módulo 1 está
siendo utilizado.
siendo utilizado.
siendo utilizado.
siendo utilizado.
G1 G2 G3 G4
66
Ejemplo 1R:
 Las probabilidades de transición, asociada a cada

módulo son:
Desde el 1 al 1: 0.3 Desde el 2 al 1: 0.4
Desde el 1 al 3: 0 Desde el 2 al 3: 0.4
Desde el 1 al 4:0 Desde el 2 al 4: 0
Desde el 3 al 1: 0 Desde el 4 al 1: 0
Desde el 3 al 2: 0.3 Desde el 4 al 2: 0
Desee el 3 al 4: 0.6 Desee el 4 al 4: 0.5
67
Ejemplo 1R:
 El diagrama de estados que representa la situación

antes descrita es el siguiente:
0.2 0.1
0.3 0.7 0.4 0.6 0.5
1 2 3 4
0.4 0.3 0.5
68
Ejemplo 1R:
 La matriz de transición asociada al ejemplo es:
0.3 0.7 0 0
0.4 0.2 0.4 0 
P 
 0 0.3 0.1 0.6
 
 0 0 0.5 0.5 
 El vector de probabilidad de transición estacionaria es:
   1  2  3  4 
69
Ejemplo 1R:
 Considerando las ecuaciones matricial:
 1  0.3 1  0.4 2
 2  0.7 1  0.2 2  0.3 3
(1)    P 3  0.4 2  0.1 3  0.5 4
4  0.6 3  0.5 4
En estado estacionario la
probabilidad de estar en
estado i en el paso n, es igual
a la probabilidad de estar en
estado i en el paso n+1
Condición de probabilidades totales
(2) 1   2   3   4  1
70
Ejemplo 1R:
 Resolviendo el sistema de ecuaciones anteriores, se

obtiene:
 1  0.12684
 2  0.22198
 3  0.29598
 4  0.35517
71
Ejemplo 1R:
 Finalmente respondiendo a la pregunta original,

¿Cuál es la probabilidad de que cada módulo esté en
uso?.
– La probabilidad de que el módulo 1 esté en uso es 0.127

72
Cadenas de Markov: Otros Ejemplos
EJEMPLO 2R: Predicción del Tiempo

 Dos Posibles estados:
– 0 Llueve
– 1 No llueve
 Supuesto:
El tiempo de mañana sólo depende del de Hoy.
Llueve Hoy  Prob. que llueva mañana  

No llueve Hoy Prob. que llueva mañana  
73
Cadenas de Markov: Otros
Ejemplos
Predicción del Tiempo 0 1

La matriz de transición P queda:  1   0

P
 1    1
 Gráficamente:
1 
1 
 0 1

74
Cadenas de Markov: Otros
Ejemplos
Predicción del Tiempo
Predicción del Tiempo
En el caso General:
 1 
[ 0 ,  1 ]  [ 0 ,  1 ]
 1  

 0   0   1
 1  (1   ) 0  (1   ) 1
 0   /(1     )
1   0  1
 1  (1   ) /(1     )
75
Ejemplo #3R:
El clima en el pueblo de Centerville puede cambiar
con rapidez de un día a otro. sin embargo, las
posibilidades de tener clima seco (sin lluvia) mañana
es de alguna forma mayor si hoy está seco, es decir,
no llueve. En particular, la probabilidad de que
mañana esté seco es de 0.8 si hoy está seco, pero
es de sólo 0.6 si hoy llueve. Estas probabilidades no
cambian si se considera la información acerca del
clima en los días anteriores a hoy.
La evolución del clima día tras día en Centerville es
un proceso estocástico. Si se comienza en algún día
inicial, el clima se observa cada día t, para t=0,1,2,…
El estado del sistema en el día t puede ser.
Estado 0 = El día t es seco. O
Estado 1= El día t es lluvioso
La matriz P contiene los estados posibles, del
problema.
0 1 Debe leerse que la si hoy es un día seco la
0  0 . 8 0. 2  probabilidad que mañana sea seco es 0.8.
P   
1  0.6 0.4  Si hoy es un seco, la probabilidad que mañana sea
lluvioso es 0.2.
Si hoy es un día lluvioso, la probabilidad que
mañana sea seco es 0.6.
Si hoy es un día lluvioso ,la probabilidad que
0 si día t es seco
Xt   mañana sea lluvioso es 0.4
 1 si día t es lluvioso
 X t    X 1 , X 2 , X 3 ,...
El proceso estocástico
proporciona una representación matemática de la
forma como evoluciona el clima Centerville a través
del tiempo.
Matrices de transición de estados en n pasos del clima:
La probabilidad del estado del clima dos, tres, cuatro, cinco días a
futuro se puede conocer a partir de las matrices de transición de
dos, tres, cuatro y cinco pasos que se calculan bajo las
ecuaciones de Chapman Kolmogorov. Partiendo de la matriz de
transición de un paso.
 0.8 0 .2   0.8 0.2  0.8 0.2   0.76 0.24 

P (1)    P ( 2 )  P (1)  P (1)       
 0. 6 0 .4   0. 6 0.4  0.6 0.4   0.72 0.28 
 0.8 0.2  0.76 0.24   0.752 0.248 
P (3)  P (1)  P ( 2 )       
 0.6 0.4  0.72 0.28   0.744 0.256 
 0.8 0.2  0.752 0.248   0.75 0.25 
P ( 4)
P (1)
P ( 3)
      
 0.6 0.4  0.744 0.256   0.749 0.251
 0.8 0.2  0.75 0.25   0.75 0.25 
P ( 5 )  P (1)  P ( 4 )     
 0.6 0.4  0.749 0.251  0.75 0.25 
Observe que en la matriz (5), las dos filas tienen elementos

idénticos. Esto se denomina probabilidad del estado estable
de la cadena de Markov.
Ejemplo #4R
El departamento de estudios de mercado de
una fábrica estima que el 20% de la gente
que compra un producto un mes, no lo
comprará el mes siguiente. Además, el 30%
de quienes no lo compren un mes lo
adquirirá al mes siguiente. En una
población de 1000 individuos, 100
compraron el producto el primer mes.
¿Cuántos lo comprarán al mes próximo?
¿ Y dentro de dos meses ?.
Para resolver este
tipo de problemas,
lo primero es hacer
un esquema.
A la vista del
esquema podemos
pasar a construir la
matriz de
probabilidades de
transición:
0 1
0 0.80 0.20
1 0.30 0.70
Calculo
 0.8 0.2 
P (1)    Matriz inicial
 0. 3 0 .7 
 0.8 0.2 
(C , N)  100 900    (350,650) El primer mes comprarán 350 y no
 0 .3 0 . 7 
comprarán 650
 0.8 0.2  0.8 0.2   0.7 0.3 

P ( 2 )       
 0.3 0.7  0. 3 0.7   0.45 0. 55 
 0.7 0.3 
(C , N)  100 900    (475,525)
El segundo mes comprarán 475 y no
 0 . 45 0.55  comprarán 525
Ejemplo #5
En una población de 10,000 habitantes, 5000 no fuman,
2500 fuman uno o menos de un paquete diario y 2500
fuman más de un paquete diario. En un mes hay un 5% de
probabilidad de que un no fumador comience a fumar un
paquete diario, o menos, y un 2% de que un no fumador
pase a fumar más de un paquete diario. Para los que fuman
un paquete, o menos, hay un 10% de probabilidad de que
dejen el tabaco, y un 10% de que pasen a fumar más de un
paquete diario. Entre los que fuman más de un paquete,
hay un 5% de probabilidad de que dejen el tabaco y un 10%
de que pasen a fumar un paquete, o menos. ¿Cuántos
individuos habrá de cada clase el próximo mes? ¿Y dentro
Fuman
de dos meses? No fuman 1
Población
Fuman
2
Ejemplo 5R
Ejemplo 5R
0 1 2
0 0.93 0.05 0.02
P (1)
1 0.10 0.80 0.10
2 0.05 0.10 0.85
 0.93 0.05 0.02 

 
( NF , FC , FCC)   5000 2500 2500  0.10 0.80 0.10   (5025,2500,2475)
 0.05 0.10 0.80 
 
Después de un mes habrán NF=5025, FC=2500, FCC=2475
 0.8709 0.0885 0.0406 
 
( NF , FC , FCC)   5000 2500 2500   0.178 0.655 0.167   (5047,2498.75,2454.25)
 0.099 0.1675 0.7335 

Después de dos mes habrán NF=5047, FC=2499, FCC=2455

¿Qué pasaría si hubiésemos partido de otra matriz de estado ?
Supongamos que al comienzo del estudio partimos con:10.000
personas
• 4,000 no fumadores
• 3,500 fuman 1 paquete, o menos, diario
• 2,500 fuman más de un paquete diario.
En este caso la matriz de probabilidades de transición no

cambia, sólo tenemos que modificar X. Por lo tanto la
situación a la que tiende este tipo de problemas es
independiente de la matriz de estado inicial.
Problema #6R:
La cervecería más importante de la costa este (A) ha
contratado a un analista de IO para analizar su posición en el
mercado. En especial, la empresa está preocupada por las
actividades de su mayor competidor (B). El analista piensa que
el cambio de marca se puede modelar como una cadena de
Markov que incluya tres estados: Los estados A y B
representan a los clientes que beben cerveza que producen
las mencionadas cervecerías y el estado C representa todas
las demás marcas. Los datos se toman cada mes y el analista
construye la siguiente matriz de transición (de un paso) con
datos históricos.
A B C
A 0.70 0.20 0.10
B 0.20 0.75 0.05
C 0.10 0.10 0.80
Cuáles son los porcentajes de mercado en el estado estable

de las dos cervecerías grandes?
Solución:(usar IOtutor o WinQSB, para obtener la matriz
estable)
A B C
A 0.346 0.385 0.269
P(21)=
B 0.346 0.385 0.269
C 0.346 0.385 0.269

Eejmplo 7R: un modelo para el
desplazamiento poblacional
Para efectos de una investigación, en un determinado
país, una familia puede clasificarse como habitante de
zona urbana, rural o suburbana. Se ha estimado que
durante un año cualquiera, el 15% de todas las
familias urbanas se cambian a zona suburbana y el
5% a zona rural. El 6% de las familias suburbanas
pasan a zona urbana y el 4% a zona rural. El 4% de
las familias rurales pasan a zona urbana y el 6% a
zona suburbana.
Cadenas de Markov: ejemplo
Tendremos la siguiente matriz de
transición
Urb. Surb. Rur.
 0,80 0,15 0,05 

 
P   0,06 0,90 0,04 
 0,04 0,06 0,90 
 
Cadenas de Markov
0,05
0,90
0,8 0,15 0,90
0,04
Urb Surb. Rural
0,06 0,06
0,04
Aplicación de resultados
anteriores
Consideremos el ejemplo 3, y supongamos que al inicio
de la investigación, el 35% de la población vivía en áreas
urbanas, el 45% en área suburbana, y el resto en área
rural.
a) Si inicialmente una familia vive en un área rural, ¿cuál es
la probabilidad de que tres años después esta familia
viva en un área urbana?
b) ¿Cual es la probabilidad de que tres años despúes de
iniciada la investigación una familia viva en el área
urbana?
Aplicación de resultados
anteriores
 0 ,5399 0 , 3353 0 ,1248 

 
P   0 ,1352 0,7593 0 ,1055 
3
 0,0967 0 ,1622 0,7411 

 
a t  (0 , 35 0 ,45 0 , 20 )
a) 0,0967
b) 0,2691
Ejemplo (desplazamiento
poblacional: ejemplo 3)
Dado que la matriz del ejemplo 3 es
ergódica, podemos hacer:
 0,80 0,15 0,05 

 
(1 , 2 , 3 )  (1 , 2 , 3 ) 0,06 0,90 0,04 
 0,04 0,06 0,90 
 
1   2   3  1
93
continuación
Una opción es:
1  0,80 1  0 ,06  2  0,04  3

 2  0 ,15 1  0 ,90  2  0 ,06  3
1 1  2  3
continuación
Cuya solución es
(1, 2, 3) = (0.2077 , 0.4918 , 0.3005)
Es decir, si con el paso del tiempo se mantiene el
comportamiento descrito por el modelo (lo cual es
muy poco probable) después de muchos
años,aproximadamente, el 21% de la población
ocupará las zonas urbanas, el 49% las
suburbanas y el 30% la rural.
Tiempo de primera pasada
Estamos interesados en tener información

respecto al número de pasos (transiciones)
que hace el proceso al ir de un estado i a un
estado j por primera vez. Se define
Ti,j = tiempo de primera pasada al ir del estado i
al estado j
Tiempo de primera pasada
Definimos el tiempo esperado de

recurrencia
E(Ti,j ) = ij
Se puede demostrar que se cumple:
1
 jj 
j
 ij  1  p
n j
in  nj
Cadenas
absorbentes
Concepto de cadena absorbente
 Sea X una CM cuyos estados son todos transitorios
o absorbentes. En tal caso diremos que X es
absorbente.
 Si X es finita y absorbente, reordenamos S poniendo
primero los estados transitorios y obtenemos:
Q R
P´  
0 I 
Concepto de cadena absorbente
forma canónica de matriz
 Sea X una CM cuyos estados son todos transitorios
o absorbentes. En tal caso diremos que X es
absorbente. Al menos uno absorbente
 Si X es finita y absorbente, reordenamos S poniendo
primero los estados transitorios y obtenemos:
I 0
P   
 R Q
Estado terminal de cadenas de
Markov absorbentes
Resultados sobre cadenas
absorbentes
 Proposición: El número medio de etapas
que se estará en el estado transitorio jS
antes de la absorción, suponiendo que
empezamos en el estado transitorio iS,
viene dado por el elemento (i,j) de (I–Q)–1
 Nota: La etapa inicial también se cuenta,
es decir, en la diagonal de (I–Q)–1 todos
los elementos son siempre mayores o
iguales que 1
Estado terminal de cadenas de Markov absorbentes
Estado terminal de cadenas de Markov absorbentes
absorbentes
 Proposición: La probabilidad de ser
absorbido por un estado absorbente
jS, suponiendo que empezamos en el
estado transitorio iS, viene dada por el
elemento (i,j) de la matriz (I–Q’)–1 R, que
se denomina matriz fundamental de la
CM
absorbentes
elemento (i,j) de la matriz (I–Q’)–1 R, que
CM
Ejemplo de CM absorbente
 Probabilidad de que A termine arruinándose.
– La ruina de A está representada por el estado 0, que es
el 2º estado absorbente. Como empezamos en el 3er
estado transitorio (A empieza con 3 €), debemos
consultar la 3ª fila, 2ª columna de (I–Q)–1R, que nos da
una probabilidad de 0,4 de que A empiece con 3 € y
termine en la ruina.
 Probabilidad de que B termine arruinándose
– Como es el suceso contrario del apartado a), su
probabilidad será 1–0,4=0,6. También podríamos haber
consultado la 3ª fila, 1ª columna de (I–Q)–1R.
 Número medio de tiradas que tarda en acabar el
juego
– Sumamos los números medios de etapas que se estará en
cualquier estado transitorio antes de la absorción,
suponiendo que empezamos en el 3er estado transitorio.
Dichos números medios son los que forman la 3ª fila de la
matriz (I–Q’)–1. El promedio es: 0,8+1,6+2,4+1,2=6 tiradas.
 Nota: si observamos la 1ª columna de (I–Q’)–1R,
vemos que los valores van creciendo. Esto se debe
a que, cuanto más dinero tenga al principio A, más
probabilidad tiene de ganar el juego.
absorbentes
 Proposición: El número medio de etapas
que se estará en el estado transitorio jS
antes de la absorción, suponiendo que
empezamos en el estado transitorio iS,
viene dado por el elemento (i,j) de (I–Q)–1
 Nota: La etapa inicial también se cuenta, es
decir, en la diagonal de (I–Q)–1 todos los
elementos son siempre mayores o iguales
que 1
absorbentes
elemento (i,j) de la matriz (I–Q)–1 R, que
CM
Ejemplo1A: de CM absorbente
 En un juego participan dos jugadores, A y B. En cada
turno, se lanza una moneda al aire. Si sale cara, A le
da 1 € a B. Si sale cruz, B le da 1 € a A. Al principio,
A tiene 3 € y B tiene 2 €. El juego continúa hasta que
alguno de los dos se arruine. Calcular:
– La probabilidad de que A termine arruinándose.
– La probabilidad de que B termine arruinándose.
– El número medio de tiradas que tarda en acabar
el juego.
 Tendremos una CM con un estado por cada
posible estado de cuentas de A: S={1, 2, 3, 4,
5, 0}. Descomponemos Q:
 0 0,5 0 0 
 
 0 0,5 0 0 0 0,5   0,5 0 0,5 0 
  Q
 0,5 0 0,5 0 0 0  0 0,5 0 0,5 
 
 0 0,5 0 0,5 0  0 0 0,5 0 
0  
P´  
 0 0 0,5 0 0,5 0 
 0 0 0 0 1 0   0 0,5 
   
 0 0 0 0 0 1   0 0 
  R
0 0 
 
 0,5 0 
 
 Realizamos los cálculos necesarios:
1
 1  0,5 0 0   1,6 1,2 0,8 0,4 
   
 0,5 1  0,5 0   1,2 2,4 1,6 0,8 
 I  Q  1    
0  0,5 1  0,5 0,8 1,6 2,4 1,2 
   
 0 0  0,5 1   0,4 0,8 1,2 1,6 
  
 0,2 0,8 
 
 0,4 0,6 
 I  Q R  
1
0,6 0,4 
 
 0,8 0,2 

 Probabilidad de que A termine arruinándose.
– La ruina de A está representada por el estado 0, que es
el 2º estado absorbente. Como empezamos en el 3er
estado transitorio (A empieza con 3 €), debemos
consultar la 3ª fila, 2ª columna de (I–Q’)–1R, que nos da
una probabilidad de 0,4 de que A empiece con 3 € y
termine en la ruina.
 Probabilidad de que B termine arruinándose
– Como es el suceso contrario del apartado a), su
probabilidad será 1–0,4=0,6. También podríamos haber
consultado la 3ª fila, 1ª columna de (I–Q)–1R.
 Número medio de tiradas que tarda en acabar el
juego
– Sumamos los números medios de etapas que se estará en
cualquier estado transitorio antes de la absorción,
suponiendo que empezamos en el 3er estado transitorio.
Dichos números medios son los que forman la 3ª fila de la
matriz (I–Q’)–1. El promedio es: 0,8+1,6+2,4+1,2=6 tiradas.
 Nota: si observamos la 1ª columna de (I–Q)–1R,
vemos que los valores van creciendo. Esto se debe
a que, cuanto más dinero tenga al principio A, más
probabilidad tiene de ganar el juego.
Ejemplo 2A:
Alumno de Enseñanza Media
 Se desea estudiar el número de alumnos que están

estudiando en la enseñanza media de un colegio en
particular.
 Se considerará que un alumno en un año en particular
puede pasar de curso, repetir el curso cuantas veces
sea necesario o retirarse del establecimiento sin
posibilidades de regresar.
116
Preguntas
1. ¿Cual es el tiempo de permanencia en

el colegios de los alumnos que entran
en 1 año?
2. ¿ Cuál es el tiempo promedio que le
toma a un alumno que entra en 1 año
graduarse?
3. ¿ Cual es la probabilidad de que un
alumno que entro en 1 año se
gradué?
Ejemplo 2A:
 Si consideramos los siguientes porcentajes, para pasar

de curso, repetir o retirarse en cada año:
Repetir 1º año: 2% Repetir 3º año: 4%

Pasar a 2º año: 97% Pasar a 4º año: 92%
Retirarse al final del 1º año: 1% Retirarse al final del 3º año: 2%
Repetir 2º año: 3% Repetir 4º año: 1%

Pasar a 3º año: 95% Egresar: 96%
Retirarse al final del 2º año: 2% Retirarse al final del 4º año: 3%
Ejemplo 2A:
 Definición de estados:
– Estado 1: Estar en primer año.
– Estado 2: Estar en segundo año.
– Estado 3: Estar en tercer año.
– Estado 4: Estar en cuarto año.
– Estado 5: Egresar del establecimiento.
– Estado 6: Retirarse del establecimiento.
119
Ejemplo 2A:
 La representación gráfica de los estados definidos es:
1 2 3 4
6 5
Ejemplo 2A:
 Asociando las probabilidades, se grafica de la siguiente

forma:
0.97 Repetir 1º año: 2%
0.02 Pasar a 2º año: 97%

1 2
Retirarse al final del 1º año:
1%
0.01
6
Nota: La suma de las probabilidades asociadas a

las flechas salientes del estado 1 suman 1.
Ejemplo 2A:
 El diagrama de estados completo es:
0.03 0.04 0.01

0.02
0.97 0.95 0.94

1 2 3 4
0.02 0.02 0.96
0.01
6 0.03 5
1 1
Resumen sobre las Representaciones
Ejemplo 2A:
 A partir del diagrama de estados, se obtiene la

siguiente matriz de transición asociada al sistema.
0.02 0.97 0 0 0 0.01

0.04 0.01
 0 0.03 0.95 0 0 0.02 
0.03 
0.02
0.97 0.95 0.94  0 0 0.04 0.94 0 0.02 
1 2 3 4 P 
0.02 0.02 0.96  0 0 0 0.01 0.96 0.03 
0.01
 0 0 0 0 1 0 
6 0.03 5  
 0 0 0 0 0 1 
1 1
Matriz Q
1 2 3 4
1 0,02 0,97 0 0
2 0 0,03 0,95 0
3 0 0 0,04 0,94
4 0 0 0 0,01
Matriz (I-Q )-1
1 2 3 4
1 1 1,009 1,009 0,951
2 0 1,03 1,03 0,97
3 0 0 1,04 0,99
4 0 0 0 1,01
Tiempo promedio de permanencia en el colegio de los

alumnos que entraron el primer año 3,969 años
Tiempo promedio que le toma a un alumno que entro en
primer graduarse 4,08 años
Matriz R
5 6
1 0 0,01
2 0 0,02
3 0 0,02
4 0,96 0,03
Matriz NR
5 6
1 0,913 0,079
2 0,9312 0,070
3 0,950 0,051
4 0,97 0,030
Probabilidad que un alumno que entro el primer año se

gradúe 0,913
Ejemplos varios
128
Problema del ratón 1E
Problema Ratón:
Un ratón cambia de habitáculo cada
minuto con igual probabilidad a las
salas adyacentes
129
1/2
S E 1/2
1/3
1/2 1/3 1/3
1/3
1/3
H C
1/3
1/2
Matriz de probabilidades de transición :
0 1/3 1/3 1/3
P= 1/2 0 1/2 0
1/3 1/3 0 1/3
1/2 0 1/2 0
SOLUCIONES
ESTACIONARIAS
1 2 3 4
1 0 1/3 1/3 1/3
2
1/2 0 1/2 0
3
1/3 1/3 0 1/3
4
1/2 0 1/2 0
 Soluciones Estacionarias parta la Cadena de Markov Regular

 Π1 = 1/2 Π2 + 1/3 Π3 +1/2 Π4
 Π2= 1/3Π1 + 1/3 Π3
 Π3= 1/3Π1 +1/2 Π2 + ½ Π3 + ½ Π4 se elimina
 Π4= 1/3 Π1 + 1/3Π3
 Π1+ Π2 + Π3 + Π4 = 1
 Sol π1=3/10 =π3
 Π2==2/10 =π4
132
Preguntas
1. ¿ Cuales son las probabilidades de

que en condiciones estacionarias se
encuentre en cada una de las piezas ?
2. Π1=3/10
3. Π2=2/10
4. Π3=3/10
5. Π4=2/10
Existe distribución límite porque :
El sistema tiene una sola clase final
Esa clase final es aperiódica
Para acabar con el ratón

 Se pone queso envenenado en la cocina
 Se abre la puerta de la entrada
S (SE)
E
C H
Ahora el sistema carece de distribución límite
-Hay dos distribuciones finales
1/3
1/3 E
S
SE 1/3
1/3
1/3 1/3
C 1/3 H
1/3
¿ Que probabilidad hay de que el sistema
sea absorbido en cada estado final ?
1. E, S y H son estados transitorios.
2. C y SE son estados recurrentes o finales.
 La situación inicial del ratón determinará la

situación futura.
 Si inicialmente está en E es más probable que
salga de casa.
 Si inicialmente está en H es más probable que
se quede en la cocina.
Matriz de transición: Estructura de P :
1 0 0 0 0
0 1 0 0 0 I O
P= 1/3 0 0 1/3 1/3 P=
0 1/3 1/3 0 1/3
R Q
0 1/3 1/3 0
1/3
1. Matriz identidad (tantas columnas y filas como
estados finales) (I)
2. Matriz 2 x 3 (tantas columnas como transitorios y
tantas filas como estados finales) (O)
3. Matriz 3 x 2 (Probabilidades de absorción en un
solo salto) (R)
4. Matriz 3 x 3 (Probabilidad de transición entre
transitorios) (Q)
Resolvemos el sistema:
1 -1/3 -1/3 1/3 0

-1/3 1 -1/3 0 1/3
-1/3 -1/3 1
0 1/3
I-Q R
Matriz de
Matriz de absorción en
prob. Entre un solo salto
transitorios
Resolvemos el sistema:
1 -1/3 -1/3 1/3 0

-1/3 1 -1/3 0 1/3
-1/3 -1/3 1
0 1/3
I-Q R
Matriz de
Matriz de absorción en
prob. Entre un solo salto
transitorios
Preguntas
1. ¿ Cual es la probabilidad de que

termine envenenado ?
2. ¿ Cuanto tiempo permanecerá el ratón
en la casa si parte de S ?
Matriz inversa (I-Q)
 1.498 0.748 0.748

 0.748 1.498 0.748 = (I-Q) -1
 0.748 0.748 1.498
 2) Si parte de S permanecerá en la
casa
0.748+1.498+0.748 = 2,994
Matriz NR
SE Patio Entrada C cocina

E 0,501 0,499
NR =S 0,249 0,751
H 0,249 0,751
1) =0,751 si partió del salón
142
EJEMPLO 2E

2 2 Cadenas Markov Procesos Discretos

Cargado por

Copyright:

Formatos disponibles

2 2 Cadenas Markov Procesos Discretos

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

2 2 Cadenas Markov Procesos Discretos

Cargado por

Copyright:

Formatos disponibles

Cadenas de Markov Discretas

Introducción a las Cadenas de Markov

 Las Cadena de Markov son Procesos Estocásticos

 Para denotar el estado en que se encuentra la

p00 p01 p12

 Las propiedades de la matriz de transición de

1. pij  0 ; i, j  0 ,1, 2 , ....

Como cada elemento de la matriz representa una

 Las propiedades de la matriz de transición de

 Esto significa que para cada estado la suma de

 Matriz de Probabilidad de transición entre estados:

 Dada pij, que corresponde a la probabilidad de

Además i,j pertenecen al espacio de estados

 Si las probabilidades de transición son

Esto representa la probabilidad de pasar desde el

 CADENAS DE MARKOV DISCRETAS

- Xn : mi capital inmediatamente después del

 La forma obtener la probabilidad de ir del estado i al

n-1 pasos 1 paso

 Se desea generalizar el resultado anterior, o sea, obtener

 Lo anterior queda representado por la siguiente

 Si en el tiempo a se estuvo en el estado i y en el tiempo b

 Así es posible rescribir la expresión anterior como:

 La expresión anterior es independiente del tipo de proceso

 Usando las propiedades de las probabilidades condicionales puede

 Esta expresión puede simplificarse, pero debe ser acotada a

 Aplicando la propiedad de que el estado actual depende

 Sean i, k, f  , estados genéricos de la cadena de

pif m ,n    pikm p kfn k , m, n  0

 pikmpkfn representa la probabilidad de ir desde el

 Tenemos por lo tanto un procedimiento que nos

 Para el caso especial de m=1, es decir se llega al

 p11 ... ... p1M  Matriz de

 Se observa que la probabilidad de ir de i a f en 2 pasos

 Por lo que se puede extender este resultado para

Que es la matriz de transiciones de 2 pasos:

Utilizando este resultado se puede extender el

Descomponiendo en casos podemos escribir la siguiente

 p11 .. .. .. p1M   p ( 2 )11 .. p ( 2 )1 f .. p ( 2)1M 

 Se define la probabilidad de estar en el estado e

 Se define la probabilidad inicial del sistema, como la

Sea,  e la probabilidad de estar en el estado e

 La ecuación de Chapman-Kolmogorov en el último

Obs: La ecuación (3) presenta un mejor desempeño al realizar

 Un estado j, es alcanzable desde el estado i si se

 Los estados i y j se comunican, cuando i es alcanzable desde

 Para cada estado i se define f i  n  como la

 La probabilidad de regresar al estado i alguna vez está

fi   fi n  representa la suma de

 Si fi=1 entonces se dice que el estado i es recurrente.

– Si un estado i es recurrente y se comunica con j, entonces

• Se define el tiempo promedio de retorno al estado i, llamado

Un estado es recurrente nulo si i= .

Un estado es recurrente positivo si i< .

• En una cadena de Markov de espacio de estado finito todos los

• Se sostiene que el tiempo esperado para retornar a j es el

 Un estado i es Transiente si 0< fi <1.

 Es decir que al salir desde el estado i existe la probabilidad de no retornar,

el número esperado de visitas al estado i es finito

 Si d=1, el estado se denomina Aperiódico.