Tipos de Cadenas de Markov

TIEMPO MEDIO DE RECURRENCIA
Se define como el tiempo medio de recurrencia de un estado recurrente j a partir del estado i como
la esperanza de
T ij =min ⁡{n ≥ 1: X n= j∨X 0 =i}
Y se denota por µij

∞
µij =E [ T ij ]=∑ nf ij ( n ) .
n=1
Esta esperanza representa el número de pasos promedio que a la cadena le toma regresar al estado
recurrente j.
En particular, cuando i=j escribimos µi en lugar de µii.
Se dice que un estado recurrente i es
 Recurrente nulo si µi=∞ .

 Recurrente positivo si µi< ∞
la recurrencia positiva es una propiedad de clase pues
 Si i es recurrente positivo e i j entonces j es recurrente positivo.

 Si i es recurrente nulo e i j entonces j es recurrente nulo.
DISTRIBUCIONES ESTACIONARIAS
Se dice que el vector π=( π 0 , π 1 , … ¿ es una distribución de probabilidad si
πi ≥ 0
∑ π i =1
i
se dice que una distribución de probabilidad π=( π 0 , π 1 , …) es estacionaria para una cadena de
Markov con matriz de probabilidades de transición P=( p¿¿ ij)¿ si
π j=¿ ∑ π p ¿
i ij
i ϵS
En forma matricula lo anterior es equivalente a π=π P y significa que si una variable aleatoria inicial
X n también es π ,es decir esta distribución no cambia con el paso del tiempo.
Para encontrar una posible distribución estacionaria de una cadena con matriz P, un método consiste
en resolver el sistema de ecuaciones.
π=π P
Sujeto a:
∑ π j=1
j ϵS
πj≥0
La distribución estacionaria puede no ser única o incluso no existir
EXISTENCIA Y UNICIDAD
Si una cadena de Márkov es irreducible y recurrente positiva entonces tiene una única distribución
estacionaria y está dada por
1
π j=
µj
Donde µ j es el tiempo medio de recurrencia del estado j.
CONVERGENCIA A LA DISTRIBUCIÓN ESTACIONARIA.
Si una cadena de Márkov es
 Irreducible
 Aperiódica
 Con distribución estacionaria π
Entonces para cualquiera i,j ϵ S.
lim pij ( n) =¿ π ¿ j
n→∞
CONVERGENCIA PARA CADENAS DE MARKOV
Si una cadena de Márkov es:
 Irreducible
 Recurrente positiva
 Aperiódica
Entonces las probabilidades límite
π j =lim p ij (n )
n →∞
Existen, están dadas por
1
π j=
µj
Y constituyen la única solución al sistema de ecuaciones
π=π P
Sujeto a:
∑ π j=1
jϵS
πj≥0
TIPOS DE CADENAS DE MARKOV.
Una cadena de Márkov se dice irreducible si se cumple cualquiera de las siguientes condiciones
(equivalentes entre sí):
1. Desde cualquier estado S se puede acceder a cualquier otro.

2. Todos los estados se comunican entre sí.
3. C(i)=S para algún iϵS.
4. C(i)=S para todo iϵS.
5. El único conjunto cerrado es el total.
La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son ejemplos de cadenas de
Márkov irreducibles.
CADENAS RECURRENTES POSITIVAS:
Una cadena de Márkov se dice recurrente positiva si todos sus estados son recurrentes positivos. Si la
cadena es de además irreducible es posible demostrar que existe un único vector de probabilidad
invariante y está dado por:
1
π j=
μj
CADENAS REGULARES:
Una cadena de Márkov se dice regula (también primitiva o ergódica) si existe alguna potencia
positiva de la matriz de transición cuyas entradas sean todas estrictamente mayores que cero.
Cuando el espacio de estados S es finito, si P denota la matriz de transacción de la cadena se tiene

qué:
lim ( P )n=W
n →1
Dónde W es una matriz con todas sus regiones iguales a un mismo vector de probabilidad w, que
resulta ser el vector de probabilidad invariante de la cadena. En el caso de cadenas regulares, este
vector invariante es único.
CADENAS ABSORBENTES:
Una cadena de Márkov con espacio de estados finito se dice absorbente si se cumplen las dos
condiciones siguientes:
1. La cadena tiene al menos un estado absorbente.

2. De cualquier estado no absorbente se excede a algún absorbente.
Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento como D,

tenemos los siguientes resultados:
 Su matriz de transición siempre se puede llevar a una de la forma.

P= (Q0 RI )
Donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz identidad, 0 es
la matriz nula y R alguna submatriz.
 P X ( TA<1 ) =1, esto es, no importa donde se encuentre la cadena, eventualmente terminará
en un estado absorbente.
CADENAS DE MARKOC A TIEMPO CONTINUO.
Si en el lugar de considerar una secuencia discreta x 1 , x 2 , … , x i ,…con i indexado en el conjunto N

de número naturales, se consideran las variables aleatorias x t ,con t que varía en un intervalo
continuo del conjunto R de números reales, tendremos una cadena en un tiempo continuo la
propiedad de Márkov se expresa de la siguiente manera:
P ( X ( t n+1 ) =x n+1|X ( t n )=x n , … , X ( t 1 )=x 1 ) =P ¿
Para una cadena de Márkov continúa con un número finito de estados puede definirse una
matriz estocástica dada por:
P ( t 1 , t 2 ) =[ pij ( t 1 ,t 2 ) ] i, j=1, … , N p ij ( t 1 , t 2) =P [ X ( t 2) = j| X ( t 1 ) =i ] , 0 ≥ t 1 <t 2
La cadena se denomina homogénea si P(( t 1 , t 2 )=P(( t 2−t 1 ). Para una cadena de Márkov en tiempo
continuo homogénea y con un numero finito de estados puede definirse el llamado generador
infinitesimal como:
Q= lim ¿
P ( h) − I
+¿
h→ 0 ¿
h
Y puede demostrarse que la matriz estocástica viene dada por:

∞
Qn t n
P ( T ) =eQ t=∑
n! n!
BIBLIOGRAFÍA
 Leo Breiman. Probability. Original edition published by Addison-Wesley, 1968; reprinted

by Society for Industrial and Applied Mathematics, 1992. ISBN 0-89871-296-3. (See
Chapter 7.)
 J.L. Doob. Stochastic Processes. New York: John Wiley and Sons, 1953. ISBN 0-471-52369-
0.
 S. P. Meyn and R. L. Tweedie. Markov Chains and Stochastic Stability. London: Springer-
Verlag, 1993. ISBN 0-387-19832-6. online: [1] . Second edition to appear, Cambridge
University Press, 2009.
 S. P. Meyn. Control Techniques for Complex Networks. Cambridge University Press,
2007. ISBN 978-0-521-88441-9. Appendix contains abridged Meyn & Tweedie.
online: https://web.archive.org/web/20100619011046/https://netfiles.uiuc.edu/meyn/
www/spm_files/CTCN/CTCN.html
 Booth, Taylor L. (1967). Sequential Machines and Automata Theory (1st edición).
Nueva York: John Wiley and Sons, Inc. Library of Congress Card Catalog Number 67-
25924. Extensive, wide-ranging book meant for specialists, written for both theoretical
computer scientists as well as electrical engineers. With detailed explanations of state
minimization techniques, FSMs, Turing machines, Markov processes, and undecidability.
Excellent treatment of Markov processes pp. 449ff. Discusses Z-transforms, D transforms
in their context.
 Kemeny, John G.; Mirkil, Hazleton; Snell, J. Laurie; Thompson, Gerald L. (1959). Finite
Mathematical Structures (1st edición). Englewood Cliffs, N.J.: Prentice-Hall, Inc. Library of
Congress Card Catalog Number 59-12841. Classical text. cf Chapter 6 Finite Markov
Chains pp. 384ff.
 Kijima, Masaaki (1997). Markov Processes for Stochastic Modeling (1st edición).
Cambridge: Chapman & Hall. ISBN 0 412 60660 7.

Tipos de Cadenas de Markov

Cargado por

Copyright:

Formatos disponibles

Tipos de Cadenas de Markov

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Tipos de Cadenas de Markov

Cargado por

Copyright:

Formatos disponibles

TIEMPO MEDIO DE RECURRENCIA

T ij =min ⁡{n ≥ 1: X n= j∨X 0 =i}

Y se denota por µij

En particular, cuando i=j escribimos µi en lugar de µii.

Se dice que un estado recurrente i es

 Recurrente nulo si µi=∞ .

la recurrencia positiva es una propiedad de clase pues

 Si i es recurrente positivo e i j entonces j es recurrente positivo.

Se dice que el vector π=( π 0 , π 1 , … ¿ es una distribución de probabilidad si

La distribución estacionaria puede no ser única o incluso no existir

Donde µ j es el tiempo medio de recurrencia del estado j.

CONVERGENCIA A LA DISTRIBUCIÓN ESTACIONARIA.

Si una cadena de Márkov es

Entonces para cualquiera i,j ϵ S.

CONVERGENCIA PARA CADENAS DE MARKOV

Si una cadena de Márkov es:

Entonces las probabilidades límite

Existen, están dadas por

Y constituyen la única solución al sistema de ecuaciones

1. Desde cualquier estado S se puede acceder a cualquier otro.

CADENAS RECURRENTES POSITIVAS:

Cuando el espacio de estados S es finito, si P denota la matriz de transacción de la cadena se tiene

1. La cadena tiene al menos un estado absorbente.

Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento como D,

 Su matriz de transición siempre se puede llevar a una de la forma.

CADENAS DE MARKOC A TIEMPO CONTINUO.

Si en el lugar de considerar una secuencia discreta x 1 , x 2 , … , x i ,…con i indexado en el conjunto N

P ( X ( t n+1 ) =x n+1|X ( t n )=x n , … , X ( t 1 )=x 1 ) =P ¿

P ( t 1 , t 2 ) =[ pij ( t 1 ,t 2 ) ] i, j=1, … , N p ij ( t 1 , t 2) =P [ X ( t 2) = j| X ( t 1 ) =i ] , 0 ≥ t 1 <t 2

Y puede demostrarse que la matriz estocástica viene dada por:

 Leo Breiman. Probability. Original edition published by Addison-Wesley, 1968; reprinted

También podría gustarte