2.1 Definiciones
Definición 2.1 Un proceso estocástico {X(t),t∈N} con espacio de estados de tipo discreto, S, se denomina Cadena de Markov de Tiempo Discreto, si para cualquier par de estados i y j de S tenemos que:
Pr(X(t+1)=j|X(t)=i,X(t−1),...,X(0))==Pr(X(t+1)=j|X(t)=i),es decir, la probabilidad de que el proceso en un instante t+1 se encuentre en un estado j, dada toda la evolución del proceso a lo largo del tiempo, sólo depende del estado en el que el sistema se encuentrara justamente en el instante anterior t, esto es, X(t)=i, y y no del estado del proceso en los instantes anteriores t−1,t−2,...,0.
En ocasiones utilizaremos la siguiente notación, X(n)=Xn,n≥0
La probabilidad condicionada dada en (2.1) se denomina probabilidad de transición de un paso y se denota por pij(t,t+1), y es la probabilidad de que, dado que el proceso en el instante t está en el estado i, un instante más tarde, t+1 haya cambiado al estado j: pij(t,t+1)=Pr(X(t+1)=j|X(t)=i).
De forma similar podemos definir la probabilidad de transición de n pasos, pij(t,t+n) como la probabilidad de que, dado que el proceso en el instante t está en el estado i, n instantes más tarde, t+n, esté en el estado j :
pij(t,t+n)=Pr(X(t+n)=j|X(t)=i).Las probabilidades de transición así definidas cumplen que:
0≤pij(t,t+n)≤1∑j∈Spij(t,t+n)=1,n≥1.Definición 2.2 Una CMTD dada por {X(t),t∈N} es homogénea cuando tiene probabilidades de transición estacionarias, es decir, cuando pij(t,t+n) no depende de t, es decir, la probabilidad de cambiar del estado i al estado j en n pasos es independiente del instante temporal en que se encuentre el proceso:
pij(t,t+n)=pij(s,s+n).En este curso sólo estudiaremos CMTD homogéneas, por lo que para simplificar la notación, a partir de ahora las denotaremos como pij(n) a las probabilidades de transición de n pasos y pij a las probabilidades de transición de un paso: pij=Pr[X(t+1)=j|X(t)=i]pij(n)=Pr[X(t+n)=j|X(t)=i].
Definición 2.3 El comportamiento aleatorio de una CMTD está completamente determinado por las probabilidades de transición de la cadena y la distribución del estado inicial, de forma que la función de distribución del proceso en un instante de tiempo t se calcula, mediante el teorema de la probabilidad total, según la Ecuación (2.3).
Pr[X(t)=k]=∑i∈Spik(t)pi(0),con pi(0)=Pr(X(0)=i) la probabilidad de que en el instante inicial el proceso se encuentre en el estado i. De hecho, el vector p(0)={pi(0)=Pr[X(0)=i], i∈S} se denomina distribución inicial de la cadena e identifica la distribución de probabilidad del proceso en el instante inicial o punto de partida del proceso.
De forma habitual se suelen expresar las probabilidades de transición de un paso para N estados en una CMTD mediante la denominada matriz de transición de un paso P, que es una matriz estocástica con todos sus elementos constituidos por probabilidades, dada por:
P=(p11p12...p1Np21p22...p2N............pN1pN2...pNN)
La información sobre las probabilidades de transición también puede representarse de forma gráfica construyendo un diagrama de transición del CMTD. Un diagrama de transición es un grafo dirigido con N nodos, un nodo por cada estado del CMTD. Hay un arco dirigido que va del nodo i al nodo j en el grafo si la transición del estado i al estado j es viable, esto es, pij≠0. Los diagramas de transición se pueden utilizar como herramienta para visualizar la dinámica de la CMTD.
De forma similar podemos definir la matriz de transición de n pasos con la matriz estocástica P(n):
P(n)=(p11(n)p12(n)...p1N(n)p21(n)p22(n)...p2N(n)............pN1(n)pN2(n)...pNN(n))
con 0≤pij(n)≤1∑j∈Spij(n)=1.
De forma genérica denotamos por p(n) a la distribución del proceso en la n-ésima transición:
p(n)={pi(n)=Pr[X(n)=i], i∈S}
Cualquier CMTD homogénea verifica la denominada Ecuación de Chapman-Kolmogorov que permite calcular la probabilidad de transición de un estado i a un estado j en n pasos a través de todas las probabilidades de transición de s y n−s pasos, para cualquier s<n y cualquier i y j en S:
pij(n)=∑k∈Spik(s)pkj(n−s),Definición 2.4 Haciendo uso de la ecuación (2.4) se puede demostrar que la matriz de transición de n pasos P(n) se puede obtener como la potencia n de la matriz de transición de un paso P, esto es,
P(n)=Pn,
de modo que conociendo la distribución inicial del proceso p(0) y la matriz de transición de un paso P, tenemos perfectamente identificada la distribución del proceso en cualquier momento:
p(n)=p(0)Pn.