2.1 Definiciones

Definición 2.1 Un proceso estocástico \(\{X(t), t \in \mathbb{N}\}\) con espacio de estados de tipo discreto, \(S\), se denomina Cadena de Markov de Tiempo Discreto, si para cualquier par de estados \(i\) y \(j\) de \(S\) tenemos que:

\[\begin{eqnarray} &Pr(X(t+1) = j | X(t) = i, X(t-1),...,X(0)) = \\ &= Pr(X(t+1) = j | X(t) = i), \tag{2.1} \end{eqnarray}\]

es decir, la probabilidad de que el proceso en un instante \(t+1\) se encuentre en un estado \(j\), dada toda la evolución del proceso a lo largo del tiempo, sólo depende del estado en el que el sistema se encuentrara justamente en el instante anterior \(t\), esto es, \(X(t)=i\), y y no del estado del proceso en los instantes anteriores \(t-1, t-2,...,0\).

En ocasiones utilizaremos la siguiente notación, \[X(n)=X_n, \qquad n \geq 0\]

La probabilidad condicionada dada en (2.1) se denomina probabilidad de transición de un paso y se denota por \(p_{ij}(t,t+1)\), y es la probabilidad de que, dado que el proceso en el instante \(t\) está en el estado \(i\), un instante más tarde, \(t+1\) haya cambiado al estado \(j\): \[p_{ij}(t,t+1)=Pr(X(t+1) = j | X(t) = i).\]

De forma similar podemos definir la probabilidad de transición de \(n\) pasos, \(p_{ij}(t,t+n)\) como la probabilidad de que, dado que el proceso en el instante \(t\) está en el estado \(i\), \(n\) instantes más tarde, \(t+n\), esté en el estado \(j\) :

\[\begin{equation} p_{ij}(t,t+n)=Pr(X(t+n) = j | X(t) = i). \tag{2.2} \end{equation}\]

Las probabilidades de transición así definidas cumplen que:

\[\begin{eqnarray*} 0 \leq p_{ij}(t,t+n) &\leq & 1 \\ \sum_{j \in S} p_{ij}(t,t+n) &=& 1, \quad n\geq 1. \end{eqnarray*}\]

Definición 2.2 Una \(CMTD\) dada por \(\{X(t), t \in \mathbb{N}\}\) es homogénea cuando tiene probabilidades de transición estacionarias, es decir, cuando \(p_{ij}(t, t+n)\) no depende de \(t\), es decir, la probabilidad de cambiar del estado \(i\) al estado \(j\) en \(n\) pasos es independiente del instante temporal en que se encuentre el proceso:

\[\begin{equation*} p_{ij}(t, t+n) = p_{ij}(s, s+n). \end{equation*}\]

En este curso sólo estudiaremos \(CMTD\) homogéneas, por lo que para simplificar la notación, a partir de ahora las denotaremos como \(p_{ij}(n)\) a las probabilidades de transición de \(n\) pasos y \(p_{ij}\) a las probabilidades de transición de un paso: \[\begin{eqnarray*} p_{ij} &=& Pr[X(t+1) = j | X(t) = i] \\ p_{ij}(n) &=& Pr[X(t+n) = j | X(t) = i]. \end{eqnarray*}\]

Definición 2.3 El comportamiento aleatorio de una \(CMTD\) está completamente determinado por las probabilidades de transición de la cadena y la distribución del estado inicial, de forma que la función de distribución del proceso en un instante de tiempo \(t\) se calcula, mediante el teorema de la probabilidad total, según la Ecuación (2.3).

\[\begin{equation} Pr[X(t)= k] = \sum_{i \in S} p_{ik}(t) p_i(0), \tag{2.3} \end{equation}\]

con \(p_i(0) = Pr(X(0) = i)\) la probabilidad de que en el instante inicial el proceso se encuentre en el estado \(i\). De hecho, el vector \[p(0) = \{p_i(0)= Pr[X(0) = i], \ i \in S\}\] se denomina distribución inicial de la cadena e identifica la distribución de probabilidad del proceso en el instante inicial o punto de partida del proceso.

De forma habitual se suelen expresar las probabilidades de transición de un paso para \(N\) estados en una \(CMTD\) mediante la denominada matriz de transición de un paso \(P\), que es una matriz estocástica con todos sus elementos constituidos por probabilidades, dada por:

\[P = \begin{pmatrix} p_{11} & p_{12} & ... & p_{1N}\\ p_{21} & p_{22} & ... & p_{2N}\\ ... & ... & ... & ...\\ p_{N1} & p_{N2} & ... & p_{NN} \end{pmatrix}\]

La información sobre las probabilidades de transición también puede representarse de forma gráfica construyendo un diagrama de transición del \(CMTD\). Un diagrama de transición es un grafo dirigido con \(N\) nodos, un nodo por cada estado del \(CMTD\). Hay un arco dirigido que va del nodo \(i\) al nodo \(j\) en el grafo si la transición del estado \(i\) al estado \(j\) es viable, esto es, \(p_{ij} \neq 0\). Los diagramas de transición se pueden utilizar como herramienta para visualizar la dinámica de la \(CMTD\).

De forma similar podemos definir la matriz de transición de n pasos con la matriz estocástica \(P(n)\):

\[P(n) = \begin{pmatrix} p_{11}(n) & p_{12}(n) & ... & p_{1N}(n)\\ p_{21}(n) & p_{22}(n) & ... & p_{2N}(n)\\ ... & ... & ... & ...\\ p_{N1}(n) & p_{N2}(n) & ... & p_{NN}(n) \end{pmatrix}\]

con \[\begin{eqnarray*} 0 \leq p_{ij}(n) &\leq& 1 \\ \sum_{j \in S} p_{ij}(n) &=& 1. \end{eqnarray*}\]

De forma genérica denotamos por \(p(n)\) a la distribución del proceso en la n-ésima transición:

\[p(n) = \{p_i(n)=Pr[X(n)=i], \ i \in S\}\]

Cualquier \(CMTD\) homogénea verifica la denominada Ecuación de Chapman-Kolmogorov que permite calcular la probabilidad de transición de un estado \(i\) a un estado \(j\) en \(n\) pasos a través de todas las probabilidades de transición de \(s\) y \(n-s\) pasos, para cualquier \(s<n\) y cualquier \(i\) y \(j\) en \(S\):

\[\begin{equation} p_{ij}(n) = \sum_{k \in S} p_{ik}(s) p_{kj}(n-s), \tag{2.4} \end{equation}\]

Definición 2.4 Haciendo uso de la ecuación (2.4) se puede demostrar que la matriz de transición de \(n\) pasos \(P(n)\) se puede obtener como la potencia \(n\) de la matriz de transición de un paso \(P\), esto es,

\[\begin{equation} P(n) = P^n, \tag{2.5} \end{equation}\]

de modo que conociendo la distribución inicial del proceso \(p(0)\) y la matriz de transición de un paso \(P\), tenemos perfectamente identificada la distribución del proceso en cualquier momento:

\[\begin{equation} p(n) = p(0)P^n. \tag{2.6} \end{equation}\]