Unidad 4 Cadenas de Markov de Tiempo Contínuo

En esta unidad, consideramos un sistema que se observa continuamente a lo largo del tiempo, siendo \(X_t\) el estado en el momento \(t\), con \(t \geq 0\). Siguiendo la definición de las CMTD, a continuación definimos las cadenas de Markov de tiempo continuo (CMTC).

Definición 4.1 Un proceso estocástico \(\{X_t; t \geq 0\}\) con espacio de estados \(S\) se denomina CMTC si, para todo \(i\) y \(j\) en \(S\), y \(t, s \geq 0\),

\[P(X(s+t) = j \mid X(s) = i, X(u), 0 \leq u \leq s) = P(X(s+t) = j \mid X(s) = i).\]

La CMTC \(\{X_t; t \geq 0\}\) se denomina homogénea si para \(t, s \geq 0\),

\[P(X(s+t) = j \mid X(s) = i) = P(X(t) = j \mid X(0) = i).\]

En toda la unidad asumimos que todas las CMTC son homogéneas y tienen espacio de estados finito \(\{1, 2,...,N\}\) de forma que podemos definir la probabilidad de pasar del estado \(i\) al estado \(j\) en un tiempo \(t\) como:

\[p_{ij}(t) = P(X(t) = j \mid X(0) = i), \quad 1 \leq i, j \leq N.\]

La matriz de probabilidad de transición (\(P(t)\)) de una CMTC \(\{X_t; t \geq 0\}\) viene dada por:

\[P(t) = \begin{pmatrix} p_{11}(t) & p_{12}(t) & ... & p_{1N}(t)\\ p_{21}(t) & p_{22}(t) & ... & p_{2N}(t)\\ ... & ... & ... & ...\\ p_{N1}(t) & p_{N2}(t) & ... & p_{NN}(t) \end{pmatrix}\]

Dicha matriz de transición verifica que:

• Probabildiades condicionadas

\[p_{ij}(t) \geq 0, \quad 1 \leq i, j \leq N; t \geq 0\]

• La suma de las probabilidades de acceder a cualquiera de los estados a partir de un estado \(i\) es igual a 1.

\[\sum_{j=1}^N p_{ij}(t) = 1, \quad 1 \leq i, j \leq N; t \geq 0\]

• Ecuaciones de Chapman-Kolmogorov

\[p_{ij}(s+t) = \sum_{k=1}^N p_{ik}(s)p_{kj}(t) = \sum_{k=1}^N p_{ik}(t)p_{kj}(s) , \quad 1 \leq i, j \leq N; t \geq 0\]

La dificultad principal con \(P(t)\) es que resulta díficil de obtener de forma inmediata para la mayoria de las CMTC, al contrario de lo que ocurría con las CMTD. Necesitamos un método simple que nos permta describir de forma rápida el comportamiento del proceso. A continuación, sentamos las bases para el estudio de las CMTC a partir de los tiempos de permanencia en cada uno de los estados del proceso. Dadoq ue la única distribución que verifica la propiedad de pérdida de memoria es la exponencial, la utilizaremos como base para la construcción de la CMTC.