2.5 Comportamiento a largo plazo

En está sección estamos interesados en estudiar el comportamiento a largo plazo o asintótico de una \(CMTD\), es decir, el comportamiento cuando \(n \rightarrow \infty\). La primera pregunta más obvia es si la distribución de \(X_n\) se aproxima a algún límite finito cuando \(n\) tiende a infinito.

Si existe la distribución a largo plazo de un proceso CMTD \(\{X_n, n \in \mathbb{N}\}\), con espacio de estados \(S =\{1, 2,..., N\}\) y matriz de probabilidades de transición \(P\), la denominamos distribución límite o distribución en estado estacionario, y la denotamos por:

\[\pi = [\pi_1, \pi_2,...,\pi_N]\] donde

\[\pi_j = \underset{n \rightarrow \infty}{lim} Pr[X_n = j], \quad j \in S\]

La siguiente pregunta de interés, cuando dicha distribución existe, es si es única. Esta pregunta tiene sentido porque es razonable pensar que el límite pueda depender del estado inicial, o de la distribución inicial de la CMTD.

La última pregunta se refiere a la práctica: si hay una única distribución límite, ¿cómo podemos calcularla? Pues bien, aunque responder las dos primeras preguntas pueda ser más complejo, la respuesta a esta pregunta es fácil, puesto que si esta distribución límite exite, entonces satisface la siguiente propiedad.

Si existe la distribución límite de un proceso CMTD \(\{X_n, n \in \mathbb{N}\}\), con espacio de estados \(S =\{1, 2,..., N\}\) y matriz de probabilidades de transición \(P\), entonces las probabilidades \(\pi_j\) satisfacen la siguiente ecuación: \[\pi_j = \sum_{i=1}^N \pi_i p_{ij}, \quad \forall j \in S,\] donde \(p_{ij}\) son las probabilidades de transición (en la matriz \(P\)). Esta propiedad en formato matricial da lugar a la ecuación de balance o del estado estacionario, que viene dada por: \[\begin{equation} \pi = \pi*P, \qquad \text{ con } \tag{2.9} \end{equation}\] junto con la restricción de normalización \[\sum_{j=1}^N \pi_j = 1.\]

La función steadyStates() de la librería markovchain nos devuelve la distribución estacionaria de una \(CMTD\).

Ejemplo 2.9 Analizamos el sistema presentado en el Ejemplo 2.1 para obtener la distribución estacionaria:

# Distribución estacionaria
steadyStates(proceso)
##              a         b         c
## [1,] 0.3703704 0.1111111 0.5185185

Obtenemos de esta forma las probabilidades asintóticas de estar en cada uno de los estados. Vemos pues, que a la larga lo más probable es que nos encontremos en el estado ‘c,’ y lo menos probable es estar en el estado ‘b.’

Podemos encontrar procesos CMTD en los que no existe distribución límite, pero aun así podemos resolver las ecuaciones de balance, junto con la restricción de normalización (Ecuación (2.9)). Supongamos que tenemos una distribución inicial de la CMTD dada por \(\{\pi^*, i \in S\}\). Si también la distribución de \(X_1, \ldots, X_n\) permanece invariante para todos los \(n\), decimos que la distribución inicial es una distribución estacionaria. Definámoslo a continuación.

Definición 2.20 Una distribución de probabilidad \[\pi^* = [\pi_1^*, \pi_2^*,...,\pi_N^*]\] se dice que es estacionaria si

\[\begin{eqnarray*} Pr[X_0 = i] = \pi_i^*, 1 \leq i \leq N &\Rightarrow& \\ &\Rightarrow& Pr[X_n = i] = \pi_i^*, 1 \leq i \leq N, \text{ y } n \geq 0. \end{eqnarray*}\]

Las preguntas que previamente planteamos sobre la distribución límite (es decir, la existencia, la unicidad y el método de cálculo) pueden formularse también sobre la distribución estacionaria. Respondámoslas.

Definición 2.21 La distribución \(\pi^* = [\pi_1^*, \pi_2^*,...,\pi_N^*]\) es una distribución estacionaria para la CMTD \(\{X_n, n \in \mathbb{N}\}\), con espacio de estados \(S =\{1, 2,..., N\}\) y matriz de probabilidades de transición \(P\), si y solo si se cumple que:

\[\pi^* = \pi^* P, \qquad \text{ con } \sum_{j=1}^N \pi_j^* = 1, \quad \forall j \in S.\]

Por tanto, la distribución límite, cuando existe, es una distribución estacionaria. En caso de que tengamos más de una distribución límite (pues puede depender del estado inicial), por la Definición 2.21, cualquiera de dichas distribuciones límite será una distribución estacionaria.

Veamos a continuación una propiedad interesante, respecto a estacionariedad, de la distribución del ratio de ocupación, esto es, de la proporción de tiempo que el proceso permanece en cada estado.

Si existe la distribución de ocupación del proceso \(\{X_n, n \in \mathbb{N}\}\) con espacio de estados \(S =\{1, 2,..., N\}\), dada por \[\hat{\pi}_j=lim_{n \rightarrow \infty} \frac{m_{ij}(n)}{n+1}, \qquad \text{ con } m_{ij}(n)=E[N_j(n)|X_0=i]\] entonces satisface las ecuaciones de balance sujetas a la restricción de normalización, esto es, \[\hat{\pi}_j = \sum_{i=1}^N \hat{\pi}_i p_{ij}, \quad \forall j \in S, \qquad \text{ y } \sum_{j=1}^N \hat{\pi}_j=1.\]

Tenemos pues, que toda distribución que cumpla las ecuaciones de balance junto con las restricciones de normalización, será una distribución límte, también estacionaria o será la distribución de ocupación. Las preguntas relativas a estas ecuaciones son: ¿siempre habrá una solución? ¿Será única? ¿Cuándo dicha solución se podrá interpretar como una distribución límite, estacionaria o de ocupación? Intentemos dar respuesta a estas preguntas introduciendo algún concepto más referido a los procesos \(CMTD\).

Definición 2.22 Una \(CMTD\) \(\{X_n, n \in \mathbb{N}\}\) con espacio de estados \(S\) se dice que es irreducible si para cada pareja de estados \(i\) y \(j\) en \(S\), existe algún instante de tiempo \(k>0\) en el que es posible llegar a \(j\) desde \(i\), esto es,

\[Pr[X_k = j | X_0 = i] >0.\]

Una \(CMTD\) que no es irreducible se denomina reducible.

Podemos estudiar esta característica del proceso mediante un análisis descriptivo del mismo, con la función summary() de la librería markovchain, como ya vimos en el Ejemplo 2.2.

La utilidad del concepto de irreducibilidad se justifica con los resultados que presentamos a continuación, referidos a la unicidad de la distribución estacionaria.

Definición 2.23 Una CMTD de espacios finitos que sea irreducible tiene una única distribución estacionaria, es decir, sólo hay una solución normalizada de la ecuación de balance.

Además, una CMTD de espacios finitos que sea irreducible tiene una única distribución de ocupación y es igual a la distribución estacionaria.

Introducimos ahora el concepto de periodicidad, que nos ayudará a decidir cuando exista la distribución límite.

Definición 2.24 Sea la \(CMTD\) \(\{X_n, n \in \mathbb{N}\}\) con espacio de estados \(S =\{1, 2,..., N\}\) y \(d\) el entero más grande tal que para cualquier estado \(i \in S\)

\[\text{si } Pr[X_n = i | X_0 = i] >0 \Rightarrow n \text{ es múltiplo de } d,\]

Se dice entonces que dicha \(CMTD\) es periódica con periodo \(d\) si \(d>1\), y aperiódica si \(d = 1\).

Así, una CMTD con periodo \(d\) puede volver a su estado inicial sólo en los instantes \(d, 2d, 3d, ...\). En consecuencia, en las CMTD irreducibles es suficiente encontrar el periodo \(d\) para cualquier estado \(i \in S\), puesto que será el mismo para todos los estados, con lo que encontrar el periodo en CMTD irreducibles será sencillo.

Podemos estudiar la periocidad de un sistema mediante la función period() de la librería markovchain.

En particular, si \(p_{ii}>0\) para cualquier \(i\in S\) de una CMTD irreducible, entonces \(d=1\) y la CMTD será aperiódica.

El resultado más relevante es que si tenemos una \(CMTD\) que es irreducible y aperiódica, entonces tiene una única distribución límite, que es la solución de la ecuación de balance y de normalización (Ecuación (2.9)).Además, esta será la distribución estacionaria de la CMTD y también la distribución de ocupación.

La distribución límite/estacionaria de una CMTD reducible no es única y depende del estado inicial de la cadena.

Definición 2.25 Si \(i\) es un estado recurrente y existe la distribución estacionaria, entonces el valor esperado del tiempo de recurrencia es el inverso de probabilidad de \(i\) según la distribución estacionaria, es decir,

\[E[T_{jj}|X_0=j] = 1/\pi_j.\]

Tenemos un resultado adicional sobre el comportamiento de los costes en el estado estacionario.

Definición 2.26 Si \(c(i)\) es el coste esperado en el que incurrimos cuando visitamos el estado \(i \in S\), de una CMTD irreducible con distribución de ocupación \(\pi\), entonces el coste esperado por unidad a largo plazo (en el estado estacionario) viene dado por: \[g= \sum_{j\in S} \pi_j \ c(j).\]

Ejemplo 2.10 Para el proceso descrito en la sección Telecomunicaciones, en el que los paquetes de datos que se generan en el instante (ranura) \(n\), \(A_n \sim Po(1)\), se almacenaban en un buffer de capacidad \(K=7\), que se van eliminando conforme a cierta estrategia. Interesados en el proceso \(\{X_n, n\geq 0\}\) que describe el número de paquetes en el buffer al final de la n-ésima ranura, con espacio de estados \(S=\{0, 1,..., 7\}\) y matriz de probabilidades de transición:

\[P = \begin{pmatrix} 0.3679 & 0.3679 & 0.1839 & 0.0613 & 0.0153 & 0.0031 & 0.0005 & 0.0001\\ 0.3679 & 0.3679 & 0.1839 & 0.0613 & 0.0153 & 0.0031 & 0.0005 & 0.0001\\ 0.0 & 0.3679 & 0.3679 & 0.1839 & 0.0613 & 0.0153 & 0.0031 & 0.0006\\ 0.0 & 0.0 & 0.3679 & 0.3679 & 0.1839 & 0.0613 & 0.0153 & 0.0037\\ 0.0 & 0.0 & 0.0& 0.3679 & 0.3679 & 0.1839 & 0.0613 & 0.0190\\ 0.0 & 0.0 & 0.0& 0.0& 0.3679 & 0.3679 & 0.1839 & 0.0803\\ 0.0 & 0.0 & 0.0& 0.0& 0.0& 0.3679 & 0.3679 & 0.2642\\ 0.0 & 0.0 & 0.0& 0.0& 0.0& 0.0& 0.3679 & 0.6321\\ \end{pmatrix}\]

En esta situación estamos interesados en analizar las siguientes características del estado estacionario del proceso \(X_n\):

  1. Periodo del proceso.
  2. Fracción de tiempo en que el buffer estará lleno.
  3. Número esperado de paquetes que esperan en el buffer.

Definamos la estructura del proceso para la librería markovchain, y pidamos la distribución estacionaria.

# Estructura del proceso
# Definimos estados
estados <- as.character(0:7)
# Matriz de transición 
pmat <- matrix(data = c(0.3679, 0.3679, 0.1839, 0.0613, 0.0153, 
                        0.0031, 0.0005, 0.0001,
0.3679, 0.3679, 0.1839, 0.0613, 0.0153, 0.0031, 0.0005, 0.0001,
0.0, 0.3679, 0.3679, 0.1839, 0.0613, 0.0153, 0.0031, 0.0006,
0.0, 0.0, 0.3679, 0.3679, 0.1839, 0.0613, 0.0153, 0.0037,
0.0, 0.0, 0.0, 0.3679, 0.3679, 0.1839, 0.0613, 0.0190,
0.0, 0.0, 0.0, 0.0, 0.3679, 0.3679, 0.1839, 0.0803,
0.0, 0.0, 0.0, 0.0, 0.0, 0.3679, 0.3679, 0.2642,
0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.3679, 0.6321), 
               byrow = TRUE, nrow = 8, 
               dimnames = list(estados, estados))
# CMTD
teleco <- new("markovchain", states = estados, 
                 byrow = TRUE, transitionMatrix = pmat, 
              name = "Telecomunicaciones")
# Revisamos si la CMTD es irreducible
summary(teleco)
## Telecomunicaciones  Markov chain that is composed by: 
## Closed classes: 
## 0 1 2 3 4 5 6 7 
## Recurrent classes: 
## {0,1,2,3,4,5,6,7}
## Transient classes: 
## NONE 
## The Markov chain is irreducible 
## The absorbing states are: NONE
# Periodo del sistema
period(teleco)
## [1] 1
# Distribución estacionaria
steadyStates(teleco)
##               0         1         2         3         4         5         6
## [1,] 0.06820411 0.1171835 0.1331324 0.1360701 0.1363485 0.1363554 0.1363497
##              7
## [1,] 0.1363562

Tenemos que la CMTD es irreducible, luego por los resultados teóricos tiene una única distribución estacionaria, que coincidirá con la distribución límite y con la distribución de los tiempos de ocupación.

Que el buffer esté lleno significa que nos encontramos en el estado “7,” y al ser la distribución estacionaria la del tiempo de ocupación, tenemos que la fracción de tiempo en que el buffer está lleno es del 13.64%.

El número esperado de paquetes en el buffer en el estado estacionario es un valor esperado calculado con la distribución límite/estacionaria, que al ser discreta se calcula fácilmente a partir de las distribución estacionaria obtenida, esto es,

estados <- 0:7
distribucion <- steadyStates(teleco)
# Valor esperado
sum(estados*distribucion)
## [1] 3.791421

Por lo tanto, a largo plazo se espera que el buffer esté a un poco más de la mitad de su capacidad.

Ejemplo 2.11 Consideramos el proceso de Planificación de mano de obra, donde suponemos que la empresa tiene 70 empleados cuyo nivel no cambia a lo largo del tiempo. Supongamos que los gastos de nómina semanales por persona son de 400 dólares para el grado 1, 600 dólares para el grado 2, 800 dólares para grado 3, y $1000 para el grado 4. Estamos interesados en calcular los gastos semanales promedio por empleado.

Aplicando el resultado en la Definición 2.26, comprobemos que el proceso es irreducible y procedamos a aplicar la fórmula correspondiente, si es el caso.

# ¿el proceso es irreducible?
summary(planificacion)
## planificacion  Markov chain that is composed by: 
## Closed classes: 
## 1 2 3 4 
## Recurrent classes: 
## {1,2,3,4}
## Transient classes: 
## NONE 
## The Markov chain is irreducible 
## The absorbing states are: NONE
# Vector de costes
costes <- c(400, 600, 800, 1000)
# distribución estado estacionario
distribucion <- steadyStates(planificacion)
# gastos esperados por semana
cat("\n Gastos semanales:",sum(distribucion*costes))
## 
##  Gastos semanales: 618.1818

Por tanto, los gastos semanales promedio por trabajador son de 618.20 dólares, lo que multiplicado por el número de empleados (70) supone 4.3274^{4} dólares.