Rozdział 4 Procesy stochastyczne, modelowanie szeregów czasowych

4.1 Procesy stacjonarne

4.1.1 Stacjonarność kowariancyjna

Proces stochastyczny jest stacjonarny w sensie szerokim (jest stacjonarny kowariancyjnie), gdy dwa wektory zmiennych losowych pochodzących z tego procesu $\left(Y_t, Y_{t+1}, ... Y_{t+r}\right)$ i $\left(Y_{t+s}, Y_{t+s+1}, ... Y_{t+s+r}\right)$ mają takie same średnie, wariancje i kowariancje dla dowolnych wartości $t$, $r$ i $s$.

Mówiąc intuicyjnie: proces stochastyczny jest stacjonarny, gdy niezależnie od okna czasowego mamy takie same średnie, wariancje i autokorelacje.

W stacjonarnym procesie brak trendu i brak sezonowości.

4.1.2 Stacjonarność ścisła

Proces stochastyczny jest stacjonarny w sensie ścisłym, gdy dwa wektory zmiennych losowych $\left(Y_t, Y_{t+1}, ... Y_{t+r}\right)$ i $\left(Y_{t+s}, Y_{t+s+1}, ... Y_{t+s+r}\right)$ mają taki sam rozkład dla dowolnych wartości $t$, $r$ i $s$.

Używa się też określenia stacjonarność silna.

W porównaniu ze stacjonarnością szeroką, wymagane są nie tylko takie same średnie, wariancje i autokorelacje, ale wszystkie inne charakterystyki, np. momenty wyższych rzędów, asymetria, kurtoza, itp.

4.1.3 Przykład procesu stacjonarnego

Przykładem procesu stacjonarnego, w którym występuje autokorelacja, jest następujący proces:

$$y_t = \alpha + \phi y_{t-1} + \varepsilon_t; \:\:\: 0 < \phi < 1;\:\:\: \varepsilon_t \sim \mathcal{N}\left(0, \sigma_\varepsilon^2\right) \tag{4.1}$$

Średnia w tym procesie to $\alpha/(1-\phi)$, wariancja to $\sigma_\varepsilon^2/(1-\phi^2)$, a autokorelacja rzędu k to $\phi^k$.

Symulacja:

# pojedynczy szereg
T  <- 100
alpha <- 2
phi <- 0.8
sigma_eps <- 0.5
yt <- numeric(T)
yt[1] <- alpha/(1-phi)
for (t in 2:T) {
  yt[t] <- alpha + phi*yt[t-1] + rnorm(1, 0, sigma_eps) 
}
plot(yt, type="l")

# wiele szeregów plus wykresy pudełkowe
nsim <- 1e3
w <- replicate(nsim,{ 
  yt <- numeric(T)
  yt[1] <- alpha/(1-phi) + rnorm(1, 0, 1) * sigma_eps/sqrt(1-.8^2)
  for (t in 2:T) {
    yt[t] <- alpha + phi*yt[t-1] + rnorm(1, 0, .5)
  }
  yt}
)
boxplot(t(w), pch='.')

4.1.4 Biały szum

Białym szumem najczęściej określa się proces stacjonarny, w którym średnia wynosi zero, wariancja jest stała, a zmienne $Y_s$ i $Y_t$ są niezależne dla wszystkich $s \ne t$.

4.1.5 Ścisły biały szum

Ścisły biały szum to biały szum, w którym rozkład zmiennych $Y_t$ jest normalny (jest rozkładem Gaussa):

$$y_t = \varepsilon_t; \:\:\: \varepsilon_t \sim \:\text{i.i.d.}\:\mathcal{N}\left(0, \sigma_\varepsilon^2\right) \tag{4.2}$$

# pojedynczy szereg
sigma_eps <- 0.02
T <- 100
yt <- rnorm(T, 0, sigma_eps)
plot(yt, type="l")

# wiele szeregów plus wykresy pudełkowe
nsim <- 1e3
w <- replicate(nsim,{ 
  yt <- rnorm(T, 0, sigma_eps)
  yt}
)
boxplot(t(w), pch='.')

4.1.6 Przesunięty biały szum

Przesunięty biały szum (czasem, niekoniecznie poprawnie: „białym szumem z dryftem”) to proces stacjonarny, bez autokorelacji ze średnią inną niż zero.

Przykład przesuniętego białego szumu:

$$y_t = \alpha + \varepsilon_t; \:\:\: \varepsilon_t \sim \mathcal{N}\left(0, \sigma_\varepsilon^2\right) \tag{4.3}$$

4.2 Proces błądzenia losowego

Błądzeniem losowym (ang. random walk) nazywa się proces, w którym przyrosty są białym szumem lub przesuniętym białym szumem (w tym drugim przypadku mówimy o błądzeniu losowym z dryftem).

Przykład błądzenia losowego:

$$y_t = y_{t-1} + \varepsilon_t; \:\:\: \varepsilon_t \sim \mathcal{N}\left(0, \sigma_\varepsilon^2\right) \tag{4.4}$$

Przykład błądzenia losowego z dryftem:

$$y_t = \alpha + y_{t-1} + \varepsilon_t; \:\:\: \varepsilon_t \sim \mathcal{N}\left(0, \sigma_\varepsilon^2\right) \tag{4.5}$$

Symulacja:

# pojedynczy szereg
T  <- 100
alpha <- 0.1
phi <- 1
sigma_eps <- 0.5
yt <- numeric(T)
yt[1] <- 0 
for (t in 2:T) {
  yt[t] <- alpha + phi*yt[t-1] + rnorm(1, 0, sigma_eps)
}
plot(yt, type="l")

# wiele szeregów i wykresy pudełkowe
nsim <- 1e3
w <- replicate(nsim,{ 
  yt <- numeric(T)
  yt[1] <- 0 
  for (t in 2:T) {
    yt[t] <- alpha + phi*yt[t-1] + rnorm(1, 0, sigma_eps)
  }
  yt}
)
boxplot(t(w), pch='.')

4.3 Procesy zintegrowane, procesy z pierwiastkiem jednostkowym

Proces zintegrowany (stopnia 1, I(1)) to taki proces, który po jednokrotnym różnicowaniu (obliczeniu różnic i stworzeniu w ten sposób procesu pochodnego) staje się stacjonarny. Ponieważ przyrosty w takim procesie są stacjonarne, proces taki nazywa się też przyrostostacjonarnym (ang. difference stationary).

Proces zintegrowany stopnia k (I(k)) wymaga k-krotnego różnicowania, żeby stać się stacjonarnym.

Proces stochastyczny z pierwiastkiem jednostkowym to proces, dla którego przynajmniej jeden z pierwiastków w wielomianie charakterystycznym jego modelu autoregresyjnego (AR) wynosi 1.

Pojęcia procesu z pierwiastkiem jednostkowym i procesu zintegrowanego są pokrewne, ale nie tożsame. Na przykład proces z pierwiastkiem jednostkowym po różnicowaniu może być niestacjonarny ze względu na heteroskedastyczność.

Proces błądzenia losowego jest procesem zintegrowanym I(1) i ma pojedynczy pierwiastek jednostkowy.

Inne przykłady procesów z pierwiastkiem jednostkowym:

$$y_t = y_{t-1} - 0{,}2y_{t-2} + \varepsilon_t \tag{4.6}$$

$$y_t = 1{,}5y_{t-1} - 0{,}5y_{t-2} + \varepsilon_t \tag{4.7}$$

$$y_t = 2y_{t-1} - y_{t-2} + \varepsilon_t \tag{4.8}$$

Pierwsze dwa procesy mają pojedynczy pierwiastek jednostkowy, trzeci z nich ma podwójny pierwiastek jednostkowy.

Symulacja:

# pojedynczy szereg
T  <- 100
phi1 <- 2
phi2 <- -1
sigma_eps <- 0.5
yt <- numeric(T)
yt[1] <- 0
yt[2] <- 0
for (t in 3:T) {
  yt[t] <- alpha + phi1*yt[t-1]  + phi2*yt[t-2] + rnorm(1, 0, sigma_eps)
}
plot(yt, type="l")

# wiele szeregów i wykresy pudełkowe
nsim <- 1e3
w <- replicate(nsim,{ 
  yt <- numeric(T)
  yt[1] <- 0
  yt[2] <- 0
  for (t in 3:T) {
    yt[t] <- alpha + phi1*yt[t-1]  + phi2*yt[t-2]  + rnorm(1, 0, sigma_eps)
  }
  yt}
)
boxplot(t(w), pch='.')

4.4 Proces z trendem deterministycznym

Proces z trendem deterministycznym to taki proces, którego wzór zawiera komponent będący funkcją czasu, czyli np.:

$$y_t = f(t) + ... + \varepsilon_t$$

Proces, który po eliminacji trendu jest stacjonarny nazywany jest procesem trendostacjonarnym (ang. trend stationary).