3.4 残差の性質

ここでは残差の性質について見ていく． まず残差ベクトルを$\mathbb e$，目的変数ベクトルを$\mathbb y$，目的変数の推定値のベクトルを$\hat{\mathbb y}$とする

$$\begin{align} \mathbb y &= (y_1, y_2, \ldots, y_n)^\top \\ \mathbb x &= (x_1, x_2, \ldots, x_n)^\top \\ \hat{\mathbb y} &= (\hat y_1, \hat y_2, \ldots, \hat y_n)^\top \\ \mathbb e &= (e_1, e_2, \ldots, e_n)^\top \end{align}$$

このとき残差を$e_i = y_i - \hat y_i$とする．

Theorem 3.1 (残差の性質) そして，残差は次の性質を持つ．

1. $\mathbb e$の平均が$0$
2. $\mathbb e$と$\mathbb x$の共分散が$0$
3. $\mathbb e$と$\hat{\mathbb y}$の共分散が$0$

Proof (残差の性質).

• $\rm E[\mathbb e] = 0$

まず$\frac{s_{xy}}{s_{xx}} = \frac{\sum(x_i - \bar x)(y_i - \bar y)}{\sum (x_i - \bar x)^2}$と表し直しておいて，

$$\begin{align} \frac{1}{n} \sum_{i=1}^{n} e_i &= \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat y_i) \\ &= \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat \beta_0 - \hat \beta_1 x_i) \\ &= \frac{1}{n} \sum_{i=1}^{n} \left(y_i - \bar y + \hat \beta_1 \bar x - \frac{\sum_{j=1}^{n}(x_j - \bar x)(y_j - \bar y)}{\sum_{j=1}^{n} (x_j - \bar x)^2} x_i \right) \\ &= \frac{1}{n} \sum_{i=1}^{n} \left(y_i - \bar y + \frac{\sum_{j=1}^{n}(x_j - \bar x)(y_j - \bar y)}{\sum_{j=1}^{n} (x_j - \bar x)^2} \bar x - \frac{\sum_{j=1}^{n}(x_j - \bar x)(y_j - \bar y)}{\sum_{j=1}^{n} (x_j - \bar x)^2} x_i \right) \\ &= \frac{1}{n} \sum_{i=1}^{n} \left( y_i - \bar y + \frac{s_{xy}}{s_{xx}} \bar x - \frac{s_{xy}}{s_{xx}} x_i \right) \\ &= \bar y - \bar y + \frac{s_{xy}}{s_{xx}}(\bar x - \bar x) \\ &= 0 \end{align} \tag{3.11}$$

となる．

• $\rm Cov(\mathbb e, \mathbb x) = 0$

まず二つの$n$次元ベクトル$\mathbb a,\mathbb b$の共分散とは$\frac1n \sum_{i=1}^{n}(a_i - \bar a)(b_i - \bar b)$であるので$\mathbb x, \mathbb e$の共分散は$\frac1n \sum_{i=1}^{n}(x_i - \bar x)(e_i - \bar e)$を計算すればよい．ただし$\bar e = 0$であることに注意．また(3.6)の2つ目の条件は$\sum_{i=1}^{n} \left[ y_i - (\beta_0 + \beta_1 x_i) \right]x_i = 0 \Rightarrow \sum_{i=1}^{n}e_i x_i = 0$とみなせることから，最小二乗法においては

$$\begin{align} \frac1n \sum_{i=1}^{n}(x_i - \bar x)(e_i - \bar e) &= \frac1n \sum_{i=1}^{n} \left(x_i e_i - \bar x e_i \right) \\ &= 0 \end{align}$$

が成り立つ．

• $\rm Cov(\mathbb e, \hat{\mathbb y}) = 0$

上記と同様に$e_i$と$\hat y_i$の共分散は$1/n\sum (e_i - \bar e)(\hat y_i - \bar{\hat y})$を計算すればよい．実際は先ほど確かめた$\bar e = 0$であることに注意して

$$\begin{align} \frac{1}{n}\sum_{i=1}^{n}(e_i - \bar e)(\hat y_i - \bar{\hat y_i}) &= \frac1n \sum_{i=1}^{n}e_i(\hat y_i - \bar{\hat y_i}) \\ &= \text{中略} \\ &= \frac{s_{xy}}{s_{xx}}(s_{xy} - s_{xy}) = 0 \end{align}$$

となる．