3.4 残差の性質

ここでは残差の性質について見ていく． まず残差ベクトルを\(\mathbb e\)，目的変数ベクトルを\(\mathbb y\)，目的変数の推定値のベクトルを\(\hat{\mathbb y}\)とする

\[ \begin{align} \mathbb y &= (y_1, y_2, \ldots, y_n)^\top \\ \mathbb x &= (x_1, x_2, \ldots, x_n)^\top \\ \hat{\mathbb y} &= (\hat y_1, \hat y_2, \ldots, \hat y_n)^\top \\ \mathbb e &= (e_1, e_2, \ldots, e_n)^\top \end{align} \]

このとき残差を\(e_i = y_i - \hat y_i\)とする．

Theorem 3.1 (残差の性質) そして，残差は次の性質を持つ．

1. \(\mathbb e\)の平均が\(0\)
2. \(\mathbb e\)と\(\mathbb x\)の共分散が\(0\)
3. \(\mathbb e\)と\(\hat{\mathbb y}\)の共分散が\(0\)

Proof (残差の性質).

• \(\rm E[\mathbb e] = 0\)

まず\(\frac{s_{xy}}{s_{xx}} = \frac{\sum(x_i - \bar x)(y_i - \bar y)}{\sum (x_i - \bar x)^2}\)と表し直しておいて，

\[ \begin{align} \frac{1}{n} \sum_{i=1}^{n} e_i &= \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat y_i) \\ &= \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat \beta_0 - \hat \beta_1 x_i) \\ &= \frac{1}{n} \sum_{i=1}^{n} \left(y_i - \bar y + \hat \beta_1 \bar x - \frac{\sum_{j=1}^{n}(x_j - \bar x)(y_j - \bar y)}{\sum_{j=1}^{n} (x_j - \bar x)^2} x_i \right) \\ &= \frac{1}{n} \sum_{i=1}^{n} \left(y_i - \bar y + \frac{\sum_{j=1}^{n}(x_j - \bar x)(y_j - \bar y)}{\sum_{j=1}^{n} (x_j - \bar x)^2} \bar x - \frac{\sum_{j=1}^{n}(x_j - \bar x)(y_j - \bar y)}{\sum_{j=1}^{n} (x_j - \bar x)^2} x_i \right) \\ &= \frac{1}{n} \sum_{i=1}^{n} \left( y_i - \bar y + \frac{s_{xy}}{s_{xx}} \bar x - \frac{s_{xy}}{s_{xx}} x_i \right) \\ &= \bar y - \bar y + \frac{s_{xy}}{s_{xx}}(\bar x - \bar x) \\ &= 0 \end{align} \tag{3.11} \]

となる．

• \(\rm Cov(\mathbb e, \mathbb x) = 0\)

まず二つの\(n\)次元ベクトル\(\mathbb a,\mathbb b\)の共分散とは\(\frac1n \sum_{i=1}^{n}(a_i - \bar a)(b_i - \bar b)\)であるので\(\mathbb x, \mathbb e\)の共分散は\(\frac1n \sum_{i=1}^{n}(x_i - \bar x)(e_i - \bar e)\)を計算すればよい．ただし\(\bar e = 0\)であることに注意．また(3.6)の2つ目の条件は\(\sum_{i=1}^{n} \left[ y_i - (\beta_0 + \beta_1 x_i) \right]x_i = 0 \Rightarrow \sum_{i=1}^{n}e_i x_i = 0\)とみなせることから，最小二乗法においては

\[\begin{align} \frac1n \sum_{i=1}^{n}(x_i - \bar x)(e_i - \bar e) &= \frac1n \sum_{i=1}^{n} \left(x_i e_i - \bar x e_i \right) \\ &= 0 \end{align}\]

が成り立つ．

• \(\rm Cov(\mathbb e, \hat{\mathbb y}) = 0\)

上記と同様に\(e_i\)と\(\hat y_i\)の共分散は\(1/n\sum (e_i - \bar e)(\hat y_i - \bar{\hat y})\)を計算すればよい．実際は先ほど確かめた\(\bar e = 0\)であることに注意して

\[\begin{align} \frac{1}{n}\sum_{i=1}^{n}(e_i - \bar e)(\hat y_i - \bar{\hat y_i}) &= \frac1n \sum_{i=1}^{n}e_i(\hat y_i - \bar{\hat y_i}) \\ &= \text{中略} \\ &= \frac{s_{xy}}{s_{xx}}(s_{xy} - s_{xy}) = 0 \end{align}\]

となる．