3.4 残差の性質

ここでは残差の性質について見ていく. まず残差ベクトルをe,目的変数ベクトルをy,目的変数の推定値のベクトルをˆyとする

y=(y1,y2,,yn)x=(x1,x2,,xn)ˆy=(ˆy1,ˆy2,,ˆyn)e=(e1,e2,,en)

このとき残差をei=yiˆyiとする.

Theorem 3.1 (残差の性質) そして,残差は次の性質を持つ.

  1. eの平均が0
  2. exの共分散が0
  3. eˆyの共分散が0

Proof (残差の性質).

  • E[e]=0

まずsxysxx=(xiˉx)(yiˉy)(xiˉx)2と表し直しておいて,

1nni=1ei=1nni=1(yiˆyi)=1nni=1(yiˆβ0ˆβ1xi)=1nni=1(yiˉy+ˆβ1ˉxnj=1(xjˉx)(yjˉy)nj=1(xjˉx)2xi)=1nni=1(yiˉy+nj=1(xjˉx)(yjˉy)nj=1(xjˉx)2ˉxnj=1(xjˉx)(yjˉy)nj=1(xjˉx)2xi)=1nni=1(yiˉy+sxysxxˉxsxysxxxi)=ˉyˉy+sxysxx(ˉxˉx)=0

となる.

  • Cov(e,x)=0

まず二つのn次元ベクトルa,bの共分散とは1nni=1(aiˉa)(biˉb)であるのでx,eの共分散は1nni=1(xiˉx)(eiˉe)を計算すればよい.ただしˉe=0であることに注意.また(3.6)の2つ目の条件はni=1[yi(β0+β1xi)]xi=0ni=1eixi=0とみなせることから,最小二乗法においては

1nni=1(xiˉx)(eiˉe)=1nni=1(xieiˉxei)=0

が成り立つ.

  • Cov(e,ˆy)=0

上記と同様にeiˆyiの共分散は1/n(eiˉe)(ˆyiˉˆy)を計算すればよい.実際は先ほど確かめたˉe=0であることに注意して

1nni=1(eiˉe)(ˆyi¯ˆyi)=1nni=1ei(ˆyi¯ˆyi)=中略=sxysxx(sxysxy)=0

となる.