3.4 残差の性質
ここでは残差の性質について見ていく. まず残差ベクトルをe,目的変数ベクトルをy,目的変数の推定値のベクトルをˆyとする
y=(y1,y2,…,yn)⊤x=(x1,x2,…,xn)⊤ˆy=(ˆy1,ˆy2,…,ˆyn)⊤e=(e1,e2,…,en)⊤
このとき残差をei=yi−ˆyiとする.
Theorem 3.1 (残差の性質) そして,残差は次の性質を持つ.
- eの平均が0
- eとxの共分散が0
- eとˆyの共分散が0
Proof (残差の性質).
- E[e]=0
まずsxysxx=∑(xi−ˉx)(yi−ˉy)∑(xi−ˉx)2と表し直しておいて,
1nn∑i=1ei=1nn∑i=1(yi−ˆyi)=1nn∑i=1(yi−ˆβ0−ˆβ1xi)=1nn∑i=1(yi−ˉy+ˆβ1ˉx−∑nj=1(xj−ˉx)(yj−ˉy)∑nj=1(xj−ˉx)2xi)=1nn∑i=1(yi−ˉy+∑nj=1(xj−ˉx)(yj−ˉy)∑nj=1(xj−ˉx)2ˉx−∑nj=1(xj−ˉx)(yj−ˉy)∑nj=1(xj−ˉx)2xi)=1nn∑i=1(yi−ˉy+sxysxxˉx−sxysxxxi)=ˉy−ˉy+sxysxx(ˉx−ˉx)=0
となる.
- Cov(e,x)=0
まず二つのn次元ベクトルa,bの共分散とは1n∑ni=1(ai−ˉa)(bi−ˉb)であるのでx,eの共分散は1n∑ni=1(xi−ˉx)(ei−ˉe)を計算すればよい.ただしˉe=0であることに注意.また(3.6)の2つ目の条件は∑ni=1[yi−(β0+β1xi)]xi=0⇒∑ni=1eixi=0とみなせることから,最小二乗法においては
1nn∑i=1(xi−ˉx)(ei−ˉe)=1nn∑i=1(xiei−ˉxei)=0
が成り立つ.
- Cov(e,ˆy)=0
上記と同様にeiとˆyiの共分散は1/n∑(ei−ˉe)(ˆyi−ˉˆy)を計算すればよい.実際は先ほど確かめたˉe=0であることに注意して
1nn∑i=1(ei−ˉe)(ˆyi−¯ˆyi)=1nn∑i=1ei(ˆyi−¯ˆyi)=中略=sxysxx(sxy−sxy)=0
となる.