3.3 最小二乗法

ここでは，回帰直線と実際のデータとの差の量である残差に注目する．ここで適当にHeightsからデータを10個取り出したデータを考え，推定値から得られる回帰直線も一緒に考える．

Figure 3.5: Heightsのデータから10個だけ抜き取った

いま推定値をそれぞれ\(\hat \beta_0, \hat \beta_1\)として回帰直線で得られる\(y_i\)の推定値を

\[ \begin{align} \hat y_i = \hat \beta_0 + \hat \beta_1 x_i \end{align} \tag{3.2} \]

とする．そしてこの推定値と実際のデータとの差を

\[ \begin{align} e_i = \hat y_i - y_i \end{align} \tag{3.3} \]

と定義しこれを残差（residuals）と呼ぶ．先ほどのFig 3.5において，実際のデータ点（黒丸）と回帰直線（オレンジの線） の差なのでグラフでみると次のようになる．

Figure 3.6: \(\hat y_i\)と\(y\)のそれぞれの差

最小二乗法ではこの\(e_i\)に着目し\(\sum_{i=1}^{n} e_i^2\)をできるだけ小さくするようにパラメータ\(\beta_0, \beta_1\)を選ぶ．これを数式で以下のように表現する．

\[ \begin{align} \hat \beta_0, \hat \beta_1 = \mathop{\rm arg~min}\limits_{\beta_0, \beta_1 \in \mathbb R} \sum_{i=1}^{n} e_i^2 \end{align} \tag{3.4} \]

実際に最小二乗法によってパラメータの推定値がどのように表されるのか確認していく． (3.4)式を満たすパラメーター\(\hat \beta_0, \hat \beta_1\)を求めたいので，これらの関数である\(L(\beta_0, \beta_1)\)を次のように考える．

\[ \begin{align} L(\beta_0, \beta_1) &= \sum_{i=1}^{n} e_i^2 \\ &= \sum \left (y_i - \hat y_i \right)^2 \\ &= \sum \left[ y_i - \left(\hat \beta_0 + \hat \beta_1 x_i \right) \right]^2 \end{align} \tag{3.5} \]

具体的には\(L(\beta_0, \beta_1)\)をそれぞれの変数で微分し\(0\)となる点を考える．ここで\(L\)については微分した値が\(0\)になる点が最小になることが\(L\)の関数形からわかる．

すなわち

\[\begin{align} \begin{matrix} \begin{cases} \frac{\partial}{\partial \beta_0} L(\beta_0, \beta_1) \\ \frac{\partial}{\partial \beta_1} L(\beta_0, \beta_1) \end{cases} & \Leftrightarrow & \begin{cases} \sum_{i=1}^{n} \left[ y_i - (\beta_0 + \beta_1 x_i) \right] = 0 \\ \sum_{i=1}^{n} \left[ y_i - (\beta_0 + \beta_1 x_i) \right]x_i = 0 \end{cases} \end{matrix} \tag{3.6} \end{align}\]

を解けば良い．

3.3.1 \(\hat \beta_0\)の推定

\(\hat \beta_0\)については，

\[ \begin{align} \sum_{i=1}^{n} \left[ y_i - (\beta_0 + \beta_1 x_i) \right] &= \sum y_i - n\beta_0 + \beta_1 \sum x_i \\ &= n \bar y - n \beta_0 - \beta_1 n \bar x \\ &= 0 \end{align} \]

より

\[ \begin{align} \hat \beta_0 = \bar y - \hat \beta_1 \bar x \end{align} \tag{3.7} \] を得る．ここで\(\bar x,\bar y\)はそれぞれ\(x_i, y_i\)の平均で\(\bar x = 1/n \sum x_i, \bar y = 1/n \sum y_i\)とした．これをそれぞれ式変形すれば

\[ \begin{align} \sum x_i = n \bar x \\ \sum y_i = n \bar y \end{align} \]

を得る．

3.3.2 \(\hat \beta_1\)の推定

次に\(\hat \beta_1\)については，

\[ \begin{align} \sum_{i=1}^{n} \left[ y_i - (\beta_0 + \beta_1 x_i) \right]x_i &= \sum y_i x_i - \beta_0 \sum x_i - \beta_1 \sum x_i^2 \\ \end{align} \]

とし，ここで(3.7)式を代入すると

\[ \begin{align} \sum y_i & x_i - (\bar y - \hat \beta_1 \bar x) \sum x_i - \hat \beta_1 \sum x_i^2 \\ &= \hat \beta_1 \left(\bar x \sum x_i - \sum x_i^2 \right) + \sum y_i x_i - \bar y \sum x_i \end{align} \]

というように変形できる．さらに

\[ \begin{align} &\sum (x_i - \bar x)^2 = \sum x_i^2 - \bar x \sum x_i \\ &\sum (x_i - \bar x) (y_i - \bar y) = \sum x_i y_i - \bar y \sum x_i \end{align} \tag{3.8} \]

であることに注意すると

\[ \begin{align} \hat \beta_1 = \frac{\sum(x_i - \bar x)(y_i - \bar y)}{\sum (x_i - \bar x)^2} \end{align} \tag{3.9} \] となる．まとめると(3.4)式を満たすパラメーターの推定値は

\[ \begin{align} \hat \beta_0 &= \bar y - \hat \beta_1 \bar x \\ \hat \beta_1 &= \frac{\sum(x_i - \bar x)(y_i - \bar y)}{\sum (x_i - \bar x)^2} \end{align} \tag{3.10} \]

と解析的に求めることができる．