2.7 射影

統計学における射影とは，線形変換の特別な場合を指す．これは例えば光によって影が地面にできるようなものと捉えることもできる．現実の３次元的な空間にある物体が，地面という２次元的な空間に写されたものが影であるというイメージである．

まず射影を紹介する前に，直和に関する概念を導入する．

Definition 2.12 (直和分解・直交直和分解・直交補空間) $V$ を $\mathbb R^{n}$ の部分ベクトル空間として， $V$ の部分ベクトル空間 $W_1, W_2$ との直和の意味で $V = W_1, W_2$ と表せるとする．

このとき， $V$ と $W_1$ と $W_2$ に分解することを直和分解という．すると ${}^{\forall}\boldsymbol v \in V$ に対して ${}^{\exists}\boldsymbol w_1 \in W_1, \boldsymbol w_2 \in W_2$ が存在して一意に定まる．

さらに，もし ${}^{\forall}\boldsymbol w_1 \in W_1, \boldsymbol w_2 \in W_2$ について， $\boldsymbol w_1^{\top} \boldsymbol w_2 = 0$ が成り立つならば， $W_1, W_2$ を $V$ の直交直和分解と呼び

$\begin{align} V = W_1 \oplus W_2 \end{align}$

と表す．また，このような $W_1, W_2$ は一方から見て他方を直交補空間と呼ぶ．例えば「 $W_2$ は $W_1$ の直交補空間である」などという．

直和の記号 $\oplus$ はあまり見慣れないと思うが分からなくなった際は講義資料の記号一覧を参照してほしい．

2.7.1 射影と直交射影

次に射影の定義を与える．

Definition 2.13 (射影) ベクトル空間 $V$ に対してその直和分解 $V=W_1+W_2$ を与える部分ベクトル空間 $W_1, W_2$ を考える．この時，

$\begin{align} f_{W_1}:V \longrightarrow W_1, \hspace{5mm} f_{W_2} = V \longrightarrow W_2 \end{align}$

という２つの写像 $f_{W_1}, f_{W_2}$ をそれぞれ $V$ からの射影という．

このとき， ${}^{\forall}\boldsymbol x \in V$ について，ある $\boldsymbol w_1 \in W_1, \boldsymbol w_2 \in W_2$ が存在して， $\boldsymbol x = \boldsymbol w_1 + \boldsymbol w_2$ と一意に分解することができて，さらに $f_{W_1}(\boldsymbol x) = \boldsymbol w_1, f_{W_2}(\boldsymbol x) = \boldsymbol w_2$ が成り立つ．

ここで定義された射影はより一般的な概念となっている．特に統計学や機械学習と関係性が深いものとし，射影の特別な場合である直交射影が挙げられる．

Definition 2.14 (直交射影) ベクトル空間 $V$ とその直交直和分解 $V=W_1 \oplus W_2$ を考える．この時，

$\begin{align} f_{W_1}:V \longrightarrow W_1, \hspace{5mm} f_{W_2} = V \longrightarrow W_2 \end{align}$

をそれぞれ， $V$ から $W_1$ または $W_2$ への直交射影という．

つまり，直交射影とは射影を構成する直和分解が直交直和分解となっている特別な場合とみなせる．

Theorem 2.10 (直交射影と正規直交基底) ベクトル空間 $V$ として，その直和分解 $V = W_1 \oplus W_2$ を考える． $W_1$ の正規直交基底として $\{ 1_{m},\ldots,1_{\boldsymbol v} \}$ とするとき， ${}^{\forall}\boldsymbol x \in V$ の $W_1$ への直交射影 $P_{W_1}(\boldsymbol x)$ は

$\begin{align} P_{W_1}(\boldsymbol x) = \sum_{i=1}{m}\boldsymbol v_i (\boldsymbol v_i^{\top}\boldsymbol x) \end{align}$

で与えられる．これは

$\begin{align} P_{W_1}(\boldsymbol x) = V_{W_1}V_{W_1}^{\top} \boldsymbol x \end{align}$

とも表現できる．ただし， $V = \{ 1_{m},\ldots,1_{\boldsymbol v} \}$ である．

$A = V_{W_1}V_{W_1}^{\top}$ とすれば， $A$ は $\boldsymbol x$ を $W_1$ へ写す線形写像であるので，直交射影も線形写像の一つであることがわかる．

直交射影の大切な性質として，

$\| \boldsymbol x - f(\boldsymbol x) \|^2, \hspace{5mm} \boldsymbol x \in V, f(\boldsymbol x) \in W_1$ を最小にする $f$ を構成することが知られている．これは最良近似性と呼ばれる．

2.7.2 射影行列

先ほど紹介したような行列 $A = V_{W_1}^{\top}V_{W_1}$ を冪（べき）乗を考えてみると， $AA = V_{W_1}^{\top}V_{W_1} V_{W_1}^{\top}V_{W_1} = V_{W_1}^{\top} I V_{W_1} = A$ となり， $A$ に $A$ を何度かけても $A$ になるという性質を持つことがわかる．この性質によって行列を特徴づけたものを射影行列と呼ぶ．

Definition 2.15 (射影行列) $A \in \mathbb R^{n}$ について $A^2 = AA = A$ が成り立つならば $A$ は射影行列であるという．

特に直交射影に対応するような射影行列を直交射影行列と呼ぶこともある．

Theorem 2.11 (ベクトル空間の基底による射影行列) $n$ 次元のベクトル空間 $\mathbb R^{n}$ の直交直和分解 $W_1 \oplus W_2$ を考える． $W_1, W_2$ それぞれの基底を $\{ \boldsymbol w_{1},\ldots,\boldsymbol w_{m} \}$ ， $\{ \boldsymbol w_{m+1},\ldots,\boldsymbol w_{n} \}$ としておく．このときそれぞれの基底から構成される行列 $A=(\boldsymbol w_{1},\ldots,\boldsymbol w_{m}), B = (\boldsymbol w_{m+1},\ldots,\boldsymbol w_{n})$ とする．

このとき， $\mathbb R^{r}$ から $W_1, W_2$ それぞれの直交射影行列 $P_{W_1}, P_{W_2}$ は

$\begin{align} P_{W_1} &= A(A^{\top}A)^{-1}A^{\top} \\ P_{W_2} &= B(B^{\top}B)^{-1}B^{\top} = I_n - A(A^{\top}A)^{-1}A^{\top} \end{align}$

で与えられる．

Theorem 2.12 (射影行列の性質) いま， $\mathbb R^{n} = W_1 \oplus W_2$ とする． $W_1,W_2$ をそれぞれ $m$ 次元， $n-m$ 次元の空間として， $\mathbb R^{n}$ からの射影行列を $P_{W_1}, P_{W_2}$ とする．このとき以下が成り立つ．

$P_{W_i} = P_{W_i}^{\top}, i=1,2$
$P_{W_i}, i=1,2$ は冪等行列である．
$\text{tr }P_{W_1} = m, \text{tr }P_{W_2} = n-m$

Exercise 2.6 (射影行列の性質) $P_{W_1}, P_{W2}$ がそれぞれべき等行列であることを確かめよ．ここでべき等行列とはある $n$ 次正方行列 $A$ に対して $A^2 = A$ が成り立つことである．