2.5 対称行列の固有値と固有ベクトル

得られたデータについて平均や分散を計算することはデータサイエンスにおいては最も基本的なことである． そして，分散共分散行列はその定義から対称行列となり，さらに半正定値であることが知られている． このことから，対角化・固有値・固有ベクトルといった行列の特徴を捉える手法と相性が良い．

ここでは特に対称行列において固有値や固有ベクトルがどのような性質を持つかを議論していく．

Theorem 2.4 (対称行列の固有値・固有ベクトル) $A \in \mathbb R^{n\times n}$を考える．$A$の固有値を$\lambda_{1},\ldots,\lambda_{n}$， それぞれに対応する固有ベクトルを$\boldsymbol h_{1},\ldots,\boldsymbol h_{n}$とする．このとき，

1. $\lambda_{1},\ldots,\lambda_{n} \in \mathbb R$
2. $\boldsymbol h_{1},\ldots,\boldsymbol h_{n}$はそれぞれ互いに直行するようにとることができる．すなわち

$$\begin{align} \boldsymbol h_i^{\top} \boldsymbol h_j = \begin{cases} 1 & i = j \\ 0 & i \neq j \end{cases} \end{align}$$

とできる．

次の行列を固有値と固有ベクトルを求めよ

$$\begin{align} A = \begin{pmatrix} 4 & 2 \\ 2 & 1 \end{pmatrix} \end{align}$$