1.20 ベクトルと行列のノルム

ベクトルや行列のノルムとはある意味でそれぞれの大きさを評価する際に用いられる． いくつか種類があり一般的に使われることの多いものを紹介する．

1.20.1 $L_2$ノルム

まず$L_2$ノルムを紹介する．これを単にノルムと呼ぶ場合もある．

Definition 1.8 (ベクトルのL2ノルム) $\boldsymbol a \in \mathbb R^{n}$として，$\boldsymbol a^{\top} \boldsymbol a$の平方根を$\boldsymbol a$のノルムまたは$L_2$ノルムという． 明らかに$\| \boldsymbol a \| \geq 0$が成り立つ．

次に定義から導かれるいくつかの性質について述べる．

Theorem 1.2 (ベクトルのL2ノルムの性質) いま，${}^{\forall} \boldsymbol a, \boldsymbol b \in \mathbb R^{n}$とする．この時以下が成り立つ．

1. $\| \boldsymbol a \| = 0 \Leftrightarrow \boldsymbol a = \boldsymbol 0$
2. ${}^{\forall} c \in \mathbb R$に対して，$\| c \boldsymbol a\| = |c| \| \boldsymbol a \|$
3. $\boldsymbol a^{\top} \boldsymbol b \leq \| \boldsymbol a \| \| \boldsymbol b \|$
4. $\| \boldsymbol a + \boldsymbol b \| \leq \| \boldsymbol a \| + \| \boldsymbol b \|$

ベクトルの内積には以下のような関係が成り立つことが知られている（三角形の余弦定理から導かれる）．

$$\boldsymbol x^{\top} \boldsymbol y = \| \boldsymbol x \| \| \boldsymbol y \| \cos \theta$$

ここで$\theta$はベクトルの成す角に対応している．この式から分かる通り，$\boldsymbol a, \boldsymbol b \neq \boldsymbol 0$であれば内積が$0$になるのは$\cos \theta = 0$の時であり，これはベクトルが直角に交わる時である．

1.20.2 行列のフロベニウスノルム

ベクトルと同様，行列に対しても大きさを評価するためのノルムを定義できる． ここではその一つであるフロベニウスノルムを紹介する．

Definition 1.9 (フロベニウスノルム) いま，$A \in \mathbb R^{n\times m}$として，

$$\begin{align} \|A\| = \sqrt{\sum_{i=1}^{n} \sum_{j=1}^{m} a_{ij}^2} \end{align}$$

を行列$A$のフロベニウスノルムという．単にノルムということもある．

1.20.3 行列のトレース

正方行列の対角成分のみに注目した量としてトレースがある．これは，$B \in \mathbb R^{n\times n}$に対して

$${\rm tr} B = \sum_{i=1}^{n} b_{ii}$$ と定義される．

フロベニウスノルムとトレースの間には以下の関係が成り立つ．

$$\| A \|^2 = {\rm tr} A^{\top} A$$ $A^{\top} A$の$(j, j)$成分は$A$の$j$列ベクトルのノルムの二乗となっていおり，フロベニウスノルムの定義と照らし合わせればこれが成り立つことは明らかである．

Theorem 1.3 (フロベニウスノルムの性質) $L_2$ノルムと同様にフロベニウスノルムについて以下の性質が成り立つ． $A \in \mathbb R^{n\times m}, \boldsymbol x \in \mathbb R^{m},c \in \mathbb R$として

1. $\| A \| = 0 \Leftrightarrow a_{ij} = 0 (i=1,\ldots,n, j=1,\ldots,m)$
2. $\| cA \| = |c| \|A\|$
3. $\|A \boldsymbol x\| = \|A\| \| \boldsymbol x \|$
4. $A, B \in \mathbb R^{n\times n}$に対して，$\| AB \| = \|A\|\|B\|$が成り立つ．