4 確率の概念
本章では，確率について議論を進めていく．まず中学・高校の範囲でも扱っている 順列と組み合わせについて確認し，その後集合と確率について議論を進める． また，条件付き確率やベイズの定理についても見ていく．
4.1 順列と組み合わせ
4.1.1 順列
異なる\(n\)個のものを右から全てを一列に一つずつ並べていくとして，その並び方は何通りあるだろうか． この場合は，最初の一つは\(n\)通り，次の一つは\(n-1\)通り，と続いていく．このようにある整数\(n\) について，\(n \times (n-1) \times \cdots \times 2 \times 1\)とししたものが，並べ方の場合の数となる． これを順列と呼ぶ．また，この計算のことを\(n!\)と表し\(n\)の階乗と呼ぶ．
\[\begin{align} n! = \prod_{k=1}^{n} k = n \times (n-1) \times \cdots \times 2 \times 1 \end{align}\]
次に，\(n\)個のうち\(r > 0\)個を右から一列に並べていくことを考えよう．明らかに，計算上は\(n \times (n-1) \times \cdots \times (n-r+2) \times (n-r+1)\)とすれば良い．これを\(_n P_r\)と表す． これは，\(n!\)を\((n-r)!\)で割ったものとして表すこともできるので
\[\begin{align} _n P_r = \frac{n!}{(n-r)!} \end{align}\]
と表現されることが多い．
次に\(n\)個のうち，同じものがいくつかあった場合を考える．例えば赤玉が\(n_{\text{red}}\)，白玉が\(n_{\text{white}}\)とする．これらを全て並べた時の場合の数はどうなるだろうか．この場合は，一度全てを異なるものとみなしておいて，その後で同じものの並び順を考慮するのが良い．
全てを異なると見なす場合，明らかに\(n = n_{\text{red}} n_{\text{white}}\)の順列\(n!\)である． しかし，実際には赤玉，白玉は同じものであるので，同じ並べ方を重複して数え上げていることになる． 同じ色だけに着目した時，その並べ方はそれぞれ\(n_{\text{red}}!, n_{\text{white}}!\)通りあるので， これだけ重複して数え上げていることがわかる．すなわち，この場合は
\[\begin{align} \frac{n!}{n_{\text{red}}!n_{\text{white}}!} \end{align}\]
と計算すれば良いことがわかる．さらに一般化すれば，\(k\)種類のものがそれぞれ\(n_k\)個ずつある場合， 全てを一列に並べる時の場合の数は
\[\begin{align} \frac{n!}{\prod_{i=1}^{k} n_i!} \end{align}\]
と計算することができる．
4.1.2 組み合わせ
次に組み合わせの数について考える．\(n\)個の異なるものから\(r\)個選ぶ時， その場合の数は幾つになるだろうか．これを表す記号として\(_n C_r\)や\(\displaystyle \binom{n}{r}\)が用いられる．
ここまでに見てきた順列\(_n P_r\)は，
- \(n\)個のものから\(r\)個のものを取り出す
- 取り出した\(r\)個のものを全て並べる
という２段階の行為として分解できる．それぞれ\(_n C_r\)通り，\(r!\)通りあることを考えると，
\[\begin{align} _n P_r = _n C_r \times r! \Longleftrightarrow _n C_r = \frac{_n P_r}{r!} = \frac{n!}{(n-r)! r!} \end{align}\]
とできる．これが組み合わせの場合の数を求める公式である．
Exercise 4.1 (誕生日問題)
- A~Fまでの数字が書かれたカードが1枚ずつある．このとき，この6枚を一列に並べる時の並べ方の総数はいくつか．
- ある箱に赤玉が6個，白玉が5個，黒玉が8個あるとする．このとき，全てを一つずつ取り出して一列並べたとき，その並べ方の総数はいくつか．
- 25人のクラスで，誕生日が全員異なる場合の数と全ての場合の数を求めて， その割合を求めよ．このとき簡単のため閏年は無視する． また計算にはRを用いて良い．
4.2 集合と確率
集合については第1回の講義で簡単に触れた． ここでは改めて集合について考えていき，その後確率を導入していく．
要素の集まりを集合と呼び，慣習的には大文字で表す．例えばある集合\(A\)を考える． ある要素\(a\)が集合\(A\)に含まれるか，または含まれないかを記号でそれぞれ
\[\begin{align} a \in A, \hspace{5mm} a \notin A \end{align}\]
と表す．また要素を一つも持たない集合を空集合と呼び\(\phi\)と表すことにする．
4.2.1 和集合と積集合
ある２つの集合\(A,B\)を考える．この２つの集合に含まれる要素全ての集合を和集合と呼び， \[\begin{align} A \cup B \end{align}\]
と表す．また，２つの集合のどちらにも含まれる要素全ての集合を積集合と呼び，
\[\begin{align} A \cap B \end{align}\]
と表す．
次に一般に\(k\)個の集合\(A_i, i=1,\ldots,k\)を考えた時，これらの和集合・積集合をそれぞれ
\[\begin{align} \bigcup_{i=1}^{k} A_i, \hspace{5mm} \bigcap_{i=1}^{k} A_i \end{align}\]
と表す．この和集合は，少なくともどれかの集合\(A_i\)には含まれる要素全ての集合であり，積集合は全ての集合\(A_i\)に含まれている要素全ての集合となる．
4.3 確率の公理
集合に対して確率を定義したい．ここでは次のように定義しよう． いま考えたい要素全体の集合を全体集合といい\(S\)とする．\(S\)に属する要素を\(e_i\)と書き， 要素は\(k\)個あるものとする(\(k=\infty\)でも構わない)．
この時，\(P(e_i)\)が一つ与えられていて，
\[\begin{align} 0 \leq P(e_i) \leq 1, i=1,2,\ldots,k \\ \sum_{i=1}^{k} P(e_i) = 1 \end{align}\]
が成り立っているとする．これは単にこのようにするという約束事であり，このような約束事を公理と呼ぶ．
いま\(A \subset S\)として，この\(A\)に対する確率を考えたい．すなわち\(P(A)\)を考えたいが，これについては
\[\begin{align} P(A) = \sum_{e_i \in A} P(e_i) \end{align}\]
と定める．これは集合に含まれる要素の確率の和であり，自然のように思える． ただし，\(A = \phi\)の場合，\(A\)には何の要素も含まれないため，
\[\begin{align} P(\phi) = 0 \end{align}\]
とする．また，明らかに
\[\begin{align} P(S) = 1 \end{align}\]
である．このように確率が定義された集合のことを，事象と呼ぶ． この時注意したいのは，確率を扱う場合には必ず確率を伴う全体集合\(S\)がセットになっているということである． これは言語化してしまえば当たり前のことであるが，例えば，サイコロの出る目（1から6）の確率を考えている場合，よくあるものでは\(P(i) = 1/6, i=1,\ldots,6\)という状況を考えており，確率の公理を満たしている． この時の全体集合は\(S=\{ 1,2,3,4,5,6 \}\)となっている．これは，もしサイコロの目が\(7\)だったら，とか サイコロを降ったら地震が起こる場合は，とか着目したいもの以外の現象が入る余地を排除しているのである． 逆に言えば，全体集合\(S\)を考える際には，着目したい現象は漏れなく考慮しておくべきなのである．
Exercise 4.3 (確率の公理) サイコロの目1,2,3,4,5,6に対して，確率の公理を満たすように確率関数を定めよ．ただし，同様に確からしい場合，つまり全て\(1/6\)となる場合は除いて構成してみよう．
4.4 和事象・積事象の確率
全体集合\(S\)，二つの事象\(A,B \subset S\)について，\(A \cup B, A \cap B\)の確率を考える． これについて以下が成り立つ．
Theorem 4.1 (和事象の確率) \[\begin{align} P(A \cup B) &= \sum_{e_i \in A \cup B} P(e_i) \\ &= \sum_{e_i \in A} P(e_i) + \sum_{e_i \in B} P(e_i) - \sum_{e_i \in A \cap B} P(e_i) \end{align}\]
明らかに，\(A \cap B = \phi\)のとき，\(P(A \cup B) = P(A) + P(B)\)が成り立つ． さらに一般化して，\(A_i \in S, i=1,\ldots,k\)かつ\(A_i \cap A_j = \phi, i \neq j\)として
\[\begin{align} P\left( \bigcup_{i=1}^{k} A_i \right) = \sum_{i=1}^{k} A_i \end{align}\]
が成り立つ．
4.5 余事象の確率
Definition 4.1 (余事象) 全体集合\(S\)とその事象\(A \in S\)を考える．この時，\(A\)に対して\(余事象\)を以下のように定義する．
\[\begin{align} \overline A = S \setminus A \end{align}\]
ここで，\(S \setminus A\)とは，集合\(S\)から集合\(A\)の要素を除いたものである．
明らかに，\(S = A \cup \overline A\)が成り立つ．
Theorem 4.2 (余事象の確率) 余事象の定義4.1より，
\[\begin{align} P(\overline A) = 1 - P(A) \end{align}\]
Exercise 4.4 (余事象) 次の集合について，その余事象（補集合）を答えよ．
- 全体集合を\(\mathbb R\)として，\([1,0]\)．
- 全体集合を\(\mathbb N\)として，偶数全体の集合．
4.6 一般的な事象に対する確率
これまでに議論してきた事象とその確率について，改めて，なるべく一般的な議論に適用するように以下のようにまとめておく． まず，全体事象を\(S\)，その部分集合としての部分事象\(A_i \in S, i=1,\ldots,k\)とする． 空集合に対応する事象として空事象\(\phi\)としておく(空事象は何も起こらないことではないことに注意されたい)．
これらを踏まえて，本講義で扱う確率は，次の三つの公理を満たすものとする．
Definition 4.2 (確率の公理) 次の３つを確率の公理とする．
- \(0 \leq P(A) \leq 1\)
- \(P(S) = 1, P(\phi) = 0\)
- \(A_i, i=1,\ldots,k\)かつ\(A_i \cap A_j = \phi, i \neq j \Leftrightarrow \displaystyle P\left( \bigcup_{i=1}^{k} A_i \right) = \sum_{i=1}^{k} P(A_i)\)
4.7 条件付き確率
全体集合\(S\)に対する部分事象\(A,B\)を考える．この時，\(B\)を与えたときの\(A\)の確率を上血b付き確率という． 例えば，\(B = \{ 晴れ, 雨 \}\)として\(A = \{ 傘を持っていく, 傘を持って行かない \}\)としよう．直感的には，単純に傘を持っていくかどうかの確率と，天気がわかっている元での傘を持っていくかどうかの確率は異なると思える(雨とわかっているなら傘は持っていくし，晴れなら持って行かない確率の方が断然高いだろう)．
これを数学的に次のように定義する．
Definition 4.3 (条件付き確率) \(S\)の任意の部分事象\(A,B\)を考える．ここでは\(P(B) > 0\)とする．事象\(B\)を与えた時の事象\(A\)の条件付き確率を
\[\begin{align} P(A|B) = \frac{P(A \cap B)}{P(B)} \end{align}\]
と定義する．
Exercise 4.5 (互いに疎な場合の条件付き確率) \(S\)の任意の部分事象\(A,B\)を考える．\(P(B) > 0\)で\(A \cap B = \phi\)のとき，\(P(A|B)\)の値を求めよ．
最後に，積事象\(A \cap B\)の確率を考えよう．
Theorem 4.3 (乗法公式) 積事象\(A \cap B\)の確率は次のように求められる．
\[\begin{align} P(A \cap B) = P(B) P(A|B) \end{align}\]
さらに，もし\(P(A \cap B) = P(A)P(B)\)となるならば，\(A,B\)は独立であるという．
\(A,B\)が独立の時，\(P(A|B) = P(A)\)ということなので，\(A\)で条件づけられたとしても，それは \(B\)の確率に何ら関係ないことを意味している． その意味で，\(A,B\)は独立ということなのである．この場合，同様に\(P(B|A) = P(B)\)も成り立つ．
Exercise 4.6 (条件付き確率) ２つのサイコロ\(X,Y\)を投げることを考える．
- １つ目のサイコロの目が\(3\)の時，２つのサイコロの目の積が\(12\)となる確率\(P(XY=12|X=3)\)を求めよ．また併せて，２つのサイコロの目の積が\(12\)となる確率\(P(XY=12)\)も求めよ．
- １つ目のサイコロの目が偶数の時，２つのサイコロの目の和が\(8\)になる確率\(P(X+Y=8|X \in \{2,4,6\})\)を求めよ．
4.8 ベイズの定理
ベイズの定理は統計学・データサイエンスで頻出する定理であるため，基本的な考え方については，ぜひ抑えてもらいたい．
Theorem 4.4 (ベイズの定理) \(A \cap B_i, i=1,\ldots,k\)が\(A\)の分割であるとする．この時任意の\(i(1 \leq i \leq k)\)について，以下が成り立つ． \[\begin{align} P(B_i | A) = \frac{P(A|B_i)P(B_i)}{\sum_{i=1}^{k} P(A|B_i)P(B_i)} \end{align}\]
まず前提として，全体事象に対してその分割を考えていることに注意されたい． また，ベイズの定理は条件付き確率と乗法公式を繰り返し用いることで導くこともできる．
まず，乗法公式4.3を変形してみると，
\[\begin{align} P(A \cap B) = P(B) P(A|B) \Leftrightarrow P(A|B) = \frac{P(A \cap B)}{P(B)} \tag{4.1} \end{align}\]
と条件付き確率\(P(A|B)\)を，積事象\(A \cap B\)と事象\(B\)の確率の比として表せる．
これに注意して，簡単な場合として\(A = (A \cap B_1) \cup (A \cap B_2), (A \cap B_1) \cap (A \cap B_2) = \phi\)を考えよう．すると条件付き確率\(P(B_1 | A)\)を変形していくと
\[\begin{align} P(B_1 | A) &= \frac{P(A \cap B_1)}{P(A)} \\ & = P(A \cap B_1) + P(A \cap B_2) \end{align}\]
とできる．いま\(k=2\)の場合を考えたが，\(A\)の分割が\(\displaystyle \bigcup_{i=1}^{k} A \cap B_i\)という場合がベイズの定理4.4そのものになっていることがわかる．
Exercise 4.7 (ベイズの定理) ある工場で３台の機械，\(A,B,C\)で同じ製品を作っている．\(A,B,C\)の機械でそれぞれ全体の製品の20%, 30%, 50%を生産している．また，\(A,B,C\)の各機械からは，3%，2%，1%の不良品がでることが，経験的にわかっているとする．この時，ベイズの定理(4.1)式を用いて，次の問いに答えよ．
- 製品全体の中から1個を取り出した時，それが不良品である確率を求めよ．
- 製品全体の中から1個を取り出し，それが不良品であることが分かった時，その製品が機械\(A\)によって生産されたものである確率はいくらか，同様に，機械\(B,C\)で生産されたものである確率を求めよ．
この演習を取り組む際には，まず事象を整理しよう．まずある機械が製品を生産という事象が3種類\(A,B,C\)があり，それとは別に故障するという事象\(E\)があると考えておく． またそれぞれの確率は，
\[\begin{align} P(A) = 0.2, \hspace{3mm}, P(B) = 0.3, \hspace{3mm}, P(C) = 0.5 \\ P_A(E) = 0.03, \hspace{3mm}, P_B(E) = 0.02, \hspace{3mm}, P_C(E) = 0.01 \end{align}\]
と整理できる．ここで，\(P_k(E)\)は機械\(k\)によって生産された製品が故障する確率とした．