第 10 章 估計和精確度 Estimation and Precision

10.1 估計量和他們的樣本分佈

例子: 最大呼氣量 (Forced Expoiratory Volume in one second, FEV1) 用於測量一個人的肺功能,它的測量值是連續的。我們從前來門診的人中隨機抽取 \(n\) 人作爲樣本,用這個樣本的 FEV1 平均值來估計這個診所的患者的平均肺功能。

模型假設: 在這個例子中,我們的假設有如下:每個隨機抽取的 FEV1 測量值都是從同一個總體 (人羣) 中抽取,每一個觀察值 \(Y_i\) 都互相獨立互不影響。我們用縮寫 iid 表示這些隨機抽取的樣本是服從獨立同分佈 (independent and identically distributed)。另外,總體的分佈也假定爲正態分佈,且總體均值爲 \(\mu\),總體方差爲 \(\sigma^2\)。那麼這個模型可以簡單的被寫成:

\[Y_i \stackrel{i.i.d}{\sim} N(\mu, \sigma^2), i=1,2,\dots,n\]

總體均值 \(\mu\) 的估計量: 顯然算術平均值: \(\bar{Y}=\frac{1}{n}\sum_{i=1}^ny_i\) 是我們用於估計總體均值的估計量。

估計量的樣本分佈: \[\bar{Y}\stackrel{i.i.d}{\sim}N(\mu, \frac{\sigma^2}{n})\]

證明

\[ \begin{aligned} E(\bar{Y}) &= E(\frac{1}{n}\sum Y_i) \\ &= \frac{1}{n}E(\sum Y_i) \\ &= \frac{1}{n}\sum E(Y_i) \\ &= \frac{1}{n}n\mu = \mu \\ Var(\bar{Y}) &= Var(\frac{1}{n}\sum Y_i) \\ \because Y_i \;\text{are} &\; \text{independent} \\ &= \frac{1}{n^2}\sum Var(Y_i) \\ &= \frac{1}{n^2} n Var(Y_i) \\ &= \frac{\sigma^2}{n} \end{aligned} \]

證明當 \(Z=\frac{\bar{Y}-\mu}{\sqrt{Var(\bar{Y})}}\) 時, \(Z\sim N(0,1)\):

由式子可知, \(Z\) 只是由一組服從正態分佈的數據 \(\bar{Y}\) 線性轉換 (linear transformation) 而來,所以 \(Z\) 本身也服從正態分佈

\[ \begin{aligned} E(Z) &= \frac{1}{\sqrt{Var(\bar{Y})}}E[\bar{Y}-\mu] \\ &= \frac{1}{\sqrt{Var(\bar{Y})}}[\mu-\mu] = 0 \\ Var(Z) &= \frac{1}{Var(\bar{Y})}Var[\bar{Y}-\mu] \\ &= \frac{1}{Var(\bar{Y})}Var(\bar{Y}) =1 \\ \therefore Z \;&\sim N(0,1) \end{aligned} \]

均值 \(\mu\) 的信賴區間: 上節說道,

信賴區間通常是成對成對的出現的,即有上限和下限。這樣的一對從樣本數據中計算得來的統計量,同樣也是有樣本分佈的。每次我們重新從總體或人羣中抽樣,計算獲得的信賴區間都不同,這些信賴區間就組成了信賴區間的樣本分佈。總體和人羣的參數落在這些信賴區間範圍內的概率,就是我們常說的信賴區間的水平(\(95\%\)) 。 常用的這個概率值就是 \(95\%, 90\%, 99\%\)

假定我們用 \(95\%\) 作爲信賴區間的水平。那麼下面我們嘗試推導一下信賴區間的計算公式。從長遠來說 (也就是假設我們從總體中抽樣無數次,每次都進行信賴區間的計算,也獲得無數個信賴區間) ,這些信賴區間中有 \(95\%\) 是包含了總體的真實均值 (但是卻是未知) 的,而且這些信賴區間由於是從一個服從正態分佈的數據而來,它們也服從正態分佈 (對真實均值左右對稱) 。所以我們有理由相信,可以找到一個數值 \(c\)

\[Prob(\bar{Y} > \mu+c) = 0.025 \\ Prob(\bar{Y} < \mu-c) = 0.025\]

因此,我們可以定義 \(95\%\) 信賴區間的上限和下限分別是:

\[L=\bar{Y}-c \Rightarrow Prob(L>\mu)=0.025 \\ U=\bar{Y}+c \Rightarrow Prob(U<\mu)=0.025\]

接下來就是推倒 (故意的) \(c\) 的過程啦:

\[ \begin{aligned} Prob(\bar{Y}>\mu+c)=Prob(\bar{Y}-\mu>c) \;&= 0.025 \\ \Rightarrow Prob(\frac{\bar{Y}-\mu}{\sqrt{Var(\bar{Y})}} > \frac{c}{\sqrt{Var(\bar{Y})}}) \;&= 0.025 \\ \Rightarrow Prob(Z>\frac{c}{\sqrt{Var(\bar{Y})}}) \;&= 0.025 \\ we\;have\;proved\; Z\sim N(0,1) \\ we\;also\;know\; Prob(Z>1.96) \;&= 0.025 \\ so\;let\; \frac{c}{\sqrt{Var(\bar{Y})}} =1.96 \\ \Rightarrow c=1.96\sqrt{Var(\bar{Y})} \\ the\;95\%\;confidence\;interval \;of\; &the\;population\;mean\;is\\ \mu = \bar{Y}\pm1.96\sqrt{Var(\bar{Y})}=\bar{Y}\pm & 1.96\frac{\sigma}{\sqrt{n}} \end{aligned} \]

其中,\(\sqrt{Var(\bar{Y})}\) 就是我們熟知的估計量 \(\bar{Y}\) 的標準誤。

10.2 估計量的特質

考慮以下的問題:

  1. 什麼因素決定了一個估計量 (estimator) 的好壞,是否實用?
  2. 如果有其他的可選擇估計量,該如何取捨呢?
  3. 當情況複雜的時候,我們該如何尋找合適的估計量?

10.2.1 偏倚

假設 \(T\) 是我們估計總體參數 \(\theta\) 的一個估計量。一般來說我們希望估計量的樣本分佈可以在 “正確的位置” 左右均勻分佈。換句話說我們希望:

\[E(T)=\theta\]

如果實現了這個條件,我們說這樣的估計量是無偏的 (unbiased)。然而,天下哪有這等好事,我們叫真實值和估計量之間的差距爲偏倚:

\[bias(T) = E(T)-\theta\]

其實偏倚完全等於零並不是最重要,許多常見的估計量都是有偏倚的。重要的是,這個偏倚會隨着樣本量的增加而逐漸趨近於零。所以我們就可以認爲這樣的估計量是漸進無偏的 (asymptotically unbiased):

\[T\;is\;an\;\textbf{unbiased}\;estimator\;for\;\theta\;if\;\\E(T)=\theta\\ T\;is\;an\;\textbf{asymptotically unbiased}\;estimator\;for\;\theta\;if\;\\lim_{n\rightarrow\infty}E(T)=\theta\]

10.2.2 估計量的效能 Efficiency

通常,我們希望一個估計量 (estimator) 的偏倚要小,同時,它的樣本分佈也希望能儘可能的不要波動太大。換句話說,我們還希望估計量的方差越小越好。

如果說,兩個估計量有相同的偏倚,均可以選擇來推斷總體,我們說,其中樣本分佈的方差小的那個 (波動幅度小) 的那個估計量是相對更好的。因爲樣本分佈方差越小,說明可以更加精確的估計總體參數。這兩個估計量的方差之比:\(Var(S)/Var(T)\) 被叫做這兩個估計量的相對效能 (relative efficiency)。所以我們用估計量去推斷總體時,需要選用效能最高,精確度最好的估計量 (the minimum variance unbiased estimator/an efficient estimator)

10.2.3 均值和中位數的相對效能

在一個服從 \(N(\mu,\sigma^2)\) 正態分佈的數據中,中位數和均值是一樣的,也都同時等於總體均值參數 \(\mu\)。而且,樣本均數 \(\bar{Y}\) 和樣本中位數 \(\dot{Y}\) 都是對總體均值的無偏估計量。那麼應該選用中位數還是平均值呢?

之前證明過當 \(Y_i \sim N(\mu,\sigma^2)\) 時, \(Var(\bar{Y})=\sigma^2/n\)。然而,當 \(n\) 較大的時候,可以證明的是:

\[Var(\dot{Y})=\frac{\pi}{2}\frac{\sigma^2}{n}\approx1.571\frac{\sigma^2}{n}\]

因此,這兩個估計量的相對效能就是:

\[\frac{Var(\dot{Y})}{Var(\bar{Y})}\approx1.571\]

所以總體是正態分佈時,平均值就是較中位數更適合用來估計總體的估計量。

10.2.4 均方差 mean square error (MSE)

兩個估計量的偏倚不同時,可以比較他們和總體參數之間的差距,這被叫做均方差, Mean Square Error (MSE)。

\[MSE(T)=E[(T-\theta)^2]\]

這裏用一個數學技巧,將式子中的估計量和總體參數之間的差,分成兩個部分:一是估計量本身的方差 (\(T-E(T)\)),一是估計量的偏倚 (\(E(T)-\theta\))。

\[ \begin{aligned} MSE(T) &= E[(T-\theta)^2] \\ &= E\{[T-E(T)+E(T)-\theta]^2\} \\ &= E\{[T-E(T)]^2+[E(T)-\theta]^2 \\ & \;\;\;\;\; \;\;+2[T-E(T)][E(T)-\theta]\} \\ &= E\{[T-E(T)]^2\}+E\{[E(T)-\theta]^2\} + 0\\ &= Var(T) + [bias(T)^2] \end{aligned} \]

10.3 總體方差的估計,自由度

如果 \(Y_i \sim (\mu, \sigma^2)\),並不需要默認或者假定它服從正態分佈或者任何分佈。那麼它的方差我們會用:

\[V_{\mu}=\frac{1}{n}\sum_{i=1}^n(Y_i-\mu)^2\]

證明 \(V_{\mu}\)\(\sigma^2\) 的無偏估計:

\[ \begin{aligned} V_{\mu} &= \frac{1}{n}\sum_{i=1}^n(Y_i-\mu)^2 \\ we\;need\;to\;prove &E(V_{\mu}) = \sigma^2 \\ \Rightarrow E(V_{\mu}) &= \frac{1}{n}\sum_{i=1}^nE(Y_i-\mu)^2 \\ &= \frac{1}{n}\sum_{i=1}^nVar(Y_i) \\ &= \frac{1}{n}\sum_{i=1}^n\sigma^2 \\ &= \sigma^2 \end{aligned} \]

然而通常情況下,我們並不知道總體的均值 \(\mu\)。因此,只好用樣本的均值 \(\bar{Y}\) 來估計 \(\mu\)。所以上面的方程就變成了:

\[V_{\mu}=\frac{1}{n}\sum_{i=1}^n(Y_i-\bar{Y})^2\]

你如果仔細觀察認真思考,就會發現,上面這個式子是有問題的。這個大問題就在於,\(Y_i-\bar{Y}\) 中我們忽略掉了樣本均值 \(\bar{Y}\) 和總體均值 \(\mu\) 之間的差 (\(\bar{Y}-\mu\))。因此上面的計算式來估計總體方差時,很顯然是會低估平均平方差,從而低估了總體方差。

這裏需要引入自由度 (degree of freedom) 在參數估計中的概念。

字面上可以理解爲:自由度是估計過程中使用了多少互相獨立的信息。所以在上面第一個公式中:\(V_{\mu}=\frac{1}{n}\sum_{i=1}^n(Y_i-\mu)^2\)。所有的 \(n\) 個觀察值互相獨立,不僅如此,他們還對總體均值獨立。然而在第二個我們用 \(\bar{Y}\) 取代了 \(\mu\) 的公式中,樣本均數則與觀察值不互相獨立。因爲樣本均數必然總是落在觀察值的中間。然而總體均數並不一定就會落在觀察值中間。總體均數,和觀察值之間是自由,獨立的。因此,當我們觀察到 \(n-1\) 個觀察值時,剩下的最後一個觀察值,決定了樣本均值的大小。所以說,樣本均值的自由度,是 \(n-1\)

所以,加入了自由度的討論,我們可以相信,用樣本估計總體的方差時,使用下面的公式將會是總體方差的無偏估計:

\[V_{n-1}=\frac{1}{n-1}\sum_{i=1}^n(Y_i-\bar{Y})=\frac{n}{n-1}V_n\]

證明

利用上面也用到過的證明方法 – 把樣本和總體均值之間的差分成兩部分:

\[ \begin{aligned} V_{\mu} &= \frac{1}{n}\sum_{i=1}^n(Y_i-\mu)^2 \\ &= \frac{1}{n}\sum_{i=1}^n[(Y_i-\bar{Y})+(\bar{Y}-\mu)]^2 \\ &= \frac{1}{n}\sum_{i=1}^n[(Y_i-\bar{Y})^2+(\bar{Y}-\mu)^2\\ &\;\;\;\;\;\;\;\;\;\;\;\;+2(Y_i-\bar{Y})(\bar{Y}-\mu)]\\ &=\frac{1}{n}\sum_{i=1}^n(Y_i-\bar{Y})^2+\frac{1}{n}\sum_{i=1}^n(\bar{Y}-\mu)^2\\ &\;\;\;\;\;\;\;\;\;\;\;\;+\frac{2}{n}(\bar{Y}-\mu)\sum_{i=1}^n(Y_i-\bar{Y}) \\ &= V_n+(\bar{Y}-\mu)^2 \\ &\;\;\;\;\;\;\;\;\;\;\;\;(\text{note that}\;\sum_{i=1}^n(Y_i-\bar{Y})=0) \\ \Rightarrow V_n &= V_{\mu}-(\bar{Y}-\mu)^2 \\ \therefore E(V_n)&= E(V_{\mu}) - E[(\bar{Y}-\mu)^2] \\ &= Var(Y)-Var(\bar{Y}) \\ &= \sigma^2-\frac{\sigma^2}{n} \\ &= \sigma^2(\frac{n-1}{n}) \end{aligned} \]

因此,我們看見 \(V_n\) 正如上面討論的那樣,是低估了總體方差的。雖然當 \(n\rightarrow\infty\) 時無限接近 \(\sigma^2\) 但是依然是低估了的。所以,我們可以對之進行修正:

\[ \begin{aligned} E[\frac{n}{n-1}V_n] &= \frac{n}{n-1}E[V_n] =\sigma^2 \\ \Rightarrow E[V_{n-1}] &= \sigma^2 \end{aligned} \]

10.4 樣本方差的樣本分佈

\(S^2\) 常用來標記樣本方差,取代上面我們用到的 \(V_{n-1}\)

\[S^2=\frac{1}{n-1}\sum_{i=1}^n(Y_i-\bar{Y})^2\]

而且上面也證明了,\(E(S^2)=\sigma^2\) 是總體方差的無偏估計。然而,要注意的是,樣本標準差 \(\sqrt{S^2}\) 卻不是總體標準差 \(\sigma\) 的無偏估計(因爲並不是線性變換,而是開了根號) 。

證明樣本標準差 \(S\) 不是總體標準差 \(\sigma\) 的無偏估計

\[ \begin{aligned} Var(S) &=E(S^2)-[E(S)]^2 \\ \Rightarrow [E(S)]^2 &=E(S^2)-Var(S) \\ \because E(S^2) &=\sigma^2 \\ \therefore [E(S)]^2 &=\sigma^2-Var(S) \\ E(S) &=\sqrt{\sigma^2-Var(S)} \\ \end{aligned}\]

可見樣本標準差是低估了總體標準差的。

另外可以被證明的是:

\[\frac{n-1}{\sigma^2}S^2\sim \mathcal{X}_{n-1}^2\\ Var(S^2)=\frac{2\sigma^4}{n-1}\]

\(\mathcal{X}^2_m\): 自由度爲 \(m\) 的卡方分佈 (Section 11)。是在圖形上向右歪曲的分佈。當自由度增加時,會越來越接近正態分佈。