第 9 章 Binary choice model

9.1 隨機效用模型(Random Utility Model)

一個人投票給候選人A受什麼因素影響?

隨機抽出第i位選民,若他投給A,則\(Y_{i}=1\);反之為0。令

  • \(U_{i(1)}\):他投給A的效用。

  • \(U_{i(0)}\):他「不」投給A的效用。

根據效用理論,\(Y_{i}\)的觀察值反應了以下的事實:

\[ \begin{cases} U_{i(1)}\geq U_{i(0)} & \Rightarrow Y_{i}=1\\ U_{i(1)}<U_{i(0)} & \Rightarrow Y_{i}=0 \end{cases} \]\(X_{i}\)為可解釋效用的變數,並假設

\[\begin{align} U_{i(1)} & =X_{i}'\beta_{(1)}+\epsilon_{i(1)}\\ U_{i(0)} & =X_{i}'\beta_{(0)}+\epsilon_{i(0)} \end{align}\]

\[\underset{Y_{i}^{*}}{\underbrace{U_{i(1)}-U_{i(0)}}}=X_{i}'\underset{\beta}{\underbrace{(\beta_{(1)}-\beta_{(0)})}}+\underset{\epsilon_{i}}{\underbrace{(\epsilon_{i(1)}-\epsilon_{i(0)})}}\] 因此 \[Y_{i}^{*}\underset{(<)}{\geq}0\Leftrightarrow Y_{i}=\underset{(0)}{1}\]

\(Y_i^*\)稱為\(Y_i\)的潛在變數(latent variable)。


我們有可能估計出個別\(\beta_{(1)}\),\(\beta_{(0)}\)值嗎?還是只能估\(\beta_{(1)}-\beta_{(0)}\)(即相差值)?

給定資料\(Y_i,X_i\)及以下的迴歸模型: \[Y_i^*=X_i'\beta+\epsilon_i\] 我們要如何估算\(\beta\)

隨機效用模型的隨機是指資料無法完全觀察,總是有殘餘效果(\(\epsilon\))產生推論的不確定性,而非個體效用帶有隨機的不理性。

9.2 最大概似估計法(Maximum Likelihood Estimation, MLE)

迴歸模型: \[\begin{align} Y^*_i &=X_i'\beta+\epsilon_i \tag{9.1} \\ Y_i &=\mathbb{I}(Y_i^*>0) \end{align}\] 其中\(\mathbb{I}(A)\)為事件判斷函數(indicator function),當事件\(A\)發生時,其值為1,反之為0。在這裡我們的觀察資料只會包含\((Y_i,X_i)\)但不會有潛在變數\(Y^*_i\),因此最小平方估計法無法用在(9.1)

事件發生機率與參數

隨機抽出的一組樣本是一個實現的事件(event),每個event有其發生的機率(密度)。

某台機器只有會A,B,C三個出象(outcome),每按一次鈕會出現其中一個結果。假設只有以下兩種機器,它們的差異只有在每個出象出現機率如下:
type Pr_A Pr_B Pr_C
機器一 0.1 0.5 0.4
機器二 0.3 0.4 0.3
  1. 若按一次鈕得到A,請問樣本事件為什麼?此事件發生機率為多少?

  2. 你如果要猜機器型號,你會猜是什麼?

  3. 若按二次鈕得到AC,請問樣本事件為什麼?此事件發生機率為多少?

  4. 你如果要猜機器型號,你會猜是什麼?

參數 (使用符號\(\Theta\))廣義來說是機率(密度)函數的區別標示。

上題的\(\Theta\)是什麼?

若得到AC,則此樣本事件發生機率與參數的關係為何?

概似函數

概似函數(likelihood function)是某個樣本事件下的機率(密度)值與參數間的關係: \[L(\Theta)=\Pr(\text{"a given" sample event}|\Theta)\]

由於是給定一組樣本下的樣本事件(“a given” sample event),有時我們會寫成 \[L(\Theta | \text{some sample event})\]

最大概似估計法

若對參數的猜測是以極大化\(L(\Theta)\)為目標,則我們在進行最大概似估計(maximum likelihood estimation)。

給定一組樣本\(\{y_i,x_i\}_{i=1,\dots,N}\)(9.1)式的概似函數如何表示?


很多時候我們會極大化取對數後的\(L(\Theta)\),即\(\ln L(\Theta)\)

9.3 Probit and Logit

迴歸模型: \[\begin{align} Y^*_i &=X_i'\beta+\epsilon_i \tag{9.1} \\ Y_i &=\mathbb{I}(Y_i^*>0) \end{align}\]

為了定義概似函數,我們必假設\(\epsilon_i\)的分配,常見有以下兩種假設,都是以0為中心對稱的分配。

Probit model

假設 \[\epsilon_i\sim N(0,1)\] 我們習慣用\(\phi(.)\)\(\Phi(.)\)分別代表\(N(0,1)\)的機率密度函數(pdf)及累積機率分配函數(CDF).

寫下\(\ln L(\beta)\)

Logit model

假設\(\epsilon_i\)的CDF為\(F()\),其中 \[F(w)=\frac{e^w}{1+e^w}\]

\(f()\)代表其pdf,請問\(f()\)\(F()\)有什麼關係?


寫下\(\ln L(\beta)\)

9.4 配適度

傳統衡量迴歸模型配適度的\(R^2\)在這裡並不適用。

為什麼\(R^2\)不適用?


常見以下兩種衡量方式:
  1. \(Pseudo-R^{2}\): \[Pseudo-R^{2}=1-\frac{\ln L}{\ln L_{0}}\] 其中\(L_0\)為只有\(\{y_i\}\)觀察值而無\(\{x_i\}\)觀察值的最大概似函數值。
  2. 預測準確度:依據以下預測原則, \[ \begin{aligned}\hat{Y_{i}}=1 & \mbox{ if} & F\left(X_{i}^{'}\hat{\beta}\right)\geqq0.5\\ \hat{Y_{i}}=0 & \mbox{ if} & F\left(X_{i}^{'}\hat{\beta}\right)<0.5 \end{aligned} \] 其中\(\hat{\beta}\)為估計係數值,接著去看猜中的比率有多高。

若樣本數有500個,其中\(y=0\)的有30個,請問在Probit和Logit模型下, \(L_0\)為多少?

9.5 邊際效果

迴歸模型: \[ \begin{align} Y^*_i &=\beta_0+\beta_1 x_i+\beta_2 D_i+\epsilon_i, \\ Y_i &=\mathbb{I}(Y_i^*>0), \end{align} \] 其中\(x_i\)為連續型變數,而\(D_i\)為間斷型變數(包含虛擬變數)。

想了解\(x_i\)\(D_i\)\(\Pr(Y_i=1)\)的邊際影響,其中:

  • Probit:\(\Pr(Y_i=1)=\Phi(\beta_0+\beta_1 x_i+\beta_2 D_i)\)

  • Logit: \(\Pr(Y_i=1)=F(\beta_0+\beta_1 x_i+\beta_2 D_i)\)

\(x\)的邊際效果為: \[\frac{\partial \Pr(Y_i=1|x_i,D_i)}{\partial x_i}\] \(D\)的邊際效果為: \[\Pr(Y_i=1|x_i,D_i=1)-\Pr(Y_i=1|x_i,D_i=0)\] 要注意:

  1. 兩者計算方法不同。

  2. 兩者都有起始點選擇的問題。

假設樣本觀察值如下:
i Y X D
1 1 0.5 1
2 1 0.7 0
3 0 0.2 1
mean 0.47 0.67

9.6 漸近分配

\(\textbf{Y}_i\)代表第i個隨機抽出的觀察值(可以有很多特徵,如此人的身高、體重等)。

\[\hat{\theta}=\arg\max\frac{1}{n}\sum_{i}\ln f\left(\textbf{Y}\mid\theta\right)\]

一階條件: \[\begin{eqnarray} \frac{1}{n}\sum_i\frac{\partial}{\partial\theta}\ln f\left(\textbf{Y}\mid\hat{\theta}\right)=0 \tag{9.2} \end{eqnarray}\]

在正常情況下MLE會收斂,故: \[\hat{\theta}\stackrel{p}{\longrightarrow}\theta_0\]

(9.2)的左式之\(\hat{\theta}\)\(\theta_0\)值進行一階泰勒展開:

\[\frac{1}{n}\sum_{i}\frac{\partial}{\partial\theta}\ln f\left(Y_{i}\mid\hat{\theta}\right)\approx\frac{1}{n}\sum_{i}\frac{\partial}{\partial\theta}\ln f\left(Y_{i}\mid\theta_{0}\right)+\frac{1}{n}\sum_{i}\frac{\partial^{2}}{\partial\theta\partial\theta^{'}}\ln f\left(Y_{i}\mid\theta_{0}\right)\left(\hat{\theta}-\theta_{0}\right).\]

\[\begin{align} \frac{1}{n}\sum_{i}\frac{\partial^{2}}{\partial\theta\partial\theta^{'}}\ln f\left(Y_{i}\mid\theta_{0}\right)\left(\hat{\theta}-\theta_{0}\right)& \approx\left(\frac{1}{n}\sum_{i}\frac{\partial}{\partial\theta}\ln f\left(Y_{i}\mid\hat{\theta}\right)-\frac{1}{n}\sum_{i}\frac{\partial}{\partial\theta}\ln f\left(Y_{i}\mid\theta_{0}\right)\right) \\ & = -\frac{1}{n}\sum_{i}\frac{\partial}{\partial\theta}\ln f\left(Y_{i}\mid\theta_{0}\right), \end{align}\]

所以 \[\left(\hat{\theta}-\theta_{0}\right) \approx-\{\frac{1}{n}\sum_{i}\frac{\partial^{2}}{\partial\theta\partial\theta^{'}}\ln f\left(Y_{i}\mid\theta_{0}\right)\}^{-1}\frac{1}{n}\sum_{i}\frac{\partial}{\partial\theta}\ln f\left(Y_{i}\mid\theta_{0}\right).\]

說明\(\sqrt{n}\left(\hat{\theta}-\theta_{0}\right)\)會有常態漸近分配。


由於概似函數形式中所使用的機率(密度)函數\(f()\)為假設出來的,多數狀況真實機率(密度)函數會與假設不同,此時的估計式我們通常稱為「準最大概似估計式」(Quasi-Maximum Likelihood Estimator, Quasi-MLE)

\(\hat{\theta}\)為quasi-MLE,則先前的漸近分配推導是否會有不同?