第 9 章 Binary choice model

9.1 隨機效用模型（Random Utility Model）

一個人投票給候選人A受什麼因素影響？

隨機抽出第i位選民，若他投給A，則$Y_{i}=1$；反之為0。令

• $U_{i(1)}$：他投給A的效用。

• $U_{i(0)}$：他「不」投給A的效用。

根據效用理論，$Y_{i}$的觀察值反應了以下的事實：

$$\begin{cases} U_{i(1)}\geq U_{i(0)} & \Rightarrow Y_{i}=1\\ U_{i(1)}<U_{i(0)} & \Rightarrow Y_{i}=0 \end{cases}$$ 令$X_{i}$為可解釋效用的變數，並假設

$$\begin{align} U_{i(1)} & =X_{i}'\beta_{(1)}+\epsilon_{i(1)}\\ U_{i(0)} & =X_{i}'\beta_{(0)}+\epsilon_{i(0)} \end{align}$$

則 $$\underset{Y_{i}^{*}}{\underbrace{U_{i(1)}-U_{i(0)}}}=X_{i}'\underset{\beta}{\underbrace{(\beta_{(1)}-\beta_{(0)})}}+\underset{\epsilon_{i}}{\underbrace{(\epsilon_{i(1)}-\epsilon_{i(0)})}}$$ 因此 $$Y_{i}^{*}\underset{(<)}{\geq}0\Leftrightarrow Y_{i}=\underset{(0)}{1}$$

$Y_i^*$稱為$Y_i$的潛在變數(latent variable)。

我們有可能估計出個別$\beta_{(1)}$,$\beta_{(0)}$值嗎？還是只能估$\beta_{(1)}-\beta_{(0)}$（即相差值）？

給定資料$Y_i,X_i$及以下的迴歸模型： $$Y_i^*=X_i'\beta+\epsilon_i$$ 我們要如何估算$\beta$。

隨機效用模型的隨機是指資料無法完全觀察，總是有殘餘效果($\epsilon$)產生推論的不確定性，而非個體效用帶有隨機的不理性。

9.2 最大概似估計法(Maximum Likelihood Estimation, MLE)

迴歸模型： $$\begin{align} Y^*_i &=X_i'\beta+\epsilon_i \tag{9.1} \\ Y_i &=\mathbb{I}(Y_i^*>0) \end{align}$$ 其中$\mathbb{I}(A)$為事件判斷函數(indicator function)，當事件$A$發生時，其值為1，反之為0。在這裡我們的觀察資料只會包含$(Y_i,X_i)$但不會有潛在變數$Y^*_i$，因此最小平方估計法無法用在(9.1)。

事件發生機率與參數

隨機抽出的一組樣本是一個實現的事件（event），每個event有其發生的機率（密度）。

某台機器只有會A,B,C三個出象(outcome)，每按一次鈕會出現其中一個結果。假設只有以下兩種機器，它們的差異只有在每個出象出現機率如下：

type	Pr_A	Pr_B	Pr_C
機器一	0.1	0.5	0.4
機器二	0.3	0.4	0.3

1. 若按一次鈕得到A，請問樣本事件為什麼？此事件發生機率為多少？

2. 你如果要猜機器型號，你會猜是什麼？

3. 若按二次鈕得到AC，請問樣本事件為什麼？此事件發生機率為多少？

4. 你如果要猜機器型號，你會猜是什麼？

參數 (使用符號$\Theta$)廣義來說是機率（密度）函數的區別標示。

上題的$\Theta$是什麼？

若得到AC，則此樣本事件發生機率與參數的關係為何？

概似函數

概似函數（likelihood function）是某個樣本事件下的機率（密度）值與參數間的關係： $$L(\Theta)=\Pr(\text{"a given" sample event}|\Theta)$$

由於是給定一組樣本下的樣本事件（“a given” sample event）,有時我們會寫成 $$L(\Theta | \text{some sample event})$$

最大概似估計法

若對參數的猜測是以極大化$L(\Theta)$為目標，則我們在進行最大概似估計（maximum likelihood estimation）。

給定一組樣本$\{y_i,x_i\}_{i=1,\dots,N}$，(9.1)式的概似函數如何表示？

很多時候我們會極大化取對數後的$L(\Theta)$，即$\ln L(\Theta)$。

9.3 Probit and Logit

迴歸模型： $$\begin{align} Y^*_i &=X_i'\beta+\epsilon_i \tag{9.1} \\ Y_i &=\mathbb{I}(Y_i^*>0) \end{align}$$

為了定義概似函數，我們必假設$\epsilon_i$的分配，常見有以下兩種假設，都是以0為中心對稱的分配。

Probit model

假設 $$\epsilon_i\sim N(0,1)$$ 我們習慣用$\phi(.)$及$\Phi(.)$分別代表$N(0,1)$的機率密度函數(pdf)及累積機率分配函數(CDF).

寫下$\ln L(\beta)$。

Logit model

假設$\epsilon_i$的CDF為$F()$,其中 $$F(w)=\frac{e^w}{1+e^w}$$

令$f()$代表其pdf，請問$f()$與$F()$有什麼關係？

寫下$\ln L(\beta)$。

9.4 配適度

傳統衡量迴歸模型配適度的$R^2$在這裡並不適用。

為什麼$R^2$不適用？

常見以下兩種衡量方式：

1. $Pseudo-R^{2}$: $$Pseudo-R^{2}=1-\frac{\ln L}{\ln L_{0}}$$ 其中$L_0$為只有$\{y_i\}$觀察值而無$\{x_i\}$觀察值的最大概似函數值。
2. 預測準確度：依據以下預測原則， $$\begin{aligned}\hat{Y_{i}}=1 & \mbox{ if} & F\left(X_{i}^{'}\hat{\beta}\right)\geqq0.5\\ \hat{Y_{i}}=0 & \mbox{ if} & F\left(X_{i}^{'}\hat{\beta}\right)<0.5 \end{aligned}$$ 其中$\hat{\beta}$為估計係數值，接著去看猜中的比率有多高。

若樣本數有500個，其中$y=0$的有30個，請問在Probit和Logit模型下, $L_0$為多少？

9.5 邊際效果

迴歸模型： $$\begin{align} Y^*_i &=\beta_0+\beta_1 x_i+\beta_2 D_i+\epsilon_i, \\ Y_i &=\mathbb{I}(Y_i^*>0), \end{align}$$ 其中$x_i$為連續型變數，而$D_i$為間斷型變數（包含虛擬變數）。

想了解$x_i$、$D_i$對$\Pr(Y_i=1)$的邊際影響，其中：

• Probit：$\Pr(Y_i=1)=\Phi(\beta_0+\beta_1 x_i+\beta_2 D_i)$

• Logit： $\Pr(Y_i=1)=F(\beta_0+\beta_1 x_i+\beta_2 D_i)$

$x$的邊際效果為： $$\frac{\partial \Pr(Y_i=1|x_i,D_i)}{\partial x_i}$$ $D$的邊際效果為： $$\Pr(Y_i=1|x_i,D_i=1)-\Pr(Y_i=1|x_i,D_i=0)$$ 要注意：

1. 兩者計算方法不同。

2. 兩者都有起始點選擇的問題。

假設樣本觀察值如下：

i	Y	X	D
1	1	0.5	1
2	1	0.7	0
3	0	0.2	1
	mean	0.47	0.67

9.6 漸近分配

令$\textbf{Y}_i$代表第i個隨機抽出的觀察值（可以有很多特徵，如此人的身高、體重等）。

$$\hat{\theta}=\arg\max\frac{1}{n}\sum_{i}\ln f\left(\textbf{Y}\mid\theta\right)$$

一階條件: $$\begin{eqnarray} \frac{1}{n}\sum_i\frac{\partial}{\partial\theta}\ln f\left(\textbf{Y}\mid\hat{\theta}\right)=0 \tag{9.2} \end{eqnarray}$$

在正常情況下MLE會收斂，故: $$\hat{\theta}\stackrel{p}{\longrightarrow}\theta_0$$

對(9.2)的左式之$\hat{\theta}$在$\theta_0$值進行一階泰勒展開：

$$\frac{1}{n}\sum_{i}\frac{\partial}{\partial\theta}\ln f\left(Y_{i}\mid\hat{\theta}\right)\approx\frac{1}{n}\sum_{i}\frac{\partial}{\partial\theta}\ln f\left(Y_{i}\mid\theta_{0}\right)+\frac{1}{n}\sum_{i}\frac{\partial^{2}}{\partial\theta\partial\theta^{'}}\ln f\left(Y_{i}\mid\theta_{0}\right)\left(\hat{\theta}-\theta_{0}\right).$$

故 $$\begin{align} \frac{1}{n}\sum_{i}\frac{\partial^{2}}{\partial\theta\partial\theta^{'}}\ln f\left(Y_{i}\mid\theta_{0}\right)\left(\hat{\theta}-\theta_{0}\right)& \approx\left(\frac{1}{n}\sum_{i}\frac{\partial}{\partial\theta}\ln f\left(Y_{i}\mid\hat{\theta}\right)-\frac{1}{n}\sum_{i}\frac{\partial}{\partial\theta}\ln f\left(Y_{i}\mid\theta_{0}\right)\right) \\ & = -\frac{1}{n}\sum_{i}\frac{\partial}{\partial\theta}\ln f\left(Y_{i}\mid\theta_{0}\right), \end{align}$$

所以 $$\left(\hat{\theta}-\theta_{0}\right) \approx-\{\frac{1}{n}\sum_{i}\frac{\partial^{2}}{\partial\theta\partial\theta^{'}}\ln f\left(Y_{i}\mid\theta_{0}\right)\}^{-1}\frac{1}{n}\sum_{i}\frac{\partial}{\partial\theta}\ln f\left(Y_{i}\mid\theta_{0}\right).$$

說明$\sqrt{n}\left(\hat{\theta}-\theta_{0}\right)$會有常態漸近分配。

由於概似函數形式中所使用的機率（密度）函數$f()$為假設出來的，多數狀況真實機率（密度）函數會與假設不同，此時的估計式我們通常稱為「準最大概似估計式」(Quasi-Maximum Likelihood Estimator, Quasi-MLE)

若$\hat{\theta}$為quasi-MLE，則先前的漸近分配推導是否會有不同？