工具变量估计与两阶段最小二乘法--潘登同学的计量经济学笔记

本篇着重解决内生解释变量问题，内生性就是模型中一个或者多个解释变量与随机扰动项相关；内生性产生的原因有

• 遗漏变量，且遗漏变量与模型中的其他解释变量相关；
• 解释变量与被解释变量相互作用，相互影响，互为因果；
• 自我选择偏误；
• 样本选择偏误；

工具变量估计

举个最简单的例子，经济学里基本的供求模型告诉我们，供给曲线（p = a + bq）和需求曲线（p = c - dq）共同决定了价格（p）和交易量（q）。然而现实中我们能够观察到的，只是一组均衡时的 p 和 q，基于这个数据，我们用回归只能得到斜率和截距两个参数的估计值。但供给曲线和需求曲线里一共有四个参数（a b c d）。此时，通过回归这种 “简约式（reduced form）” 估计得到的参数，无助于我们得知 “结构式（structural form）” 模型中的 “深层参数（deep parameter）”。我们的系统里的p和q都是内生变量，所以才会出现无法识别的情况。怎么解决这个问题呢？经典的办法是，假定存在着某个不影响需求，只影响供给（或者反过来）的外生变量。比如在渔业中，海上的坏天气很可能阻碍渔船出海，形成一个供给侧的冲击，但应该不会改变人们对海产品的需求。根据天气的变化，我们就有可能估计出全部的四个参数。事实上，这也是 “工具变量（instrumental variable）” 这一估计方法的起源。

面对可能发生的遗漏变量偏误(或无法观察的异方差性)，我们已经讨论的三种解决方案

1. 忽略此问题，得到有偏而不一致的估计量；
2. 我们尝试为无法观测的变量寻找一个适宜的代理变量；
3. 我们假定遗漏变量不随时间变化，运用一阶固定效应或一阶差分法

教育工资模型 $$ \log(wage) = \beta_0 + \beta_1 educ + \beta_2 abil + e $$ 如果找不到合适的代理变量去代替能力(abil),那么就只能把abil放进误差项里面；此时，若educ与abil相关，那么用OLS得到的估计量就会是有偏而不一致的；

一般起见，将abil放进误差项中，重新一般化上述模型 $$ y = \beta_0 + \beta_1 x + u $$ 若x与u相关，我们可以找一个工具变量z，该变量满足 $$ Cov(z,u) = 0 \qquad (1)\ Cov(z,x) \neq 0 \qquad (2)\ $$ 一般地，人们将满足上述条件的z概括为“z在方程中是外生的”

• 条件$(1)$往往无法检验
• 条件$(2)$则可以构造简单回归，检验系数是否为零 $$ x = \pi_0 + \pi_1 z + v $$

• 工具变量选择举例

在选择工具变量时，处理关注$\hat{\pi_1}$的显著性，更要注意他的符号，显著为正的相关关系更有说服力，显著为负的不一定好(但是解释的好也能用)，除了显著性更重要的是经济学逻辑；

IV估计量

我们改写上述方程 $$ Cov(z,y) = \beta_1 Cov(z,x) + Cov(z,u) $$

将分子分母的样本容量约去后，得到$\beta_1$的工具变量估计量 $$ \hat{\beta}_1 = \frac{\sum_{i=1}^n(z_i-\bar{z})(y_i-\bar{y})}{\sum_{i=1}^n(z_i-\bar{z})(x_i-\bar{x})} $$

• 特别地，当$x=z$时，我们得到的OLS估计量；
• 若满足$(1)(2)$的假定，$\beta_1$的IV估计量具有一致性,$plim(\hat{\beta}_1) = \beta_1$

注意 无论是OLS还是IV都只是一种估计方法，一个模型就是一个方程，至于用什么去估计模型参数可以是不同的，所以在论述的时候不能说‘我估计了一个IV模型’，只能说‘我采用IV方法来估计模型’；

IV估计法做统计推断

与OLS一致，增加一个同方差假定 $$ E(u^2|z) = \sigma^2 \qquad (3) $$ 可以证明，满足三条假定的情况下，$\hat{\beta}_1$的渐近方差为 $$ \frac{\sigma^2}{n\sigma^2_x\rho_{x,z}^2} $$ 其中，

• $\sigma^2_x$是x的总体方差，可以根据样本中的x计算得出；
• $\sigma^2$是u的总体方差，可以用回归得到的残差进行估计；
• $\rho_{x,z}^2$是x与z之总体相关系数的平方，可以做x对z的回归得到$R^2$；
• 与OLS估计量一样，IV估计量的渐近方差以$\frac{1}{n}$的速度降至0；

$\hat{\beta_1}$的渐近标准误则可以写成(是上式的估计渐近方差的平方根) $$ \sqrt{\frac{\hat{\sigma^2}}{SST_x \dot R^2_{x,z}}} $$ 对比OLS的方差$\frac{\sigma^2}{SST_x}$,IV估计量的方差$\frac{\sigma^2}{SST_x \dot R^2_{x,z}}$,区别就在$R^2_{x,z}$上，由于$R^2_{x,z}$总是小于1,所以这个IV的方差总是大于OLS的方差；若x与z只是轻度相关，则$R^2_{x,z}$便很小，而这将转化为IV估计量的一个非常大的抽样方差，而这个值越大，IV估计量的方差就越小，在$z=x$时，$R^2_{x,z}=1$很自然地转化为了OLS的方差；

举个例子

估计已婚女性的教育回报

估计对男性的教育回报

二值工具变量

弱工具问题

当工具变量违背了$Cov(z,u) = 0$，会造成严重的偏误 $$ plim \hat{\beta}_{1,IV} = \beta_1 + \frac{Corr(z,u)}{Corr(z,x)} \cdot \frac{\sigma_u}{\sigma_x} $$ 而当$Cov(z,x)$趋近于零的时候，更会加重这种偏误，而当工具违背了$Cov(z,x) \neq 0$则会导致奇怪的结论； 下面是一个违背了假设$(2)$的例子

IV中的$R^2$

$$ R^2 = 1-\frac{SSR}{SST} $$ 其中$SSR$是残差平方和，而$SST$是y的总平方和，与OLS不同，由于IV的SSR实际上可能大于SST,所以IV的估计中$R^2$可能为负。这个$R^2$不能用于F检验，如果我们只是想最大$R^2$的话，我们倾向于使用OLS； 说白了IV的$R^2$就是没啥用.

多元回归模型的IV估计

考虑包含两个解释变量的标准线性模型 $$ y_1 = \beta_0 + \beta_1 y_2 + \beta_2z_1 + u $$ 称这个方程为结构方程，我们关注的是$\beta_j$，做如下规定：

• $y_1$显然是内生变量
• $z_1$是外生变量
• $y_2$是内生变量，与u中的遗漏变量相关

我们可以寻找$y_2$的一个工具变量$z_2$，这个工具变量除了要满足 $$ Cov(z_2,u) = 0 \quad (4)\ Cov(z_2,y) \neq 0 \quad (5)\ $$ 但是对于$(5)$的判断不能像之前一样只建立一元回归来判断，而是要考虑偏相关 $$ y_2 = \pi_0 + \pi_1z_1 + \pi_2 z_2 + v \qquad (*) $$ 其中，根据前提假设 $$ E(v) = 0, Cov(z_1,v_2) = 0, Cov(z_2,v_2) = 0 $$ 而要检验的假设是(我们希望的拒绝他，这样$z_2$就是$y_2$的工具变量) $$ \pi_2 = 0 $$ 还是那句话，虽然能得到相关，但是我们无法检验$z_2$与u无关，这需要经济学逻辑；

其中$(*)$是简约型方程的一个例子，他意味着我们是用外生变量来表示内生变量，这个名称源于联立方程模型； 将其更一般化，我们可以在模型中添加更多外生解释变量: $$ y_1 = \beta_0 + \beta_1 y_2 + \beta_2z_1 + \ldots + \beta_kz_{k-1} + u $$ 找一个$y_2$的工具变量$z_k$,我们做以下假定 $$ E(u) = 0, Cov(z_j,u) = 0, j=1,\ldots,k $$ 虽然表面上说$y_2$的工具变量是$z_k$，但实际上,$z_1,\ldots,z_k$都可以是$y_2$的工具变量，为了检验$z_k$，$y_2$的简约模型为 $$ y_2 = \pi_0 + \pi_1z_1 + \ldots + \pi_{k-1} z_{k-1} + \pi_kz_k + v $$ 检验的假设是(我们希望的拒绝他，这样$z_k$就是$y_2$的工具变量) $$ \pi_k = 0 $$

举个例子

• 用邻近大学作为教育的IV

两阶段最小二乘

两阶段最小二乘的核心思路是： y的工具变量不止有一个，可能有很多个；

考虑以下模型 $$ y_1 = \beta_0 + \beta_1 y_2 + \beta_2z_1 + u $$

• $y_2$是内生变量；
• $z_1$是外生变量；
• $z_2、z_3$是被方程排除在外的外生变量；

1. 为了寻找最好的IV，由$y_2$的简约型方程 $$ y_2 = \pi_0 + \pi_1z_1 + \pi_2 z_2 + \pi_3 z_3 + v $$ 其中，满足前提假定 $$ E(v_2) = 0, Cov(z_1,v)=0,Cov(z_2,v)=0,Cov(z_3,v)=0 $$
2. $y_2$最好的IV，应该是这些$z_j$的线性组合，我们称之为$y_2^$ $$ y_2^ = \pi_0 + \pi_1 z_1 + \pi_2 z_2 + \pi_3 z_3 \qquad (6) $$
3. 为了使该IV与$z_1$不是完全相关的，我们需要$\pi_2或\pi_3$之中至少有一个不为0； $$ \pi_2 \neq 0 或 \pi_3 \neq 0 $$ 采取F检验，原价设为 $$ \pi_2 = 0 且 \pi_3 = 0 $$
4. 利用样本，我们将$y_2$对$z_1,z_2,z_3$进行回归 $$ \hat{y}_2 = \hat{\pi_0} + \hat{\pi_1} z_1 + \hat{\pi_2} z_2 + \hat{\pi_3} z_3 $$
5. 得到$\hat{y}_2$，就可以当作$y_2$的IV，带回原方程，得到IV估计量；在此方法下，得到的IV估计量也称为两阶段最小二乘估计量；

经济学家喜欢这样解释两阶段最小二乘，拟合值$\hat{y}_2$是$y_2^$的估计形式，$y_2^$与u不相关，因此，2SLS在做OLS回归前“清除了”$y_2$中与u的相关性；

职业女性的教育回报的例子

多个内生解释变量

如果模型有不止一个内生解释变量，假设为$y_2,y_3$，我们至少需要两个外生变量，如$z_4,z_5$,但是如果只有一个外生变量$z_4$出现在$y_2,y_3$约简型方程中，而$z_5$没有出现，那么得到的$\beta_j$就是有偏的；

总结需要的条件

• 阶条件：被排斥的外生变量 $\geq$ 结构方程中的内生变量

内生性检验

当解释变量外生时，2SLS估计量的有效性不如OLS；2SLS估计值的标准误较大；

考虑一个疑似有内生变量的模型 $$ y_1 = \beta_0 + \beta_1 y_2 + \beta_2 z_1 + \beta_3 z_2 + u $$ 其中，

• $z_1,z_2$是外生的，$z_3,z_4$是被排斥的外生变量；
• $y_2$可能是内生的；

• 豪斯曼认为，可以直接比较OLS与2SLS的估计值是否有显著性区别，因为如果变量是外生的，那么估计值应该一致
• 但利用回归能更好的检验，要以$y_2$的简约型为基础 $$ y_2 = \pi_0 + \pi_1 z_1 + \pi_2 z_2 + \pi_3 z_3 +\pi_4 z_4 + v $$ 因为各个$z_j与u$不相关的充要条件是$v与u$不相关(我理解的是，用外生变量替代的工具变量$y_2$应该要与u不相关，而这个工具变量一定与v相关，所以要求v与u不相关才行)

我们需要检验的就是$u = \delta_1 v + e$，其中$e与v$不相关，$v与u$不相关的充要条件是$\delta_1 = 0$,而检验这一点最简单的就是直接将v加入方程,而$\hat{v}$则是通过OLS估计得到 $$ y_1 = \beta_0 + \beta_1 y_2 + \beta_2 z_1 + \beta_3 z_2 + \delta_1 \hat{v} + e $$ 如果拒绝了原价设$\delta_1 = 0$,那么可以断定$y_2$是内生的；

总结 --检验单个解释变量内生性

1. 通过将$y_2$对所有外生变量回归(包括结构方程中的外生变量和额外的IV)回归而估计$y_3$的约简方程，得到残差$\hat{v}$
2. 在(包括$y_2$的)结构方程中添加$\hat{v}$,并用一个OLS回归检验$\hat{v}$的显著性，若$\hat{v}$的系数显著异于零，就判断$y_2$确实是内生的。我们可能需要用到一个异方差-稳健的t统计量；

职业女性的教育回报的例子

过度识别约束检验

前面我们对外生工具变量做了两个假定： $$ Cov(z,u) = 0 \qquad (1)\ Cov(z,x) \neq 0 \qquad (2)\ $$ 我们说$(2)$是可以检验的，但是$(1)$不能检验，需要基于经济学逻辑，然而如果不止有一个工具变量(或者工具变量数大于内生解释变量)，那么我们就能有效地检验他们中的一部分是否与结构误差不相关；

假如内生变量$y_2$有两个工具变量$z_3和z_4$的条件下，我们可以选择同时用两个工具变量作为$y_2$的IV估计；

• 我们也可以仅用$z_3$来作为$y_2$的估计，得到$\beta_1$的IV估计量，记为$\breve{\beta}_1$;
• 仅用$z_4$来作为$y_2$的估计，得到$\beta_1$的IV估计量，记为$\tilde{\beta}_1$;
• 如果所有$z$都是外生的，那么$\breve{\beta}_1与\tilde{\beta}_1$都是$\beta_1$的一致估计量；

总结 --过度识别约束检验

1. 用2SLS法估计结构方程，获得2SLS残差$\hat{u}$;
2. 将$\hat{u}$对所有外生变量回归，获得$R^2$,即$R^2_1$;
3. 在所有IV都与u不相关的原假设下，$nR^2_1 \sim \Chi_q^2$,其中，q是模型之外的工具变量数目减去内生解释变量的总数目。如果$nR^2$超过了$\Chi_q^2$分布中的临界值(如5%)，我们拒绝$H_0$,并推断出至少部分IV不是外生的；

职业女性的教育回报的例子

将2SLS应用于面板数据