异方差性--潘登同学的计量经济学笔记

异方差对OLS造成的影响

异方差对OLS不会产生什么影响?
- OLS估计量$\hat{\beta_0},\hat{\beta_1},\cdots$的无偏性与一致性不受影响
- 对$R^2$及$\bar{R^2}$的解释也不受影响
异方差对OLS会产生什么影响?
- 由于估计量方差$Var(\hat{\beta_j})$在没有同方差假定下是右偏的，而OLS标准误直接以估计量方差为基础，所以出现异方差的时候，t统计量就不是服从t分布，F统计量也不是服从F分布，LM统计量也不服从$\chi^2$分布

异方差--稳健推断

考虑以下模型 $$ y_i = \beta_0 + \beta_1 x_1 + u_i $$

如果误差包含异方差性，那么 $$ Var(u_i|x_i) = \sigma^2_i $$

则OLS估计量为 $$ \beta_1 = \beta_0 + \frac{\sum_{i=1}^n(x_i-\bar{x})u_i}{\sum_{i=1}^n(x_i-\bar{x})^2} $$

则抽样方差则为 $$ Var(\hat{\beta_1}) = \frac{\sum_{i=1}^n(x_i-\bar{x})^2\sigma^2_i}{SST_x^2} $$

特别地，当对所有i都有$\sigma_i^2 = \sigma^2$时，这个表达式就化简为通常形式$\frac{\sigma^2}{SST_x^2}$；如果这是一个多元回归的话，分母还得乘上$(1-R_1^2)$

一个有效估计量

由于$\hat{\beta_1}$的标准误直接基于对$Var(\hat{\beta_1})$的估计，所以在出现异方差的时候，我们就需要另一种估计方法。White说明了这种方法,一个有效估计量为 $$ Var(\hat{\beta_1}) = \frac{\sum_{i=1}^n(x_i-\bar{x})^2\hat{u}^2_i}{SST_x^2} $$

注意$\hat{u}$表示原来y对x做回归所得到的OLS残差

多元回归的一个有效估计量

与上面类似，$Var(\hat{\beta_1})$的一个有效估计量为 $$ Var(\hat{\beta_1}) = \frac{\sum_{i=1}^n\hat{r}_{ij}^2\hat{u}^2_i}{SSR_j^2} $$

注意$\hat{r}_{ij}$表示将$x_j$对所有其他自变量做回归所得到的第$i$个残差,$SSR_j^2$则是这个回归的残差平方和,与上面说的分母乘上$(1-R_j^2)$并不冲突，因为 $$ R^2 = 1 - \frac{SSR}{SST}\ SSR_j^2 = SST_j^2(1-R_j^2)\ $$

回顾一下之前在多元线性回归中讨论的异方差时，当存在多重共线性的时候，方差就会变得很大，而观察上面的式子，当存在多重共线性的时候，将$x_j$对所有其他自变量做回归所得到的$R^2$就会比较大，进而分母很小，方差变大...（当然$x_j$本身波动很小的话也会使得标准误很大）

对上面的估计量取平方根，那么就得到了异方差--稳健的标准误，进而可以构造一个异方差--稳健的t统计量...

异方差--稳健标准误的适用情况

如果同方差假定成立，而且误差又服从正太分布,那么不管样本容量的大小如何，通常t的统计量都服从精确的t分布

而稳健标准误只有在大样本的时候才适用...

异方差--稳健的F统计量

这个过于复杂，以后再来填坑

异方差--稳健的LM统计量

因为稳健的F统计量过于复杂，构造一个LM统计量也能到达相同效果

考虑以下模型

$$ y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \beta_3 x_3 + \beta_4 x_4 + \beta_5 x_5 + u $$

并假设我们想检验$H_0: \beta_4=0,\beta_5=0$

一般的LM

步骤:

首先估计约束模型（即不含$x_4$和$x_5$的模型）得到残差$\tilde{u}$,
然后将$\tilde{u}$对所有自变量进行回归，而且$LM=R^2_{\tilde{u}}$,其中$R^2_{\tilde{u}}$就是从这个回归中得到的$R^2$

稳健的LM

步骤:

首先估计约束模型（即不含$x_4$和$x_5$的模型）得到残差$\tilde{u}$,
将原假设中所排除的每个自变量分别对原假设所包含的所有自变量进行回归，得到q个残差$\tilde{r}_{1,2,\ldots,q}$（将$x_4$对$x_1,x_2,x_3$进行回归，$x_5$也是这样操作，得到残差$\tilde{r}_4、\tilde{r}_5$）
对所有观察，都求出每个$\tilde{r}_j$与$\tilde{u}$的积
在不包括截距的情况下，将1对$\tilde{r}_1\tilde{u},\tilde{r}_2\tilde{u},\ldots,\tilde{r}_q\tilde{u}$做回归，异方差--稳健的LM统计量就是$n-SSR_1$,其中$SSR_1$是这个回归的残差平方和，在$H_0$下，LM近似服从$\chi_q^2$分布

然后检验就跟一般的LM一样了...

检验异方差性

可以通过适当的变化，就能在原有的框架中

考虑以下模型 $$ y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 +\cdots + \beta_k x_k + u $$

保持假定MLR.1-MLR.4不变，取原假设 $$ H_0 : Var(u|x_1,x_2,\ldots,x_k) = \sigma^2 $$

由MLR.4零条件均值$E(u|x_1,x_2,\ldots,x_k) = 0$,结合原假设$Var(u|x) = E(u^2|x)$,因而同方差性的假设就等价于 $$ H_0 : E(u^2|x_1,x_2,\ldots,x_k) = E(u^2) = \sigma^2 $$

那么为了检验$H_0$，就可以检验$u^2$是否与一个或多个解释变量相关。就转化为将$u^2$对所有解释变量进行回归，做联合检验...

布罗施-帕甘异方差检验

假定一个线性函数 $$ u^2 = \delta_0 + \delta_1x_1 + \delta_2x_2 + \cdots + \delta_kx_k + v $$

则原假设可以等价于 $$ H_0: \delta_1 = \delta_2 = \cdots = \delta_k = 0 $$

然后就用F统计量或者LM统计量来检验即可...

注意虽然$u^2$不是正太分布，但这两个统计量都是渐进合理的。事实上，我们永远不知道总体模型中的实际误差，但我们确实能得到他们的估计值；OLS残差$\hat{u}_i$是第i个观察误差$u_i$的一个估计值，上述函数改为 $$ \hat{u}^2 = \delta_0 + \delta_1x_1 + \delta_2x_2 + \cdots + \delta_kx_k + v $$

记该回归的$R^2$为$R^2_{\hat{u}^2}$,则F统计量与LM统计量分别为 $$ F = \frac{\frac{R^2_{\hat{u}^2}}{k}}{\frac{1-R^2_{\hat{u}^2}}{n-k-1}}\ LM = n\cdot R^2_{\hat{u}^2} \ $$

在原假设成立的情况下，F统计量渐进地服从$F_{k,n-k-1}$分布，LM统计量服从$\chi_k^2$分布

上述过程，也被称为布罗施-帕甘异方差检验

总结布罗施-帕甘异方差检验步骤

用OLS估计模型，得到OLS残差平方$\hat{u}^2$ $$ y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 +\cdots + \beta_k x_k + u $$
将$\hat{u}^2$对解释变量做回归,得到$R^2_{\hat{u}^2}$ $$ \hat{u}^2 = \delta_0 + \delta_1x_1 + \delta_2x_2 + \cdots + \delta_kx_k + v $$
计算F统计量或LM统计量并计算p值，如果p值低于选定的显著性水平，那么我们就拒绝同方差性的原假设

如果我们猜测异方差性只取决于某些自变量，我们可以改造布罗施-帕甘检验，只要将$\hat{u}^2$对我们所选择的任何自变量做回归，并进行适当的F或LM检验（注意:自由度得改）；特别地，如果残差平方和只对单个变量做回归，那么异方差检验恰好就是该变量通常的t统计量。显著的t统计量可以让我们拒绝原假设...

怀特异方差检验

上面的同方差假定被转换成$u^2$与所有解释变量都不相关，而这里的假定新增了二次项，即$u^2$与解释变量、解释变量的平方、交乘项都不相关，即 $$ \hat{u}^2 = \delta_0 + \delta_1x_1 + \delta_2x_2 + \cdots + \delta_kx_k + \delta_{k+1}x_1^2 + \delta_{k+2}x_2^2 + \cdots + \delta_{2k}x_k^2 + \delta_{2k+1}x_1x_2 + \cdots + v $$

那么要检验的假设就变成了上式除截距外的所有$\delta$为0，然后做LM统计量（F统计量）在做判断即可

更简单的方法

可以用OLS的拟合值去检验异方差

$$ \hat{y}_i = \hat{\beta_0} + \hat{\beta_1}x_{i1} + \hat{\beta_2}x_{i2} + \cdots + \hat{\beta_k}x_{ik} $$

只要将$\hat{y}_i$取平方，就可以表示所有二次项与交乘项的函数，再对$\hat{y}_i$与$\hat{y}_i^2$做估计 $$ \hat{u}^2 = \delta_0 + \delta_1\hat{y} + \delta_2\hat{y}^2 + v $$

原假设转换为: $$ H_0: \delta_1 = 0 , \delta_2 =0 $$

然后再用F或LM统计量进行检验...

总结怀特异方差检验

用OLS估计模型，得到OLS残差$\hat{u}^2$和拟合值$\hat{y}_i$,计算拟合值的平方$\hat{y}_i^2$
将$\hat{u}^2$对$\hat{y}、\hat{y}^2$做回归,得到$R^2_{\hat{u}^2}$ $$ \hat{u}^2 = \delta_0 + \delta_1\hat{y} + \delta_2\hat{y}^2 + v $$
构造F或LM统计量并计算p值，得出结论

检验异方差的细节问题

函数误设情形

虽然我们放宽了MLR.5假定，但是我们仍保持MLR.1-MLR.4的，如果违背的MLR.4（具体来说就是，误设了函数形式，如漏了二次项，没有使用对数形式等），那么即使是同方差，也会被拒绝

加权最小二乘法

考虑以下模型 $$ y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 +\cdots + \beta_k x_k + u $$

作出以下假设，假定$h(x)$已知 $$ Var(u|x) = \sigma^2h(x) $$

其中，$h(x)$是解释变量的某种函数，显然$h(x)>0$，但是不知道$\sigma^2$，不过我们可以对他作出估计

转换一下，转换为同方差误差的方程，由于$h_i$仅是$x_i$的函数，且$E(u|x)=0$,所以$E(\frac{u_i}{\sqrt{h_i}}|x) = 0$,那么$Var(\frac{u_i}{\sqrt{h_i}}|x)=\sigma^2$,所以我们只需要在模型两边同时乘上$\frac{1}{\sqrt{h_i}}$，即 $$ \frac{y}{\sqrt{h_i}} = \frac{\beta_0}{\sqrt{h_i}} + \beta_1 \frac{x_{i1}}{\sqrt{h_i}} + \beta_2 \frac{x_{i2}}{\sqrt{h_i}} +\cdots + \beta_k \frac{x_{ik}}{\sqrt{h_i}} + \frac{u}{\sqrt{h_i}} $$

很显然，变换后的方程满足了MLR.1-MLR.5的假定,所以利用变换后的变量所做的回归中能够得到标准误、t统计量和F统计量，通过残差平方和除以自由度就能得到$\sigma^2$的一个无偏估计量

这些估计量与OLS估计量有所区别，被称为GLS广义最小二乘估计值。也被称为WLS加权最小二乘估计，名称来源: $\beta_j$最小化了残差平方和的加权和，其中每个残差平方和的权数都为$\frac{1}{h_i}$。其思想是: 对误差方差越大的观察赋予越小的系数；而OLS则对每个观测都赋予相同的权数...

$$ \argmin_{\beta_0 ,\beta_1, \ldots, \beta_k}\sum_{i=1}^{n}\frac{(y_i - \beta_0 - \beta_1 x_1 - \beta_2 x_2 - \cdots - \beta_k x_k)^2}{h_i} $$

分组回归对与平均值回归

如果我们拥有的不是个体数据，而是某个组或者某个地理区域中的数据的平均值

考虑以下模型,$contrib_{i,e}$表示第$i$个企业的员工$e$每年投入的数额，$earn_{i,e}$表示此人每年的每年的收入，$age_{i,e}$表示此人的年龄，$mrate_i$表示企业为员工投入的每一美元而匹配的数量 $$ contrib_{i,e} = \beta_0 + \beta_1 earns_{i,e} + \beta_2 age_{i,e} + \beta_3 mrate_i + u_{i,e} $$

假如上式满足MLR.1-MLR.5，那么就能用OLS去估计这个方程（给定企业下）。假如我们只有各个企业水平下的平均值的话，我们将上述方程对企业$i$的所有员工取均值，得到企业层次上的模型 $$ \overline{contrib}_{i} = \beta_0 + \beta_1 \overline{earns}_{i} + \beta_2 \overline{age}_{i} + \beta_3 mrate_i + \overline{u}_{i} $$

其中,$\overline{u}_{i} = \sum_{e=1}^{m_i}u_{i,e}$,$m_i$是第$i$个企业的员工数量，因为$u_{i,e}$满足给定企业下零条件均值，和方差$Var(u_{i,e}) = \sigma^2$

那么$\overline{u}_{i}$的方差就具有异方差$Var(\overline{u}_{i})=\frac{\sigma^2}{m_i}$,这个方差就是一些具有共同方差的随机变量平均值的方差公式，其实并不陌生啊，在中心极限定理那里，所有抽样分布方差也是这个...

换言之，误差项$\overline{u}_{i}$的方差随着企业的规模的扩大而减小，所以最有效的估计程序就是以企业雇员人数为权数的WLS估计，即 $$ \argmin_{\beta_0 ,\beta_1, \beta_3}\sum_{i=1}^{n}\frac{(\overline{contrib}_{i} - \beta_0 - \beta_1 \overline{earns}_{i} - \beta_2 \overline{age}_{i} - \beta_3 mrate_i)^2}{m_i} $$

估计异方差函数

在前面的分析中我们都是假设$h(x)$,在大多数情形下，异方差的确切形式并不明显。我们可以用数据去估计这个模型中的未知参数，从而得到每个$h_i$的估计值，记为$\hat{h_i}$。这个估计量称为可行的GLS估计量

模型化异方差性的方法有很多，其中一个模型如下 $$ Var(u|x) = \sigma^2 exp(\delta_0 + \delta_1 x_1 +\delta_2 x_2 + \ldots + \delta_k x_k) $$

这里的方程形式可能有些奇怪，这里之所以是非线性形式，而不是像前面布罗施-帕甘异方差检验假设的是线性的原因就是，要保证异方差为正，而线性模型的预测值不一定为正

将上面的换成一个可以取对数的形式，再转换成线性形式，就可以用OLS估计了 $$ u^2 = \sigma^2 exp(\delta_0 + \delta_1 x_1 +\delta_2 x_2 + \ldots + \delta_k x_k) v $$

其中, $v$以$\mathbf{x}=x_1,x_2,\ldots,x_k$为条件时的均值为1。假定$v$与$x$无关。取对数

$$ \log(u^2) = \alpha_0 + \delta_1 x_1 +\delta_2 x_2 + \ldots + \delta_k x_k + e $$

因为误差项不能得到，我们用OLS残差来取代观察不到的$u$,对下式做回归

$$ \log(\hat{u}^2) = \alpha_0 + \delta_1 x_1 +\delta_2 x_2 + \ldots + \delta_k x_k $$

回归系数不重要，我们要的是拟合值$\hat{g_i}$，表示的就是第$i$个样本的上式拟合值。那么就可以得到$h_i$的估计值 $$ \hat{h_i} = exp(\hat{g_i}) $$

然后在WLS方程中，将$1/h_i$用$1/\hat{h_i}$代替

总结纠正异方差性的一个可行GLS程序

将$y$对$x_1,x_2,\ldots,x_k$做回归并得到残差$\hat{u}$
通过先将OLS残差进行平方, 然后取自然对数而得到$\log(\hat{u}^2)$
用解释变量$x_1,x_2,\ldots,x_k$对$\log(\hat{u}^2)$做回归，得到拟合值$\hat{g}$
求出拟合值的指数$\hat{h} = exp(\hat{g})$
以$\frac{1}{\hat{h}}$为权数，用WLS估计方程 $$ y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \ldots + \beta_k x_k + u $$

误设异方差模型

对于OLS与WLS得到的估计值基本上是相差不大的，如果OLS与WLS得到极其不同的估计值，那么条件均值($E(y|x)$,模型设定)的假定可能就是错的;在满足MLR1-4的假定下，$h(x)$的错误假定不会造成WLS估计量的不一致；

逻辑上推理一遍，因为将原模型左右两边乘上$\frac{1}{\sqrt{h_i}}$,是为了消除$u$的异方差，加入模型左右乘上的的东西不能消除异方差，那么他这个模型还是异方差的，与OLS仍保持一致；

更好的做法是: 在应用完WLS估计后，接一个稳健的标准误；稳健的标准误略高于通常的WLS标准误，这当然会导致置信区间变大；

误设异方差模型与OLS模型哪个更好？

如果方差函数被误设，那就不能保证WLS比OLS更有效；但是在异方差非常严重的时候，在估计中使用一个错误的异方差形式并应用WLS 通常优于 OLS估计

比较的依据就是: 在相当的情况下，WLS的稳健的标准误要远小于稳健的OLS标准误

线性概率模型的异方差问题

书接上文，当因变量y是一个二值变量时，除非所有的斜率系数都为零，否则模型就一定包含异方差性 $$ Var(y|x)=p(x)[1-p(x)]\ p(x) = \beta_0 + \beta_1x_1 + \beta_2x_2 + \cdots + \beta_k x_k \ $$

从最简单的角度出发，就继续使用OLS估计，接一个稳健的标准误

使用WLS估计

在LPM（线性概率模型）中，我们能知道方差的形式，所以设 $$ \hat{h_i} = \hat{y_i}(1-\hat{y_i}) $$

但是这样设会有问题，就是无法保证$\hat{h_i}$恒为整数（因为$\hat{y_i}$可能小于0，或者大于1）；因为我们要在OLS模型的左右乘上$\frac{1}{\sqrt{\hat{h_i}}}$,所以$\hat{h_i}$不能为负

所以我们要对大于1或者小于0的拟合值$\hat{y_i}$做调整，大于1的调为0.99，小于0的调为0.01；

总结用WLS估计LPM

用OLS估计模型并得到拟合值$\hat{y}$
判断是否所有拟合值都位于$(0,1)$区间。如果不是，进行调整
构造估计方差 $$ \hat{h_i} = \hat{y_i}(1-\hat{y_i}) $$
以$\frac{1}{\hat{h_i}}$为权数，用WLS估计方程 $$ y = \beta_0 + \beta_1x_1 + \beta_2x_2 + \cdots + \beta_k x_k $$

【计量经济学】异方差性