上课材料之九
第八章 古典线性回归的大样本理论 迄今为止的讨论涉及了最小二乘估计量的有限样本性质。根据非随机回归量和扰动项 正态分布这两个假设，我们知道了最小二乘估计量的精确分布和一些检验统计量。 在本章中，我们去总结前一章关于最小二乘法的有限样本特性，然后我们重点讨论古 典回归模型的大样本结果。 第一节 最小二乘法的有限样本特性 古典回归模型的基本假设是 Ⅰ.y=Xβ+ε。 Ⅱ.X是秩为K的n×K非随机矩阵。 Ⅲ.E[ε]=0。 Ⅳ.E[εε′]=σ2I。 未知参数β和σ2的最小二乘估计量是 [pic] 和 [pic] 通过分析 [pic] 并且 [pic] 我们可得下列精确的有限样本结果： 1. E[b]=β（最小二乘估计是无偏的） 2. Var[b]=σ2(X′X)-1 3. 任意函数r′β的最小方差线性无偏估计量是r′b。（这就是高斯—马尔科夫定理） 4. E[s2]=σ2 5. Cov[b,e]=0 为了构造置信区间和检验假设，我们根据正态分布的假设 [pic] 推导额外了的结果，即 6. b和e在统计上是相互独立的。相应的，b和s2无关并在统计上相互独立。 7. b的精确分布依赖于X，是[pic]。 8. [pic]的分布是[pic]。s2的均值是σ2，方差是2σ4/（n－K）。 9. 根据6至8结果，统计量[pic]服从自由度为n－K的t分布。 10. 用于检验一组J个线性约束Rβ=q的检验统计量 [pic] 服从自由度为J和n－K的F分布。 注意，利用I至IV建立起来的b的各种性质和根据扰动项更进一步的正态分布假设而得 到的额外推断结果之间的区别。第一组中最重要的结果是高斯—马尔科夫定理，它与扰动 项的分布无关。根据正态分布假设得到的重要的附加结果是7、8、9、10。正态性没有产 生任何额外的有限样本的最优性结果。（没有得出额外的有关统计量好坏的结论） 第二节 古典回归模型的渐近分布理论 为什么要用大样本理论？ 在OLS的方法中，我们如果用数据得到的wald统计量： [pic]～[pic] 通不过检验，即假设[pic]不满足，这样的话我们就不能用OLS完成相关的假设检验问题 ，所以我们要用到中心极限定理：在n足够大的情况下，Y 和 [pic] 都服从正态分布。这样，相应的判别估计量好坏的方法和标准要捉相应的调整，其中重 要的概念是一致估计量。虽然估计量有可能相同，但我们关心的是他们的一致性，而不 是无偏性。 所以我们要区分那些结论是可以在没有正态性的假设下仍然成立的，利用这些条件来 推断最小二乘系数估计量的一致性。 对于满足I到IV假设的模型，可以直接推导大样本最小二乘估计量的特性。 最小二乘系数向量的一致性 复习：依概率分布 定理 从具有有限均值μ和有限方差[pic]的任何总体中抽取的随机样本的均值都是μ的一个一致 估计量。 证明：[pic]，所以，[pic]依均方收敛于μ，或[pic]。 斯拉茨基定理（Slutsky） 对一个不是n的函数的连续函数g(xn)，有 [pic] 假设 [pic] 是正定矩阵， （1） 这个假设在大多数时候是不过份的，考虑一元的情况： X=[pic] [pic] (我们知道，p[pic] p[pic]). [pic] which is positive definite as its principal submatrices all have positive determinants. 最小二乘估计量可以写成 [pic] （2） 假设Q-1存在，因为逆矩阵是原矩阵的连续函数，我们得到 [pic] 现在我们需要最后一项的概率极限。令 [pic]，其中[pic],为[pic]的列向量 那么 [pic] 且 [pic] 因为，X是非随机矩阵，所以 [pic] 且 [pic] 于是可得 [pic] 由于[pic]的均值是0，并且它的方差收敛于0，所以[pic]按均方收敛于0，且[pic]。 （下面定理揭示了r-阶收敛与依概率收敛的关系 定理8 [pic]。） 因此 [pic] （4） 所以 [pic] （5） 这表明了在古典回归模型中，在假设（1）条件下b是β的一致估计量。 二、最小二乘估计量的渐近正态性 为了导出最小二乘估计量的渐近分布，利用以前结果可得 [pic] 由于逆矩阵是原矩阵的连续函数，[pic]。因此，如果极限分布存在，则统计量的极 限分布与下式相同： [pic] （6a） 因此，我们必须建立下式的极限分布， [pic] 其中[pic]。我们可以利用林德伯格- 费勒形式的中心极限定理得到[pic]的极限分布。利用定理中的表达式， [pic] 是n个互不相关的随机向量[pic]的平均值，其中[pic], εi的均值为0，方差为 [pic] [pic]的方差 [pic] [pic] 只要总和不被任一特定项占据主导地位并且回归量表现良好，在这种情况中，这意味着 （1）成立，则 [pic]Var([pic])=[pic]Var([pic])=[pic] 下列结果的正式证明是根据林德伯格- 费勒形式的中心极限定理，由施密特（1976）和怀特（1984）给出。如果 1. 扰动项都服从具有零均值和有限方差[pic]的同样的分布。 2. X的元素受到限制使得[pic]有限并且[pic]是一个有限正定矩阵。则 [pic] （6） (这也是为什么我们要假设Q是正定的，因为正态的协方差都是正定的) 我们利用这一结果可得, 即作一个变换： [pic] 根据(6a): [pic] 我们可以得到b的渐近分布(不加证明)： [pic] 三、标准检验统计量的渐近行为 如果没有ε的正态性，前面给出的t，F和[pic]统计量则不会服从相应的这些分布。因 为 [pic] 由此得出 [pic] 的渐近分布是标准正态分布。 由于[pic]（在下一节中将证明[pic]这个结果） [pic] 将与θk有同样的渐近分布。因此，我们可以认为，关于β的一个元素的假设的通常统计量 服从标准正态分布，而不是t分布。(也就是大样本情况下，没有t分布了，相应的t分布 是正态分布。) 用于检验一组线性约束的F统计量， [pic] 不再是F分布，因为分子和分母都不是要求的[pic]分布。不过, 沃尔德统计量JF[J,n－K]渐近地服从[pic]分布并可以用来替代使用。这与扰动项正态分 布情况的结果相同。在通常的假设下，无论扰动项是否服从正态分布，在处理古典模型 的大样本时，沃尔德统计量都可使用。 定理 沃尔德统计量的极限分布定理 如果[pic] 以及[pic]是正确的，那么 [pic] 依分布收敛于自由度为J的[pic]统计量。（我们不要求正式严格证明）。 特别提醒与注意：模型的整体检验统计量 这个沃尔德统计量就是可以用来作为我们模型的整体检验，只不过检验时，这里的R =I，而q=0而已。但注意沃尔德统计量W 是自由度为J的[pic]统计量，而不再是用F 分布来检验了。但W=JF。 定理的证明：由于R是常数矩阵， [pic] （1） 又Rβ=q，因此 [pic] （2） 为方便起见，将此写成 [pic] （3） 令T满足T2=P-1，并把T记为[pic]，即T是P的逆平方根。 如果[pic]，那么[pic] （4） 现在，我们对随机变量函数的极限分布利用斯拉茨基（Slutsky）定理，无关的（即，相 互独立）标准正态分布变量的平方和服从[pic]分布。因此，有下面的极限分布 [pic] （5） 再结合前面的各部分， 不难证明： [pic] （6） 即我们已经证明了其极限分布是自由度为J的[pic]分布。 由于[pic]（在下一节中将证明这个结果），这样： [pic] 的极限分布式与（6）的极限分布是一样的。 约去ｎ，对左边进行整理就得到沃尔德统计量W。证明完毕。 注意：沃尔德统计量W可以用J 乘以通常的F 的统计量而得到。F仍然是OLS得到的F统计量。 三、s2的一致性和Var[b]的估计量 本节证明上节用到的结果plim[pic]的假设,即证明s2对[pic]的一致性，也就是证明 [pic]。展开 [pic] 可得 [pic] [pic] 最前面的常数显然收敛于1，括号中第一项依概率收敛于[pic]，因为：[pic]=[pic] 而且：[pic] [pic] 因为有：（定理 从具有有限均值μ和有限方差[pic]的任何总体中抽取的随机样本的均值都是μ的一个一致 估计量。P357(大Green)） 所以只有在[pic]为有限的情况下，[pic]是[pic]的一致估计量。 所以我们要假设[pic]是有限的。 这意味着 [pic] 单独看plims2的第二项，略微整理之后，我们有 [pic] 这个统计量的大样本特性与 [pic] 的相同。注意q等于[pic]乘以正态分布向量的二次型，该向量[pic]渐近方差矩阵是[pic] Q。因此，利用沃尔德统计量极限分布证明的结果，我们发现q可以写成 [pic] 这样 [pic] [pic] 而且[pic]，q是二阶收敛的，所以保证了概率收敛，即[pic]由此可得q本身依均方收敛 于0。这表明了s2对[pic]的一致性。由此b的渐近协方差的适当的估计量是： [pic] B的函数的渐近分布——得尔塔方法 利用泰勒展开，把f(x)线性化。 令f(b)是一组关于最小二乘估计量J个连续的线性或非线性的函数并令 [pic] G是J×K矩阵，其中第j行是第j个函数关于b的导数。利用斯拉茨基（Slutsky）定理， [pic] 并且 [pic]， 于是 [pic] （2） 实际上，渐近协方差矩阵的估计量是 [pic] 如果某个函数是非线性的，则b的无偏的性质不会传给f(b)。不过从（2）中可得f(b)是 f(β)的一致估计量，而且渐近协方差矩阵很容易获得。 例 P324（小Green） 小 结 有限样本和大样本的结果比较 有限样本 大样本 在条件[pic]下的结果 在不满足条件[pic]下的结果 1. E[b]=β 1. [pic] 最小二乘估计是无偏的 b是β的一致估计量 2. E[s2]=σ2 2. s2是方差[pic]的一致估计量 σ2估计是无偏的 s2是[pic]的一致估计量 3. [pic]Var[b]=s2(X′X)-1 3。 [pic] 4．b的精确分布是 4. b的渐近分布是正态分布 [pic] [pic] 5．统计量[pic] 5. 统计量 [pic] 服从自由度为n－K的t分布 服从标准正态分布，而不是t分布 6．用于检验一组J个线性约束Rβ=q的检验统计量 [pic] 服从自由度为J和n－K的F分布 6. [pic] 依分布收敛于自由度为J的[pic]统计量 非线性问题的处理：（利用泰勒展开，转换为线性）
上课材料之九