上课材料之七
第七章 带有线性约束的多元线性回归模型及其假设检验 在本章中，继续讨论第五章的模型，但新的模型中，参数β满足J个线性约束集，Rβ= q，矩阵R有和β相一致的K列和总共J个约束的J行，且R是行满秩的，我们考虑不是过度约 束的情况，因此，J＜K。 带有线性约束的参数的假设检验，我们可以用两种方法来处理。第一个方法，我们按 照无约束条件求出一组参数估计后，然后我们对求出的这组参数是否满足假设所暗示的 约束，进行检验，我们在本章的第一节中讨论。 第二个方法是我们把参数所满足的线性约束和模型一起考虑，求出参数的最小二乘解 ，尔后再作检验，后者就是参数带有约束的最小二乘估计方法，我们在本章的第二节中 讨论。 第一节 线性约束的检验 从线性回归模型开始， [pic] （1） 我们考虑具有如下形式的一组线性约束， [pic] 这些可以用矩阵改写成一个方程 [pic] （2） 作为我们的假设条件[pic]。 R中每一行都是一个约束中的系数。矩阵R有和β相一致的K列和总共J个约束的J行，且 R是行满秩的。因此，J一定要小于或等于K。R的各行必须是线性无关的，虽然J=K的情况 并不违反条件，但其唯一决定了β，这样的约束没有意义，我们不考虑这种情况。 给定最小二乘估计量b，我们的兴趣集中于“差异”向量d=Rb－q。d精确等于0是不可能 的事件（因为其概率是0），统计问题是d对0的离差是否可归因于抽样误差或它是否是显 著的。 由于b是多元正态分布的，且d是b的一个线性函数，所以d也是多元正态分布的，若原 假设为真，d的均值为0，方差为 [pic] （3） 对H0的检验我们可以将其基于沃尔德（Wald）准则： [pic] =[pic] （4） 在假设正确时将服从自由度为J的[pic]分布(为什么?)。 直觉上，d越大，即最小二乘满足约束的错误越大，则[pic]统计量越大，所以，一个 大的[pic]值将加重对假设的怀疑。 [pic] （5） 由于σ未知，（4）中的统计量是不可用的，用s2替代σ2，我们可以导出一个F[J，（ n－K）]样本统计量，令 [pic] （6） 分子是（1/J）乘（4）中的W，分母是1/（n－K）乘（5）中的幂等二次型。所以，F是两 个除以其自由度的卡方变量的比率。如果它们是独立的，则F的分布是F[J，（n－K）]， 我们前边发现b是独立于s2分布的，所以条件是满足的。 我们也可以直接推导。利用（5）及M是幂等的这一事实，我们可以把F写为 [pic] （7） 由于 [pic] F统计量是[pic]的两个二次型的比率，由于M[pic]和T[pic]都服从正态分布且它们的 协方差TM为0，所以二次型的向量都是独立的。F的分子和分母都是独立随机向量的函数 ，因而它们也是独立的。这就完成了证明。 消掉（6）中的两个σ2，剩下的是检验一个线性假设的F统计量， [pic] [pic] （8） 我们将检验统计量 [pic] 和F分布表中的临界值相比较，一个大的F值是反对假设的证据。 注意：将wald统计量中的[pic]用[pic]去替代，相应的就将J维的卡方分布转换为维度为 （J,n-K）的F分布。 第二节 参数带有约束的最小二乘估计 一、带有约束的最小二乘函数 在许多问题中，要求其中的未知参数β满足某特定的线性约束条件：Rβ=q，这里R是J ×K矩阵（J＜K），并假定它的秩为J维向量，常常希望求β的估计[pic]，使得 [pic] （9） 满足条件（9）的称为β的具有线性约束Rβ=q的最小二乘估计。 解[pic]的问题实际上是在约束条件 Rβ=q 下求 [pic] 的限制极值点问题。 这个问题的一个拉格朗日解可写作 [pic] 解b*和λ将满足必要条件 [pic] [pic] 展开可以得到分块矩阵方程 [pic] 或 Wd*=v 假定括号中的分块矩阵是非奇异的，约束最小二乘估计量 d*=W-1v [pic] where[pic] 的解。此外，若X′X是非奇异的，则用分块逆公式可以得到b*和λ的显示解 [pic] 和 [pic] 格林和西克斯（1991）表明b*的协方差矩阵简单地就是[pic]乘以W-1的左上块，在X′X是 非奇异的通常情况下，再一次可以得到一个显性公式 [pic]， 这样， [pic]（一个非负定矩阵）， Var[b*]的方差比Var[b]小的一个解释是约束条件提供了更多的信息价值。 二、对约束的检验的另一个方法 令[pic]，我们来计算新的离差平方和[pic]。 [pic] 则新的离差平方和是 [pic] [pic] [pic] 因为新的模型中参数的个数为k-J个，J个榆树条件是原模型中的J个参数可以被其他k- J个表示。 （此表达式中的中间项含有X′e，它是0）。这说明我们可以将一个约束检验基于拟合的 损失。这个损失是， [pic] 这出现在前边推导的F统计量的分子上，我们得到统计量的另一个可选形式。 可选形式是 [pic] 最后，以SST=[pic]除F的分子和分母，我们得到第三种形式， [pic] 由于两个模型的拟合之差直接体现在检验统计量中，这个形式具有一些直观吸引力。 [实例]对数变换生产函数 所有科布—道格拉斯模型的一般化是如下的对数变换模型， [pic] （10） 无约束回归的结果在表1中给出。 表1 无约束回归的结果 |回归标准误差 |0.17994 | |残差平方和 |0.67993 | |R平方 |0.95486 | |调整R平方 |0.94411 | |变量 |系数 |标准误差 |t值 | |常数项 |0.944216 |2.911 |0.324 | |LnL |3.61363 |1.548 |2.334 | |LnK |－1.89311 |1.016 |－1.863 | |[pic] |－0.96406 |0.7074 |－1.363 | |[pic] |0.08529 |0.2926 |0.291 | |lnL×lnK |0.31239 |0.4389 |0.71 | |系数估计量的估计协方差矩阵 | | |常数项 |lnL |lnK |Ln2L/2 |Ln2K/2 |lnL×lnK | |常数项 |8.472 | | | | | | |LnL |－2.388 |2.397 | | | | | |LnK |－0.3313 |－1.231 |1.033 | | | | |[pic] |－0.08760|－0.6658 |0.5231 |0.5004 | | | |[pic] |0.2332 |0.03477 |0.02637 |0.1467 |0.08562 | | |lnL×lnK |0.3635 |0.1831 |－0.2255 |－0.2880 |－0.1160 |0.1927 | 考虑了约束条件[pic]的模型就可以得到科布一道格拉斯模型：[pic] （11） 这是一个条件约束下的无条件的多元线性回归模型。就可以用一般线性回归的方法求 解模型。假如我们通过有约束条件下的无条件的多元线性回归模型得到： [pic]，而且n－K=21，则科布—道格拉斯模型假设的F统计量是 [pic] 查自F分布表的5%临界值是3.07，所以我们不能拒绝科布—道格拉斯模型是适当的这一 假设。 考虑了约束条件[pic]和条件[pic]的模型就是满足规模效应的科布—道格拉斯生产函数。 这个模型可以推导如下： [pic] [pic] （12） 假如我们通过有约束条件下的无条件的多元线性回归模型得到： [pic]，而且n－K=21，则科布—道格拉斯模型假设的F统计量是 [pic] 查自F分布表的5%临界值是2.85，所以我们不能拒绝科布—道格拉斯模型是规模效应的 生产函数的这一假设。 第三节 结构变化与邹至庄检验 (Structure Change and Chou-Test) 1. 问题提出 我们经常碰到这样的问题。某项政策的出台及实施，其效果如何？不同地区或不同时 期内，我们分别可以得到这两个地区或时期的观测值，我们的问题是：这两个地区或时 期的情况是否不同，经济结构有无差异。 这类问题，被华人经济学家邹至庄用构造的F检验解决了（1960年）。这样的F检验的 统计量，就称为邹至庄检验（Chou-Test）。 二、问题的模型表述 设[pic]分别表示这两个时期的观测值，允许两个时期中系数不同的无约束回归是[pic] ，我们可以将其改写成一个回归方程 [pic]……（1） 即[pic]模型，其中Y=[pic]，Z=[pic]，β=[pic]，ε=[pic]。 上述问题就转换成检验[pic]的问题。 我们可以用两种方式来处理问题 一）用约束条件[pic]，来检验。[pic]是更一般约束条件Rβ=q的一个特殊形式，其中 R=(I,-I) 和 q=0。这个直接可以从基于Wald统计量的带约束条件的F检验得到。（请自己推导）。 例题：用约束条件下，F检验推导出邹至庄检验的表达式： 解：在约束条件Rβ=q下，F检验 [pic]。 而邹至庄检验时约束条件Rβ=q的一种特殊形式，即R=(I,- I)，而q=0，也即等同于条件[pic]。（有2k个参数，并且是有k个约束）。故 [pic] 服从F（[pic]）的分布。 另外，在考虑了约束条件[pic]后，我们可以将模型（1）改写成一个无约束的新 的回归方程 [pic]， 即 [pic] (2) 即无约束的线性模型[pic]模型，其中Y=[pic]，Z=[pic]，[pic]β=[pic]，ε=[pic]。 假如模型（2）的残差平方和是[pic]，在假设条件[pic]下， 我们可以得到F统计量可更简单地表示为： [pic]。 二） 更直接、更容易的一个处理是将约束直接构造进模型中，若两个系数向量相同，则模型 （1）就转换为： [pic]……（2） 由此我们推导出可以检验的邹至庄统计量Chou-Test。 从模型（1）中，我们可以得到无约束最小二乘估计量是 [pic] 故 [pic] [pic] 则[pic]……（3） 对于有约束条件[pic]限制的模型（2） [pic] [pic] 则[pic]……（4） [pic] 问[pic]服从何分布？ 首先证明：[pic] [pic] 故[pic]而且[pic] 故[pic] 同样[pic]是幂等矩阵 故[pic]且与[pic] 是独立的，所以 [pic] 这个就是邹至庄检验统计量（Chou-Test）。
上课材料之七