上课材料之十一(简约版)
第十章 非球形扰动项与广义最小二乘（GLS） 1. 问题的提出 多元化回归模型扰动项违背古典假设的更一般的模型是广义回归模型，即假设 [pic] （1） 其中Ω是一般的正定矩阵，而不是在古典假设的情况下的单位矩阵。古典假设条件情况只 是这种模型的一个特例。 我们将考察的正定矩阵Ω两种特殊的情况是异方差性和自相关。 异方差性 当扰动项有不同的方差时，它们就是异方差的，异方差性经常产生于横截面数据，其 中因变量的尺度（scales）和模型解释能力在不同的观察值之间倾向于变动。我们仍然 假设不同观测值之间扰动无关。因此σ2Ω是 [pic] 自相关 自相关经常出现在时间序列数据中，经济时间序列经常表现出一种“记忆”，因为变化 在不同时期之间不是独立的。时间序列数据通常是同方差的，因此σ2Ω可能是 [pic] 非对角线上的值依赖于扰动项的模式。 普通最小二乘法（OLS）的结果 具有球形干扰项 [pic] 和 [pic] （2） 重申前面的内容，普通最小二乘估计量， [pic] （3） 是最佳线性无偏的、一致的和渐近正态分布的（CAN=Consistent and asymptotically normally distributed），并且如果干扰项服从正态分布，在所有CAN估计量中它是渐近有效的。 现在我们考察哪些特性在（1）模型中仍然成立。 有限样本特性 对（3）两边取期望，如果[pic]，则 [pic] （4） 如果回归量和扰动项是无关的，则最小二乘法的无偏性不受（2）假设变化的影响。 最小二乘法估计量的样本方差是 [pic] [pic] [pic] [pic]（5） 在（3）中，b是[pic]的线性函数,因此，如果[pic]服从正态分布，则 [pic] 由于最小二乘估计量的方差不再是[pic]，任何基于[pic]的推断都可能导致错误。不 仅使用的矩阵是错误的，而且s2也可能是[pic]的有偏估计量。通常无法知道[pic]是比 b的真正方差大还是小，因此即使有[pic]的一个好的估计，Var[b]的传统估计量也不会 有用。 最小二乘法的渐近特性 如果Var[b]收敛于0，则b是一致的。使用表现良好的回归量，[pic]将收敛到一个常 数矩阵（可能是0），并且最前面的乘子[pic]将收敛于0。但[pic]不一定收敛，如果它 收敛，则从（5）式可推断普通最小二乘是一致的和无偏的。因此 如果[pic]都是有限正定矩阵，则b是β的一致估计量。 上述结论成立的条件依赖于X和Ω。 另一种分离这两个组成部分的处理办法是： 如果 1、X′X最小的特征根当[pic]时无限制地增加，这意味着[pic]； 2、Ω最大的特征根对于所有n都是有限的。对于异方差模型，方差就是特征根。因此 ，要求它们是有限的。对于有自相关的模型，这要求Ω的元素有限并且非对角线元素与对 角线元素相比不是特别大。那么，普通最小二乘法在广义回归模型中是一致的。 说明普通最小二乘法是不一致的模型 假定回归模型是[pic]，其中[pic]的均值为0，方差为常数并且在不同观测值之间具 有相同的相关系数[pic]。于是 [pic] 矩阵X是一列1。μ的普通最小二乘估计量是[pic]=[pic]。把Ω代入（5），得 [pic] （5a） 这个表达式的极限是[pic]而不是0。尽管OLS是无偏的，但它不是一致的。对于这个 模型，[pic]不收敛。由于X是一列1，因此[pic]是一个标 量，满足条件1；但是，Ω的特征根是[pic]（重数是n-1）和[pic]，不满足条件2；这个 例子中模型的困难是不同观测值间有太多的相关。在时间序列情况下，我们一般要求观 测值之间关于时间的相关系数随它们之间距离增加而减小。这里条件没有被满足。关于 在简介中曾讨论的自相关扰动项的协方差矩阵上需要附加什么种类的要求，这给出一些 很有意义的信息。 如果 [pic] （5b） 的极限分布是正态的，则OLS估计量渐近地服从正态分布。如果[pic]，那么右边项的极 限分布与 [pic] （5c） 的分布相同，其中[pic]是X的一行（当然假定极限分布确实存在）。现在，问题是中心 极限定理是否可以直接应用于v。如果扰动项只是异方差的而且仍是无关的，答案通常是 肯定的。在这种情况下，很容易看到只要X表现良好，而且Ω对角元素是有限的，最小二 乘估计量是渐近正态分布的，方差矩阵由（5）给出。对于大多数一般的情况，答案是否 定的，因为（5c）中的和不一定是相互独立或是甚至无关的随机变量的和。不过，雨宫 （1985）和安德森（1971）曾指出，自相关扰动项的模型中b的渐近正态性是足够普遍的 ，以致于包括了我们在实际中可能遇到的大多数情况。我们可以得到结论，除了在特别 不利的情况 下， b渐近地服从均值为β，方差矩阵由（5）给出的正态分布。 总之，OLS在这个模型中只保留了它的一些可取性质，它是无偏的、一致的和渐近正 态分布的。不过，它不是有效。我们需要寻求b的有效估计。 2. 广义最小二乘（GLS） 在广义回归模型中，β的有效估计需要关于Ω的知识。我们只考察Ω是已知的、对称正 定矩阵的情况，这种情况偶尔会发生，但在大多数的模型中Ω包含必须估计的未知参数。 由于Ω是正定对称矩阵，它可以分解为 [pic] （6） 其中C的各列是Ω的特征向量经过正交化而得到，即CC’=I，而且Ω的特征根被放在对角 矩阵[pic]中。令[pic]是对角元素为[pic]的对角矩阵。 如果令[pic]，则 [pic] 用P’前乘（1）中的模型可得 [pic] 或 [pic] （7） [pic]的方差是 [pic] 因此，这个变换后的模型就是一个我们熟悉的古典回归模型。由于Ω已知，所以，[pic] 是可观测数据。在古典回归模型中，OLS是有效的。 因此[pic] 是[pic]的有效估计量。这是[pic]的广义最小二乘（GLS）估计量。按照古典回归模型， 我们有以下结论： 如果[pic]，GLS估计量[pic]是无偏的。这等价于[pic]，但由于P是已知常数的矩阵 ，即要求[pic]，也即要求回归量与扰动项是无关的，是我们模型的基本假设。 如果 [pic] （8） GLS估计量是一致的，其中Q*是有限正定矩阵。进行替换可得 [pic] （9） 我们需要的是变换后的数据[pic]而不是原始数据X的数据。 根据（9）的假设，GLS估计量是渐近正态分布的，均值为[pic]，样本方差为 [pic] （10） 通过对（7）中的模型应用高斯—马尔科夫定理可得如下的艾特肯（1935）定理： GLS估计量[pic]是广义回归模型中的最小方差线性无偏估计量。 [pic]有时被称为艾特肯估计量。这是一个一般性结果，当[pic]时高斯—马尔科夫定理是 它的一个特例。 对于假设检验，我们可以把所有结果应用到变换后的模型（7）中。为了检验J个线性 约束Rβ=q，相应的统计量是 [pic] [pic]， 其中残差向量是[pic] 而 [pic] 有约束的GLS残差[pic]，基于 [pic][pic] [pic] （11） 总之，对于古典模型的所有结果，包括通常的推断过程，都适用于（7）中的模型。 应该注意的是：在广义回归模型中没有R2的准确对等物。不同的统计量有不同的意义 ，但使用它们时一定要谨慎。 3. 可行的最小二乘估计（FGLS） 上一节的结果是基于Ω必须是已知的条件基础上的。如果Ω含有必须估计的未知参数， 则GLS是不可行的。但在无约束的情况下，[pic]中有n(n+1)/2个附加参数。这对于用n个 观测值来估计这么多的参数是不现实的。只有当模型中需要估计的参数较少时，即模型 中Ω某种结构要简化，才可以找到求解的方法。 可行的最小二乘估计（FGLS） 具有代表性的问题涉及到一小组参数[pic]，满足[pic]。例如，[pic]只有一个未知 数[pic]，其常见的表达形式是 [pic]， 一个也只包含一个新参数的异方差模型是 [pic] 接下来，假定[pic]是[pic]的一致估计量（如果我们知道如何求得这样的估计量）为了 使GLS估计可行，我们将使用 [pic] 替代真正的[pic]。我们所考虑的问题是利用[pic]是否要求我们改变上节的某些结果。 如果[pic]，利用[pic]似乎渐近等价于利用真正的[pic](根据slutsky定理)。当然我 们还需要满足一些其他的相应的条件。令可行广义最小二乘（或FGLS）估计量记为 [pic] 那么，[pic]渐近等价于[pic]的条件是 [pic][pic] （18） 和 [pic] （19） 如果（7）中变换后的回归量表现良好，则（19）右边服务从极限正态分布。这正是 我们求最小二乘估计量的渐近分布时所利用的条件。因此，当[pic]替[pic]时（19）要 求同样的条件成立。 这些是必须逐个情况进行核实的条件。但在大多数情况中，它们的确成立。如果我们 假设它们成立，基于[pic]的FGLS估计量与GLS估计量具有同样的渐近性质。这是一个相 当有用的结果。特别地，注意以下结论： 1、一个渐近有效的FLGS估计量不要求我们有[pic]的有效估计量，只需要一个一致估 计量。 2、除了最简单的情况，FGLS估计量的有限样本性质和精确分布是未知的。FGLS估计 量的渐近有效性在小样本的情况下可能不再成立，这是因为由估计的[pic]引入的易变性 。对于异方差情况的一些分析由泰勒（1977年）给出。自相关的模型由格涅里切斯和拉 奥（1969年）做了分析。在这两项研究中，他们发现对于许多类型的参数，FGLS比最小 二乘更为有效。但是，如果偏离古典假设不太严重，在小样本情况下最小二乘可能比FG LS更有效。 四）异方差的检验异方差的多数检验均基于下述策略 即便存在异方差性，普通最小二乘也是[pic]的一致估计量。所以，尽管由于抽样变 化而不是十分完美，普通最小二乘残差仍将非常近似于真实扰动的异方差。因此，在大 多数情况下，为判定异方差性是否存在而设计的检验均采用普通最小二乘残差。 一、怀特的一般检验(White’s General Test) 能对下述一般假设进行检验是乎是合理的检验 [pic]对所有i [pic] 用n个样本对n个参数的模型进行的估计，是一件十分困难的事，因此，对这种检验是 极具挑战性的。但这种检验已经被怀特于1980年设计出来。 异方差条件下的最小二乘估计量（OLS）的协方差矩阵是： [pic] 我们可用如下式对它加以估计 Est. [pic] 如果不存在异方差性，最小二乘估计量（OLS）的协方差矩阵是： Var[b]=[pic] 可得到Var[b]的一个估计量， [pic] 方法：将[pic]对一个常数X中所有的单一变量的组合组成的变量进行回归，得到nR2 。 这个统计量渐近地服从P-1 个自由度的卡方分布，即nR2～x2(P－1)，（Why？），其中R2=SSR/SST，P为回归量的数 量，但不包含常数。 怀特检验极为一般。为进行此检验，我们不需对异方差的性质作任何特定的假设。尽 管这是优点，但同时也是极为严重缺点。怀特检验可揭示异方差性，但也可能导致简单 地识别某些其他的设定误差（如从一个简单回归中省略[pic]）。此外，不同于我们要讨 论的其他检验，怀特检验是非建设性，如果我们拒绝同方差假设，检验的结果对我们下 一步应当做什么没有任何启示。 二、戈德菲尔德一匡特检验(The Goldfeld-Quandt Test) 另外两个相对一般性的检验是戈尔德一匡特检验（1965）和布罗施一帕甘（1979）拉 格朗日乘数检验。 对于戈德菲尔德一匡特检验，我们假设观测值的扰动方差相同，而在备择假设情况下 ，扰动方差可存在系统性差别。此检验最理想的情形是组间异方差模型或者对某变量[pic] 满足[pic]的这类模型。以该[pic]为基础对观测值进行排列，可将观测值分成高方差和 抵方差两部分。通过将样本分成具有[pic]和[pic]个观测值的两组来进行此检验。为获 得统计上独立的方差估计量，回归是采用两组观测值分别进行估计的。该检验统计量为 ： [pic]， 其中我们假定第一个样本中的扰动方差大于第二组（若非如此，可变换下标）。在同方 差的零假设情况下，此统计量为自由度是[pic]的[pic]分布。可将样本值对照标准[pic] 表，若样本值较大，则可拒绝零假设，这样检验就完成了。 提请注意的是：如果扰动项是正态分布的，戈德菲尔德一匡特统计量在零假设下严格 服从[pic]分布，且该检验的名义值是合适的；但如果扰动项不是正态分布，则[pic]分 布是不适当的，需要具有已知大样本性质的某些备择方法。
上课材料之十一(简约版)