上课材料之六
第五章 多元线性回归模型 在第四章中，我们讨论只有一个解释变量影响被解释变量的情况，但在实际生活中， 往往是多个解释变量同时影响着被解释变量。需要我们建立多元线性回归模型。 一、多元线性模型及其假定 多元线性回归模型的一般形式是 [pic] 令列向量x是变量xk，k=1，2，的n个观测值，并用这些数据组成一个n×K数据矩阵X， 在多数情况下，X的第一列假定为一列1，则β1就是模型中的常数项。最后，令y是n个观 测值y1, y2, …, yn组成的列向量，现在可将模型写为： [pic] 构成多元线性回归模型的一组基本假设为 假定1. [pic] 我们主要兴趣在于对参数向量β进行估计和推断。 假定2. [pic] 假定3. [pic] 假定4. [pic] 我们假定X中不包含ε的任何信息，由于 [pic] （1） 所以假定4暗示着[pic]。 （1）式成立是因为，对于任何的双变量X，Y，有E(XY)=E(XE(Y|X))，而且[pic] [pic] 这也暗示 [pic] 假定5 X是秩为K的n×K随机矩阵 这意味着X列满秩，X的各列是线性无关的。 在需要作假设检验和统计推断时，我们总是假定： 假定6 [pic] 二、最小二乘回归 1、最小二乘向量系数 采用最小二乘法寻找未知参数β的估计量[pic]，它要求β的估计[pic]满足下面的条件 [pic] （2） 其中[pic]，min是对所有的m维向量β取极小值。 也即 [pic] [pic] （3） 满足（2）式或（3）式的估计量[pic]称为β的最小二乘估计，这种求估计量的方法称 为最小二乘法（OLS）。 展开上式得 [pic] 或 [pic] 最小值的必要条件是 [pic] 设b是解，则b满足正则方程组 [pic] 这正是我们曾分析的最小二乘正则方程组。因为X是满秩的，所以[pic]的逆存在， 从而得到解是 [pic] 为了证实这确实是最小值，我们需要二阶编分矩阵 [pic] 是一个正定矩阵。 我们现在来证明这个结果。对任意一非零向量c，令[pic]，则 [pic] 除非[pic]的每一元素都为0，否则q是正的。但若[pic]为零的话，则X的各列的一个线性 组合等于0，这与X满秩的假定相矛盾。 三、最小二乘估计量的统计特性 在本节中，我们对回归量的两种情况，即非随机回归量和随机回归量下分别作讨论。 1、X非随机回归量 若回归量当作非随机来进行处理时，则将X当作常数矩阵处理就可导出最小二乘估计 量的各种特性。可得 [pic] （4） 若X是非随机的，或[pic]，则（4）中第二项的期望值是0。所以，最小二乘估计量是 无偏的，它的协方差矩阵是 [pic] [pic] [pic] [pic] [pic] 在前面的内容中，对K=2的特殊b是β的最小方差的线性无偏估计量。现在我们给出这 个基本结果的一个更一般的证明，令[pic]的另一个不同于b的线性无偏估计量，其中C是 一个K×n矩阵。若[pic]是无偏的， [pic] 这暗示着CX=I，并且[pic]。所以可以得到[pic]的协方差矩阵是 [pic] 现在令[pic]，由假设知D≠0。那么，[pic] [pic] 于是[pic]是非负定矩阵。 则 [pic] [pic] [pic] 在展开这个四项和式之前，我们注意到 [pic] 由于上面最后一项是I，有DX=0，所以 [pic] [pic] [pic]的方差矩阵等于b的方差矩阵加上一个非负定矩阵。所以，[pic]的每个二次型 都大于[pic]的相应二次型。 利用这个结果可以证明高斯-马尔科夫定理： 高斯—马尔科夫定理： 对任意常向量w，古典线性模型中[pic]的最小方差线性无偏估计量是[pic]，其中b是 最小二乘估计量。 2、X随机回归量 在这样的情况下，为了得到最小二乘估计量特性更多的一般性，有必要将上面的结果 推广解释变量X是来自某种概率分布的情况中去。获得b的统计特性的一个方便的方法是 ，首先，第一步求得对X的条件期望结果，这等同于非随机回归量的情况，第二步，通过 条件分布得到无条件结果。此论点的关键是，如果我们对任意X都可能得到条件无偏性， 我们就可以得到一个无条件结果。 因为 [pic] 所以，以观测到的X为条件我们得到 [pic] 一个有用的方法是利用重期望定律 [pic] [pic] 因为由假定4有[pic]，所以，b也是无条件无偏的，这样， [pic]。 同样，以X为条件的b的方差是 [pic] 为了求得确切的方差，我们使用方差分解公式： [pic] 由于对所有X，[pic]，所以第二项为零，因此， [pic] 我们原来的结论要稍作改变，我们必须用其期望值E[(X′X)-1]来代替原来[pic]以得到适 当的协方差矩阵。 从上一段的结果可以合乎逻辑地建立高斯—马尔科夫定理， 即对任何[pic]，在X给定的条件下有 [pic] 但若这一不等式对一特定X成立，则必须成立： [pic] 即，若它对每一特定X成立，则它一定对X的平均值也成立。这暗示，[pic]≤[pic]。 所以，不论我们是否将X看作是随机的，即无偏性和高斯—马尔科夫定理都成立。 四、最小二乘估计量的统计推断 迄今为止，在我们任一结果还未用到ε的正态性的假定6，但这一假定对构造假设检验 的统计量是有用的和必须的。 1、回归系数的假设检验 我们先讨论X非随机变量时的情况。 在（4）中，b是干扰向量ε的一个线性函数，如果我们假定ε服从多重正态分布。 利用前面结果及前边推导的均值向量和协方差矩阵来表示即 [pic] 这是一个多重正态分布，所以b的每一元素的边际分布都是正态分布的： [pic] 令[pic]是[pic]的第k个对角元素，则 [pic] （5） 服从标准正态分布。若[pic]的统计推断可以基于[pic]。然而[pic]仍要估计，所以 （5）式中Zk不是统计量。我们要得到[pic]的无偏估计量，才能作进一步的推断。 按定义最小二乘残差向量是 [pic] [pic] [pic] [pic] M是回归分析中一个基本的n×n矩阵，你可以容易地验证M既是对称的(M=M′)又是幂等 的（M=M2）。 性质1：X′e=0和i′e=0 证明：由正则方程组，我们得到： [pic] [pic] 所以， i′e=0 由性质1及证明过程我们得到两个推论： 推论1：[pic]和MX=0。 推论2：[pic]和Mi=0。 推论2成立是因为X′的第一行是（1,1,…，1）。 性质2：e和b互不相关。 [pic] [pic] 从几何解释来看这一性质是显然的，e表示Y到子样空间的垂线估计量，[pic]和e互相 垂直。 性质3：残差e的均值向量和协方差阵分别是[pic] 证明：[pic] [pic] [pic] [pic] E(e)=0，暗示[pic]是y的无偏估计量。 性质4：[pic] 证明：最小二乘残差是 [pic]， 这是由于MX=0，[pic]的一个估计量将基于残差平方和： [pic] 这个二次型的期望值是 [pic] 我们有 [pic][pic] 由于M是固定的，这就是 [pic] M的迹是 [pic] [pic] 所以， [pic]， [pic]的一个无偏估计量是 [pic] （6） 回归的标准误差是s2，其平方根为s。利用s2，我们可以计算估计量b的估计协方差矩阵 ： [pic] 通过利用s2替代[pic]，我们导出替代（5）中zk的一个统计量。此量 [pic] 是一个标准正态向量[pic]的幂等二次型，所以，它服从自由度为秩（M）=迹（M）=n—K 的x2分布。（6）中的x2分布变量独立于（4）中的标准正态变量，为了证明这一点，只 要证明 [pic] （7a） 独立于[pic]就足够了。我们知道标准正态向量x的一个线性式Lx和一个幂等二次型x ′Ax独立的充分条件是LA=0，令[pic]等x，我们发现这里所需求的是[pic]。这确实成立 ，因为[pic]。 在推导回归分析中许多检验统计量中起中心作用的一般性结果是： 若ε服从正态分布，最小二乘系数估计量b统计独立于残差向量e及包括s2在内的e的所 有函数。 所以，比率 [pic] [pic] （7） 服从自由度为（n—K）的t分布。这是我们作统计推断的基础。 线性约束检验 我们通常对含有不只一个系数的假设检验感兴趣，我们可以利用一个类似于（7）中 的检验统计量。假定我们的假设是 [pic]， （通常某些r将为零）左边的样本估计是 [pic] 若[pic]显著异于q，则我们推断样本数据与假设不一致。与（7）一样，将假设基于下式 是很自然的。 [pic] （7a） 我们需要[pic]的标准误差的一个估计。由于[pic]是b的一个线性函数，且我们已估计出 了b的方差矩阵[pic]，我们可用下式估计[pic]的方差。 [pic] （7）中的分母是这个量的平方根。若假设是正确的，我们的估计应该反映这一事实，至 少在抽样变化性的范围内如此。这样，若前边的t比率的绝对值大于适当的监界值，则应 对假设产生怀疑。 2、随机X及正态ε下的检验统计量 现在，我们考虑当X是随机的，样本检验统计量和推断方法考虑（7）中检验[pic]的 t统计量： [pic] （8） 以X为条件，t|X服从自由度为（n—K）的t分布。然而，我们感兴趣的是t的边际（即无条 件）分布。正如我们所见，（7a）仅仅在以X为条件时b才是正态分布的，我们还没有证 明它的边际分布是正态分布的。类似地，当X是随机的情况下，在给定X的条件下，我们 得到了（8）式的t统计量，我们还没有证明t边际分布也是以（n－K）为自由度的t分布 。事实上，t的边际分布仍是以（n—K）为自由度的t分布，不论X的分布是什么，甚至不 论X是随机的还是非随机的或者是混合的。 这个令人迷惑的结果来自f(t|X)不是X的函数这一事实，同样的原因可以用来推演不 论X是不是随机的，通常用以检验线性约束的F比率都是有效的。 结论：若干扰项是正态分布的，我们可以在我们的过程中不加变化地进行检验和构造 参数的置信区间，而不去考虑回归量是随机的、非随机的，还是它们的混合。 3、拟合优度和方差分析 由方差分解公式，我们有：[pic]。我们用幂等矩阵M0来表示： [pic] [pic] [pic] 所以，[pic]和[pic] 进一步研究回归平方和SSR与残差平方和SSE，我们可以得到下面三个结论： a）在β=0的假设条件下，回归平方和[pic]服从自由度为K－1的卡方分布x2(K－1)； b）残差平方和[pic]服从自由度为n－K的卡方分布x2(n－K)； c）在β=0的假设条件下，[pic]服从F（k-1,n－k）分布。 证明：a）M0－M是幂等矩阵。先证明M0M+MM0=2M。 M0M+MM0 [pic] [pic] =2M 从而[pic] [pic] 所以，[pic]。 在β=0的假设条件下，[pic]才服从自由度为K－1的卡方分布x2(K－1)（为什么？） b）因为M是幂等矩阵而且[pic][pic] c）只要验证[pic]即可。 事实上，[pic] [pic]。 和前一章的情况一样，我们要对回归模型的好坏，作出评价，决定系数[pic]就是对 模型拟合的一个度量，计算R2有两个等价的方法。 决定系数[pic] 进一步推导和化解，我们可以得到R2另一个公式。 [pic]，以及M0e=e（表示残差已经具有零均值）和X′e=0。 [pic] 所以，[pic] [pic] [pic] [pic] 第一个方法度量了y的总变差中由回归变差所解释的部分，第二个是y的观测值和由估 计的回归方程所产生的预测值间的相关系数的平方。 当利用R2来比较不同的线性统计模型的拟合度时，存在一个严重的缺点，就是它的值 随着解释变量的增多而增大。为了克服这个缺点，我们可以用调整的R2来测度一个模型 的解释能力，这个调整的R2被记[pic]，它的表达式为 [pic] [pic] 这里[pic]的无偏估计量，（思考：当y服从正态分布时，[pic]的一个无偏估计量） 。[pic]不同的是，随着解释变量的增多，它的值可能变小，甚至要能取负值。 因为[pic] 所以，SSR=[pic] [pic] [pic] 我们得到了回归方差的另一个表达式，请见多元线性回归模型方差分析表。 表1 多元线性回归模型方差分析 | |来源 |自由度 |均方 | |回归 |[pic] |K－1 | | |残差 |[pic] |n－K |s2 | |总 |[pic] |n－1 |[pic] | |[pic] | 4、回归的显著性检验 一个通常要检验的假定是回归方程作为整体的显著性，这是对除了常数项外所有常数 都为0的假设的联合检验。若所有系数为0，则多重相关系数为0，所以我们可以将这一假 定的一个检验基于R2值上。统计量 [pic] 服从自由度为K－1和n－K的F分布，检验的逻辑是，F统计量是对我们强加所有斜率都是 0的这一约束时的拟合损失的一个度量（R2的全部），若F大，假设被拒绝。 五、预测 多元回归环境下的预测结果与前一章中讨论的那些本质是一样的。假定我们希望预测 与回归向量x0相应的y0值。它将是 [pic] （[pic]，且 [pic] i=1,…,n） 由高斯—马尔科夫定理知 [pic] 是y0的最小方差线性无偏估计量。 个体预测（Individual Prediction）误差是 [pic] （[pic]，且 [pic] i=1,…,n） 这个估计的预测方差是 [pic] [pic] 若回归含有一个常数项，一个等价的表达式是 [pic] 其中X是X的不包含全为1的列的最后K－1列。这表明，和以前一样，区间的宽度依赖 于x0的元素与数...
上课材料之六