上课材料之十
第九章 非线性回归模型 回归模型的一般形式是 [pic] （1） 很明显，线性模型只是一种特殊情况，我们应该讨论更一般的模型（1）。 例如， [pic] （2） 不能变换到线性形式。 1 线性化回归 非线性回归模型是 [pic] （为简化记号，我们去掉了观测值的下标）非线性回归模型的许多结果是基于在参数 向量的一个特定值[pic]处（如由经验得到的数据时）对[pic]的一个线性泰勒级数来近 似： [pic] （3） 这被称为线性化回归模型。整理各项可得 [pic] 令[pic]等于第k个偏微分[pic]。对于[pic]的一个给定值，这[pic]是数据而不是含未知 参数的函数。于是 [pic] [pic] 或 [pic] 把已知项移到方程左边，可得回归模型： [pic] （4） 有了[pic]值，我们就可以计算[pic]并通过线性最小二乘法估计（4）中的参数。 然后，进行再次的迭代和回归，直至收敛和满足我们的精度要求。 [例] 对于（2）所给的非线性回归模型，线性化方程中的回归量是 [pic] [pic] 有了一组参数[pic] [pic] 可以对前面为估计[pic]而定义的三个变量进行回归。 2、非线性最小二乘估计 最小二乘法仍然是一种比较具有吸引力的估计参数的方法。对于这种估计量已经得到 许多分析结果，例如，一致性和渐近正态性。然而，除了在扰动项是正态分布的情况下 ，我们不能肯定非线性最小二乘估计量是最有效的估计量。（这和我们对于线性模型所 得的结论是一样的）下面的一些例子将说明这一点。 在继续之前，有必要关于回归量做些假设。贾奇等人（1985）和雨宫（1985）曾详细 地讨论过精确的要求。在古典回归模型中，为了得到渐近结果，我们假设样本矩矩阵（ 1/n）X′X收敛于一个正定矩阵Q。类似地，当线性化模型中的“回归量”在真实参数值处被 计算时，我们在其上附加相同的条件。因此，对于非线性回归模型，与以前类似的是 [pic] （5） 其中[pic]是正定矩阵。根据这个公式，非线性最小二乘估计量的渐近性质可以导出 。实际上，除了在这种情况下我们把[pic]中的导数也作为回归量之外，它们与我们已见 到的线性模型的渐近性质十分相似。 （5）中的矩阵收敛于正定矩阵的要求还附带回归量矩阵[pic]的各列是线性无关的条件 。这是一个识别条件，类似于线性模型中的解释变量是线性无关的要求。 非线性最小二乘准则函数是 [pic] 其中我们已经代入即将是解的b。最小化的一阶必要条件是 [pic] 注意 [pic] 这与线性模型的情况相同。这是非线性最优化的一个标准问题，可以用许多方法来求解 。高斯—牛顿方法在这种情况下经常使用。回想我们关于线性回归模型的讨论，如果[pic] 的值是可以获得的，那里所显示的线性回归模型可以用普通最小二乘法来估计。一旦回 到一个参数向量，它就可以作为一个新的[pic]，计算可以继续进行。迭代可以一直进行 到相邻两个参数向量的差是足够小可以认为已经收敛为止。这个方法的主要优点之一是 在最后一步迭代，[pic]的估计，除了[pic]，给出了参数估计渐近方差矩阵的正确估计 。[pic]的一致估计可以利用残差来计算： [pic] （6） （自由度校正1/（n－K）在这里没有价值，因为所有结果在任何情况下都是渐近的和[pic] 的事实。 [pic] 其中 [pic] 渐近协方差矩阵的样本估计是 [pic] 只要得到这些结果，推论和假设检验就可以按前几章中所描述的同样方式进行。在评价 回归拟合值中产生一个小问题，因为 [pic] 不再保证在零到1的范围内,(因为估计的误差[pic]有可能足够的大)。然而，它仍给出了 一个有用的描述性度量。
上课材料之十