上课材料之八
第六章 正态线性统计模型的最大似然估计 我们假定第五章的6个假设条件全部满足，我们就知道了Y的分布函数，我们也就可以 用其他方法如最大似纵然估计和矩估计等来求解出参数[pic]的估计量。在本章中我们用 最大似纵然估计求出参数[pic]的估计量。 利用模型的假设和样本信息，我们首先求出似然函数，它是关于未知数[pic]的函数 。由于[pic]，因此有[pic]或者边际分布[pic]，这里[pic]，t=1,2,…,n, {yt}是相互独 立的（Why?）。yt的密度函数为 [pic] 所以y1,y2,…,yn的联合概率密度函数为 [pic] [pic] 如果把y1,y2,…,yn的联合概率密度函数看做是未知参数[pic]的函数，我们称它为似然函 数，记为 [pic] 两边取自然对数得到对数似然函数为 [pic] [pic] 据最大似然法则，估计未知参数[pic]的问题变成了选择[pic]的值使得对数似然函数 的值达到最大，也即是如下的最优化问题： [pic] 这个问题的一阶条件为 [pic] [pic] 如果把这两个方程的解分别记为[pic]，那么它们满足 [pic] [pic] 可以解得 [pic]（与最小乘估计量一样） [pic] 这里[pic]。所以β的最大似然估计和最小二乘估计是一样的。这是由于选择β的值最大化 对数似然函数和最小化误差平方和[pic]是等价的。如果记 [pic] 并称它为最大似然残差，那么它和最小二乘残差是相等的，即[pic]。这样[pic]可表示 为 [pic] 对于[pic]，我们已知知道[pic]。由于[pic]是y的线性函数，而y服从正态分布，所 以[pic]也服从正态分布，均值为β，协方差矩阵为[pic]，也即[pic]。这个结果在进行 区间估计和假设检验时是非常有用的。 关于[pic]，由于[pic]，所以其期望值为 [pic] 它是[pic]的一个有偏估计量，其偏度为[pic]。为了得到一个无偏估计量，定义 [pic] 那么它是[pic]的一个无偏估计量。它和我们在前一章里得到的关于[pic]的无偏估计 量是一样的。
上课材料之八