上课材料之四
上课材料之四 第三节 数理统计（Mathematical Statistics） 数理统计的方法及考虑的问题不同于一般的资料统计，它更侧重于应用随机现象本身 的规律性来考虑资料的收集、整理和分析，从而找出相应的随机变量的分布律或它的数 字特征。由于大量的随机试验必能呈现出它的规律性，因而从理论上讲，只要对随机现 象进行足够多次观察，被研究的随机现象的规律性一定能清楚地呈现出来，但是实际上 所允许的观察永远只能是有限的，有时甚至是少量的。因此我们所关心的问题是怎样有 效地利用有限的资料，便能去掉那些由于资料不足所引起的随机干扰，而把那些实质性 的东西找出来，一个好的统计方法 就在于能有效地利用所获得的资料，尽可能作出精确而可靠的结论。 1、数理统计的基本概念 1）母体和子样 我们把所研究的全部元素组成的集合称为母体或总体，而把组成母体的每个元素称为 个体。 为了对母体的分布律进行各种研究，就必需对母体进行抽样观察。一般来说，我们还 不止进行一次抽样观察，而要进行几次观察。设X1，X2，…Xn是所观察到的结果，显然它 是随机变量，称它为容量是n的子样。把X1，X2，…Xn所取值的全体称为子样空间。 我们抽取子样的目的是为了对母体的分布律进行各种分析推断，因而要求抽取的子样 能很好地反映母体的特性，这就必须对随机抽样的方法提出一定的要求。通常提出下面 两点： （i）代表性：要求子样的每个分量Xi与所考察的母体X具有相同的分布F(x)； （ii）独立性：X1，X2，…，Xn为相互独立的随机变量，也就是说，每个观察结果即 不影响其它观察结果，也不受其它观察结果的影响。 满足上述两点性质的子样称为简单随机子样，获得简单随机子样的抽样方法称为简单 随机抽样。 对于简单随机子样X=（X1，X2，…，Xn），其分布可以由母体的分布函数F（x）完全 决定，X的分布函数是[pic]。 2）统计量 一般来说，子样的某种不含任何未知参数的函数，在统计学中都可以称为统计量。 统计量：[pic] 非统计量：[pic] 3）常用的统计量—子样矩 r阶矩（或r阶原点矩）：[pic]为子样均值。 r阶中心矩：[pic]为子样方差。 总结：对于母体，我们有母体均值μ，母体方差[pic]，母体的k阶原点矩[pic]和k阶 中心矩[pic]； 对于子样，我们有子样均值[pic]，子样方差[pic]，子样的r阶矩Ar和r阶中心矩Br。 我们可以得到如下结论： 定理1 设母体服从分布F(x)，X=（X1，…，Xn）是从该母体中抽得的一个简单随机子样，如果F (x)的二阶矩阵存在，则对子样均值[pic]，有 [pic]和[pic] [证明] [pic] [pic] [pic] 思考：是否存在更简单的证明方法？ 定理2 对于子样方差[pic]，其均值[pic] 证明：因为[pic]，所以 [pic] [pic] （其中[pic]） [pic] [pic] 4）顺序统计量、经验分布函数与子样矩 设（X1，…，Xn）是从母体 中抽取的一个子样，记（x1,x2…,xn）是子样的一个观察值，将观察值的各分量按大小递 增次序排列，得到 [pic]≤[pic]≤…≤[pic] 当（X1，…，Xn）取值为（x1,…,xn）时，我们定义[pic]取值为[pic]。称由此得到的[pic] 为（X1，…，Xn）的一组顺序统计量。显然[pic]≤[pic]≤…≤[pic]，[pic]，即[pic]的观 察值是子样观察值中最小的一个，而[pic]，[pic]的观察值是子样观察值中最大的一个 。 记 [pic] 显然0≤[pic]≤1，且作为x的函数是一非减左连续函数，把[pic]看作为x的函数，它具 备分布函数所要求的性质，故称为经验分布函数（或子样分布函数）。 经验分布函数也是子样的函数，它与子样矩之间具有下列关系：设（x1,x2,…,xn）是 子样观察值，[pic]是对应的经验分布函数，则有： [pic] [pic] [pic] [pic] 2、正态母体子样的线性函数的分布 定理1 设X1，…，Xn是抽自正态母体[pic]的一个子样，统计量U是子样的任一确定的线性函数 [pic] （1） 则U也是正态随机变量，均值、方差分别为 [pic] （2） [pic] （3） 在（1）式中，特别地取[pic]，此时行到的U是子样均值[pic]。 [pic] [pic] 由此可见，[pic]具有与X相同的均值，但是它更向数学期望集中，集中程度与子样容 量n的大小有关。 定理2 设 （1）X1，X2…，Xn是独立同分布随机变量，同服从于正态分布[pic]； （2）[pic]矩阵，记 [pic] [pic] 则Y1，…，Yp也是正态随机变量，均值、方差、协方差分别为： [pic]。 [pic] [pic]。 特别地，当[pic]，且A是一n×n正交矩阵时，Y1，Y2…，Yp也是相互独立且同服从于[pic] 分布的随机变量。 3、几种与正态分布N(0,1)有关的常用分布 1）x2-分布 定义 设X1，X2，…，Xn是相互独立，且同服从于N(0,1)分布的随机变量， [pic] 所服从的分布为x2-分布，[pic]称为自由度为n的x2-变量。 定理 设[pic]和[pic]，且X1，X2相互独立，则[pic]。 2）t-分布 设[pic]，且X和Y相互独立，则称随机变量 [pic] 所服从的分布为t-分布。n称为它的自由度，且记T～t(n)。 3）F-分布 定义 设X和Y是相互独立的x2-分布随机变量，自由度分别为m和n，则称随机变量 [pic] 所服从的分布为F-分布，（m,n）称为它的自由度，且通常写为F～F（m,n）。 推论 如果[pic]，且相互独立，则[pic]分布。 推论 如果X～F(m,n)分布，则1/X～F(n,m)分布。 结论 设X1，…，Xm和Y1，…，Yn分别是从正态母体[pic]中所抽取的独立子样。则 服从于t(m+n－2)分布。 ***[练习] 设X1，…，Xn是从正态[pic]分布的母体中抽取的简单子样，[pic]分别表示它的子样均值 和子样方差。又设[pic]，且与X1，…，Xn独立。试求统计量 [pic] （提示：服从t(n-1)分布） 4、统计量的分布与独立性 定理 若x～N[0,I]且[pic]的两个幂等二次型，则[pic]时是独立的。 [证明] 由于A和B都是对称的和幂等的，[pic]，所以二次型是： [pic] 和 [pic] 两个向量都有零均值向量，所以X1和X2协方差矩阵是 [pic] 由于AX和BX都是一个正态分布随机向量的线性函数，因而它们也都服从正态分布，零 协方差矩阵暗示它们是统计上独立的。所以，它们的函数形式[pic]是独立的，这就证明 了两个二次型统计量的独立性。 [例] 易知 [pic] [pic] 因为 [pic] 故 [pic]是相互独立的。 5、线性变换及二次型的独立性 定理 标准正态向量的一个线性函数Lx和一个幂等二次型[pic]，当LA=0时两个统计量是独立的 。 证明遵循与对两个二次型的证明同样的逻辑，将[pic]写作[pic]，变量Lx和Ax的协方 差矩阵是LA=0，这证实了这两个随机向量的独立性，线性函数和二次型的独立性就可以 立即推导。 [例] [pic] [pic] 所以上面两个统计量是相互独立的。 从而 [pic] 总结：设X1,X2,…,Xn是从正态母体[pic]中抽取的一个简单子样。记 [pic] 则有 （1）[pic]； （2）[pic]； （3）[pic] [pic] [证明] 因为[pic] 所以 [pic] 服从自由度为n－1的t-分布。 6、参数估计的常用方法 在参数估计问题中，我们总是首先假设母体X具有一族可能的分布F，且F的函数形式 是已知的，仅包含有几个未知参数，记θ是支配这分布的未知参数（可以是向量），在统 计学上，我们把分布F的未知参数θ的全部可容许值组成的集合称为参数空间，记为[pic] 。 我们用F(·；θ)表示X的分布，又称集合{F(·；θ),θ∈[pic]}为X的分布函数族。类似地 ，如果X是连续型随机变量，我们有概率密度函数族，如果X是离散型随机变量，我们有 概率分布族。 一个参数估计问题就是要求通过子样估计母体分布所包含的未知参数θ。 一般地，设母体具有分布族{F(·；θ),θ∈[pic]}，X1，X2…，Xn是它的一个子样。点估 计问题就是要求构造一个统计量T（X1，…Xn）作为参数θ的估计（T的维数与θ的维数相同 ）。在统计学上，我们称T为θ的估计量。 1）矩方法 设{F(·；θ),θ∈[pic]}是母体X的可能分布族，θ=（θ1，…，θk）是待估计的未知参数 ，假定母体分布的k阶矩存在，则母体分布的v阶矩 [pic] 1≤v≤k 是θ=（θ1，…，θk）的函数。 对于子样X=（X1，…，Xn），其v阶子样矩是 [pic] 1≤v≤k 现在用子样矩作为母体矩的估计，即令 [pic] （1） 这样，（1）式确定了包含k个未知参数θ=（θ1，…，θk）的k个方程式。 [例] 母体均值和方差的矩估计。 设X1，…，Xn是一子样，设母体的二阶矩存在，则有[pic]。用矩方法得方程组 [pic] 解之得 [pic] 所以母体均值[pic]和方差[pic]的矩估计分别是子样均值[pic]和子样方差[pic]。 运用以前的有关定理有 [pic] [pic] 和 [pic] 由此可见，[pic]作为[pic]的估计它是在[pic]的真值的周围波动，且其平均值恰好是真 值[pic]，这一性质在统计学上称为无偏性。 2）最大似然估计方法 一般地，设母体具有分布密度族{F(x;θ),θ∈[pic]}，其中θ=（θ1，θ2…，θk）是一个 未知的k维参数向量，需待估计，又设（x1，…，xn）是子样（X1，…，Xn）的一个观察值 ，那么子样（X1，…，Xn）落在点（x1，…，xn）的邻域里的概率是[pic]。 为方便起见，记 [pic] （θ可以是向量）它看作为θ的函数称为θ的似然函数。 如果选取使下式 [pic] （2） 成立的[pic]作为θ的估计，则称[pic]是θ的最大似然估计。 由于logx是x的单调函数，所以（2）式可等价地写为： [pic] 如果[pic]是开集，且[pic]关于θ可微，则满足（4）式的解[pic]也一定满足下列似 然方程 [pic] [例] 设X=（X1，…，Xn）是取自均匀分布 [pic] 的子样，试求θ的最大似然估计。 此时 [pic] （注意：条件0＜xi≤θ，i=1,…,n和条件0＜[pic]是等价的。 显然当[pic]取到最大值，所以[pic]是θ的最大似然***估计。可以计算出[pic]。 7、估计的有效性 1）无偏估计 定义 一般地，如果T(X)是未知参数θ的一个估计量，且满足下面的关系式， [pic] 则称T（X）是θ的无偏估计。 2）有效估计 定义 对两个无偏估计量[pic]，若[pic]的方差小于[pic]的方差，即[pic]＜[pic]，则称[pic] 更有效。 判别方式：在多数情形中，比较基于两个估计量的协方差矩阵，若[pic]—[pic]是非 负定矩阵，则[pic]更有效。 3）渐近无偏估计 如果有一列θ的估计[pic]满足下面的关系式 [pic] 则称Tn是θ的渐近无偏估计。 4）一致估计 设X1，…，Xn是取自分布族[pic]的子样，Tn=Tn(X1，…，Xn)是θ的一个估计。如果序 列{Tn}随机收敛到真参数值θ，即对任意[pic]＞0， [pic]＞[pic] 则称Tn是θ的一致估计。 5）最小方差无偏估计 一般地若T1是θ的一个无偏估计，关于θ的任一无偏估计T2成立下式 [pic]≤[pic] 则称T1是θ的最小方差无偏估计。 6）线性估计 如果估计T是子样的线性函数，即T可以表示为[pic]，其中a1,…,an是固定常数，则称 T为线性估计。类似地可以定义，如果T是线性估计，且满足无偏性条件，则T称为线性无 偏估计；如果UL表示θ的具有有限方差的线性无偏估计的全体所组成的集合，而对T0∈UL ，有 [pic]≤[pic]，对一切[pic] 则称T0为θ的最小方差线性无偏估计。 高斯—马尔科夫定理 在线性无偏估计量中，最小二乘估计量具有最小方差。 7）克拉美—劳（Cramer-Rao）下界 克拉美—劳（Cramer- Rao）下界。假定x的密度满足一定的正则条件，参数θ的一个无偏估计量的方差将大于等 于： [pic] [pic] 量I(θ)是样本的信息数。 再考虑一个多变量情形。若θ是一个参数向量，I(θ)是信息矩阵。 克拉美—劳定理，任何无偏估计量的方差矩阵与信息矩阵的逆[I(θ)]－1 的差将是一个非负定矩阵，其中 [pic] [pic] 即[pic] 这个矩阵的逆矩阵[I(θ)]-1称为C-R下界或CRLB。 8、假设检验 1）正态母样参数检验 前面我们介绍了两种常用的参数估计方法。实践中还提出了统计推断问题。 先看一个例子 [例] 某厂有一批产品，共一万件，须经检验后方可出厂。按规定标准，次品率不得超过5%， 今在其中任意选取50件产品进行检查，发现有次品4件，问这批产品能否出厂？ 在这个例子中，我们事先对这批产品次品率的情况一无所知，当然，从频率稳定性来 说，我们可以用被检查的50件产品的次品率4/50来估计这整批产品的次品率，但是我们 目前所关心的问题是：如何根据抽样的次品率[pic]/n（=4/50）推断这批产品的次品率 是否超过了5%，也就是说，首先我们可以对整批产品作一种假设：次品率低于5%，然后 利用子样的次品率[pic]/n来检验我们所作这一假设的正确性。 我们把任何一个在母体的未知分布上所作的假设称为统计假设。并记为H0。对上面所 举的例子中，统计假设分别是：H0:p（次品率）≤0.05。 由于母体的真分布完全被几个未知参数所决定。因此任何一个关于母体未知分布的假 设总可以等价地给出...
上课材料之四