回归7-1
7. 回归分折 讨论随机变量与非随机变量之间的关系的问题称回归分析；讨论随机变量之间的关系的 问题称相关分析．对于这两种问题，或统称回归分析，或统称相关分析都可以． [pic] 但是，自然界的众多的变量间，还有另一类重要关系，我们称之为相关关系．例如， 施肥量与农作物产量之间的关系，这种关系虽不能用函数关系来描述，但施肥量与产量 有关系，这种关系就是相关关系，又比如，人的身高与体重的关系也是相关关系，虽然 人的身高不能确定体重，但总的说来，身高者，体也重些，总之，在生产斗争与科学实 验中，甚至在日常生活中，变量之间的相关关系是普遍存在的．其实，即使是具有确定 性关系的变量间，由于实验误差的影响，其表现形式也具有某种的不确定性． 回归分折方法是数理统计中一个常用方法，是处理多个变量之间相关关系的一种数学方 法,．它不仅提供了建立变量间关系的数学表达--- 通常称为经验公式的一般方法，而且还可以进行分析，从而能判明所建立的经验公式的 有效性，以及如何利用经验公式达到预测与控制的目的．因而回归分析法得到了越来越 广泛地应用． 回归分析主要涉及下列内容： (1)从一组数据出发，分析变量间存在什么样的关系，建立这些变量之间的关系式(回归 方程)，并对关系式的可信度进行统计检验； (2)利用回归方程式，根据一个或几个变量的值，预测或控制男一个变量的取值； (3)从影响某一个变量的许多变量中，判断哪些变量的影响是显著的，哪些是不显著的 ，从而可建立更实用的回归方程， (4)根据预测和控制所提出的要求，选择试验点，对试验进行设计． 我们在本章，重点讨论一元线性回归，对多元回归只作简单地介绍． §1 一元线性回归 一元线性回归分析中要考察的是：随机变量[pic]与一个普通变量[pic]之间的联系。 对有一定联系的两个变量： [pic] 与[pic]， 我们的任务是根据一组观察值 [pic] 判断[pic]与[pic]是否存在线性关系 [pic]，　 我们能否通过这组观察值将确定系数[pic]与[pic]出来呢?这就是回归问题要解决的问 题，且判断[pic]与[pic]是否真存在此线性关系. 一 . 经验公式与最小二乘法: 【例1】 纤维的强度与拉伸倍数有关．下表给出的是24个纤维样品的强度与拉伸倍数的实测记录 ．我们希望通过这张表能找出强度y与拉伸倍数x之间的关系式 [pic] 们将观察值[pic]作为24个点，将它们画在平面上，这张图称为散点图，这散点图 启示我们，这些点虽然是散乱的，但大体上散布在一条直线的周围．也就是说，拉伸倍 数与强度之间大致成线性关系．我们用 　　　　　　　　　　　　　 　　　　　　　　　　　　　　　　（＊） [pic] [pic] 确定，是线性的，要完全确定经验公式， 就要确定(＊)中的系数[pic]和[pic]，这里[pic]通常称为 回归系数，关系式 [pic] 叫做回归方程．　　　　 从散点图来看，要找出[pic]与[pic]是不困难的，在图上划一条直线，使该直线总的来 看最“接近”这24个点．于是，这直线在y轴上的截距就是所求的[pic]，它的斜率就是所 求的[pic]．几何方法虽然简单，但是太祖糙，而对非线性形式的问题，就几乎无法实行 ．然 而，它的基本思想，即“使该直线总的说来最接近这24个点”，却是很可取的，问题是把 这基本思想精确化，数量化．下面介绍一种方法，求一条直线使其“总的来看最接近这2 4个点”，这就是最小二乘法． 给定的[pic]个点[pic],那么，对于平面上任意一条直线 [pic]: [pic] 我们用数量 [pic] 来刻画点[pic]到直线[pic]的远近程度, 于是二元函数 [pic] 就定量的描述了直线[pic]跟这[pic]个点的总的远近程度,这个量是随不同的直线而变化 ,或者说是随不同的[pic]与[pic]而变化的,于是要找一条直线, 使得该直线总的来看最“接近” 这 n个点的问题就转化为: 要找两个数[pic]与[pic], 使得二元函数[pic]在[pic]处达到最小, 即　　　 　　　　　　　　　　　　　[pic] 　 由于[pic]是[pic]个量平方之和，所以“使[pic]最小”的原则称为平方和最小原则，习惯 上称为最小二乘原则．由最小二乘原则求[pic]与[pic]估计值的方法称为最小二乘法． 按照最小二乘原则，具体求[pic]的问题就是利用极值原理，求解二元一次联立[pic] 方程组有唯一解: [pic] [pic] 于是， 对于给定的[pic]个点[pic]，先算出[pic]，再算出[pic]，就得到了所求的回归方程: 可计算【例１】的 因此所求经验公式, 即回归方程为 [pic] 【例2】P．236―――　例1.2 对任意两个相关变量，即使它们不存在线性关系，都可以通过它们的一组观测值用最小 二乘法，在形式上求得[pic]和[pic]的回归直线方程. 实际上，如果[pic]和[pic]没有线性相关关系，所求的回归直线方程是没有意义的．因 此建立了回归直线方程之后，还需要判断[pic]与[pic]间是否真有线性相关关系，这就 是回归效果的检验问题．称为回归效果的显著性检验． 首先介绍“平方和分解公式”． 二. 平方和分解公式与线性相关关系：: 对于任意的[pic]组数据[pic], 恒有: [pic]+ [pic]’ 其中 [pic] [pic] 现记 　　 [pic][pic]， 　　 [pic]， 　　 [pic] 则平方和分解公式是： [pic] 证明： [pic] 因为[pic] , [pic]，　并且 [pic] ＝0 所以 [pic] 即　　　　　　[pic]+ [pic] [pic][pic]是回归直线上， 其横坐标为[pic]点的纵坐标， 因为 [pic] 所以[pic][pic][pic]的平均值也等于[pic]． [pic] [pic] [pic] [pic] [pic] 我们还可以通过[pic]的均值，进一步说明它们之间的关系． [pic] [pic] [pic] [pic] [pic] [pic] 有了上面这些对于[pic]的分析表明： (1)[pic]的离差平方和由两部分组成： 回归平方和[pic]和残差平方和[pic], 其中[pic]完全由随机因素引起， (2)[pic]中虽然也有随机因素，但是当[pic]时,主要是由[pic]与[pic]线性相关关系 决定．因而[pic]与[pic]之比的比值反映了这种线性相关关系与随机因素对[pic]的影响 的大小．比值越大，线性相关关系越强．大到什么程度才能说明有线性相关关系，还要 进行检验，因而应寻找检验的统计量． [pic] 则　 [pic][pic][pic]. (参看P.244+3, 注意:　这是常用的计算公式) 三．相关性检验: （1）提出原假设： [pic] （2）选择统计量： [pic] （3）求出在假设[pic]成立的条件下， [pic] ,　 （4）选择检验水平[pic]，查第一 自由度为[pic]与第二 自由度为[pic].的, [pic] 分布表（附表4），得临界值[pic] ，使得　　 [pic] （5） 根据样本值计算统计量的观察值[pic]，给出拒绝或接受H。的判断： 当 [pic]时，则拒绝H。； 当 [pic]时, 则接受H。． 如果[pic]值相当大则表明[pic]与[pic]线性影响较大，就可以认为[pic]与[pic]间有线 性相关关系；反之，如果[pic]值较小，则没有理由认为[pic]与[pic]间有线性相关关系 ． 衡量回归效果的好坏，除了采用回归问题的方差分析外, 还可以用统计量 [pic] 来描述两个变量线性关系的密切程度，当[pic]接近[pic], [pic]与[pic]之间的线性相关程度愈小，反之，当[pic]接近愈大，愈接近1，[pic]与[pic] 之间的线性相关就愈为密切．对一个具体问题，只有当相关系数[pic]的绝对值大到一定 程度时才可用回归直线来近似地表示[pic]与[pic]之间的关系. [pic] [pic] [pic] 对于假设[pic]，由[pic]和[pic]提供的两钟形式上不同的检验方法，实质上是一回事。 （参看P. 243 --- P.244） [pic] [pic] [pic] 【例3】 P.244　―――例1.4 4. 钢的含碳量与抗拉强度之间具有相关关系。抽查某种钢材12根，测得含碳量(％) 和抗拉强度(kg／mm[pic])的观测值如下： [pic] 根据这组数据，求[pic]对[pic]的线性回归方程，[pic] 解： 1. 计算[pic]与回归系数： | 编号 | [pic]| [pic]|[pic] | [pic] |[pic] | |1 |1.3 |41 |1.69 |53.3 |1681 | |2 |1.4 |44 |1.96 |61.6 |1936 | |3 |1.4 |45 |1.96 |63 |2025 | |4 |1.5 |43 |2.25 |64.5 |1849 | |5 |1.6 |46 |2.56 |73.6 |2116 | |6 |1.6 |47 |2.56 |75.2 |2209 | |7 |1.7 |47 |2.89 |79.9 |2209 | |8 |1.8 |46 |3.24 |82.8 |2116 | |9 |1.9 |46 |3.61 |87.4 |2116 | |10 |2.0 |49 |4.00 |98 |2401 | |11 |2.1 |49 |4.41 |102.9 |2401 | |12 |2.2 |51 |4.84 |112.2 |2601 | | |20.5 |554 |35.97 |954.4 |25660 | |总和[pic| | | | | | |] | | | | | | [pic] [pic] [pic] [pic]， [pic]， [pic] [pic] [pic], [pic] [pic] [pic] [pic] 对[pic]的线性回归方程： [pic] 2. 检验[pic]与[pic]线性相关性： [pic] 取统计量： [pic] ， 在假设[pic]成立的条件下， [pic] ,　 [pic]，得[pic] ， 计算：[pic] [pic] [pic] 则拒绝H。， 即抗拉强度与钢的含碳量之间是真有显著的线性相关关系， 5. 为了确定老鼠血镕的减少量和注射胰岛素A的剂量之间的关系，将在同样条件下繁 殖的7只老鼠注射了不同剂量的胰岛素A，所得数据如下： [pic] 解： [pic] [pic] [pic] [pic] 计算回归系数： [pic] [pic][pic] [pic] 四． 习题： P．254 ---- 1，2 附表 相关系数临界值表 [pic]
回归7-1