上课材料之三
上课材料之三： 2. 分布函数(Distribution function)，数学期望(Expectation) 与方差(Variance) 本节主要介绍概率及其分布函数，数学期望，方差等方面的基础知识。 一、概率(Probability) 1、概率定义(Definition of Probability) 在自然界和人类社会中有着两类不同的现象，一类是决定性现象，其特征是在一定条 件必然会发生的现象；另一类是随机现象，其特征是在基本条件不变的情况下，观察到 或试验的结果会不同。换句话说，就个别的试验或观察而言，它会时而出现这种结果， 时而出现那样结果，呈现出一种偶然情况，这种现象称为随机现象。 随机现象有其偶然性的一面，也有其必然性的一面，这种必然性表现为大量试验中随 机事件出现的频率的稳定性，即一个随机事件出现的频率常在某了固定的常数附近变动 ，这种规律性我们称之为统计规律性。 频率的稳定性说明随机事件发生可能性大小是随机事件本身固定的，不随人们意志而 改变的一种客观属性，因此可以对它进行度量。 对于一个随机事件A，用一个数P（A）来表示该事件发生的可能性大小，这个数P（A ）就称为随机事件A的概率，因此，概率度量了随机事件发生的可能性的大小。 对于随机现象，光知道它可能出现什么结果，价值不大，而指出各种结果出现的可能 性的大小则具有很大的意义。有了概率的概念，就使我们能对随机现象进行定量研究， 由此建立了一个新的数学分支——概率论。 概率的定义 定义在事件域F上的一个集合函数P称为概率，如果它满足如下三个条件： （i）P（A）≥0，对一切[pic]F （ii）P（Ω）=1； （iii）若[pic]，i=1,2…，且两两互不相容，则 [pic] 性质（iii）称为可列可加性（conformable addition）或完全可加性。 推论1：对任何事件A有[pic]； 推论2：不可能事件的概率为0，即[pic]； 推论3：[pic]。 2、条件概率(Conditional Probability) 如果P（B）＞0，记[pic]，称P（A|B）为在事件B发生的条件下事件A发生的条件概率 。 转化后有：[pic]如果（P（A）＞0），称为概率的乘法原理。 推广后的乘法原理： [pic] 其中[pic]＞0。 3、全概率公式与贝叶斯（Bayes）公式 设事件A1，A2，…，An……是样本空间Ω的一个分割，即AiAj=φ，i≠j，而且：[pic]。 从而[pic]，这里AiB也两两互不相容。 则[pic]。 这个公式称为全概率公式。 由于 [pic] 故 [pic] 再利用全概率公式即得 [pic] 这个公式称为贝叶斯公式。 贝叶斯公式在概率论和数理统计中有着多方面的应用，假定A1，A2，…是导致试验结 果的“原因”，P（Ai）称为先验概率，它反映了各种“原因”发生的可能性大小，一般是以 往经验的总结，在这次试验前已经知道，现在若试验产生了事件B，这个信息将有助于探 讨事件发生的“原因”，条件概率P（Ai|B）称为后验概率，它反映了试验之后对各种“原 因”发生的可能性大小的新知识。 4、事件(Random event)独立性(Independence) 1）两个事件的独立性 定义 对事件A及B，若 P（AB）=P（A）P（B） 则称它们是统计独立的，简称独立的。 推论1 若事件独立，且P（B）＞0，则 P（A|B）=P（A） [证明]由条件概率定义 [pic] 因此，若事件A，B相互独立，由A关于B的条件概率等于无条件概率P（A），这表示B的发 生对于事件A是否发生没有提供任何消息，独立性就是把这种关系从数学上加以严格定义 。 推论2 若事件A与B独立，则下列各对事件也相互独立： [证明] 由于 [pic] [pic] [pic] 所以[pic]与B相互独立，由它立刻推出[pic]与[pic]相互独立，由[pic]又推出A，[pic] 相互独立。 2）多个事件的独立性 定义 对n个事件A1，A2，…，An，若对于所有可能的组合1≤i＜j＜…≤n成立着 [pic] 则称A1，A2，…An相互独立。 这里第一行有[pic]个式子，第二行有[pic]个式子，等等，因此共应满足 [pic][pic][pic] 个等式。 二、随机变量(Random Variable)和概率分布函数(Probability Distribution Function) 1、随机变量(Random Variable) 如果A为某个随机事件，则一定可以通过如下示性函数使它与数值发生联系： [pic] 这样试验的结果就能有一个数[pic]来表示，这个数是随着试验的结果的不同而变化 ，也即它是样本点的一个函数，这种量以后称为随机变量，随机变量可分为离散型随机 变量和连续型随机变量。 2、概率分布函数（p.d.f=probability density function） 称F（x）=P{[pic]＜x}，[pic]＜x＜[pic]为随机变量[pic]的分布函数cdf，对于连 续型随机变量，存在可能函数f(x)，使 [pic]，f（x）称为随机变量的（分布）密度函数（density function）。 3、随机向量（Random Vector）及其分布 在有些随机现象中，每次试验的结果不能只用一个数来描述，而要同时用几个数来描 述。试验的结果将是一个向量（Χ1，Χ2，…Χn），称n维随机向量。 随机向量的联合分布函数也有离散型与连续型的分别，在离散型场合，概率分布集中 在有限或可列个点上，多项分布，就是一个例子；在连续型场合，存在着非负函数f(x1 ,x2,…xn)，使 [pic] 这里的f(x1，…，xn)称为密度函数，满足如下两个条件 [pic]≥0 [pic] 一般地，若(ξ,η)是二维随机向量，其分布函数为F(x,y)，我们能由F(x,y)得出ξ或η 的分布函数，事实上， [pic]＜[pic]＜[pic]＜[pic] 同理 [pic]＜[pic] F1(x)及F2(y)称为F(x,y)的边际分布函数（Marginal Distribution Function）。 [例] 若F(x,y)是连续型分布函数，有密度函数f(x,y)，那么 [pic] 因此F1(x)是连续型分布函数，其密度函数为 [pic] 同理F2(x)是连续型分布函数，其密度函数为 [pic] f1(x)及f2(y)的边际分布密度函数。 [二元正态分布] 函数 [pic]这里a,b,[pic]，r为常数，[pic]＞0，[pic]＞0，|r|＜1，称为二元正态分布 密度函数。 定理：二元正态分布的边际分布仍为正态分布。 条件分布(Conditional Distribution) 离散型：若已知ξ=xi，（p1(xi)＞0）则事件{η=yi}的条件概率为 [pic] 这式子定义了随机变量η关于随机变量ξ的条件分布。 连续型：在给定ξ=x的条件下，η的分布密度函数为 [pic] 同理可行在给定η=y的条件下，ξ的分布密度函数为 [pic] 这里当然也要求f2(y)≠0 定理：二元正态分布的条件分布仍然是正态分布 [pic] 其均值 [pic]是x的线性函数，这个结论在一些统计问题中很重要。 4、随机变量的独立性 定义 设ξ1，…，ξn为n个随机变量，若对于任意的x1，…，xn成立 [pic]＜[pic]＜[pic]＜[pic]＜[pic] （1） 则称[pic]是相互独立的。 若[pic]的分布函数为[pic]，它们的联合分布函数为[pic]，则（1）等价于对一切x 1,…,xn成立 [pic] 在这种场合，由每个随机变量的（边际）分布函数可以唯一地确定联合分布函数(Jo int Distribution Function)。 对于离散型随机变量，（1）等价于任何一组可能取的值（x1,…,xn）成立 [pic] 对于连续型随机变量，条件（1）的等价形式是对一切x1,…,xn成立 [pic] 这里f(x1,…,xn)是联合分布密度函数(Joint density function)，而fi(xi)是各随机变量的密度函数。 此外，注意到若[pic]相互独立，则其中的任意r(2≤r＜n）个随机变量也相互独立， 例如，我们证明[pic]相互独立。 [pic]＜[pic]＜[pic]＜[pic]＜[pic]＜[pic] [pic]＜[pic]＜[pic]＜[pic] [pic]＜[pic]＜[pic] 随机变量的独立性概念是概率论中最基本的概念之一，也是最重要的概念之一。 5、随机向量变换(Transformation)及其分布 若[pic]的密度函数为[pic]，求[pic]的分布，这时有 [pic]＜[pic]＜[pic] [pic] （1） 若对[pic]存在唯一的反函数[pic]，且[pic]的密度函数为[pic]，那么 [pic] （2） 比较（1）与（2）可知 [pic] [pic] 其中J为坐标变换的雅可比行列式(Jacobian Determinant) [pic] 这里，我们假定上述偏导数存在而且连续。 随机变量的函数的独立性 定理 若ξ1，…，ξn是相互独立的随机变量，则[pic]也是相互独立的，这里[pic]是任意的一元 函数。 三、数字期望及方差 1、数学期望 一般地，如果X是随机变量，它的概率密度函数为f(x)，那么它的期望值为 [pic] 在许多问题中我们不仅需要知道E[X]，而且还想知道X的某个函数g(X)的数学期望。 [pic] 我们可以用同样的方法定义多元随机变量的函数的数学期望。假设随机变量X1，X2， …Xn的联合概率密度函数为[pic]，[pic]，那么 [pic] 如果随机变量是离散的，那么上面公式里的积分号用和号代替。 利用这个定义我们可以得到下列结果 （1）如果a0,a1…,an是常数，那么 [pic] （2）如果X1，X2…，Xn是相互独立的随机变量，那么 [pic] 2、方差(Variance)与协方差(Covariance) 一个随机变量X的r阶中心矩被定义为[pic]记为[pic]。如果[pic]被称为X的分布的方 差或X的方差，常常记为[pic]。[pic]的正平方根[pic]被称为X的标准差。关于方差，我 们有一个有用的公式 [pic] X和Y之间的协方差，记为[pic]或[pic] [pic] X和Y之间的协方差是对它们之间的相关性的一个测度。如果X和Y是相互独立的，那么 [pic]=0。这导致下面的相关系数的定义，X和Y之间的相关系数记为[pic]被定义为 [pic] 由这个定义，[pic]的取值一定在- 1和1之间。如果X和Y是相互独立的，那么[pic]=0。如果Y=aX+b，这里a,b是不等于0的常 数，那么|ρXY|=1，此时，我们说X和Y是完全相关的。X和Y的值越接近线性关系，|ρXY| 值接近1。 利用这些定义，我们可以得到下面的结果：如果a0,a1…,an是常数，X1，X2…，Xn是随 机变量，那么 [pic] 特别地，有 [pic] [pic] 3、随机向量的协方差矩阵 对于随机向量而言，我们可以相似地定义它的期望和协方差矩阵。用X表示随机变量 组成的向量，即 [pic] 假设[pic]。那么X的期望值为 [pic] 也即是一个随机向量的期望值等于它的各个分量的期望值组成的向量。 我们定义一个随机向量X的协方差矩阵(Covariance Matrix)如下 [pic] [pic] [pic] [pic] X的协方差矩阵常常记为[pic]，它是一个正定矩阵，如下是证明： 对于任意的不为零的向量[pic]， 我们构造一个变量[pic] 那么Y的方差 [pic]，即证明了[pic]是非负定的。 线性变换后的向量的均值与协方差 如果P是一个m×n常数矩阵，m≤n，那么Z=PX是一个m维随机向量，可以得到 a）[pic] b）[pic] 四、条件分布(Conditional Distribution)、条件数学期望(Conditional Expectation)及其条件方差（Conditional Variance） 条件均值（Conditional Mean）是条件分布的均值，其定义为 [pic] 条件均值函数[pic]。 条件方差（Conditional Variance） 条件方差是条件分布的方差： [pic] [pic] 或 [pic]（离散时） 利用下式可以简化计算 [pic] 并且有： [pic] 记号Ex[·]表示对X的值的期望。 几个重要的公式 1）、[pic] 思考：[pic]是否成立？ 2）、[pic] 3）、方差分解公式(Decomposition of Variance ) 推导：分两步，先证明 i）[pic] 这是因为：[pic] [pic] 进而有 [pic] 我们考察 [pic][pic] ∴ [pic] ii）对于任意Y有：[pic] 因为X与E（Y|X）是不相关，故 [pic] 而 [pic] [pic] [pic] 我们得到方差分解公式： [pic] 方差分解结果表明，在双变量分布中，y的变差出自两个来源： 1、由于E[y|x]随x变化的事实所产生的变差为回归方差（Regression Variance）： 回归方差=Varx[E[y|x]] 2、由于在每一条件分布中，y都围绕条件均值变化而产生的变差为残差方差(Residu al Variance)： 残差方差=Ex[Var[y|x]] 这样， Var[y]=回归方差 + 残差方差。 由方差分解公式，我们得到[pic]，这个是非常重要的公式，它常被应用到寻求最小 方差估计量的方法中.我们可以看一个实际的例子。 [例子] 设X和Y服从二元正态分布联合分布，我们已经知道，在给定X的条件下，其条件分布仍然 是正态分布，并且 [pic] 则[pic]，然而 [pic][pic] =[pic] 在－1＜ρ＜1条件下，[pic]＞[pic]。满足方差分解公式，并且我们很容易知道，[pic] [pic]。 六、极限分布理论(Limit Distribution Theory) 1 几个极限的定义 1）分布函数的弱收敛(Weak Convergence of the Distribution Function) 定义1 对于分布函数列{Fn(x)}，如果存在一个非降函数F(x)使 [pic] 在F(x)的每一连续点上都成立，则称Fn(x)弱收敛于F(x)，并记为[pic]。 中心极限定理就是一个分布函数弱收敛的例子。 2）随机变量的收敛性(Convergence of the Random Variable) 概率论中的极限定理研究的是随机变量序列的某种收敛性，对随机变量收敛性的不同 定义将导致不同的极限定理，而随机变量的收敛性的确可以有各种不同的定义...
上课材料之三