第一讲_概率论概述

第一讲 概率论概述1． 概率空间定义 （概率空间）称一个三元组(,,)P ΩF 是概率空间，其中，Ω是样本空间，F 是Ω上的一个σ代数，而P 是ℑ上的一个概率测度。

关于σ代数定义 （代数和σ代数）集合Ω的一个子集类ℑ被称为代数，如果满足条件，(1) ℑ∈φΩ,；(2) ℑ∈21B B ，ℑ∈-21B B ，ℑ∈∀i B ，2,1=i 。

如果一个代数对可列并运算封闭，则称其为σ代数。

为什么要引入σ代数？以掷骰子为例：{1,2,3,4,5,6}Ω=，所有子集构成一个σ代数。

但是，如感兴趣的问题是出现的点数是偶数还是奇数，那么考虑的事件集只有两个：{1,3,5},{2,4,6}A B ==，包含它们的最小σ代数为{,,,}A B ΩΦℑ=。

因此，只要限制在ℑ上研究问题。

关于概率测度定义 （σ代数上的概率测度）一个概率测度是满足如下条件的映射]]1,0[:→ℑP ：(1) 可列可加性：∑∞=∞==11)()(n nn n A P A P ，n m A A An m n≠=ℑ∈∀,,φ ；(2) 规一性：1)(=ΩP 。

概率测度一般化的意义：涵盖了可能出现的各种问题。

以抛硬币为例：{0,1}S =，那么直观上的概率1({0})({1})2P P ==只是可能出现的情况中的一个：硬币是均匀的。

硬币不均匀，则完全可能有其它选择。

例 古典概率模型。

关于可列可加性 可列的含义。

可列可加不能用于任意个集合的并：例如[0,1]Ω=，均匀投点，取每一点的概率为0，但其总和仍为1。

概率函数的一些性质概率函数P 显然可视为可测空间上的一个测度，所以测度的许多性质也可用于概率。

序列极限意义下的连续性：可列可加性蕴涵了概率函数的连续性。

定理 若}1,{≥n A n 是单调增加序列（或减小序列），则 )lim ()(lim n n n n A P A P ∞→∞→=。

关于集合序列极限的定义 单调上升序列的极限：1lim n n n n A A ∞→∞==；单调下降序列的极限：1lim n n n n A A ∞→∞==。

一般集合序列的极限：上极限1lim n k n n k nA A ∞∞→∞===；下极限1lim n k n k nn A A ∞∞==→∞=。

概率解释：事件n n k n n n A A ∞=∞=∞→= 1lim 概率意义：表示事件序列}{n A 中，有无限多个发生。

思考题 事件n nk n n n A A ∞=∞=∞→= 1lim 的概率意义是什么？（某个n 后，所有的事件发生）。

定理（Borel-Cantelli 引理） 若∞<∑∞=1)(n nA P ，那么0)(1=∞=∞=nnk n A P 。

证 1()lim ()lim ()0n n k n n n k nk nk nP A P A P A ∞∞∞∞→∞→∞=====≤=∑。

（直观解释）定理 若∞=∑∞=1)(n nA P ，且}{nA 相互独立，那么1)(1=∞=∞=knk n A P 。

证 )(lim )(1k nk n k nk n A P A P ∞=∞→∞=∞== ∏∞=∞→∞=∞→-=-=nk C kn Cknk n AP A P )(lim1)](1[lim ，但∏∏∞=∞=-=nk k nk C kA P AP )](1[)(∏∞=-=nk A P k e)](1log[0)(=∑≤∞=-nk k A P e，即得结论。

2． 一维随机变量定义（随机变量X ）称可测函数1:R X →Ω是概率空间上的（值域空间当然也可以更一般），随机变量。

关于直线上的可测集通常直线上的可测集就用Borel 集，记为B 。

例（随机变量）：掷骰子时，{1,2,3,4,5,6}Ω=，(2)0,(21)1X k X k =-=，1,2,3k =。

随机变量诱导的σ域由X 可导出Ω上的一个σ代数：1{()|}X X B B -=∈F B 。

对于该随机变量，只要考虑该σ代数中的所有事件。

上述例子中{,,{1,3,5},{2,4,6}}X ΩΦ=F 。

思考题 集族1{:()}X X ω-=F B 是一个σ域。

定义（分布函数）对随机变量X ，称事件{(,]}X x ∈-∞的概率1(){(,]}F x P X x -=-∞为该随机变量的分布函数。

分布函数的意义：Borel 集B 由集类1{(,]|}x x R -∞∈通过集合的可列运算生成。

因此确定X 对应的事件的概率可由分布函数()F x 确定。

例 掷骰子例中，0,01(),0121,1x F x x x <⎧⎪⎪=≤<⎨⎪≥⎪⎩。

分布函数满足的性质(1) 单调增加（非严格）；（2）]1,0[)(∈x F ，1)(=∞F ；（3）右连续。

关于单调函数的可微性单调函数至多有可列个跳跃点。

如果是连续的，则一定是几乎处处可微的。

分布函数诱导的测度通过扩张((,])()X P x F x -∞=，可定义1(,)R B 上的一个测度X P ，使1(,,)X R P B 为概率空间。

如果记该测度为dF ，那么()()X AP A dF x =⎰。

所以关于随机变量X 的概率问题，可以看作概率空间1(,,)X R P B 上的概率问题。

随机变量按()F x 的特征来分类（1） 离散型：()F x 是分段常值函数； （2） 连续型：()F x 是分段连续函数； （3） 其它。

连续型随机变量的密度函数：)()(x F x f '=，相应()()xF x f u du -∞=⎰。

由密度函数定义测度：()()X AP A f x dx =⎰，一般记()XdP f x dx=，称()f x 为测度X P 的Radon-Nycodim 导数。

随机变量X 的数字特征 期望1()()()R EX X dP xdF x Ωωω==⎰⎰； 方差2)(EX X E DX -=； 各阶矩1()kkR EX x dF x =⎰。

随机变量的函数给定可测函数11:h R R →，则()Y h X =定义了一个随机变量，其分布函数11(0,]()((,])((0,])()Y X h y F y P Y y P X h y dF x --=∈-∞=∈=⎰。

分布与变换函数 特征函数：1()()itXitx R t Eee dF x φ==⎰；注：分布函数和特征函数是一一对应的。

矩母函数：1()()sXsx R s Eee dF x ψ==⎰（离散随机变量时，即为z-变换函数）。

对非负随机变量X ，一般用分布的Laplace 变换函数：0()()sx F s e dF x ∞-=⎰。

事件概率与数学期望()A A χω⇔，因此()A A AP A dP dP E Ωχχ===⎰⎰。

3． 二维随机变量，条件数学期望二维随机变量：1:),(R Y X →⨯ΩΩ；相应事件：(,){:(),()}{(,)}X A Y B X A Y B X Y D A B ωωω∈∈=∈∈=∈=⨯； 事件的概率：})(,)(:{),(B Y A X P B Y A X P ∈∈=∈∈ωωω。

联合分布函数：]),(],,((),(y Y x X P y x F -∞∈-∞∈=连续型二维随机变量存在密度函数),(),(2y x F y x y x f ∂∂∂=，或(,)(,)yx F x y f u v dudv -∞-∞=⎰⎰。

密度函数计算事件{(,)}X Y D A B ∈=⨯的概率：⎰⎰=∈Ddxdy y x f D Y X P ),(})),({(。

数学期望：⎰⎰=dxdy y x f y x g Y X g E ),(),()),((协方差函数：cov(,)()()X Y E X EX Y EY =-- 数学期望，方差性质：bEY aEX bY aX E +=+)(，DX a aX D 2)(=，),(2)(Y X Cov DY DX Y X D ++=+等等。

随机变量的独立性问题关于X 的事件{:()}X A ωω∈与关于Y 的事件{:()}Y B ωω∈之间有无关联？ 相应的基本公式 事件的独立定义（条件概率） 已知事件下的条件概率：)()()|(B P AB P B A P =。

(1) 乘法公式：)()|()(B P B A P AB P =； (2) 全概率公式：∑∞=∞===11)()|()(n nnn n A P A A P A A P ，其中Ω=∞=nn A1，φ=n m A A 。

定义（事件的独立）)()()(B P A P AB P =。

随机变量的独立两个随机变量所涉及的事件独立：(,)()()P X A Y B P X A P Y B ∈∈=∈∈，则称它们独立。

等价于A B A B E E E χχχχ=。

对连续型二维随机变量，等价于(,)()()X Y f x y f x f y =。

事件的独立性可视为随机变量独立性的特殊情况：,A B A B χχ⇔⇔，则,A B 独立等价与,A B χχ的独立性。

条件数学期望对连续型的二维随机变量来讨论条件分布和条件数学期望的定义。

条件概率密度：)(),()|(|y f y x f y x f Y Y X =；条件分布：⎰∞-==≤=xYX Y X du y u fy Y x X P y x F ),()|()|(||条件数学期望：⎰∞==0|),()|(dx y x xfy Y X E YX 。

X 关于Y 的条件数学期望对ωΩ∈，若()Y y ω=，则定义随机变量()(|)()(|())(|)Z E X Y E X Y E X Y y ωωω====，记为(|)E X Y ，称为X 关于Y 的条件数学期望。

条件数学期望)|(Y X E 的一个性质（全概率公式的推广）11[(|)](|)()(,)YR R E E X Y E X Y y fy dy xf x y dxdy EX ∞-∞====⎰⎰⎰注 对一般的二维随机变量也可以定义条件数学期望。

4．随机变量序列定理（大数定理）独立同分布的随机变量序列1{}n n X ≥，若1X 的均值和方差存在，且有限，那么，11P nX X EX n++−−→。

定理（中心极限定理）（大数定理）独立同分布的随机变量序列1{}n n X ≥，若1X 的均值和方差存在，且有限，则lim )()n P x x Φ→∞≤=。