概率论史

数学史――概率论概率论是研究随机现象数量规律的数学分支.随机现象是指这样一种客观现象:当人们观察它时,所得到的结果不是预先能够确定的,而只是多种可能结果中的一种.研究随机过程的统计特性,计算与过程有关的某些事件的概率,特别是与过程样本轨道有关的问题,是现代概率论的主要课题.概率论的肇始是在17世纪中叶,但它的起源之一──解决与赌博有关的问题──可追溯到15世纪末.15世纪末至16世纪中期,几位意大利数学家研究了这类问题,1494年,巴乔利提出了关于在某种条件下如何分配赌本的问题,后来,卡尔达诺和塔尔塔利亚也做过类似的计算,不过都未得到正确结果.早期寻求随机事件的概率,除了与赌博问题有关外,还涉及人寿保险、人口出生性别比例等.到17世纪中叶,由于法国数学家帕斯卡、费马和荷兰数学家惠更斯的加入,使得对上述分配赌本问题的研究成为数学史上一个著名的问题.法国的一位名叫梅累的狂热赌徒向帕斯卡提出了一个困扰他很久（但却对他很有实用价值的）问题.梅累的问题如下:两个赌徒相约赌若干局,谁先赢s 局就算是谁赢.可是当一个赌徒赢a 局（a<s ）,而另一个赌徒赢b 局（b<s ）时,赌博因故终止了,问赌本应如何分配？这正是巴乔利当年考虑过的问题,他认为应该由已赢得局数的比例来分配赌本.卡尔达诺则指出这样完全不考虑赌徒可能再赢的局数的算法是错误的,但是他却找不到正确的解法.这个问题引起帕斯卡和费马在1654年7月至10月间的通信讨论,数学史上称这些通信为最早的概率论文献.他们研究的问题是:两个赌徒各出32个金币,约定先赢三局为胜.如果甲赢了二局,乙赢了一局时赌博中断,问赌金如何分配;如果甲赢了一局,乙一局未赢,赌金又如何分配.帕斯卡用纯算术的方法,费马用组合方法都得到了正确答案.费马还区分了独立概率事件和条件概率事件,讨论了某一赌徒在第一次轮到他掷骰子时不掷而让出时应该得到的赌金比例,甚至应用了n 重伯努利实验的思想.帕斯卡则进一步提出了三个赌徒间分配赌金的问题.惠更斯在此基础上又潜心研究,于1657年出版《论赌博中的计算》一书,成为概率论的早期著作.书中首次明确提出数学期望的概念.在他们所有的算法中,都遵循了按赢得整局赌博的概率的比例来分赌金这个原则.这一时期的概率计算仅限于解决一些具体的问题,虽然一些基本概念（如等可能性、古典概率、数学期望等）,基本算律（如加法定律、条件概率和全概率公式等）,基本方法（如组合法、递推法、方程分析法等）和计算概率的某些技巧,都已逐步建立,但并未都以一般形式给出,缺乏系统的整理和建立严密的理论体系.因此总地说来,此时的概率论还处于萌芽时期或发展的初期.使概率论成为数学一个分支的奠基人是瑞士数学家雅科布·伯努利,他考虑到了掷n 粒骰子时所得点数总和等于m 的可能性问题,指出这种场合的数目等于23456()n x x x x x x +++++的展开式中m x 这一项的系数,开了母函数方法的先河.他的重要贡献是建立了概率论中的第一个极限定理,即伯努利大数定律,该定理断言,设事件A 出现的概率P （A ）=p (0<p <1),n η表示前n 次独立重复实验中事件A 出现的次数,从而n η/n 为事件A 出现的频率,则当∞→n 时,0)(→≥−εηp nP n其中ε为任一正数.这一结果发表在1713出版的他的遗著《猜度术》中.美国概率史专家海金称此书标志着“概率论漫长的形成过程的终结与数学概率论的开端”.法国数学家棣莫弗在概率论发展史上有杰出的贡献,他的《机会论》（1718）是早期概率论的重要著作.此外,他在1730年出版的著作《分析杂论》中包含著名的棣莫弗-拉普拉斯定理当12p q ==时的证明.这一结果后来被法国数学家拉普拉斯推广到一般的p 的形式,这是概率论中基本极限定理之一的原始形式.此外,棣莫弗还推导出关于n ！的渐近公式,即所谓斯特林公式,进一步证明了)1()(p np np n −−η渐近地服从正态分布（德国数学家高斯在1809年研究误差理论时重新导出正态分布,所以又称高斯分布）.1785年,法国数学家孔多塞出版《概率分析的应用》,强调概率计算在实际问题中的应用,特别感兴趣的是在以多数票进行法院判决的分析时的应用.另一位法国自然科学家比丰引入了几何概率的概念,解决了若干相关的问题,他还以最简单的概型为例（掷钱币）作实验来验证大数定律.著名的比丰投针问题还引发了对圆周率π的近似计算.比丰的工作记载于他的著作《或然性算术实验》中.从17世纪产生和发展起来的概率论,至此已初具规模.概率论进一步发展中的重要步骤与拉普拉斯的工作密切相关.拉普拉斯从1772年开始对事件的概率及机会对策进行深入研究,于1774年正式提出概率的严格定义: 如果每种情形都是等可能的,则一个事件的概率等于有利情形的数目除以所有可能情形的数目.这实质上就是古典概率的定义,由此使概率论向公理化和公式化方向发展.拉普拉斯在系统总结前人工作的基础上,写出了《概率的分析理论》,于1812年出版.他在该书的序言中,表明了自己关于概率的哲学观.他认为世界的未来完全由它的过去决定,而且只要掌握了世界在任意给定时刻的数学信息,就能预知未来.在该书中,除了明确地给出概率的古典定义外,还证明了上述棣莫弗-拉普拉斯定理的一般形式（即中心极限定理）,建立了误差理论和最小二乘法,利用基本理论的结果做人口统计,提供了许多具体概率问题的解答.该书中引入了有力的分析的工具,如差分方程、母函数等,并把由许多数学家和他本人所发展的概率论中的各种类型的问题作了统一的处理.该书中还有许多内容有趣或形式新奇的问题的研讨及统计报告.例如,拉普拉斯指出了,法国邮局因信封上没有地址而无法投递的信件数目在许多年间几乎保持不变.《概率的分析理论》实现了概率论由单纯的组合计算到分析方法的过渡,将概率论推向一个新的发展阶段.拉普拉斯和高斯等人建立的关于正态分布以及最小二乘法的理论,对于用概率论研究天文观测、大地测量和物理观测的结果起了重大作用.法国的泊松也是概率论发展史上的代表人物之一,他是从法庭审判问题出发来研究概率论的,并作出了重要贡献.他推广了伯努利形式下的大数定律和中心极限定理,他的研究还得到一种重要的描述随机现象的新的分布──泊松分布,这种分布在工业、农业、商业、交通运输、公用事业、医学、军事等许多领域都有应用.泊松的代表著作有《关于案件审判的概率研究》和《打靶射击研究报告》.继拉普拉斯和泊松之后,由于一些数学家过分强调概率论在伦理科学中的应用,甚至企图以此来阐明“隐蔽着的神的秩序”,又加之理论工具的不够充分和古典概率定义自身的缺陷,使得当时欧洲不少正统的科学家往往把概率论排除在精密科学之外.以切比雪夫为首的俄罗斯概率论学派的贡献逐渐改变了这种局面.从1845年开始,切比雪夫利用微积分的方法,先后对伯努利大数定律和泊松大数定律进行精细的分析和严格的证明.在切比雪夫的一系列研究中,他最早建立并提倡使用的随机变量概念,后来成为概率论与数理统计中最重要的概念.1866年,切比雪夫利用以他的名字命名的不等式,创造了“矩方法”,使许多困难的极限估值问题得到解决.如建立了有关独立随机变量序列的大数定律.随后又建立了有关各阶绝对矩一致有界的独立随机变量序列的中心极限定理.切比雪夫引出的一系列概念和研究课题为俄国以及后来的苏联数学家继承和发展.马尔可夫对“矩方法”作了补充,圆满地解决了随机变量的和按正态收敛的条件问题.李雅普诺夫则发展了特征函数方法, 1901年,李雅普诺夫利用特征函数的方法,对一类相当广泛的独立随机变量序列,证明了中心极限定理.他还利用这一定理第一次科学地解释了为什么实际中遇到的许多随机变量近似服从正态分布.他的工作引起中心极限定理研究向现代化方向的转变.继李雅普诺夫之后,辛钦、柯尔莫哥洛夫,以及法国数学家莱维等人在随机变量的极限理论方面做出了重要贡献.由于概率论问题与许多实际问题有着密切的联系,特别是受物理学和技术问题的刺激,人们开始研究随机过程.1905年爱因斯坦和波兰数学家斯莫卢霍夫斯基各自独立地研究了布朗运动,他们用不同的概率模型求解了运动质点的转移密度.但直到 1923年,美国数学家纳维才利用三角级数首次给出了布朗运动的严格定义,并证明了布朗运动轨道的连续性.1907年马尔可夫在研究相依随机变量序列时,提出了马尔可夫链的概念,1931年由于柯尔莫哥洛夫对这一概念的发展,才奠定了马尔可夫过程的理论基础.1933年,柯尔莫哥洛夫建立了在测度论基础上的概率论公理系统,奠定了现代概率论的基础.1934年,辛钦提出了在时间中均匀进行的平稳过程的相关理论.所有这些关于随机过程的研究,都是通过把概率问题化为微分方程或泛函分析等问题来解决的.从1938年开始,法国数学家莱维系统地研究了布朗运动,他着眼于随机过程的轨道性质,倡导了研究随机过程的一种新方法,即概率方法,取得了一些重要成果.至此,有关独立随机变量序列的极限理论已臻完备.此外,莱维对概率论的重要贡献还在于建立了独立增量过程的一般理论.他于1948年出版的著作《随机过程与布朗运动》是随机过程的一本经典著作.现代概率论的另外两个代表人物是杜布和伊藤清,杜布对鞅进行了系统研究并使之成为随机过程论的一个重要分支,伊藤清定义了对布朗运动的随机积分.经过这些代表人物的工作,概率论走向了新的高峰.从20世纪50年代开始,概率论得到进一步发展.在此之前,概率论主要把概率问题化为分析问题来解决,解决后再研究其概率含义,研究的重点是极限分布理论以及通过概率分布来研究随机过程.从20世纪50年代起概率论形成了自己的方法──随机分析方法,研究的重点是过程的样本性质.在现代化技术发展的影响下,概率论的理论和应用都有显著的发展,出现了理论概率与应用概率的分化.概率论的发展历史说明了理论与实际之间的密切关系.许多研究方向的提出,归根结底都是有其实际背景的,反过来,当这些方向被深入研究后,又可指导实践,进一步扩大和深化应用范围.目前,理论概率的一些重要分支的研究都很活跃,应用概率的发展也占有特别重要的地位.现在,概率论已被广泛应用于解决工农业生产、军事技术和科学技术中的问题.概率论同其他知识领域相结合产生了很多边缘学科,如生物统计、物理统计学以及统计预报等学科.将概率论方法应用于解决某一类问题又产生了一些新的数学分支,如排队论、信息论、控制论、随机运筹学等.电子计算机的产生和发展,给比较复杂的计算问题提供了有力的工具,为概率论的发展开辟了广阔的领域.总之,现代概率论已经成为一个非常庞大的数学分支.古典概率古典概率讨论的对象局限于随机试验所有可能结果为有限个等可能的情形.这时基本空间Ω由有限个元素组成,其个数记为n.若事件A包含m个基本事件,则定义A的概率P（A）=m／n.这个定义是法国数学家拉普拉斯在1812年出版的《概率的分析理论》一书中首次明确给出的,称之为概率的古典定义.历史上有名的得分问题的解法是应用古典概率的一个典型例子:甲、乙二人各出同样的赌注,用掷硬币作为博弈手段.每掷一次,若正面朝上,甲得1分,乙不得分;若反面朝上,乙得1分,甲不得分.谁先得到事先约定的分数,就赢得全部赌注.当进行到甲还差2分,乙还差3分就分别达到约定分数时,他们因故不能继续赌下去,问这时如何公平分配赌注？计算古典概率,可以用穷举法,但借助于组合计算可以简化计算过程.随着人们遇到问题的复杂程度的增加,基本空间中元素个数的有限性和等可能性暴露出它的弱点,人们针对不同的问题从不同角度计算出不同的概率,从而引进了几何概率和概率的频率定义.概率的频率定义在做大量重复试验时,随着试验次数的增加,—个事件出现的频率总在一个固定数值的附近摆动,显示出一定的稳定性.把这个固定的数值定义为事件的概率,就是概率的频率定义.这个定义是奥地利数学家米泽斯于 1919年提出的.从应用角度看,频率定义可以克服等可能性观点不易解决的某些困难,但从理论上讲,这种定义方法也是不够严谨的.概率论的进一步发展,要求人们从古典定义、几何定义、频率定义中吸取能反映规律性的本质性质,克服它们各自的局限性,抽象出一种合理的定义,把以前各种有实际意义的定义作为特例包含在内,这就是原苏联数学家柯尔莫戈罗夫的概率公理化的定义.概率论公理化体系19世纪,几何概率逐步发展起来.但到19世纪末,出现了一些自相矛盾的结果,最典型的就是贝特朗悖论.这反映了几何概率的逻辑基础是不够严密的,同时也说明拉普拉斯关于概率的古典定义带有很大的局限性.虽然到了 19世纪下半叶,概率论在统计物理学中的应用及概率论的自身发展已突破了概率的古典定义,但关于概率的一般定义则始终未能明确化和严格化.这种情况既严重阻碍了概率论的进一步发展和应用,又落后于当时数学的其他分支的公理化潮流. 1900年,德国数学家希尔伯特在国际数学家大会上提出了建立概率论公理化体系的问题.最先从事这方面研究工作的有法国数学家庞加莱、波莱尔及原苏联数学家伯恩斯坦,但他们提出的几种公理体系在数学上都不够严密.到了20世纪30年代,随着大数定律的深入研究,概率论与测度论的联系愈来愈明显.在这种背景下,原苏联数学家柯尔莫哥洛夫子于1933年在他的《概率论基础》一书中首次给出了一套严密的概率论公理体系,得到举世公认.它的出现,是概率论发展史上的—个里程碑,为现代概率论的蓬勃发展打下了坚实的基础.数学期望数学期望又称均值,是随机变量按概率的加权平均,表征其概率分布的中心位置.概率论发展初期,研究的问题大多与赌博有关.有一赌者梅累向法国数学家帕斯卡提出一个使他苦恼很久的问题:“两个赌徒相约赌若干局,谁先赢S 局就算赢了,现在赌徒A 赢a 局（a<S ）,而赌徒B 赢b 局（b< S ）时赌博中止了,问赌本应如何分法?”帕斯卡将这个问题和他的解法寄给费马,这是1654年7月29日的事情.费马也从不同的理由出发给出正确的解法.他们的解法首先涉及到数学期望的概念,解法的基础都是按赢得整局赌博的概率的比例来分赌本这个原则.帕斯卡在“关于算术三角形”一文中提出的一般解法是,令m=S －a, n=S －b,于是赌徒A 与B 之间赌本应按比例011111011111n m n m n m n m m n m n m n C C C C C C −+−+−+−−+−+−+−++++++L L 来分.1657年荷兰数学家惠更斯是从与帕斯卡差不多的理由出发解决了这一问题,即:如果某人在u+v 个等概率的场合中有 u 个场合可赢得α,而有v 个场合可赢得β,则他所期望的收入可用u v u vαβ++ 来估计.这是以比帕斯卡更为明显的形式导出的数学期望的概念.比丰投针问题这是18世纪法国数学家比丰和勒克莱尔提出的问题,记载于比丰1777年出版的著作《或然性算术实验》中:在一平面上画有一组间距为d 的平行线,将一根长度为)(d l l <的针任意投掷在这个平面上,求此针与任一平行线相交的概率.比丰本人证明了该针与任一平行线相交的概率为dl p π2=.利用这一公式,可以用概率的方法得到圆周率π的近似值.将这一实验重复进行多次,并记下相交的次数,由此得到p 的经验值,从而可算出π的近似值.1850年,一位叫沃尔夫的人在投掷5000多次之后,得到π的近似值为6159.3;1855年英国人史密斯投掷了3200次,得到的π的近似值为3155.3;另一位英国人福克斯仅投掷了1100次,却得到了精确到三位小数的π值9141.3.以后陆续有人作这种实验,1909年意大利人拉泽里尼投掷了3408次,得到的圆周率精确到6位小数,这在当时被认为是最精确的.比丰投针问题是第一个用几何形式表达概率问题的例子,它开创了使用随机数处理确定性数学问题的先河,对概率论的发展起到一定作用.中位数与分位数设X 是随机变量,同时满足11{}{}22p X x p X x ≤≥≥≥及二式的实数x 被称为X 的中位数.中位数对于任何随机变量都是存在的,但可能不唯一.它是反映随机变量取值中心的一个数值,在理论和应用上都很有价值.将中位数的概念推广,就得到分位数的概念:给定0<α<1,随机变量X 的上α分位数是指同时满足下列两个条件的数x α:{}1,{}P X x P X x αααα≤=−≥= 1x α−又被称为X 的下α分位数.中位数与分位数的概念是英国生物统计学家高尔顿最早提出来的.正态分布正态分布是最重要的一种概率分布.1733年法国数学家棣莫弗用!n 的近似公式最早得到了正态分布,作为二项分布的近似.高斯在研究测量误差时从另一个角度导出了它,并研究了正态分布的性质.因此,人们也称正态分布为高斯分布.法国数学家拉普拉斯也研究了它的性质.生产与科学实验中很多随机变量的概率分布都可以近似地用正态分布来描述.一般来说,如果一个量是由许多微小的独立随机因素影响的结果,那么就可认为这个量具有正态分布.从理论上看,正态分布具有很多良好的性质,许多概率分布可以用它来近似,还有一些常用的概率分布是直接由它导出的.切比雪夫不等式若随机变量的数学期望、方差分别为EX 及DX ,则对任何0>ε,成立2(||)DX P X EX εε−≥≤ 这一不等式是证明弱大数定律的重要工具.1853年,法国数学家比安内梅在他的论文中已有类似的表述,但直到1867年才由俄国数学家切比雪夫明确叙述和论证.它对随机变量的分布并无特殊要求,仅利用X 的方差来对X 的取值与EX 发生较大偏离的概率作出估计,因而有着较广泛的应用性.关于大数定律的一些定理的证明都直接或间接地用到切比雪夫不等式,如切比雪夫定理、伯努利定理、辛钦定理和马尔可夫定理等.柯尔莫哥洛夫不等式设{,1}k X k n ≤≤是相互独立的随机变量,它的数学期望、方差分别为20,k k kEX DX σ==,又1kk i i S X ==∑,则对任何0>ε,成立不等式 22221111(max ||)n k n k k n k P S ES εσεε≤≤=≥≤=∑.若k X 还是有界的,即||k X C ≤以概率1成立,则还有221()(max ||)1k k n nC P S ES εε≤≤+≥≥− 这两个不等式是由原苏联数学家柯尔莫哥洛夫在1928年建立的,它是证明强大数定律的重要工具.大数定律大数定律是概率论中讨论随机变量序列的算术平均值向常数收敛的定律.历史上,瑞士数学家雅科布·伯努利在他的《猜度术》中首先证明的“伯努利定理”,就是大数定律最早的形式.大数定律的名称是法国数学家泊松于1837年给出的.大数定律中最重要的一类是讨论独立试验序列的.常见的除了伯努利大数定律外,还有原苏联数学家辛钦于1929年提出的辛钦大数定律;法国数学家博雷尔于1909年给出的博雷尔强大数定律及柯尔莫哥洛夫强大数定律等.大数定律中涉及到的随机变量序列也可以不是相互独立的.特别对于平稳序列,有所谓平稳序列的遍历性,也是一类大数定律.在平稳过程理论中,辛钦和美国数学家伯克霍夫分别建立了有关的遍历定理.中心极限定理中心极限定理是概率论中讨论随机变量序列部分和的分布渐近于正态分布的一类定理. 1920年,美国数学家波利亚称这类定理为中心极限定理.历史上最初的中心极限定理是讨论n重伯努利试验中,事件A出现的次数渐近于正态分布的问题.1716年前后,棣莫弗和拉普拉斯分别就特殊和一般情形得到棣莫弗—拉普拉斯定理.李雅普诺夫于1900年给出了独立随机变量序列服从中心极限定理的李雅普诺夫条件,建立了李雅普诺夫定理.他最先系统地应用的特征函数方法,后来变成了概率论的基本方法之一.随着特征函数的引入,中心极限定理的研究得到了很快的发展.20世纪 20年代,林德伯格和莱维证明了林德伯格-莱维定理.1935年,林德伯格和费勒又进一步解决了独立随机变量序列的中心极限定理的一般情形,即林德伯格-费勒定理.其结果使长期以来作为概率论中心议题之一的关于独立随机变量序列的中心极限定理得到根本解决.此后中心极限定理的研究基本上围绕几个方面进行:一是减弱对随机变量独立性的要求,考虑具有某种相依性的随机变量;一是讨论向标准正态密度函数收敛问题及估计收敛的速度问题.向正态密度函数收敛的问题虽然在概率论的早期工作中就出现了,但是一般性的结S的密度函数P n（x）果直至20世纪中期才得到.当独立随机变量序列{X n}的标准化部分和*nϕ收敛的问题,被称为局部极限定理.原苏联存在时,讨论P n（x）向标准正态密度函数()x数学家格涅坚科于1953年对独立同分布情形给出了充分必要条件.在一定假设下,对于独立非同分布情形,由彼得罗夫给出了充分必要条件.相依随机变量的中心极限定理至今仍是许多学者研究的课题,其中讨论较多的有m 相依随机变量序列、强平稳随机变量序列、鞅、马尔可夫过程及其他泛函,以及各种类型的统计量序列.为了讨论向正态分布收敛的速度,20世纪40年代,先后由贝里及埃森给出了埃森不等式,用它可以精确估计向正态分布收敛时的误差.这方面的研究现今已相当深入.早在20世纪30年代,就开始讨论普遍极限定理,这是独立随机变量和的极限定理的一般提法.到20世纪40年代中期,已—获得较完满的解决.在这方面做出贡献的学者有辛钦、格涅坚科、许宝騄等.极限定理是概率论的重要内容,也是数理统计的基础之一,其理论成果也比较完美.长期以来,对于极限定理的研究所形成的概率论分析方法,影响着概率论的发展.同时新的极限理论问题也在实际中不断产生.条件期望条件期望是随机变量按条件概率的平均.研究随机事件之间的关系时,在已知某些事件发生的条件下来考虑另一些事件的统计规律是十分重要的.在概率论发展的初期就已引进并应用了简单情形下的条件概率.1933年,原苏联数学家柯尔莫哥洛夫给出了一般情形下的条件概率与条件期望的严格定义,这使概率统计的一些重要内容建立在严密的基础上,例如数理统计中的充分统计量、贝叶斯统计都用到这一概念.马尔可夫过程和鞅论的。