贝叶斯统计决策

叶斯统计决策理论是指综合运用决策科学的基础理论和决策的各种科学方法对投资进行分析决策。其应用决策科学的一般原理和决策分析的方法研究投资方案的比选问题,从多方面考虑投资效果,并进行科学的分析,从而对投资方案作出决策。涉及到投资效果的各种评价、评价标准、费用(效益分析)等问题。投资决策效果的评价问题首要的是对投资效果的含义有正确理解,并进行正确评价。

贝叶斯统计中的两个基本概念是先验分布和后验分布。

①先验分布。总体分布参数θ的一个概率分布。贝叶斯学派的根本观点，是认为在关于总体分布参数θ的任何统计推断问题中，除了使用样本所提供的信息外，还必须规定一个先验分布，它是在进行统计推断时不可缺少的一个要素。他们认为先验分布不必有客观的依据，可以部分地或完全地基于主观信念。

②后验分布。根据样本分布和未知参数的先验分布，用概率论中求条件概率分布的方法，求出的在样本已知下，未知参数的条件分布。因为这个分布是在抽样以后才得到的，故称为后验分布。贝叶斯推断方法的关键是任何推断都必须且只须根据后验分布，而不能再涉及样本分布。

贝叶斯统计(Bayesian statistics)，推断统计理论的一种。英国学者贝叶斯在1763年发表的论文《有关机遇问题求解的短论》中提出。依据获得样本(Xl，X2，…，Xn)之后θ的后验分布π（θ|X1，X2，…，Xn)对总体参数θ作出估计和推断。它不是由样本分布作出推断。其理论基础是先验概率和后验分布，即在事件概率时，除样本提供的后验信息外，还会凭借自己主观已有的先验信息来估计事件的概率。而以R．A．费希尔为首的经典统计理论对事件概率的解释是频率解释，即通过抽取样本，由样本计算出事件的频率，而样本提供的信息完全是客观的，一切推断的结论或决策不允许加入任何主观的先验的信息。以对神童出现的概率P的估计为例。按经典统计的做法，完全由样本提供的信息(即后验信息)来估计，认为参数p是一个“值”。贝叶斯统计的做法是，除样本提供的后验信息外，人类的经验对p 有了一个了解，如p可能取pl与户p2，且取p1的机会很大，取p2机会很小。先验信息关于参数p的信息是一个“分布”，如P(p=p1)=0．9，P(p=p2)=0．1，即在抽样之前已知道(先验的)p取p1的可能性为0．9。若不去抽样便要作出推断，自然会取p=p1。但若抽样后，除非后验信息(即样本提供的信息)包含十分有利于“p—=p2”的支持论据，否则采纳先验的看法“p=p1”。20世纪50年代后贝叶斯统计得到真正发展，但在发展过程中始终存在着与经典统计之间的争论。

[编辑]

贝叶斯统计的历史[1]

贝叶斯统计的历史可以上溯到16 世纪。1713 年，James Bernoulli 意识到在可用于机会游戏的演绎逻辑和每日生活中的归纳逻辑之间的区别，他提出一个著名的问题：前者的机理如何能帮助处理后面的推断。托马斯.贝叶斯（ThomasBayes，1702－1761）是长老会的牧师。他对这个问题产生浓厚的兴趣，并且对这个问题进行认真的研究，期间，他写了一篇文章来回答Bernoulli 的问题，提出了后来以他的名字命名的公式：贝叶斯公式。但是，直到贝叶斯死后才由他的朋友Richard Price 在1763 年发表了这篇文章，对Bernoulli 的问题提供了回答。这篇文章标志着贝叶斯统计的产生。但贝叶斯统计的思想在开始时并没有得到重视。后来，Laplace 本人重新发现了贝叶斯公式，而且阐述得比贝叶斯更为清晰。由于贝叶斯统计对于概率的观点过于主观，与当时的主流统计观点相左，此外也很难应用当时严谨的数学理论解释。

例如贝叶斯统计中的先验概率的观点，一直以来都是贝叶斯统计学派和非贝叶斯统计学派争论的焦点之一。在历史上，贝叶斯统计长期受到排斥，受到当时主流的数学家们的拒绝。例如，近代优秀的统计学家R. A. Fisher就是贝叶斯统计的反对者。然而，随着科学的进步，贝叶斯统计在实际应用上取得的成功慢慢改变了人们的观点。贝叶斯统计慢慢的受到人们的重视，目前贝叶斯统计已经成为统计学中一门很热门的研究课题。

从贝叶斯为了回答James Bernoulli 的问题而写的那一篇论文，提出著名的贝叶斯统计思想以来，经过几百年的发展，目前关于贝叶斯统计的论文和学术专著有很多。目前统计界公认比较权威的贝叶斯统计的著作是James O. Berger 的作品：StatisticalDecision theory and Bayesian Analysis。国内有其中译本：《统计决策论及贝叶斯分析》，它是由贾乃光主译，吴喜之校译，中国统计出版社出版。

[编辑]

基本思想

贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：

★已知类条件概率密度参数表达式和先验概率

★利用贝叶斯公式转换成后验概率

★根据后验概率大小进行决策分类

2公式

设D1，D2，……，Dn为样本空间S的一个划分，如果以P(Di)表示事件Di发生的概率，且P(Di)>0(i=1，2，…，n)。对于任一事件x，P(x)>0，如图

3理论分析

（1）如果我们已知被分类类别概率分布的形式和已经标记类别的训练样本集合，那我们就需要从训练样本集合中来估计概率分布的参数。在现实世界中有时会出现这种情况。（如已知为正态分布了，根据标记好类别的样本来估计参数，常见的是极大似然率和贝叶斯参数估计方法）

（2）如果我们不知道任何有关被分类类别概率分布的知识，已知已经标记类别的训练样本集合和判别式函数的形式，那我们就需要从训练样本集合中来估计判别式函数的参数。在现实世界中有时会出现这种情况。（如已知判别式函数为线性或二次的，那么就要根据训练样本来估计判别式的参数，常见的是线性判别式和神经网络）

（3）如果我们既不知道任何有关被分类类别概率分布的知识，也不知道判别式函数的形式，只有已经标记类别的训练样本集合。那我们就需要从训练样本集合中来估计概率分布函数的参数。在现实世界中经常出现这种情况。（如首先要估计是什么分布，再估计参数。常见的是非参数估计）

（4）只有没有标记类别的训练样本集合。这是经常发生的情形。我们需要对训练样本集合进行聚类，从而估计它们概率分布的参数。（这是无监督的学习）

（5）如果我们已知被分类类别的概率分布，那么，我们不需要训练样本集合，利用贝叶斯决策理论就可以设计最优分类器。但是，在现实世界中从没有出现过这种情况。这里是贝叶斯决策理论常用的地方。

问题：假设我们将根据特征矢量x 提供的证据来分类某个物体，那么我们进行分类的标准是什么？decide wj，if（p(wj|x)>p(wi|x)）(i不等于j)应用贝叶斯展开后可以得到p(x|wj)p(wj)>p(x|wi)p(wi)即或然率p(x|wj)/p(x|wi)>p(wi)/p(wj)，决策规则就是似然率测试规则。

结论：

对于任何给定问题，可以通过似然率测试决策规则得到最小的错误概率。这个错误概率称为贝叶斯错误率，且是所有分类器中可以得到的最好结果。最小化错误概率的决策规则就是最大化后验概率判据。

4决策判据

贝叶斯决策理论方法是统计模式识别中的一个基本方法。贝叶斯决策判据既考虑了各