jensen不等式

1. Jensen不等式
回忆优化理论中的一些概念。

设f是定义域为实数的函数，如果对于所有的实数x，，那么f是凸函数。

当x是向量时，如果其hessian矩阵H是半正定的〔〕，那么f是凸函数。

如果或者，那么称f是严格凸函数。

Jensen不等式表述如下：
如果f是凸函数，X是随机变量，那么
特别地，如果f是严格凸函数，那么当且仅当，也就是说X是常量。

这里我们将简写为。

如果用图表示会很清晰：
图中，实线f是凸函数，X是随机变量，有的概率是a，有的概率是b。

〔就像掷硬币一样〕。

X的期望值就是a和b的中值了，图中可以看到成立。

当f是〔严格〕凹函数当且仅当-f是〔严格〕凸函数。

Jensen不等式应用于凹函数时，不等号方向反向，也就是。

先验概率与后验概率
事情还没有发生,要求这件事情发生的可能性的大小,是先验概率. 事情已经发生,要求这件
事情发生的原因是由某个因素引起的可能性的大小,是后验概率.
一、先验概率是指根据以往经历和分析得到的概率，如全概率公式，它往往作为“由因求果〞问题中的“因〞出现。

后验概率是指在得到“结果〞的信息后重新修正的概率，如贝叶斯公式中的，是“执果寻因〞问题中的“因〞。

先验概率与后验概率有不可分割的联系，后验概率的计算要以先验概率为根底。

二、A prior probability is a marginal probability, interpreted as a description of what is known about a variable in the absence of some evidence. The posterior probability is then the conditional probability of the variable taking the evidence into account. The posterior probability is computed from the prior and the likelihood function via Bayes' theorem.
三、先验概率与后验概率通俗释义
事情有N种发生的可能，我们不能控制结果的发生，或者影响结果的机理是我们不知道或是太复杂超过我们的运算能力。

新发一个物种，到底是猫,还是小老虎呢〔朱道元的经典例子〕？是由于我们的无知才不能确定判断。

先验概率( Prior probability)
先验概率是在缺乏某个事实的情况下描述一个变量；而后验概率是在考虑了一个事实之后的条件概率。

先验概率通常是经历丰富的专家的纯主观的估计。

比方在法国大选中女候选罗雅尔的支持率p,在进展民意调查之前, 可以先验概率来表达这个不确定性。

后验概率( posterior probability)
Probability of outcomes of an experiment after it has been performed and a certain event has occured.
后验概率可以根据通过贝叶斯公式，用先验概率和似然函数计算出来。

四、一道经典概率题的终极解法——后验事实与先验概率的关系
经典题目：
有三个门，里面有一个里有汽车，如果选对了就可以得到这辆车，当应试者选定一个门之后，主持人翻开了另外一个门，空的。

问应试者要不要换一个选择。

假设主持人知道车所在的那个门。

经典解法：
第一次选择正确的概率是1/3，因此汽车在另外两个门里的概率是2/3。

主持人指出一个门，如果你开场选错了(2/3概率)，那么剩下的那个门里100%有汽车；如果你第一次选对(1/3)了，剩下那个门里100%没汽车。

所以主持人提示之后，你不换的话正确概率是
1/3*100%+2/3*0=1/3，你换的话正确概率是1/3*0+2/3*100%=2/3。

对于这个解法的诘问就在于，现在主持人已经翻开一个空门了〔而且主持人是有意翻开这个门的〕，在这一“信息〞出现后，还能说当初选错的概率是2/3吗？这一后验事实不会改变
我们对于先验概率的看法吗？答案是会的。

更具体地说，主持人翻开一扇门后，对当初选择错误的概率估计不一定等于2/3。

从头说起。

假设我选了B门，假设主持人翻开了C门，那么他在什么情况下会翻开C门呢？假设A有车〔先验概率P=1/3〕，那主持人100%翻开C门〔他显然不会翻开B〕；假设B 有车〔先验概率P=1/3〕，那此时主持人有A和C两个选择，假设他以K的概率翻开C〔一般K=1/2，但我们暂把它设成变量〕；假设C有车〔先验概率P=1/3〕，那主持人翻开C 的概率为0〔只要他不傻。

〕
他翻开了C，那根据贝叶斯公式——这里P〔M|N〕表示N事件发生时M事件发生的概率：P〔B有车|C翻开〕= P〔C翻开|B有车〕* p〔B有车〕/ P〔C翻开〕
P〔C翻开|B有车〕* p〔B有车〕
= P〔C翻开|A有车〕* p〔A有车〕+ P〔C翻开|B有车〕* p〔B有车〕
K * 1/3
= 1 * 1/3 + K * 1/3
K
= -------
K + 1该值何时等于1/3 呢〔也就是经典解法里的假设〕？只有K=1/2 时。

也就是一般情况下。

但如果主持人有偏好，比方说他就是喜欢翻开右边的门〔假设C在右边〕，设K=3/4，那么B有车的概率就变成了3/5，不再是1/3，后验事实改变了先验概率的估计！
但这并不改变正确的选择，我们仍然应该改选A门，解释如下：
P〔A有车|C翻开〕= P〔C翻开|A有车〕* p〔A有车〕/P〔C翻开〕
P〔C翻开|A有车〕* p〔A有车〕
= ------------------------------------------------------------
P〔C翻开|A有车〕* p〔A有车〕+ P〔C翻开|B有车〕* p〔B有车〕
= 1 * 1/3/1 * 1/3 + K * 1/3
=1/k+1
而K < 1〔假设主持人没有极端到非C不选的程度〕，所以永远有P(B有车|C翻开) < P( A 有车|C翻开).A有车的概率永远比B大，我们还是应该改变选择。