共轭先验（conjugateprior）

共轭先验（conjugateprior）
共轭是贝叶斯理论中的⼀个概念，⼀般共轭要说是⼀个先验分布与似然函数共轭；
那么就从贝叶斯理论中的先验概率，后验概率以及似然函数说起：
在概率论中有⼀个条件概率公式，有两个变量第⼀个是A,第⼆个是B ,A先发⽣，B后发⽣，B的发⽣与否是与A有关系的，那么我们要想根据B的发⽣情况来计算 A发⽣的概率就是所谓的后验概率P(A|B)（后验概率是⼀个条件概率，即在B发⽣的条件下A发⽣的概率）计算公式是P(A|B)=P(AB)/P(B)，⽽⼜有乘法公式P(AB)=P(A)P(B|A)，这⾥的P(A)称为先验概率，它是先发⽣的，也可以是⼈为假定的，但是通常是不能通过训练样本直接统计得出的，所以我们的需要利⽤后验概率来求取先验概率，也就是通常意义上的由果推因。

后验概率是在新的样本加⼊之后得到的，有更多的事实作为参考，进⽽对先验进⾏修正。

似然函数则是指P(B|A)，也是⼀个条件概率，是指在先验发⽣的条件下后验发⽣的可能性，是⼀种正向推理的过程，通常是模型参数的函数。

即P(A|B)=P(A)P(B|A)/P(B)，中P(A)称为先验概率，P(B|A)似然函数，P(A|B)后验概率。

三者的关系：
后验概率正⽐于先验概率与似然函数的乘积
Posterior probability∝Likelihood×Prior probability
在使⽤中我们⽤ p(θ) 表⽰概率分布函数，⽤ p(x|θ) 表⽰观测值 x 的似然函数。

后验概率定义如下：p(θ|x)=p(x|θ)p(θ)/p(x)
下⾯来谈共轭
现在假设我们有这样⼏类概率： p(θ)（先验分布）,p(θ|x)（后验分布）, p(X), p(X|θ) （似然函数）
它们之间的关系可以通过贝叶斯公式进⾏连接：后验分布 = 似然函数* 先验分布/ P(X)
之所以采⽤共轭先验的原因是可以使得先验分布和后验分布的形式相同，这样⼀⽅⾯合符⼈的直观（它们应该是相同形式的）另外⼀⽅⾯是可以形成⼀个先验链，即现在的后验分布可以作为下⼀次计算的先验分布，如果形式相同，就可以形成⼀个链条。

为了使得先验分布和后验分布的形式相同，我们定义：如果先验分布和似然函数可以使得先验分布和后验分布有相同的形式，那么就称先验分布与似然函数是共轭的，共轭的结局是让先验与后验具有相同的形式
注意：共轭是指的先验分布和似然函数
两个例⼦
Beta is the conjugate prior of Binomial.
Dirichlet is the conjugate prior of multinomial.。