贝叶斯判别准则中,分别假设了先验分布p(θ),后验分布p(θ|X),以及p(X),p(X|θ)似然函数。

贝叶斯定理可以写作:

P(θ|X)=P(θ)P(X|θ)P(X)

即 「后验分布 =先验分布 * 似然函数 / P(X)」

之所以采用共轭先验的原因是可以使得先验分布和后验分布的形式相同,这样一方面合符人的直观(它们应该是相同形式的;另外一方面是可以形成一个先验链,即现在的后验分布可以作为下一次计算的先验分布,如果形式相同就可以形成一个链条。为了使得先验分布和后验分布的形式相同,我们定义:如果先验分布和似然函数可以使得先验分布和后验分布有相同的形式,那么就称先验分布与似然函数是共轭的。所以共轭是指:先验分布和似然函数共轭。

例子:
共轭先验通常可以由分布的pdf或pmf来确定。
考虑二项模型:

p(x)=(nx)qx(1?q)n?x

写成以q为参数的函数形式:

f(q)∝qa(1?q)b

通常这个函数应该还缺少一个乘数因子,以保证pdf的积分值为1。
这个乘数项是a,b的函数。写作下面的形式

p(q)=qα?1(1?q)β?1B(α,β)

可以看出,乘上的B(α,β)作为归一化常熟存在,根据上面定义,可得二项分布的共轭分布族是贝塔分布。

与共轭先验对应的概念是共轭分布族(Conjugate family of distribution),所谓共轭分布族是指参数θ的后验pdf与作为先验的分布族是相同的,则称此类先验pdf关于具有pdff(x|θ),θ∈Ω
的分布族为共轭分布。

例如,给定θ时随机变量X的pmf是均值为θ的泊松分布。若我们选取伽马先验,由贝叶斯定理计算出后验也是伽马分布族。则称,伽马分布族构成这种泊松模型的共轭先验类。


参考自http://blog.csdn.net/touristman5/article/details/53275106?utm_source=itdadao&utm_medium=referral