文件名称:
LDA模型里Gibbs sampling后验概率详细推导过程
开发工具:
文件大小: 481kb
下载次数: 0
上传时间: 2020-11-17
详细说明：LDA模型的理解对很多人是一种挑战，尤其是参数估计部分。本文档详细给出了TOTLDA和LDA两个主题概率模型的参数估计需要用到的后验概率的推导过程，并采用了两种方法，对主题概率模型研究人员具有很好的启发意义！Gibbs Sampling Derivation for LDA and ToT, Han Xiao, Ping luo
Gibbs sampling:为了对x进行佔计,一般我们要从
P(X)≡P
中进行抽样。如果P(X)不易求得,我们可以通过对所有的P(x|X_)进行抽样来近似
其步骤如下
1.随机初始化X0)=(x10,x20)…,x
2.重复进行T轮抽样,
在每轮抽样中,对于=1…N,每个xP从P(xPx9,…2x1,x(+1…,x)抽样
3.当 Burn-in之后,可以通过几轮抽样计算P(X)
为了不失一般性,下面对ToT的 Gibbs sampling过稈进行推导
1.在TOT的 Gibbs sampling中,我们要求
P( zdilw,t,zdt,a,β,V)
然后才能跟据它,对生成wd,td的zd进行抽样估计。因为zd是隐减变量,一旦抽样估计完成,对丁每个wa它生成
自的 topIC就变成已知;对于每个 document,它包含的 topiCS也变成已知。那么对于 document-topics分布0d和
topic-words上的分布中2也就可以非常容易的破拟合出来。
Step1:根据
)=P(z)
和贝叶斯公式可以得到
P(zawt,z_dt,ax,β,V)
P(W,tz,c,β,甲)P(w,t,zcB,
P(wtzd,a,阝,乎P(w, t, z-dil,β,v
根据 Graphical Model,wda,ta都是由za生成的,如果不考虑zd则无法考虑wd,td。从而得到
P(zdw,t,z_di,x,βv)∝
P(Z,,t]a,B,p)
t
β,V)
2.由上式可知,在 Gibbs sampling中关键是要求出如下的联合概率
(w,t, zla, B, p)
step1:根据 Graphical Model,咯去Φ,6,可以将联合概率拆开
P(w,t,zaB,)=P(w|z,β)P(t平,z)P(za)
step2:引入Φ,θ,对Φ,回进行积分。再根据 Graphical Model,可以写出
P(w,t, zla,B,)=P(t!, 2) P(wlz, p)P(pIB)da P(zle)P(ela)do
step3:对于整个 corpus,拆开所有黑体和大写,条件概率中的条件,z可以写做ψ;ZΦ写做中
N
N
plai
P(中2|β)d中2
JITE
P(zdi led)prelude
Z=1
Step4:由于从第zd个 topic中抽去wd是满足多项式分布中2,的,因此
N
d i
同理由于从第d个 document中抽取zu也是满足多项分布θa的,因此
P(zdi led)
d
d=1i=1
d=1z=1
将两式带入(2.3)中可以得到,
Gibbs Sampling Derivation for LDa and ToT, Han Xiao, Ping Luo
P(中2|β)d
ed P(eala)de
7
d=1i=1
d=1z=1
step5:根据 dirichlet的后验分布,可以将P(中2|B)和P(Oda)开,得到
N
心!G
T
d=1i=1
r(β)
3-1)d中
11(ax)2=5
de
step6:由于mCx18)与中无关,C叫2与无关,可以将它们提出,得:
N
P(tai lvz
2=1pv
T r(a
1e()(心!(门
-1
d6,
step7:由于不同的 topic的 topic-words分布是独立的(比如φ1与中2是独立的,可以通过d- separation判定),因此
连乘的积分可以写作积分的连乘;同理,不同 document的 document-topics分布也是独立的(01与02是独立的)
因此可以上式可以写为:
r:)(21门(÷*a)(U
nd, tarded
11(a
dz
d=11=1
step8:根据欧拉积分
I=
r(1a)
对(27)式中后面两项使用欧拉积分可得
D
C
P(wt,za,β,)=
r(nzy+阝)
T(ndz +az)
Ilv= r(Bv)
d=1i=1
r(a)/ir(zv-1nz +Bv)d-r(zI-1ndz+a2)
3.* full conditional probability
Step1:将(28)中的式子代入,可以得到
P(zW,ta,B平
t-di|a,阝,
D
-v=1
r(n2+β)mDT=r(naz+
2n八(正=1r(民)
r(a2)
r(Ev=1n,y +Bv d-r(zi=1(nd z +a
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
