3.2 A continuous mixture of unigrams

3.2 A continuous mixture of unigrams

図1に示されるLDA model は古典的な階層的ベイズの論文の中でしばしば研究された2レベルのモデルより多少精巧です。隠しtopic変数zを除外する事で、我々はLDAを2階層modelとして理解する事が出来ます。

特にword分布 p(w | θ,β)を考えると、

p(w | θ , β) = Σ p ( w| z, β) p ( z, θ)

ここでθを基づいている事のでこれが任意分布であることに注意してください。

我々はdocument wの生成プロセスを以下のように定義します：

1. Choose q  Dir(a).

2. For each of the N words w_n:

(a) Choose a word wn from p(w_n |  θ, β).

このプロセスは、ドキュメントの周辺分布を連続的な混合分布として定義します:

 

p(w | a, b) = ...

ここで、p(w_n | θ, β) は混在要素であり、p (θ | α) は混在加重になります。

図２はLDAに対するこの解釈を図示したものです。それは、LDAモデルの特別の実例から引き起こされるp(w|q, b)の上の分配を描きます。(V-1)-simplex上のこの分布が、k+kVパラメータだけに到達している、非常に興味深いmultimodal構造を表現しています。