anobiidae's blog


4.2 ECGS-Dynamic (3/4)

To achieve a high sampling rate at the beginning, Γdi is initialized as [0, · · · , 0, γ] for every type, where γ is the damping factor and γ ∈ N+.

まず最初に高いsampling rateを保持するために、全てのtypeに対してΓdiを[0,...0, γ ]で初期化する。ここで、 γ はdamping factorであってN+に属する。


That is, the Ndith entry has a positive value and all other entries are 0. This setting ensures a high sampling rate (close to 1) and an exhaustive exploration in solution space at the beginning.

すなわち、Ndi 番目のentryは整数であり、それ以外は0である。この設定は高いsampling rate(1に近い)と、解空間での網羅的な探索を約束する。


The damping factor γ controls the descending speed of the sampling rate. A large value of γ prevents the sampling rate decreasing too fast and preserves a high sampling rate over several iterations, whereas a small value of γ reduces the sampling rate rapidly to a low value after a few iterations.

damping factor γはsamping rateの減速をコントロールする。γの大きな値はsampling rateの早すぎる減少と、いくつかの回数を超えても高いsampling rateをもたらす。γの小さい値はいくつかの回数後にsampling rateを高速に減少させる。


Additionally, we can build standard CGS and ECGS-Shortcut from ECGS-Dynamic, by simply initializing Γdi for every word to [0, · · · , 0,∞] and [1, 0, · · · , 0] respectively.

更に、我々はECGS-Dynamicから、standard CGS、ECGS-Shortcutを、それぞれΓdiを[0,...,0,∞]、そして[1,0,...,0]であると単純に初期化したものとみなすことができる。


By observing Figure 3 and the example above, one may notice that |M| plays a key role in the dynamic sampling, as it controls the updated parameters of Γ. Indeed, |M| is affected by the sparseness of P(z|w) in a subtle way. To study the relation between sparseness of P(z|w) and |M|, we derive the expectation of |M| as:


図3と以下の例を観察すると、|M|がdynamic samplingの、Γのパラメータ更新をコントロールキールールであることに気がつく。|M|は 微妙な手段においてP(z|w)の粗密性の影響を受けている。P(z|w)の粗密性と|M|間の関連性を検討すると、|M|の期待値を以下のように見出すことができる。


E(|M|) =... (4)


The proof of (4) is given in Appendix. Intuitively, E(|M|) indicates the entry of Γdi which is updated. Therefore, it also affects the value of Idi which is used in the next iteration.



Furthermore, we use the entropy of ˆk to describe the sparseness of P(z|w), which is given by

H(ˆk) = ...



A uniformly distributed P(z|w) gives the highest value of H(ˆk), whereas a salient and sparse P(z|w) gives a small value of H(ˆk).