4.2 ECGS-Dynamic (3/4)
To achieve a high sampling rate at the beginning, Γdi is initialized as [0, · · · , 0, γ] for every type, where γ is the damping factor and γ ∈ N+.
まず最初に高いsampling rateを保持するために、全てのtypeに対してΓdiを[0,...0, γ ]で初期化する。ここで、 γ はdamping factorであってN+に属する。
That is, the Ndith entry has a positive value and all other entries are 0. This setting ensures a high sampling rate (close to 1) and an exhaustive exploration in solution space at the beginning.
すなわち、Ndi 番目のentryは整数であり、それ以外は0である。この設定は高いsampling rate(１に近い)と、解空間での網羅的な探索を約束する。
The damping factor γ controls the descending speed of the sampling rate. A large value of γ prevents the sampling rate decreasing too fast and preserves a high sampling rate over several iterations, whereas a small value of γ reduces the sampling rate rapidly to a low value after a few iterations.
damping factor γはsamping rateの減速をコントロールする。γの大きな値はsampling rateの早すぎる減少と、いくつかの回数を超えても高いsampling rateをもたらす。γの小さい値はいくつかの回数後にsampling rateを高速に減少させる。
Additionally, we can build standard CGS and ECGS-Shortcut from ECGS-Dynamic, by simply initializing Γdi for every word to [0, · · · , 0,∞] and [1, 0, · · · , 0] respectively.
更に、我々はECGS-Dynamicから、standard CGS、ECGS-Shortcutを、それぞれΓdiを[0,...,0,∞]、そして[1,0,...,0]であると単純に初期化したものとみなすことができる。
By observing Figure 3 and the example above, one may notice that |M| plays a key role in the dynamic sampling, as it controls the updated parameters of Γ. Indeed, |M| is affected by the sparseness of P(z|w) in a subtle way. To study the relation between sparseness of P(z|w) and |M|, we derive the expectation of |M| as:
図３と以下の例を観察すると、|M|がdynamic samplingの、Γのパラメータ更新をコントロールキールールであることに気がつく。|M|は 微妙な手段においてP(z|w)の粗密性の影響を受けている。P(z|w)の粗密性と|M|間の関連性を検討すると、|M|の期待値を以下のように見出すことができる。
E(|M|) =... (4)
The proof of (4) is given in Appendix. Intuitively, E(|M|) indicates the entry of Γdi which is updated. Therefore, it also affects the value of Idi which is used in the next iteration.
(4)式の証明についてはAppendixを参照されたい。E(|M|)は更新されるΓdiのentryを示している。従って、次の繰り返しで利用されるldiの値によって影響されている。
Furthermore, we use the entropy of ˆk to describe the sparseness of P(z|w), which is given by
H(ˆk) = ...
更に、我々はP(z|w)の粗密性を表現するためのk^のエントロピーを以下の式で表す。
A uniformly distributed P(z|w) gives the highest value of H(ˆk), whereas a salient and sparse P(z|w) gives a small value of H(ˆk).
均一な分布P(z|w)は、H(k^)を高い値にする。一方、突出し疎なP(z|w)はH(k^)を小さい値にする。
