担当：山下 洋史
題目：Herding と Herded Gibbs について
概要：
本発表では，Herding と呼ばれるアルゴリズムと，その応用である Herded Gibbs と呼ばれるアルゴリズムについて紹介する．
Herding は，Welling [1] によって提案された決定的アルゴリズムであり，特徴量の平均が指定した値に等しいという条件を満たす中で，エントロピーの高いサンプル列を生成する．
Gibbs Sampler は，マルコフ連鎖モンテカルロ法におけるメトロポリス・ヘイスティングス法の一種であり，多変数からなる確率変数をサンプリングする．Gibbs Sampler は，変数の更新を 1 変数ごとに行う．各変数の更新は，他の変数による条件つき確率に従って行われる．
Gibbs Sampler は確率的アルゴリズムであるが，Bornn ら [2] はこれに Herding を適用することで Herded Gibbs と呼ばれる決定的アルゴリズムを提案した．Herded Gibbs では，Gibbs Sampler での変数の更新が，Herding に置き換えられている．Herded Gibbsで得られるサンプルが目標の分布に収束することが示されているのは限られた条件下においてのみであるが，実験的には，Herded Gibbs は Gibbs と同程度，もしくは Gibbs より良い性能を示す．
参考文献：
[1] Max Welling: Herding Dynamic Weights to Learn. In Proceedings of the 26th Annual International Conference on Machine Learning, pp. 1121-1128, 2009.
[2] Luke Bornn, Yuitan Chen, Nando de Freitas, Mareija Eskelin, Jing Fang and Max Welling: Herded Gibbs Sampling. In Proceedings of the 1st International Conference on Learning Representations, 2013.
