担当 : 藤田 敬文
題目 : パラメトリック単体法を用いたスパース正則化推定
概要 :
2 クラスサポートベクターマシンを定式化すると，損失項と正則化項の和の最小化問題となる．損失項は予測精度を高くするための項，正則化項は過学習を防ぐための項である．この正則化項としてlp ノルムで与えられた問題を考えたとき，p に対して様々な実数値を代入して解を出していた．しかし，lp ノルムをdeltoidal ノルムで近似することで[1]，最小化問題が線形計画問題となり，さらにパラメトリック単体法を用いながら連続的に解のパスを追うことができるようになる．ここで，パラメトリック単体法は，ある線形計画問題の単体法における最適辞書が与えられているとき，それを利用しながら制約が等しく目的関数の異なる線形計画問題を解くというものである[2]．その過程で目的関数がこの異なる２つの目的関数の凸結合でかかれるような線形計画問題の解も得ることができる．
本研究では，まず，deltoidal ノルムによる近似を用いたサポートベクターマシンの予測精度を調べる実験を行う．また，deltoidal ノルムを利用することによって，スパースな解が得られるという利点も生じた．一般的にはトレードオフとされている，予測精度を高くすることと，スパースな解を得ることの両立を試みる．そのため，次に，提案手法によって得られる解のスパース性を検証する．
さらに，予測精度とスパース性の両立という観点から，以前から考案されていた，提案手法と似た形をしているDrSVM[3] というサポートベクターマシンとの比較を簡単に行う．
参考文献：
[1] Jun-ya Gotoh and Stan Uryasev. Two Pairs of Families of Polyhedral Norms Versus lp-Norms: Proximity and Applications in Optimization. University of Florida, 2013. Research Report 2013-3.
[2] 今野浩. 線形計画法. 日科技連出版社, 1987.
[3] Li Wang, Ji Zhu, and Hui Zou. The doubly regularized support vector machine. Statistica Sinica, Vol. 16, No. 2, pp. 589-615, 2006.
