代数幾何学と構造学習理論に基づく周辺尤度と汎化誤差のモデル評価法の相違の解明
【研究分野】ソフトコンピューティング
【研究キーワード】
情報量規準 / 交差検証 / 周辺尤度 / WAIC / WBIC / 汎化誤差 / 自由エネルギー / 実対数閾値 / 漸近挙動 / ゼータ関数 / クロスバリデーション / 汎化損失 / 双有理不変量 / 交差損失 / 情報量規準WAIC / 非負値行列分解 / 汎関数分散 / 代数幾何
【研究成果の概要】
ベイズ推測において統計モデルと事前分布の最適化のための規準として周辺尤度と汎化誤差が知られているが、その相違について十分には明らかにされていなかった。本研究では主に4つの研究成果が得られた。(1)事後分布が正規分布で近似できるとき、WAICと交差検証を最小化するハイパーパラメータは平均汎化誤差を最小化する値に近づくが周辺尤度の最大化では近づかない。(2)事後分布が正規分布で近似できない例として非負値行列分解の汎化誤差と周辺尤度を解明した。(3)同じ問題設定において変分自由エネルギーの漸近挙動を解明した。(4)混合正規分布の最強検定を与える自由エネルギーの定数オーダー項の分布を導出した。
【研究の社会的意義】
データの分析において統計モデルと事前分布をどのように設計したらよいかという問題は実社会においても常に必要になる課題である。この課題に対して情報量規準、交差検証、周辺尤度は、既に広く実用に用いられているが、それらの相違については必ずしも明確にはされていなかった。本研究により、次のことが明らかになった。(1)WAICと交差検証の最小化は平均汎化誤差を最小にするが、周辺尤度最大化ではそうならない。(2)非負値行列分解における汎化誤差と周辺尤度の漸近挙動の上界の値を求めることができる。(3)そのモデルの変分自由エネルギーの値を知ることができる。(4)混合正規分布のベイズ最強検定を作ることができる。
【研究代表者】
【研究種目】基盤研究(C)
【研究期間】2015-04-01 - 2020-03-31
【配分額】4,160千円 (直接経費: 3,200千円、間接経費: 960千円)