Discovery Sagaサイレントキーワード俯瞰

昨年度の研究から,ガウス混合モデル(Gauss Mixture Model, GMM)では温度によってピッチフォーク型の分岐現象を起こり,GMMが二次相転移を起こすことが示唆された.
この知見に基づき本年度は,温度パラメータの導入に関する拡張を行った.昨年度の手法では,事後確率分布全体に温度パラメータ一つを導入したのに対し,本年度では,尤度関数と事前確率分布の2つの項にそれぞれ温度パラメータを導入する枠組みを提案した.この枠組みを用いることで,従来のアニーリングを行うと同時に,事前確率分布のハイパーパラメータを最適にするアルゴリズムを導くことに成功した.また,本手法をGMMに変分ベイズ法を適用した場合を研究した.その結果,尤度関数についての温度をさげていくと,ガウス分布が徐々に分離していくことが観測できた.これは,温度導入によって生じる相転移現象が,用いる確率モデルにどのように依存することを示唆した結果であり,アルゴリズムの設計指針の基本的な知見は得られたと考えている.
これらの研究によりGMMは,複雑な多安定状態を持つ大自由度系の性質を調べるのに適した性質を持つことがわかった.そこで本年度は,提案手法を適用する大自由度系として,パーシャルアニーリング系(PA),連想記憶モデル,パーセプトロンの相転移現象を調べた.PAは二温度系の典型例であり,温度パラメータを導入する方法を拡張する良いテストベッドである.また連想記憶モデルとパーセプトロンは多安定状態を比較的容易に設計できる性質の良い系であることが知られている.
本研究により,隠れ変数を持つ確率モデルの相転移現象の基本的な性質はほぼ理解され,さらにこの手法の優れた応用先が明確になった意義は大きい.