高次元・大規模・多ドメインデータの特徴抽出と情報統合による統計的学習
【研究キーワード】
機械学修 / 数理統計学 / 最適化 / 機械学習 / 最適輸送 / 多ドメインデータ / 転移学習 / 情報転送
【研究成果の概要】
本年度は，多ドメイン学習において不変性に着目した新しい学習パラダイムの端緒となる研究を開始し，数値的にそのアイデアの有用性を確認した．まず，ドメイン間の違いをデータ分布の違いとして定式化し，ドメイン間の乖離度を適切に計測するための理論的基礎を構築することを目指し，共同研究者らと議論を行った．データの標本空間がドメイン間で共有されている場合には，標準的な方法を用いることが可能である．例えば，高度に発展している統計的ダイバージェンスによる方法などがある．ダイバージェンスについては生成モデルに対する深層ニューラルネットワークによる推定法の進展があり，そのアイデアを用いてさらに複雑なデータドメインを扱うための統計的方法を構築するなどの方向性について集中的に考察した．また，単ドメインにおいて深層ニューラルネットワークでデータ解析を行う学習アルゴリズムをに対して，不確実性を評価するための実践的方法について研究を進めた．深層ニューラルネットワークの学習では，過学習を避けるためにドロップアウトと呼ばれる学習が用いられることがよくあるが，そこではアルゴリズムにランダムネスが導入される．そのランダムネスを事前分布として解釈することでベイズ事後分布を近似的に計算することが可能になる．既存研究のこれらの発展を受け，我々の研究グループでは深層ニューラルネットワークの各層を信号が伝播するときの不確実性を逐次的に計算する手法を開発した．これにより，データを能動的に取得して学習することで必要なデータ数を大幅に削減する能動学習を高い信頼性で実行することが可能になる．通常用いられるフィードフォワード型だけでなく，レカレント型のニューラルネットワークに対しても同様の不確実性評価の方法を確率した．
【研究代表者】