深層機械学習理論の深化とその構造解析への応用
【研究キーワード】
深層学習 / カーネル法 / 汎化誤差解析 / ノンパラメトリック統計 / モデル圧縮 / 機械学習 / 確率的最適化 / 統計的学習理論 / 汎化誤差 / 数理統計 / 高次元統計 / 学習理論 / 構造解析 / 最適化
【研究成果の概要】
深層学習は現在機械学習でも中心的な役割を果たしており，多くのタスクで高い性能を示している．一方で，その原理への理論的理解は進んでおらず，ブラックボックス化しているのが研究開始当初の状況であった．その状況を改善するために，本研究では深層学習の原理解明に関して以下の研究成果を得た．(1) カーネル法的視点による深層学習の圧縮型汎化誤差解析，(2) 統計自由度による最適なモデル構造の探索とモデル圧縮への応用，(3) 新しい確率的最適化手法の提案，(4) 深層学習のカーネル法への優位性の理論的証明．これらの研究を通して深層学習が他の方法に比べてなぜ良いのかという問いへ多くの知見を得ることができた．
【研究の社会的意義】
深層学習は機械学習の社会実装が進む中，社会的重要な技術となっている．一方でその原理が解明されずに応用だけ進むことは，制御可能性や説明可能性という観点からも望ましくない．本研究では，種々の数学的道具を用いて深層学習の原理解明に貢献し，また理論の応用として最適なモデルの探索やモデル圧縮法を提案した．研究成果により研究開始時期と比べて非常に多くの理論的知見が得られた．これは，深層学習をホワイトボックス化するという意味で社会的意義が大きい成果である，
【研究代表者】
【研究種目】基盤研究(B)
【研究期間】2018-04-01 - 2022-03-31
【配分額】17,160千円 (直接経費: 13,200千円、間接経費: 3,960千円)