深層学習に対する数値解析的アプローチ基盤の創出
【研究キーワード】
深層学習 / 数値解析的アプローチ / ニューラルネットワーク / 数値解析 / 微分方程式 / 数値積分 / 関数近似
【研究成果の概要】
申請計画書にあるように本研究計画は数値微分方程式班と関数近似・数値積分班の２つの作業班を軸とし，それに俯瞰・統合班および深層学習協力者を加えて全体を構成するものであり，そしていくつかのフェーズからなるものである．そして第１フェーズは統合班の指揮の下，各班で以下の実験的研究を行う予定であった．
まず，数値微分方程式班は「微分方程式の数値解法に基づく実験的DNN構築」を標語として計画を構成していた．これは，ResNet だけでなく類似 DNN （PolyNet，FractalNet等）も数値解法と関連づけられる可能性が示唆されていたがその先にある「数値解法から生まれる新DNN」は極めて最近調査が始まったばかりであることから，数値解析学の観点から，実際に新しいDNNを構築し画像認識等でその性能を評価するものであった（例えば異なる近似精度のRunge-Kutta法を試し性能を比較する）．これらの計画に対し該当班は予備的な調査過程として実験的DNNを構築しその性能評価等を開始している．
また，関数近似・数値積分班は「数値積分公式に基づく実験的DNN構築」という標語のもとに計画をたてていた．これは，数値積分公式に基づく観点からの新たなDNN構築の可能性が未解明であることから種々の数値積分公式の適用・開発によるこの可能性を調べるものである．本申請グループにはすでにその試みの実績がある（たとえば，一段NNにおける被積分関数に対して適切な重み・分点の組を数値解析学的に定めるアルゴリズムを考案している）ことからこの方向性で研究を発展，推進するものである．そして実際，DNNにどのような公式が真に有用であるかについて検証が必要であることから本段階でこの検証に取り掛かり，新たなDNNの構築に向けて検討を繰り返しているところである．
【研究代表者】