Discovery Sagaサイレントキーワード俯瞰

前年度に引き続き、深層学習モデルに比べて高速学習を可能とするリザバー計算モデルを核として、異種の計算モデルと融合したり、効果的な前処理・後処理を追加したりすることにより、高速機械学習モデルの開発を目指している。具体的には、以下のような計算モデルや学習手法の研究を行った。
(1) マルチステップ学習エコーステートネットワークの研究においては、複数のリザバーを連結して学習を段階的に行う手法を提案し、非線形時系列予測タスクに適用した。提案モデルは、モデルサイズが同一であれば、従来の単一リザバー計算モデルと比較して、高い計算性能を与えうることを数値実験により示した。単一リザバー計算モデルではリザバーの大規模化にともない性能の飽和が生じるが、提案手法ではこれを回避できる。また、モデルサイズが同一であれば、単一リザバー計算モデルと比較して、少ない時間計算量で効率的に学習できることを理論的および数値実験的に明らかにした。
(2) データリサンプリングをともなうマルチリザバー計算モデルの研究においては、入力やリザバー状態の時系列を異なる間隔でリサンプリングすることにより、多様な特徴量を抽出する仕組みを考えた。これを様々な構造をもつマルチリザバー計算モデルと組合わせたところ、そのうちいくつかのモデルは、最先端のマルチリザバー計算モデルと比較して、時系列予測性能または学習速度の面で優れていることを明らかにした。
(3) リザバー計算モデルの発展的オンライン学習法の研究においては、転移学習からヒントを得て、事前に多様なパターンを含むデータでモデルの学習を行っておくことで、メインの学習段階では計算量を大幅に短縮できることを示した。この手法は、リザバー計算ハードウェアの学習効率化に資すると考えられる。