大規模非線形最適化法のアルゴリズムに関する研究とその実装
【研究キーワード】
非線形最適化 / 無制約最小化問題 / 制約条件付き最小化問題 / 非線形半正定値計画問題 / 準ニュートン法 / 近接勾配法 / 主双対内点法 / リーマン多様体最適化 / 無制約最適化 / 制約条件付き最適化 / 数値的最適化 / 機械学習への応用
【研究成果の概要】
非線形最適化問題に対する数値解法について以下の通り研究した。研究成果の一部は日本OR学会、研究集会（京都大学数理解析研究所、統計数理研究所）、国際会議等で発表した。また、研究成果が学術論文誌等に掲載された。
１．機械学習で扱われる微分可能な関数と非平滑な凸関数の和で表わされる最適化問題に対する数値解法を開発した。この問題に対する解法として知られているニュートン型近接勾配法の枠組みにBroyden公式族に基づいたメモリーレス準ニュートン法を適用するとともにその数値解法の大域的収束性を示した。メモリーレス準ニュートン法を適用し、さらに内部反復の近接写像を非厳密に解くことで、ニュートン型近接勾配法の欠点である重み付き近接写像の計算効率の悪さを改善することに成功した。
２．刈込LASSO罰則と呼ばれる関数と回帰モデルを組み合わせた非凸なスパースモデルを扱った。この問題は近接勾配法を用いて解くことが可能であり、得られる解が停留点と呼ばれる最適性条件を満たす点であることが知られているが、既存の近接勾配法で得られる解が停留点よりも強い最適性条件として知られている「方向停留点」であることを証明した。さらに、外れ値を考慮したスパースロバスト回帰モデルを構築してPALMと呼ばれる方法に非単調直線探索とBarzilai-Borwein法を適用したGeneral PALM (GPALM)を開発し、近接勾配法と同様に方向停留点に収束することを証明するとともに数値実験を通じてその性能を評価した。
３．リーマン多様体上の最適化問題に対する準ニュートン法の大域的収束性について研究した。スペクトラルスケーリングやLi-Fukushimaの補正を導入して、Broyden 公式族（凸クラスおよび前凸クラスを含む）に基づいたメモリーレス準ニュートン法を提案し、その大域的収束性を示した。
【研究代表者】
【研究分担者】 |
| 成島 康史 | 慶應義塾大学 | 理工学部(矢上) | 准教授 | (Kakenデータベース) |
| 中山 舜民 | 中央大学 | 理工学部 | 助教 | (Kakenデータベース) |
|
【研究種目】基盤研究(C)
【研究期間】2020-04-01 - 2023-03-31
【配分額】3,510千円 (直接経費: 2,700千円、間接経費: 810千円)