一般的な非凸非平滑最適化のための効率的解法の開発と機械学習への応用
【研究キーワード】
非凸非平滑最適化 / 錐最適化問題 / ランダム行列理論 / 2段階最適化問題 / 機械学習 / ペナルティ法 / 低ランクスパース最適化
【研究成果の概要】
主に,以下の2つのトピックスに取り組んだ.
[実行可能解を求めるための発見的解法とSDCAを組み合わせた高速SDCA]
SDCAは勾配計算に基づく解法で,1次法と呼ばれる解法の一つである.1次法は大規模な問題を扱える反面,解への収束が遅いという欠点がある.特に,SDCAはペナルティ法と組み合わせているため,十分に収束させてアルゴリズムを終了しないと,制約式を満たす解が得られなくなっ てしまう.しかし,収束が遅い上に十分収束させる必要があるとなると,規模の大きな問題を現実的な時間で解くことはできない.そこで,早い段階でSDCAの反復を終了させ,そのあと事後処理プロセスとして交互射影法に切り替えて実行可能解を求める,というアルゴリズムを構築した.SDCAから交互射影法に解法を切り替えるタイミングについては,反復法における収束判定条件の設定の際にしばしば用いられるエラーバウンドの基準を用いることで,提案手法の収束性について理論的な保証を与えた.本研究成果のうち,理論的な面についての論文は数値計算分野の国際雑誌に投稿し,また数値実験による実践的な面については制御分野の国際雑誌に投稿中である.
[SDCAの2次錐や半正定値錐上でのスパース最適化問題への拡張]
我々のSDCAに関する一連の研究は,単純な問題設定での近接DCAの提案から始まり,現在は非凸非平滑最適化問題を解くまでに拡張されている.さらなる適用範囲の拡張を目指して研究を行っている.例えば,ユークリッドジョルダン代数を用いることで,2次錐や半正定値錐を含む問題に対し,効率的にSDCAを適用できると考えている.解法の開発については進んでいるものの,提案解法に対して理論的な保証を与えるまでに至っていない.今後,提案解法を2次錐や半正定値錐を含む問題に適用した場合の,大域的収束性や収束の速さについて解析したい.
【研究代表者】
【研究分担者】 |
ロウレンソ ブルノ・フィゲラ | 統計数理研究所 | 数理・推論研究系 | 准教授 | (Kakenデータベース) |
Liu Tianxiang | 国立研究開発法人理化学研究所 | 革新知能統合研究センター | 特別研究員 | (Kakenデータベース) |
Metel MichaelRos | 国立研究開発法人理化学研究所 | 革新知能統合研究センター | 特別研究員 | (Kakenデータベース) |
|
【研究種目】基盤研究(B)
【研究期間】2019-04-01 - 2023-03-31
【配分額】14,820千円 (直接経費: 11,400千円、間接経費: 3,420千円)