Gridの手法を用いたデータ収集システムの動的最適化の研究
【研究分野】素粒子・原子核・宇宙線・宇宙物理
【研究キーワード】
高エネルギー実験 / データ収集システム / GRID / データー収集システム / Grid / 最適化
【研究成果の概要】
従来の高エネルギー実験のデータ収集システムは、イベントビルダーやトリガープロセッサの機能やその間のデータの流れが固定されており、加速器の運転条件により処理能力に無駄が生じたり、十分な性能が出せないことがあった。本研究の目的は、プロセッサの負荷やデータの流れをリアルタイムで監視して、各プロセッサの機能やその間のデータの流れを動的に変更し、常時最適の組み合わせでデータ収集をおこなうシステムを構築することであった。初年度はGbEスイッチに接続されたPCサーバー25台で構成されるテストベンチシステムに、データ流量やプロセッサの負荷をモニタする機構を開発を中心におこなった。これはBelle実験で用いられているNetwork Shared Memory(NSM)を用いて実装し、動作させることに成功した。またMICH-G2を用いてノード間の通信速度の測定を行い、GbEスイッチを通して60MB/sec以上の性能を確認した。次年度はこれを使用して、プロセッサ上での処理とデータの流れを動的に変更して最適化する機構の開発をおこなった。プロセッサ上での動的な処理の変更は、ダイナミックリンクを用いてデータ収集ソフトウェアフレームワークに組みこむ機能モジュールを入れ換えることにより実装し、動作させることに成功した。またプロセッサの機能を入れ換えたときに、データ収集を停止することなく送り先を変更する機能を開発することにも成功した。これは各プロセッサノードに入出力それぞれに大容量のリングバッファとソケットに対するデータ送受ソフトを組み合わせたものを用意し、それを動的に切り替える機構を実装することで実現した。そして最後に全体の組み合わせを動的に最適化するアルゴリズムの開発をおこなった。しかし現在までのところ満足のいくレベルでの動的最適化をおこなうアルゴリズムの開発には成功していない。特に実際に実験でおこり得るような、入力データの量やレートが徐々に少しずつ変化する場合において、現在のアルゴリズムではある一定の閾値境界で大幅なデータの流れの超路とソフトウェアの入れ換えがおこってしまい、資源使用に無駄がでてしまう。また切替時にデータ収集が停止してしまう場合も観察された。よってアルゴリズムのより一層の向上をつづける必要がある。ニューラルネットなどの応用が有望であると考えており、今後も研究をつづけていく予定である。なお本研究で開発されたプロセッサの負荷やデータ量の監視のメカニズムは、Belle実験で使用されているリアルタイムリコンストラクションファームに応用され、これに関しては国際会議CHEP04で発表された。
【研究代表者】