[Top page] [日刊 研究最前線 知尋] [Discovery Saga総合案内] [大学別アーカイブス] [Discovery Saga会員のご案内] [産学連携のご案内] [会社概要] [お問い合わせ]

科学技術振興機構 研究Discovery Saga
2026年11月6日

自己回帰生成モデルの熱力学を構築

~大規模言語モデルに内在する「世界モデル」の定量的理解に向けて~

【注目の成果:共同研究・産学連携のためのチェックポイント】
生成AIが学習で獲得した現実世界についての表現を、熱力学に基づいて解析する新たな道筋を提示することが期待
【産学連携対象 全学共通分野 Discovery Saga】
情報学数物系科学工学
【Sagaキーワード】
生成モデル/言語モデル/情報理論/信号処理/人工知能(AI)/不可逆性/エントロピー/熱力学/カルマンフィルタ

2026(令和8)年11月6日
東京大学
科学技術振興機構(JST)

発表のポイント

大規模言語モデルからカルマンフィルターまで、過去の出力履歴を用いて次の出力を生成する「自己回帰生成モデル」を統一的に扱う熱力学理論を構築しました。
出力を生成する過程にどの程度「一方向性」があるかを表す量(エントロピー生成)を効率的に推定する方法を示し、それを大規模言語モデルの解析に応用しました。
本研究は、生成AIが学習で獲得した現実世界についての表現を、熱力学に基づいて解析する新たな道筋を提示することが期待されます。

東京大学 大学院工学系研究科 物理工学専攻の沙川 貴大 教授は、過去の出力の履歴に基づいて次の出力を生成する「自己回帰生成モデル」(Autoregressive Generative Model)の熱力学理論を構築しました。大規模言語モデル(Large Language Model、LLM)の基盤であるトランスフォーマー(Transformer)から、信号処理に用いられるカルマンフィルターまでを統一的に扱い、生成過程の不可逆性を表す「エントロピー生成」を効率的に推定する方法を示しました。さらに、情報理論的な観点から、エントロピー生成を各時刻に対応するゼロ以上の寄与の和として表せることを示しました。大規模言語モデルを用いた実験では、文章に表れた出来事の順序関係がモデルに反映されていることを示唆する結果が得られました。
本成果は、生成AIの内部に形成されると考えられる現実世界の表現、いわゆる「世界モデル」(World model)の定量的な理解につながることが期待されます。
本研究成果は、2026年11月5日(米国東部標準時間)に、科学雑誌「PRX Intelligence」のオンライン版に掲載されました。

<本研究を支援したJSTの制度>

戦略的創造研究推進事業 ERATO

<論文タイトル>

“Stochastic Thermodynamics for Autoregressive Generative Models: A Non-Markovian Perspective”
DOI:10.1103/tv38-b23y

<プレスリリース資料>

本文 PDF(652KB)

※本件に関する問い合わせ先はプレスリリース資料(PDF)をご参照ください。