2026.10.27 TUE17:35 JSTGoogle
Googleが睡眠模倣のLLM継続学習法提案
様子見研究発表のみ
人間の睡眠のように、休止中に情報を整理・定着させて新しい知識を覚えても忘れにくくする技術。
- LLMが壊滅的忘却を起こさず追加学習できる手法が登場
- 稼働とオフライン整理の周期で知識を長期記憶化する
- 最大1000万トークンの文脈保持と推論強化を両立する
目線
将来的にモデル全体を頻繁に再学習させず、最新知識を継続して保持・更新する実用AIへの応用が期待される。
対象
LLMの継続学習や長期記憶保持アルゴリズムに関心がある研究者・開発者
使える場面
- 旧知識を壊さずに新事実を追加するモデル微調整手法の検討
- 超長文文脈を長期的にパラメトリック記憶へ定着させる技術の調査
試すなら
Google Research の解説記事から理論背景と評価結果を確認する
確認点
現時点では基礎研究の発表でありプロダクト向けAPI等への実装時期は未定
背景
従来の LLM は追加データでパラメータを更新すると過去の学習内容を忘れる「壊滅的忘却」が発生し、事前学習時の知識カットオフを超える長期適応が困難だった。
何が変わったか
- 対話を行うアクティブ相と記憶整理・自己改善を行う睡眠相を設けるフレームワークを提案
- 睡眠相で Low-Rank な MoE 構造へ知識を転送・整理する記憶コンソリデーション（統合）処理を実装
- ランダムな専門家選択と強化学習で自己改善用データを生成・学習する「夢（Dreaming）」段階を導入
使える場面・影響
コンテキストウィンドウに依存した一時記憶をパラメータ側の長期記憶へ安全に落とし込めるため、長期間運用するエージェントの記憶基盤として有効な技術アプローチとなる。
試す前に確認
- 論文や関連コードの公開状況
一次ソース
- Google Research Blogresearch.google