2月25日、Google Researchはタイタンに関する新しい調査を発表しました。 新しいニューラル長期記憶モジュール、3ヘッド協調アーキテクチャ、ハードウェア最適化設計モジュールの導入により、ユーザー数がわずか1.8倍の場合、大規模モデルのコンテキストウィンドウは200万トークンに拡張されます。 Titansは、ロングコンテキスト処理におけるTransformerモデルのボトルネックを解決するだけでなく、生体模倣設計によって人間の記憶システムの階層メカニズムをシミュレートし、200万トークンの超ロングコンテキストの正確な推論を初めて実現しました。