中金:2026年大模型在強化學習、模型記憶、上下文工程等方面將取得更多突破

robot
摘要生成中

中金指出,回顧2025年,全球大模型技術能力向前演進,逐步攻克生產力場景,在推理、編程、Agentic以及多模態等能力方向取得明顯進步,但模型通用能力在穩定性、幻覺率等方面仍存在短板。展望2026年,中金認為大模型在強化學習、模型記憶、上下文工程等方面將取得更多突破,從短context生成到長思維鏈任務,從文本交互到原生多模態,並向實現AGI長期目標更進一步。

全文如下

中金 | AI十年展望(二十六):2026關鍵趨勢之模型技術篇

中金研究

回顧2025年,全球大模型技術能力向前演進,逐步攻克生產力場景,在推理、編程、Agentic以及多模態等能力方向取得明顯進步,但模型通用能力在穩定性、幻覺率等方面仍存在短板。展望2026年,我們認為大模型在強化學習、模型記憶、上下文工程等方面將取得更多突破,從短context生成到長思維鏈任務,從文本交互到原生多模態,並向實現AGI長期目標更進一步。

摘要

我們預計2026年預訓練Scaling-Law重現,旗艦模型參數量更上一個台階。架構方面,基於Transformer的模型架構延續,平衡性能與效率的MoE成為共識,不同注意力機制路線仍在優化與切換。範式方面,預訓練階段Scaling-Law+高質量數據+強化學習將共同提高模型能力。2026年期待之一就是隨著英偉達GB系列晶片成熟及推廣,模型將基於更高性能的萬卡集群在預訓練階段Scaling-Law,模型參數量和智能上限都將進一步提升。

強化學習重要性提升,成為解鎖模型高級能力的關鍵。強化學習的引入提高了模型的智能上限,讓模型可以更有邏輯、更符合人類偏好進行思考和推理,其本質是“自我生成數據+多輪迭代”,強化學習的關鍵在於大規模算力+高質量數據。海外OpenAI、Gemini等模型廠商對於強化學習非常重視,國內DeepSeek、阿里千問等也在跟進,我們預計2026年海內外模型廠商強化學習占比將進一步提升。

持續學習、模型記憶、世界模型等新路線將迎來核心突破。持續學習和模型記憶本質上是解決大模型“災難性遺忘”問題,讓模型具備選擇性記憶機制。Google提出的Titans、MIRAS、Nested Learning等算法和架構核心是讓模型可以根據任務的時間跨度和重要性動態調整學習和記憶的方式,從而實現持續學習甚至終身學習。此外,聚焦理解物理世界因果規律的世界模型在Genie 3和Marble等不同模型路徑的探索下具備突破機遇。

風險

技術迭代不及預期;現有模型架構和訓練範式被顛覆。

(來源:人民財訊)

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 留言
  • 轉發
  • 分享
留言
請輸入留言內容
請輸入留言內容
暫無留言