Ціньінь: До 2026 року великі моделі зроблять більше проривів у галузі підкріплювального навчання, пам’яті моделей, контекстного інженерінгу тощо

CICC зазначила, що, оглядаючись на 2025 рік, технічні можливості глобальних великих моделей будуть розвиватися вперед, поступово долати сценарії продуктивності та досягати значного прогресу у напрямку висновків, програмування, агентних і мультимодальних можливостей, але все ще існують недоліки у загальних можливостях моделі щодо стабільності та рівня галюцинацій. Дивлячись у 2026 рік, CICC вірить, що великі моделі зроблять нові прориви у підкріпленому навчанні, пам’яті моделей, контекстному інжинірингу тощо — від генерації короткого контексту до завдань з довгим ланцюгом мислення, від текстової взаємодії до нативної мультимодальності, і зроблять крок ближче до досягнення довгострокової мети AGI.

Повний текст нижче

CICC | 10-річний прогноз ШІ (26): модельна технологія для ключових тенденцій у 2026 році

Дослідження CICC

Оглядаючись на 2025 рік, технічні можливості глобальних великих моделей будуть розвиватися вперед, поступово долати сценарії продуктивності та досягати значного прогресу у напрямку висновків, програмування, агентних і мультимодальних можливостей, але все ще залишаються недоліки у плані стабільності, частоти галюцинацій тощо. Дивлячись у 2026 рік, ми віримо, що великі моделі зроблять більше проривів у навчанні з підкріпленням, пам’яті моделей, контекстному інжинірингу тощо — від короткої генерації контексту до завдань з довгим ланцюгом думок, від текстової взаємодії до нативної мультимодальності — і зроблять крок ближче до досягнення довгострокової мети AGI.

Анотація

Ми очікуємо, що закон масштабування попереднього навчання повернеться у 2026 році, а кількість параметрів флагманської моделі буде підвищена. Щодо архітектури, архітектура моделі на основі Transformer продовжується, а MoE, що балансує продуктивність і ефективність, став консенсусом, а різні маршрути механізмів уваги все ще оптимізуються та перемикаються. З точки зору парадигми, Scaling-Law + високоякісні дані + підкріплене навчання на етапі попереднього навчання спільно покращать можливості моделі. Одне з очікувань на 2026 рік полягає в тому, що з розвитком і просуванням чипів серії GB від NVIDIA модель буде базуватися на більш продуктивному кластері Wanka на етапі попереднього навчання Scaling-Law, а кількість параметрів моделі та верхня межа інтелекту будуть додатково покращені.

Важливість навчання за допомогою підкріплення зросла і стала ключем до розкриття передових можливостей моделей. Впровадження підкріплюючого навчання підвищує верхню межу інтелекту моделі, дозволяючи моделі мислити та міркувати логічніше та відповідно до людських уподобань, а її суть — «самостворені дані + кілька раундів ітерації», а ключ до навчання за допомогою підкріплення полягає у великомасштабній обчислювальній потужності + високоякісних даних. Закордонні виробники моделей, такі як OpenAI та Gemini, надають великого значення навчанню за допомогою підкріплення, а вітчизняні DeepSeek та Alibaba Qianwen також слідують за цим прикладом, і ми очікуємо, що частка виробників моделей на основі підкріплення як у країні, так і за кордоном, ще більше зросте у 2026 році.

Нові шляхи, такі як безперервне навчання, пам’ять моделей і світові моделі, відкриють основні прориви. Безперервне навчання та пам’ять моделей фактично вирішують проблему «катастрофічного забуття» великих моделей, дозволяючи моделі мати вибірковий механізм пам’яті. Ядро алгоритмів і архітектур Google, таких як Titans, MIRAS і Nested Learning, полягає у способі для моделей динамічно коригувати навчання та пам’ять залежно від часового проміжку та важливості завдань, забезпечуючи таким чином безперервне навчання і навіть навчання протягом усього життя. Крім того, світові моделі, які зосереджені на розумінні причинних законів фізичного світу, мають проривні можливості у дослідженні різних шляхів моделей, таких як Genie 3 і Marble.

Ризик

Технологічна ітерація не відповідає очікуванням; Існуючі архітектури моделей і парадигми навчання порушуються.

(Джерело статті: People’s Financial News)