CICC: Em 2026, os grandes modelos alcançarão mais avanços em aprendizagem por reforço, memória de modelos, engenharia de contexto e outros aspetos

O CICC salientou que, olhando para 2025, as capacidades técnicas dos grandes modelos globais evoluirão para a frente, superarão gradualmente cenários de produtividade e farão progressos significativos na direção da inferência, programação, capacidades agentes e multimodais, mas ainda existem limitações nas capacidades gerais do modelo em termos de estabilidade e taxa de alucinação. Olhando para 2026, o CICC acredita que os grandes modelos farão mais avanços em aprendizagem por reforço, memória de modelos, engenharia de contexto, etc., desde a geração de contexto curto a tarefas de longa cadeia de pensamento, da interação textual à multimodalidade nativa, e darão um passo mais perto de alcançar o objetivo a longo prazo da AGI.

O texto completo está abaixo

CICC | Perspetivas de IA a 10 anos (26): Tecnologia modelo para tendências-chave em 2026

Investigação CICC

Olhando para 2025, as capacidades técnicas dos grandes modelos globais evoluirão para a frente, superarão gradualmente cenários de produtividade e farão progressos significativos na direção de inferência, programação, agentes e capacidades multimodais, mas ainda existem limitações em termos de estabilidade, taxa de alucinações, etc. Olhando para 2026, acreditamos que os grandes modelos farão mais avanços em aprendizagem por reforço, memória de modelos, engenharia de contexto, etc., desde a geração curta de contexto a tarefas de longa cadeia de pensamento, da interação textual à multimodalidade nativa, e darão um passo mais perto de alcançar o objetivo a longo prazo da AGI.

Resumo

Esperamos que a Scaling-Law pré-treino volte a aparecer em 2026, e que o número de parâmetros do modelo principal seja elevado a um nível superior. Em termos de arquitetura, a arquitetura do modelo baseada no Transformer continua, e o MoE que equilibra desempenho e eficiência tornou-se um consenso, e diferentes rotas de mecanismos de atenção continuam a ser otimizadas e alteradas. Em termos de paradigma, Scaling-Law + dados de alta qualidade + aprendizagem por reforço na fase de pré-treino irá melhorar conjuntamente as capacidades do modelo. Uma das expectativas para 2026 é que, com a maturidade e promoção dos chips da série GB da NVIDIA, o modelo será baseado no cluster Wanka de maior desempenho na fase pré-treino do Scaling-Law, e o número de parâmetros do modelo e o limite superior de inteligência serão ainda melhorados.

A importância da aprendizagem por reforço aumentou e tornou-se a chave para desbloquear as capacidades avançadas dos modelos. A introdução da aprendizagem por reforço eleva o limite superior da inteligência do modelo, permitindo que o modelo pense e raciocine de forma mais lógica e em linha com as preferências humanas, e a sua essência é “dados auto-gerados + múltiplas rondas de iteração”, e a chave para a aprendizagem por reforço reside no poder computacional em larga escala + dados de alta qualidade. Fabricantes estrangeiros de modelos como a OpenAI e a Gemini atribuem grande importância à aprendizagem por reforço, e a DeepSeek e a Alibaba Qianwen também estão a seguir o exemplo, e esperamos que a proporção de aprendizagem por reforço dos fabricantes de modelos, tanto nacionais como internacionais, aumente ainda mais em 2026.

Novas vias, como aprendizagem contínua, memória de modelos e modelos de mundos, irão inaugurar avanços centrais. A aprendizagem contínua e a memória de modelos resolvem essencialmente o problema do “esquecimento catastrófico” de grandes modelos, permitindo que o modelo tenha um mecanismo de memória seletiva. O núcleo dos algoritmos e arquiteturas da Google, como Titans, MIRAS e Nested Learning, é uma forma de os modelos ajustarem dinamicamente a aprendizagem e a memória com base no tempo e na importância das tarefas, alcançando assim aprendizagem contínua e até aprendizagem ao longo da vida. Além disso, os modelos de mundos que se focam na compreensão das leis causais do mundo físico têm oportunidades de avanço na exploração de diferentes caminhos de modelo, como o Génio 3 e o Marble.

Risco

a iteração tecnológica fica aquém das expectativas; As arquiteturas de modelos existentes e os paradigmas de treino são perturbados.

(Fonte do artigo: People’s Financial News)