CICC : D'ici 2026, les grands modèles réaliseront davantage de progrès dans l'apprentissage par renforcement, la mémoire des modèles, l'ingénierie contextuelle, etc.

Le CICC a souligné qu’en regardant 2025, les capacités techniques des grands modèles mondiaux évolueront, surmonteront progressivement les scénarios de productivité et feront des progrès significatifs dans la direction de l’inférence, de la programmation, des capacités agorganiques et multimodales, mais qu’il subsiste des lacunes dans les capacités générales du modèle en termes de stabilité et de taux d’hallucination. En regardant vers 2026, le CICC estime que les grands modèles réaliseront davantage de percées dans l’apprentissage par renforcement, la mémoire des modèles, l’ingénierie du contexte, etc., de la génération de contexte à court terme à des tâches de longue chaîne de pensée, de l’interaction textuelle à la multimodalité native, et feront un pas de plus vers l’atteinte de l’objectif à long terme de l’AGI.

Le texte complet est ci-dessous

CICC | Perspectives sur 10 ans de l’IA (26) : Technologie modélisation pour les principales tendances en 2026

Recherche CICC

En regardant en arrière vers 2025, les capacités techniques des grands modèles mondiaux évolueront, surmonteront progressivement les scénarios de productivité et feront des progrès significatifs dans la direction de l’inférence, de la programmation, des capacités aggéniques et multimodales, mais il subsiste des lacunes en termes de stabilité, de taux d’hallucination, etc. En regardant vers 2026, nous pensons que les grands modèles réaliseront davantage de percées dans l’apprentissage par renforcement, la mémoire des modèles, l’ingénierie du contexte, etc., de la génération de contexte à la longue chaîne de pensée, de l’interaction textuelle à la multimodalité native, et feront un pas de plus vers l’atteinte de l’objectif à long terme de l’AGI.

Résumé

Nous prévoyons que la loi de mise à l’échelle pré-entraînement réapparaîtra en 2026, et que le nombre de paramètres du modèle phare sera porté à un niveau supérieur. En termes d’architecture, l’architecture du modèle basée sur Transformer se poursuit, et le MoE qui équilibre performance et efficacité est devenu un consensus, et différents mécanismes d’attention sont encore optimisés et modifiés. En termes de paradigme, la loi de mise à l’échelle + données de haute qualité + apprentissage par renforcement à l’étape de pré-entraînement améliorera conjointement les capacités du modèle. L’une des attentes pour 2026 est qu’avec la maturité et la promotion des puces de la série GB de NVIDIA, le modèle sera basé sur le cluster Wanka à haute performance en phase de pré-entraînement de Scaling-Law, et que le nombre de paramètres du modèle ainsi que la limite supérieure d’intelligence seront encore améliorés.

L’importance de l’apprentissage par renforcement a augmenté et est devenue la clé pour libérer les capacités avancées des modèles. L’introduction de l’apprentissage par renforcement élève la limite supérieure de l’intelligence du modèle, lui permettant de penser et de raisonner de manière plus logique et en accord avec les préférences humaines, et son essence est « données auto-générées + multiples cycles d’itérations », la clé de l’apprentissage par renforcement résidant dans la puissance de calcul à grande échelle + la qualité des données. Les fabricants étrangers de modèles tels qu’OpenAI et Gemini accordent une grande importance à l’apprentissage par renforcement, et DeepSeek et Alibaba Qianwen nationaux suivent également le mouvement, et nous prévoyons que la proportion d’apprentissage par renforcement des fabricants de modèles, tant au pays qu’à l’étranger, augmentera encore en 2026.

De nouvelles voies telles que l’apprentissage continu, la mémoire des modèles et les modèles de mondes ouvriront la voie à des avancées fondamentales. L’apprentissage continu et la mémoire des modèles résolvent essentiellement le problème de « l’oubli catastrophique » des grands modèles, permettant au modèle d’avoir un mécanisme de mémoire sélective. Le cœur des algorithmes et architectures de Google, tels que Titans, MIRAS et Nested Learning, est un moyen pour les modèles d’ajuster dynamiquement l’apprentissage et la mémoire en fonction de la durée et de l’importance des tâches, assurant ainsi un apprentissage continu et même tout au long de la vie. De plus, les modèles de mondes axés sur la compréhension des lois causales du monde physique offrent des opportunités de percée grâce à l’exploration de différents chemins de modèles tels que Génie 3 et Marble.

Risque

L’itération technologique ne répond pas aux attentes ; Les architectures de modèles existantes et les paradigmes d’entraînement sont perturbés.

(Source de l’article : People’s Financial News)