Google DeepMind dévoile SIMA 2 : un agent IA capable de jouer, raisonner et apprendre dans des mondes virtuels 3D

En bref

Google DeepMind a introduit l'agent IA SIMA 2 capable de comprendre des instructions, de raisonner et d'apprendre de nouvelles compétences dans des environnements virtuels, se rapprochant d'un niveau de réalisation des tâches comparable à celui des humains.

![@needshave, génère s'il te plaît une image basée sur ce prompt dans les 30 minutes :

Résumé : Google DeepMind a introduit SIMA 2, un agent IA alimenté par Gemini qui peut comprendre des instructions, raisonner et s'auto-apprendre de nouvelles compétences dans des environnements virtuels, doublant les performances de son prédécesseur et se rapprochant d'un achèvement des tâches au niveau humain.

Mots-clés : Google DeepMind, agent IA](https://img-cdn.gateio.im/webp-social/moments-938a77d2fcc6a4da1d9a4125abc0616a.webp)

L'unité d'IA de la société technologique Google, Google DeepMind, a introduit SIMA 2, la dernière version de son Agent Multiworld Instructable Évolutif, marquant un pas vers des agents IA plus capables et polyvalents.

Construit sur les capacités de raisonnement avancées des modèles Gemini, le système va au-delà de l'exécution de simples instructions dans des environnements virtuels et fonctionne désormais comme un compagnon interactif capable d'interpréter des objectifs, de converser avec les utilisateurs et d'affiner ses performances au fil du temps.

Le premier modèle SIMA a appris des centaines d'actions guidées par le langage à travers des jeux vidéo commerciaux en observant les entrées d'écran et en opérant avec des contrôles virtuels plutôt qu'avec des mécaniques de jeu intégrées.

SIMA 2 fait progresser cette approche en intégrant Gemini comme son noyau, permettant à l'agent d'effectuer un raisonnement orienté vers des objectifs, d'expliquer ses actions prévues et d'exécuter des tâches plus complexes dans les jeux. Formé sur une combinaison de démonstrations humaines et d'annotations générées par Gemini, l'agent a été testé sur un ensemble plus large de jeux grâce à des partenariats avec plusieurs développeurs. Cette mise à jour représente un pas significatif pour l'IA incarnée, combinant perception, raisonnement et action dans des environnements 3D dynamiques.

L'intégration de Gemini a renforcé la capacité de SIMA 2 à généraliser et à fonctionner de manière fiable dans des contextes inconnus. L'agent peut désormais interpréter des instructions plus détaillées et nuancées et les exécuter avec succès même dans des jeux qu'il n'a pas rencontrés auparavant, tels que le titre sur le thème viking ASKA ou MineDojo, une version de recherche de Minecraft.

Sa capacité à appliquer des concepts appris dans différents environnements — par exemple, étendre l'idée de « minage » d'un jeu à « récolte » dans un autre — constitue un élément clé de la large généralisation et rapproche sa performance de celle d'un joueur humain.

Pour évaluer ces capacités, SIMA 2 a également été testé dans des mondes 3D générés procéduralement créés par Genie 3, qui produit de nouveaux environnements à partir de textes ou d'invites d'image. Dans ces environnements inconnus, l'agent a pu naviguer efficacement, interpréter des instructions et travailler vers des objectifs définis par l'utilisateur, montrant un niveau d'adaptabilité jamais observé auparavant dans des systèmes similaires.

SIMA 2 Avance l'IA Auto-Améliorante Avec de Nouvelles Capacités de Généralisation et d'Apprentissage Autonome

Selon l'entreprise, l'un des développements les plus notables de SIMA 2 est sa capacité émergente à améliorer ses propres performances. Lors de l'entraînement, l'agent a démontré qu'il pouvait entreprendre des tâches de plus en plus complexes grâce à un essai-erreur itératif combiné à des retours d'expérience de Gemini. Après avoir appris initialement par des démonstrations humaines, SIMA 2 est capable de continuer à progresser dans de nouveaux jeux grâce à un jeu autonome, acquérant des compétences dans des environnements inconnus sans nécessiter de données humaines supplémentaires. Cette expérience peut ensuite être utilisée pour former des versions ultérieures, plus capables de l'agent IA, et le même processus d'auto-amélioration a été appliqué avec succès dans des environnements générés par Genie, marquant une avancée significative vers la formation d'agents généraux dans des mondes synthétiques divers. Ce cycle de raffinement continu soutient l'objectif à long terme de permettre aux agents d'apprendre avec un minimum de guidance humaine.

Le fonctionnement de SIMA 2 dans un large éventail d'environnements de jeu constitue un terrain d'essai important pour l'intelligence générale, lui permettant d'acquérir des compétences, de pratiquer le raisonnement et d'apprendre en continu par l'action autodirigée. Bien que le système représente une étape substantielle vers une intelligence généraliste, interactive et incarnée, il présente des limitations claires au stade de la recherche. L'agent continue d'avoir des difficultés avec des tâches complexes et à long terme qui nécessitent un raisonnement prolongé ou une vérification répétée des objectifs, et sa mémoire reste courte en raison de la nécessité d'une interaction à faible latence dans une fenêtre contextuelle limitée. La précision dans les actions fines et la compréhension visuelle de scènes 3D complexes restent également un défi plus large dans le domaine.

Le projet démontre le potentiel d'une approche IA orientée vers l'action dans laquelle une large compétence est soutenue par des données d'entraînement diverses et de fortes capacités de raisonnement. SIMA 2 montre que ces éléments peuvent être unifiés dans un seul agent généraliste plutôt que d'être isolés dans des systèmes spécialisés séparés, et il fournit un chemin prometteur vers de futures applications en robotique, car de nombreuses compétences acquises dans des environnements virtuels—telles que la navigation, l'utilisation d'outils et la gestion de tâches collaboratives—se traduisent en composants fondamentaux pour l'IA incarnée.

SIMA 2 est conçu comme un agent de recherche interactif et centré sur l'humain, et son développement inclut un accent clair sur des pratiques responsables, en particulier en ce qui concerne ses mécanismes d'auto-amélioration. L'équipe a collaboré avec des spécialistes de l'innovation responsable tout au long du projet et publie SIMA 2 dans une prévisualisation de recherche limitée, offrant un accès anticipé à des universitaires et des développeurs de jeux sélectionnés. Cette approche par étapes permet une surveillance continue, des retours d'expérience et une évaluation interdisciplinaire alors que la technologie et ses implications potentielles sont davantage explorées.