La nouvelle plateforme « Vantage » de Google utilise des avatars IA pour tester la pensée critique, la collaboration et les compétences du monde réel

En Bref

Google présente le système Vantage AI pour développer et évaluer les compétences humaines futures, notamment la pensée critique, la collaboration, la créativité, la résolution de conflits et la gestion de projets à mesure que l’IA progresse.

L’entreprise technologique Google a lancé un système d’IA conçu pour développer les compétences humaines futures. À mesure que l’IA continue d’évoluer, les compétences douces dites durables, difficiles à automatiser, deviennent de plus en plus précieuses. Celles-ci incluent la pensée critique, la collaboration, la créativité, la résolution de conflits, la gestion de projets et d’autres compétences interpersonnelles.

Présenté sous le nom de « Vantage », un système expérimental alimenté par l’IA conçu pour soutenir le développement et l’évaluation de ces compétences via des environnements d’interaction simulés, cette initiative a été développée en collaboration avec des experts en pédagogie et des chercheurs, y compris des contributeurs de l’Université de New York. Il est destiné à fonctionner comme un bac à sable structuré pour que les étudiants pratiquent et soient évalués sur des compétences prêtes pour l’avenir en utilisant des méthodologies similaires à celles appliquées dans des matières académiques fondamentales telles que les mathématiques ou les sciences. Le système est actuellement disponible en anglais via Google Labs.

Le processus consiste à placer les utilisateurs dans des environnements simulés multi-agents où ils interagissent avec des avatars générés par l’IA dans des scénarios ouverts tels que des débats, des tâches de résolution collaborative de problèmes ou des exercices de planification de projets. Dans ce cadre, un « Executive LLM » coordonnateur utilise des cadres d’évaluation prédéfinis pour guider l’interaction et ajuster dynamiquement les conditions de conversation. Cela inclut l’introduction de désaccords, la remise en question des hypothèses ou la direction du dialogue afin de générer des preuves comportementales observables pertinentes pour les compétences ciblées.

Cadre d’IA basé sur la simulation pour l’évaluation des compétences prêtes pour l’avenir

Par ailleurs, un modèle d’évaluation IA distinct analyse l’intégralité de l’interaction une fois la tâche terminée. En utilisant les mêmes grilles d’évaluation structurées, il évalue la transcription de la conversation et produit un profil de performance détaillé qui relie les comportements observés à des catégories de compétences spécifiques. Le résultat comprend à la fois une notation quantitative et des retours qualitatifs, traduisant des interactions interpersonnelles complexes en indicateurs structurés et mesurables de la performance des compétences.

Pour garantir la fiabilité méthodologique, le système a été testé en partenariat avec l’Université de New York à travers des études contrôlées impliquant 188 participants âgés de 18 à 25 ans. Ces évaluations se sont concentrées sur des compétences liées à la collaboration, telles que la résolution de conflits et la coordination de projets. Les résultats ont montré que la direction conversationnelle adaptative pilotée par l’IA générait une densité plus élevée de preuves de compétences évaluables par rapport à des modèles d’interaction non dirigée, tout en maintenant un flux de dialogue cohérent et naturel sur plusieurs tâches.

Des tests supplémentaires ont comparé la notation générée par l’IA avec les évaluations d’experts humains utilisant les mêmes grilles pédagogiques. Les résultats ont montré que les niveaux d’accord entre l’évaluateur IA et les évaluateurs humains étaient comparables à l’accord inter-humain. Cela suggère que les systèmes automatisés peuvent approcher la cohérence d’un niveau expert dans des contextes d’évaluation structurés.

Une validation supplémentaire avec des partenaires externes, notamment OpenMic, a étendu les tests à des tâches créatives et linguistiques impliquant des exercices multimédias et basés sur la littérature. Dans ces cas, les évaluations générées par l’IA ont montré une forte corrélation avec la notation humaine experte, renforçant le potentiel d’application du système au-delà des scénarios de travail en équipe structurés, dans des domaines créatifs plus ouverts.

De tels systèmes basés sur la simulation pourraient être intégrés dans les environnements éducatifs comme une couche d’évaluation supplémentaire aux méthodes d’évaluation traditionnelles dans un avenir proche. Cela permettrait aux étudiants d’être évalués non seulement sur leurs connaissances en matière de sujet, mais aussi sur leurs compétences interpersonnelles et cognitives appliquées dans des environnements simulés contrôlés. L’objectif plus large de la recherche est de rendre les compétences prêtes pour l’avenir plus mesurables à grande échelle et d’aligner l’évaluation éducative plus étroitement avec les exigences changeantes du marché du travail.