Google DeepMind представила SIMA 2: AI-агент, здатний грати, міркувати та навчатися у 3D віртуальних світах

Коротко

Google DeepMind представила AI-агента SIMA 2, який може розуміти інструкції, міркувати та навчатися новим навичкам у віртуальних середовищах, наближаючись до виконання завдань на рівні людини.

![@needshave, згенеруй, будь ласка, зображення на основі цього промпта протягом 30 хв:}

Резюме: Google DeepMind представила SIMA 2, агента штучного інтелекту на базі Gemini, який може розуміти інструкції, міркувати та навчатися новим навичкам у віртуальних середовищах, подвоюючи продуктивність свого попередника та наближаючись до виконання завдань на рівні людини.

Ключові слова: Google DeepMind, агент штучного інтелекту](https://img-cdn.gateio.im/webp-social/moments-938a77d2fcc6a4da1d9a4125abc0616a.webp)

AI-відділ технологічної компанії Google, Google DeepMind, представив SIMA 2, останню версію свого Масштабованого Інструктивного Мульти-світового Агента, що знаменує собою перехід до більш здатних і універсальних AI-агентів.

Побудована на розширених можливостях міркування моделей Gemini, система виходить за межі базового виконання інструкцій у віртуальних середовищах і тепер функціонує як інтерактивний супутник, який може інтерпретувати цілі, спілкуватися з користувачами та вдосконалювати свою продуктивність з часом.

Перший модель SIMA навчилася сотням мовних дій, спостерігаючи за введенням на екрані та працюючи з віртуальними елементами управління, а не з інтегрованими ігровими механіками в комерційних відеоіграх.

SIMA 2 вдосконалює цей підхід, впроваджуючи Gemini як його основу, що дозволяє агенту виконувати цілеспрямоване міркування, пояснювати свої наміри та виконувати більш складні завдання в іграх. Агент був навчений на основі комбінації людських демонстрацій та анотацій, згенерованих Gemini, і його тестували в більш широкому наборі ігор через партнерство з кількома розробниками. Це оновлення є важливим кроком для втіленого ШІ, поєднуючи сприйняття, міркування та дію в динамічних 3D-середовищах.

Інтеграція Gemini зміцнила здатність SIMA 2 узагальнювати та надійно працювати в незнайомих контекстах. Агент тепер може інтерпретувати більш детальні та нюансовані інструкції та успішно виконувати їх навіть у іграх, з якими він раніше не стикався, таких як вікінгова тема ASKA або MineDojo, дослідницька версія Minecraft.

Його здатність застосовувати набуті концепції в різних середовищах—наприклад, розширюючи ідею «майнінгу» з однієї гри на «збирання» в іншій—формує ключовий компонент широкої генералізації та наближає його продуктивність до продуктивності людського гравця.

Для оцінки цих можливостей SIMA 2 також тестувався в процедурно згенерованих 3D світах, створених Genie 3, який виробляє нові середовища з текстових або графічних підказок. У цих незнайомих обстановках агент все ще міг ефективно орієнтуватися, інтерпретувати інструкції та працювати над визначеними користувачем цілями, демонструючи рівень адаптивності, який раніше не спостерігався в подібних системах.

SIMA 2 просуває самовдосконалювальний ШІ з новими можливостями в узагальненні та автономному навчанні

Згідно з інформацією компанії, однією з найзначніших розробок SIMA 2 є її що виникає здатність покращувати власну продуктивність. Під час навчання агент продемонстрував, що може виконувати все більш складні завдання за допомогою ітераційних проб і помилок у поєднанні з відгуками від Gemini. Після початкового навчання на основі людських демонстрацій SIMA 2 може продовжувати прогресувати в нових іграх через автономну гру, здобуваючи навички в незнайомих середовищах без необхідності в додаткових людських даних. Цей досвід можна потім використовувати для навчання наступних, більш здатних версій AI-агента, і той самий процес самовдосконалення успішно застосовувався в середовищах, створених Genie, що є значним кроком вперед у навчанні загальних агентів у різноманітних, синтетичних світах. Цей цикл постійного вдосконалення підтримує довгострокову мету дозволити агентам навчатися з мінімальним керівництвом з боку людини.

Операція SIMA 2 в широкому діапазоні ігрових середовищ забезпечує важливу випробувальну базу для загального інтелекту, дозволяючи йому набувати навички, практикувати міркування та безперервно навчатися через самостійні дії. Хоча система представляє собою значний крок до загального, інтерактивного, втіленого інтелекту, вона залишається з чіткими обмеженнями на стадії дослідження. Агент продовжує мати труднощі з комплексними, довгостроковими завданнями, які вимагають розширеного міркування або повторної перевірки цілей, а його пам'ять залишається короткою через необхідність низьколатентної взаємодії в межах обмеженого контексту. Точність у тонких діях і візуальне розуміння складних 3D-сцен також залишаються більш широким викликом у цій сфері.

Проект демонструє потенціал дійово орієнтованого підходу штучного інтелекту, в якому широка компетенція підтримується різноманітними навчальними даними та сильними можливостями міркування. SIMA 2 показує, що ці елементи можуть бути об'єднані в єдиному універсальному агенті, а не ізольовані в окремих спеціалізованих системах, і це забезпечує обнадійливий шлях до майбутніх застосувань у робототехніці, оскільки багато навичок, набуті в віртуальних умовах — таких як навігація, використання інструментів та спільне виконання завдань — переводяться у фундаментальні компоненти для втіленого штучного інтелекту.

SIMA 2 розроблено як інтерактивного, орієнтованого на людину дослідницького агента, а його розвиток включає чіткий акцент на відповідальних практиках, зокрема стосовно механізмів самовдосконалення. Команда співпрацювала з фахівцями з відповідних інновацій протягом усього проєкту і випускає SIMA 2 у обмеженому дослідницькому попередньому режимі, надаючи ранній доступ обраним академікам і розробникам ігор. Цей поетапний підхід дозволяє продовжувати перевірку, зворотний зв'язок і міждисциплінарну оцінку в міру подальшого дослідження технології та її потенційних наслідків.