Команда Google DeepMind представила Genie 2 — вторую версию фундаментальной модели искусственного интеллекта, которая может на лету создавать новые интерактивные цифровые среды или игровые миры.
Напомним, что оригинальная Genie вышла в феврале и могла генерировать виртуальные 2D-миры из синтезированных изображений. Genie 2 может делать это в 3D и на основе текстовых команд. Пользователь может описать желаемый мир, выбрать подходящую визуализацию и войти в новую среду. На каждом этапе человек/агент выполняет действие (движение мыши, нажатие клавиши на клавиатуре), а Genie 2 моделирует его последствия.
По данным Google DeepMind, Genie 2 может генерировать последовательные интерактивные миры длительностью около минуты, хотя большинство показанных примеров (видео ниже) имеют продолжительность 10-20 секунд.
По сравнению с первой версией Genie 2:
- может запоминать элементы мира, которые невозможно увидеть;
- может создавать среду с разными точками зрения (от первого или третьего лица, изометрическая камера и т. д.);
- может создавать сложные трехмерные сцены;
- может имитировать различные взаимодействия с объектами, такие как лопание воздушных шаров, открытие дверей или взрыв взрывоопасных бочек выстрелом;
- может анимировать разные типы персонажей;
- может моделировать NPC и взаимодействовать с ними;
- может моделировать эффекты воды, дыма, гравитации, освещения, отражений;
- может моделировать интерактивную среду на основе реальных фотографий.
По мнению Google, DeepMind Genie 2 демонстрирует потенциал фундаментальных моделей мира для создания разнообразных 3D-сред и ускорения обучения/тестирования агентов ИИ (как СИМА).
В Google DeepMind уточняют, что исследование находится на ранней стадии и требует значительных улучшений в области возможностей агентов и создания среды, но уже видит в Genie 2 решение структурной проблемы безопасного обучения агентов ИИ.
