Runway представила свою первую модель искусственного интеллекта и добавила звук в свой видеогенератор

Runway, компания, ранее производившая генераторы изображений и видео, представила модель искусственного интеллекта для создания виртуальных миров под названием GWM-1. Он работает путем покадрового прогнозирования, создавая симуляции с пониманием физики и того, как мир ведет себя с течением времени.

Модель мира — это система искусственного интеллекта, которая изучает внутренние симуляции процессов, которые могут происходить в мире. Она может рассуждать, планировать и выполнять действия без необходимости обучения каждому возможному сценарию реального мира. «Чтобы построить модель мира, нам сначала пришлось разработать действительно качественную видеомодель. Мы считаем, что правильный способ построения моделей мира — это научить их напрямую предсказывать пиксели, и это лучший способ добиться универсального моделирования. При достаточном масштабе и правильных данных можно построить модель, которая достаточно хорошо понимает, как устроен мир.— пояснил генеральный директор Runway Анастасис Германидис.

Компания представила миру три версии своей новой модели: GWM-Миры, GWM-Робототехника и GWM-Аватары. GWM-Worlds — это приложение, позволяющее создавать интерактивные проекты. Пользователь определяет начальную сцену с помощью текстового запроса или образца фотографии, и по мере исследования пространства модель генерирует мир с учетом геометрии, физики и освещения. Моделирование выполняется с разрешением 720p и частотой 24 кадра в секунду. GWM-Worlds может использоваться при разработке игр, а также подходит для обучения навигационных агентов и агентов реальных действий. GWM-Robotics предназначена для генерации синтетических данных, обогащенных новыми параметрами, такими как изменение погодных условий или появление препятствий. Этот метод поможет определить, когда и при каких условиях роботы способны нарушать правила с учетом различных сценариев. GWM-Avatars предназначен для создания реалистичных аватаров и моделирования человеческого поведения. В настоящее время «Миры», «Робототехника» и «Аватары» работают как отдельные модели, но «Подиум» планирует их объединить.

Компания также объявила об обновлении своей базовой модели Gen 4.5, которая теперь может генерировать встроенный звук и создавать длинные многокадровые видеоролики. Это могут быть одноминутные ролики с постоянным потоком персонажей, встроенными диалогами, фоновым звуком и сложными кадрами с разных ракурсов. Также можно редактировать существующий звук, добавлять диалоги и изменять многокадровые видеоролики любой длины. Все пользователи платного плана могут использовать видеогенератор Runway Gen 4.5. GWM-Robotics будет доступен через SDK; с партнерами ведутся переговоры по интеграции GWM-Robotics и GWM-Avatars для создателей робототехники и других предприятий.