Материнская компания TikTok, ByteDance, представила инструмент создания 3D-контента с искусственным интеллектом Seed3D 1.0, который может преобразовать 2D-изображение в полноценную 3D-модель уровня симуляции, дополненную детализированной геометрией, фотореалистичными текстурами и физически обоснованными материалами рендеринга (PBR), которые учитывают реальные свойства отражения, преломления и рассеяния света..
По заявлению компании, основанная на архитектуре Diffusion Transformer (DiT), сочетающей в себе свойства диффузионных моделей и преобразователей, Seed3D 1.0 превосходит конкурентов как с открытым, так и с закрытым исходным кодом по качеству текстур и геометрической точности. Используя всего 1,5 миллиарда параметров, Seed3D 1.0 превосходит даже более крупные модели, такие как Hunyuan3D 2.1 с 3 миллиардами параметров.
Ключевой особенностью этого нового инструмента искусственного интеллекта является сочетание мультимодального диффузионного преобразователя (MMDiT) и стратегии пошаговой генерации. Сначала система анализирует изображение с помощью модели языка видения (VLM) для извлечения параметров объекта и пространства. Затем для каждого локализованного объекта Seed3D 1.0 синтезирует соответствующую геометрию и материалы. Финальная сцена собирается путем позиционирования каждого сгенерированного объекта в соответствии с пространственной конфигурацией, предсказанной VLM. Эта структура позволяет создавать сцены разного масштаба: от таких помещений, как офисы, до крупномасштабных городских сцен.
Сообщается, что Seed3D 1.0 обеспечивает согласованность текстур во всех ракурсах. Вместо использования стандартных текстур инструмент искусственного интеллекта создает материалы, которые имеют одинаковый внешний вид со всех сторон, обеспечивая как реализм, так и структурную точность для использования на уровне моделирования.
Компания отмечает, что модели, созданные с помощью Seed3D, можно напрямую интегрировать в платформы моделирования, такие как Isaac Sim, для обучения искусственного интеллекта.
