Apple нашла способ быстро и эффективно создавать 3D-сцены с помощью искусственного интеллекта

Ученые Apple разработали технологию, которая значительно повышает эффективность рендеринга 3D-пространств высокого разрешения. Он не требует значительного увеличения вычислительных ресурсов при увеличении разрешения.

Технология называется LGTM (Less Gaussians, Texture More) — в ее разработке помимо исследователей Apple также участвовали ученые из Университета Гонконга. Существующие методы рендеринга 3D-сцен из фотографий или других плоских изображений приводят к резкому увеличению вычислительных затрат по мере увеличения разрешения. В конце прошлого года компания представила технологию, основанную на построении виртуального пространства из трехмерно представленной функции Гаусса, которая также страдает этим недостатком.

Система LGTM, что означает «разделение геометрической сложности и разрешения рендеринга«, решает эту проблему. Проще говоря, ученые отделяют структуру сцены от ее визуальных деталей: пространственная геометрия остается максимально простой, а детали высокого разрешения добавляются на этапе наложения текстур. В ходе обучения модель генерирует скелет сцены с использованием изображений низкого разрешения, затем сравнивает результат с исходными изображениями высокого разрешения. В результате она начинает строить пространственную геометрию, точную даже при рендеринге с разрешением 2К и 4К, без пропусков и артефактов. При этом первая нейронная сеть отвечающий за построение геометрии, второй изучает изображение высокого разрешения и на его основе создает детальные текстуры, которые накладываются на простой скелет, созданный первым.

В результате технология LGTM позволяет воссоздавать детализированные 3D-сцены в разрешении 4К без квадратичного потребления ресурсов, свойственного традиционным системам. На практике такое решение поможет, например, с системами виртуальной и дополненной реальности — общее разрешение дисплеев Apple Vision Pro составляет 23 мегапикселя, что требует колоссальных вычислительных ресурсов.