- Apple представила нейросеть LiTo, которая строит 3D-объект по одной фотографии.
- Модель сохраняет не только форму и текстуру, но и сложные визуальные эффекты: блики, отражения и поведение материала под разными углами.
- В Apple говорят, что LiTo показала более качественный результат по сравнению с TRELLIS и может пригодиться для создания 3D-ассетов.
Apple показала исследовательскую модель LiTo, которая восстанавливает 3D-объекты по одной фотографии и при этом передаёт реалистичный внешний вид поверхности. Речь не только о геометрии, но и о бликах, отражениях и том, как материал меняется при другом освещении или угле обзора. Компания представила разработку через своё ML-подразделение.
Как объясняют авторы работы, многие нейросети для генерации 3D-моделей хорошо справляются с формой объекта, но хуже передают его визуальные свойства. Обычно такие системы создают поверхность с базовым цветом, однако не учитывают, как она должна выглядеть в динамике — например, как металл отражает свет или как глянец даёт блик.
LiTo пытается решить именно эту задачу. Модель кодирует в скрытом представлении сразу два типа данных: геометрию объекта и особенности его внешнего вида. Сначала нейросеть обучили создавать сами 3D-формы, а затем — восстанавливать сложные эффекты поверхности, используя сжатое представление светового поля. Проще говоря, система учится понимать не только «что это за объект», но и «как он выглядит в реальном свете».
В Apple сравнили LiTo с моделью TRELLIS и сообщили, что новая система точнее воспроизводит исходное изображение и выдаёт более качественные 3D-объекты. В компании рассматривают такую технологию как инструмент для подготовки ассетов — цифровых объектов для графики, игр и других 3D-сцен, а также для более быстрого переноса реальных вещей в цифровой вид.
Apple регулярно публикует исследования своего ML-подразделения, связанные с компьютерным зрением и генеративными моделями. Интерес к инструментам, которые строят 3D-модели по фото, растёт во всей отрасли — их развивают как крупные технологические компании, так и разработчики графических систем.
Если такие модели дойдут до прикладных продуктов, создавать 3D-объекты для игр, AR, каталогов и визуализации можно будет быстрее и с меньшим количеством ручной доработки. Для бизнеса это ещё и способ проще переводить реальные товары и предметы в цифровые сцены по обычным снимкам.