- Исследователи MIT представили систему Wave-Former, которая помогает роботу восстанавливать 3D-форму предметов, скрытых за картоном, деревом, гипсокартоном или тканью.
- На тестах с примерно 70 бытовыми предметами точность реконструкции оказалась на 20% выше, чем у предыдущих подходов.
- Вторая разработка, RISE, восстанавливает планировку комнаты по отражениям миллиметровых волн и показала точность вдвое выше существующих методов.
Исследователи из MIT представили две системы для так называемого беспроводного зрения. Первая, Wave-Former, позволяет роботу восстанавливать 3D-форму объектов, скрытых за непрозрачными материалами, а вторая, RISE, помогает собирать картину помещения по радиосигналам. Обе работы покажут на конференции CVPR.
Wave-Former использует миллиметровые радиоволны — это диапазон, который применяется, в частности, в Wi‑Fi. Такие волны могут проходить через некоторые преграды, но обычно дают неполную картину: сенсор улавливает лишь часть поверхности предмета. Из-за этого прежние методы строили только грубые очертания объекта. В MIT решили дополнить данные радара генеративной моделью, которая достраивает скрытые части формы.
На испытаниях система работала с бытовыми предметами вроде банок, коробок, столовых приборов и фруктов. Всего исследователи проверили около 70 объектов. По данным MIT, новый подход дал результат на 20% точнее по сравнению с предыдущими методами. Чтобы обучить модель, команда не собирала огромный массив реальных радарных данных, а адаптировала уже существующие наборы изображений, добавив в них модель отражения миллиметровых волн.
Вторая система, RISE, решает другую задачу: она восстанавливает пространство комнаты, включая мебель, с помощью одного неподвижного радара. Для этого используются отражения сигналов от людей, которые движутся по помещению. Обычно такие вторичные отражения считают помехами, но в MIT показали, что они содержат данные о стенах и предметах. По сравнению с существующими решениями точность RISE выросла вдвое.
В MIT связывают такие разработки со складами и домашней робототехникой. В первом случае робот может проверять содержимое закрытых коробок до отправки. Во втором — ориентироваться в комнате и понимать, где находятся люди, без применения камер.
Обе разработки MIT относятся к направлению беспроводного зрения, где для анализа объектов и помещений используют радиоволны вместо обычных камер. Результаты представят на CVPR — одной из ключевых конференций по компьютерному зрению.
Для робототехники это открывает возможность получать данные о предметах и помещении даже там, где камера бесполезна из-за преграды. Для пользователей это также означает сценарии, где роботы могут ориентироваться без постоянной видеосъёмки пространства.
