- Waymo представила Waymo World Model — генеративную модель на базе Genie 3 от Google DeepMind для симуляции дорожных сценариев.
- Модель позволяет создавать фотореалистичные сцены с данными камер и лидаров, включая редкие и экстремальные ситуации, такие как торнадо и слоны на дороге.
- Waymo World Model может трансформировать обычные видео с видеорегистраторов в полноценные симуляции, что расширяет возможности обучения автопилота без выезда на новые маршруты.
Компания Waymo анонсировала новую генеративную модель Waymo World Model, разработанную на основе технологии Genie 3 от Google DeepMind. Эта инновационная модель служит для симуляции дорожных ситуаций в виртуальной среде, предоставляя фотореалистичные сцены с данными с камер и лидаров. Благодаря этому автопилоты Waymo могут тренироваться в условиях, которые крайне сложно или невозможно воспроизвести в реальных условиях — от сильных природных катаклизмов, таких как торнадо и наводнения, до необычных препятствий, например, слонов на дороге или пешеходов в костюмах тираннозавра.
Главное отличие Waymo World Model от привычных симуляторов заключается в использовании предобученной модели Genie 3, которая опирается на огромный массив видео данных о мире. В то время как многие симуляторы обучаются исключительно на основе данных, полученных с автомобилей собственного автопарка, Waymo World Model генерирует разнообразные и уникальные сценарии, ранее не встречавшиеся роботакси компании. Это расширяет диапазон тестов и совершенствует адаптивность автопилота к необычным дорожным ситуациям.
Управление моделью осуществляется тремя способами. Во-первых, оператор может проигрывать альтернативные развития событий, например, изменить поведение робомобиля и оценить последствия. Во-вторых, доступна настройка сцены — изменение положения других автомобилей, дорожной разметки или сигналов светофора. В-третьих, существует возможность управления через текстовые команды, которые регулируют время суток, погодные условия и вызывают генерацию полностью новых дорожных ситуаций. При этом модель сохраняет высокую степень реализма, даже значительно отклоняясь от исходного маршрута — что выгодно отличает её от реконструктивных методов, таких как 3D Gaussian Splatting.
Кроме того, модель способна преобразовывать обычные видеозаписи с видеорегистраторов или смартфонов в комплексные симуляции с видом камер со всех ракурсов и данными лидаров, что позволяет тренировать системы автопилота на дорогах, где Waymo физически не присутствовала. Такой подход заметно расширяет возможности обучения без необходимости выезда на новые территории. Для более длинных сценариев Waymo также разработала облегчённую версию модели, которая снижает вычислительные ресурсы без значительной потери качества симуляции.
