- Google DeepMind создала ИИ Dreamer 4, способного добывать алмазы в Minecraft, выполнив сложное задание из около 20 000 последовательных действий.
- Dreamer 4 использует офлайн-обучение на видеозаписях и внутреннюю симуляцию мира, что позволяет обучаться без длительного «живого» взаимодействия с игрой.
- Технология имеет важное значение для робототехники, поскольку обучение в симуляции снижает затраты и риски при подготовке агентов для реальных задач.
Исследователи из Google DeepMind продемонстрировали значительный прорыв в области искусственного интеллекта, представив агента Dreamer 4, который успешно справился с одной из наиболее сложных задач в игре Minecraft — добычей алмазов. Данный вызов требует выполнения порядка двадцати тысяч действий подряд, что ранее преодолевалось преимущественно через длительные методы онлайн-обучения непосредственно в игровом процессе.
Отличительной особенностью Dreamer 4 стало применение офлайн-обучения на основе видеозаписей с последующим предсказанием результата различных действий. Агент строит внутреннюю модель мира, позволяющую ему симулировать игровые ситуации в реальном времени. В этой симуляции Dreamer 4 использует обучение с подкреплением для выбора оптимальных стратегий, которые затем переносит в реальную игру. По заявлению разработчиков, встроенная мировая модель достаточно точна и эффективна, чтобы функционировать на одной видеокарте с высокой скоростью, обеспечивая реалистичное воспроизведение взаимодействия объектов.
Подход Dreamer 4 выделяется на фоне предыдущих методов: в отличие от DreamerV3, который обучался непосредственно в игре, и OpenAI VPT, опиравшегося на имитацию роликов с интернет-геймплеем, новинка полагается на офлайн-данные и качественную симуляцию внутреннего мира. Это снижает зависимость от дорогостоящих и длительных процессов «живого» обучения, а также уменьшает роль человеческих демонстраций.
Практическое значение подобных исследований выходит далеко за пределы компьютерных игр. В робототехнике, где обучение на реальных данных связано с высокими затратами и рисками — особенно при работе с промышленным оборудованием — возможность «отрепетировать» навыки во внутренней симуляции является перспективным направлением. Такая технология позволяет создать и отладить поведение агента на миллионах виртуальных сценариев, снижая необходимость дорогостоящих испытаний в реальных условиях.
Однако специалистам предстоит решить сложные задачи адаптации полученных моделей к реальному окружению, где сенсорные данные могут быть шумными, а условия нестабильными и непредсказуемыми. Тем не менее, эксперты уверены, что эти сложности со временем будут преодолены, что откроет новые горизонты для применения ИИ в различных сферах.
