AIRI представил открытую платформу VLA Arena для тестов ИИ-роботов

Институт AIRI представил публичный доступ к новой платформе VLA Arena, предназначенной для тестирования и сравнительной оценки моделей управления роботами. Данный ресурс функционирует по аналогии с уже известными системами для сравнения больших языковых моделей, делая возможность анализа технологий робототехники более доступной для широкого круга пользователей: исследователей, инженеров и энтузиастов.

Инновационная платформа предоставляет интерфейс, в котором модели можно запускать как в виртуальной среде, так и на реальных устройствах. Среди поддерживаемых роботов — компактные манипуляторы LeRobot SO-100 и SO-101 от HuggingFace, популярные в образовательных и исследовательских целях, доступные по цене около 30 тысяч рублей. Для тех, кто не имеет физического робота, предусмотрена возможность оценивать модели в симуляции, что расширяет круг потенциальных пользователей.

На сегодняшний день на VLA Arena доступны семь моделей управления — три из них ориентированы на работу с реальными роботами, четыре — на симуляции. Среди них находятся как коммерческие решения, так и открытые проекты, включая модели с открытым исходным кодом, созданные как в AIRI, так и другими участниками сообщества, включая поддержку русского языка. Помимо этого, платформа содержит обширные датасеты с разметкой и русскоязычными аннотациями для обучения моделей на базе LeRobot.

Сердцем платформы являются модели Vision Language Action (VLA), которые представляют собой адаптированные большие языковые модели, способные понимать и исполнять команды пользователя в различных сценариях, учитывая контекст и обеспечивая обобщение решений. Открытый исходный код таких моделей позволяет пользователям адаптировать их под разнообразные задачи и цели.

Владислав Куренков, руководитель научной группы «Адаптивные агенты» в AIRI, подчёркивает значимость VLA Arena как не только инструмента тестирования, но и как научного проекта, направленного на повышение прозрачности и объективности оценки различных систем управления роботами. Особое внимание в оценках уделяется не только техническим параметрам, но и эффективности применения моделей с точки зрения реальных пользователей. Платформа включает таблицу лидеров и использует случайные тесты для минимизации предвзятости и получения достоверных результатов.

Первый этап работы VLA Arena рассчитан примерно на три месяца, в течение которых планируется сбор обратной связи и аналитических данных для дальнейшего совершенствования платформы. Таким образом, AIRI создаёт современную и доступную среду, способствующую развитию и практическому внедрению передовых разработок в области искусственного интеллекта и робототехники в России.