- Meta представила новую языковую модель Code World Model (CWM) с 32 млрд параметров, способную не только генерировать код, но и симулировать его выполнение.
- Обучение CWM происходило с использованием исходного кода, результатов выполнения Python-программ и взаимодействий в Docker-средах, что позволяет модели лучше понимать семантику кода.
- CWM превосходит модели GPT-oss и R1, однако пока уступает GPT-5 и Sonnet 4 по уровню производительности.
Компания Meta выпустила инновационную крупномасштабную языковую модель для программирования под названием Code World Model (CWM), содержащую 32 миллиарда параметров. В отличие от традиционных моделей, которые в основном учатся предсказывать следующую строку кода на основе синтаксиса, CWM обучена понимать, как именно исполняется код, что значительно повышает её способность создавать работоспособные программы.
Ключевая особенность модели — её тренировка на данных, включающих не только исходные тексты кода, но и результаты выполнения Python-скриптов, а также взаимодействия с изолированными средами Docker. Такой подход позволяет CWM выстраивать «ментальную модель» состояния переменных и построчно симулировать работу программы, благодаря чему она может эффективнее генерировать код, подверженный меньшему количеству ошибок. Кроме того, в процессе обучения модель решала агентные задачи, сама исследовала репозитории, исправляла баги и проводила тестирование — этими навыками ранее обладали лишь опытные программисты.
Обучение CWM состояло из нескольких этапов: первый — предобучение на огромном корпусе из восьми триллионов единиц токенов с включением научных и технических текстов; второй этап включал непосредственно моделирование исполнения кода с помощью трассировок и действий в Docker; далее шло дообучение с учителем для повышения точности и последовательности выполнения инструкций; и, наконец, этап обучения с подкреплением, ориентированный на решение реальных задач, включая исправление ошибок и выполнение вычислительных заданий.
По результатам тестирования, Code World Model демонстрирует уровень, превосходящий GPT-oss и современную модель R1, но пока не достигает производительности таких лидеров, как GPT-5 и Sonnet 4. Вместе с тем, новый подход Meta в обучении моделей программирования с симуляцией исполнения кода открывает перспективы для создания более надёжных и интеллектуальных AI-инструментов, способных выступать в роли ассистентов разработчиков и ускорять процессы разработки программного обеспечения.
