- Ютубер sammyuri создал в Minecraft языковую модель CraftGPT с 5 млн параметров.
- Проект выполнен без модов и дата-паков — исключительно на схемах из красного камня с использованием более 438 млн блоков.
- Модель генерирует ответы очень медленно — около двух часов, даже с оптимизациями, и требует минимум 64 ГБ оперативной памяти для нормальной работы.
Ютубер под ником sammyuri продемонстрировал необычный эксперимент: он построил языковую модель машинного обучения CraftGPT непосредственно внутри игры Minecraft. В основе проекта лежит использование более 438 миллионов блоков, смонтированных исключительно с помощью игровых схем из красного камня, без применения дополнительных модификаций и дата-паков.
CraftGPT характеризуется относительно небольшими размерами по современным стандартам — модель содержит всего 5 миллионов параметров, с контекстным окном размером в 64 токена и словарём, включающим 1920 слов. Обучение проходило на датасете TinyChat, который включает основные разговорные фразы на английском языке.
Работа языковой модели в игре далека от высокой производительности: генерация одного ответа занимает около двух часов даже при использовании технологии Minecraft High Performance Redstone (MCHPR) и увеличенном в 40 тысяч раз серверном тике. При запуске же на стандартном («ванильном») сервере ответы могут рендериться более десяти лет. Кроме того, сам sammyuri отмечает, что качество генерируемых ответов не всегда на должном уровне — встречаются грамматические ошибки, потеря темы и бессмысленные наборы символов.
Для запуска игрового мира с моделью необходим компьютер с 32 ГБ оперативной памяти для загрузки сервера и минимум 64 ГБ для обеспечения стабильной работы. Весь исходный код, веса и подробная инструкция доступны в репозитории на GitHub.
Этот проект представляет собой интересный и творческий пример применения возможностей Minecraft в нестандартных задачах, связанных с искусственным интеллектом, и подчёркивает ограничения текущих технических средств при реализации сложных моделей в игровых средах.
