- Стартап Percepta встроил интерпретатор программного кода в нейросеть, позволяя ей самостоятельно выполнять программы на C.
- Новая архитектура трансформера обрабатывает более 30 000 токенов в секунду на CPU, выполняя миллионы вычислительных шагов без ошибок.
- Технология использует двумерные «головы внимания», что обеспечивает логарифмическое время обработки токенов и значительно ускоряет вычисления.
Исследовательская команда стартапа Percepta разработала инновационный подход к работе с искусственным интеллектом, встроив интерпретатор программного кода непосредственно в веса трансформерной модели. Это позволяет нейросети самостоятельно выполнять программы, написанные на языке C, без необходимости передачи кода во внешнюю вычислительную среду, что традиционно применялось в таких ИИ-ассистентах, как Claude Code или Codex.
Обычные архитектуры ИИ способны лишь предсказывать следующий токен текста, при этом выполнение кода происходит в отдельных внешних средах — например, в Python-песочницах. Однако Percepta реализовала принципиально иной подход: программа загружается в модель как обычный текст, после чего трансформер выполняет инструкции последовательно, выдавая конечный результат напрямую. Основой такой реализации стала разработка нового типа «голов внимания», работающих в двумерном пространстве.
Ключевая техническая особенность заключается в том, что традиционные механизмы внимания замедляются по квадратичному закону зависимости от длины текста, что делает выполнение длительных вычислений неэффективным. В свою очередь, предложенные двумерные «головы внимания» обеспечивают обработку каждого нового токена за логарифмическое время, что значительно повышает производительность. Благодаря этому нейросеть способна выполнять миллионы шагов вычислений с максимальной точностью и высокой скоростью — до 30 тысяч токенов в секунду на центральном процессоре (CPU).
Для демонстрации возможностей технологии команда Percepta скомпилировала в модель решатель судоку на языке C, при этом сам исходный код был разработан с помощью модели Claude. Новая система успешно решала сложные головоломки со 100% точностью — задачки, с которыми современные ИИ, включая GPT-4, справляются лишь при подключении внешних инструментов. Ранее исследователи показывали, как трансформер GPT-2 может решать судоку с точностью 99,8% методом проб и ошибок.
Разработка вызвала живой интерес в профессиональном сообществе: на форумах Hacker News и OpenAI ведутся обсуждения о потенциале встроенного интерпретатора заменить дорогостоящие токены рассуждения и изменить архитектуру будущих ИИ-агентов. Варианты применения включают интеграцию быстрого вычислительного модуля рядом с основной моделью, создание гибридных архитектур с переключениями режимов работы и внедрение «чернового» декодирования, когда быстрая модель генерирует варианты, а более мощная проверяет их корректность.
Таким образом, Percepta предлагает новую парадигму во взаимодействии с искусственным интеллектом, совмещая генерацию и вычисление в единой модели, что открывает перспективы для повышения скорости и качества ИИ-решений без привлечения внешних вычислительных ресурсов.
