- Moonshot AI представила новую большую языковую модель Kimi-Linear-48B-A3B-Instruct с поддержкой контекста до 1 миллиона токенов.
- Модель использует архитектуру с линейным вниманием, что позволяет значительно снижать требования к аппаратному обеспечению при работе с длинными текстами.
- Веса модели открыты для свободного использования, а запускается она эффективно на средних конфигурациях из четырёх GPU с памятью 24–40 ГБ каждая.
Компания Moonshot AI объявила о публикации на платформе Hugging Face своей новой крупной языковой модели – Kimi-Linear-48B-A3B-Instruct. Главной её особенностью является возможность обработки чрезвычайно больших контекстов – до одного миллиона токенов. Это открывает новые перспективы для анализа очень длинных документов, переписок и даже больших программных исходников, что ранее было серьезным вызовом для систем искусственного интеллекта.
Архитектура модели построена на использовании усовершенствованного варианта линейного внимания, которое позволяет существенно оптимизировать потребление памяти и скорость работы при обработке длинных текстов. Несмотря на общий размер модели около 48 миллиардов параметров, в вычислительный процесс на каждом шаге вовлекается лишь порядка 3 млрд, что отражается на более скромных требованиях к железу. По предварительным оценкам, Kimi-Linear-48B-A3B-Instruct доступна для запуска на средних по мощности конфигурациях, включающих четыре видеокарты с объёмом памяти в диапазоне от 24 до 40 ГБ.
Модель уже представлена в версии с дополнительным обучением в формате Instruct — это значит, что она специально настроена для ведения диалогов и выполнения инструкций, а не только для генерации продолжений текста. Такой подход делает её перспективной для разработки интеллектуальных ассистентов, систем анализа больших корпоративных документов и различных агентов, которым необходимо последовательно работать с объемными и сложными запросами.
Несмотря на то, что официальных результатов тестирований от разработчиков пока не поступало, запуск Kimi-Linear-48B-A3B-Instruct в открытый доступ уже является заметным событием в области открытых больших языковых моделей. Долгое время поддержка миллионов токенов оставалась либо маркетинговым обещанием, либо требовала сверхдорогого оборудования, недоступного большинству пользователей и организаций. В этом смысле новая модель демонстрирует прогресс в балансе между функциональностью и ресурсной эффективностью.
