- IBM представила линейку компактных LLM-моделей Granite-4 с параметрами от 3 до 32 миллиардов.
- Модели используют гибридную Mamba-архитектуру, обеспечивающую быструю работу и поддержку контекста до 128 тысяч токенов.
- Granite-4 демонстрирует высокую эффективность и точность, опережая крупные модели по некоторым метрикам и доступна для использования на платформах Continue и Hugging Face.
В эпоху, когда крупнейшие игроки рынка искусственного интеллекта, такие как OpenAI, Anthropic и Meta, делают ставку на модели с сотнями миллиардов параметров, IBM решила предложить альтернативный подход — линейку LLM-моделей Granite-4.0, которые существенно компактнее, но при этом отличаются высокой скоростью и эффективностью работы.
Линейка Granite-4 включает три варианта моделей: Micro с 3 миллиардами параметров, Tiny с 7 миллиардами (из которых 1 миллиард активен) и Small с 32 миллиардами (9 миллиардов активных параметров). По меркам современного рынка это относительно малые модели, но они способны работать на стандартных ноутбуках и требуют значительно меньше ресурсов по сравнению с гигантами индустрии.
Особенностью Granite-4 стала инновационная Mamba-архитектура, позволяющая динамически отключать неиспользуемые блоки модели. Такой подход обеспечивает высокую скорость обработки и при этом позволяет сохранять чрезвычайно длинный контекст — до 128 тысяч токенов, что является значительным преимуществом для задач с большим объемом входных данных.
По результатам сравнительных тестов модели серии H-Small и H-Micro демонстрируют впечатляющую производительность в задачах Retrieval-Augmented Generation, превосходя такие известные образы, как Llama-3.3-70B и Qwen3-8B. При этом по точности (accuracy) Granite-4 удерживают отметку выше 70% при минимальных требованиях к видеопамяти, что делает их привлекательным выбором для многих практических применений.
В оценке IF-Eval модель H-Small достигает показателя 0.86, что находится вблизи топовых моделей Llama 4 Maverick и Kimi K2, а вариант Micro уверенно занимает средние позиции среди представителей Mistral и OLMo — что для своей размерности является серьезным достижением.
Стоит отметить, что все три модели Granite-4 уже доступны для загрузки и использования в сервисе Continue, а также на платформе Hugging Face, что открывает широкие возможности для разработчиков и исследователей, стремящихся работать с компактными, но мощными языковыми моделями.
Представленная IBM линейка Granite-4 .0 демонстрирует возможный тренд на оптимизацию моделей не в сторону роста параметров, а повышения эффективности и практической пользы, что может стать значимым шагом в развитии искусственного интеллекта.
