- Alibaba выпустила серию новых моделей Qwen 3.5 среднего размера с улучшенной архитектурой и высокой производительностью.
- Модель Qwen3.5-35B-A3B с 35 млрд параметров превосходит предыдущий флагман Qwen3-235B-A22B, при значительно меньшем размере.
- Все модели поддерживают мультимодальность (текст и изображения), используют гибридную архитектуру с линейным вниманием и MoE и распространяются под лицензией Apache 2.0.
Недавно компания Alibaba расширила линейку своих языковых моделей, представив серию Qwen 3.5, включающую несколько средних моделей, которые показывают впечатляющие результаты, превосходящие прошлые флагманские разработки. Эти модели построены на гибридной архитектуре Gated Delta Networks с линейным вниманием и разреженным механизмом MoE (Mixture of Experts), что обеспечивает значительный прирост скорости обработки, особенно при работе с длинными контекстами.
Так, модель Qwen3.5-35B-A3B имеет 35 миллиардов параметров, из которых 3 миллиарда активны при обработке токена. По производительности она превосходит флагмана предыдущего поколения Qwen3-235B-A22B, при том что она в семь раз меньше. Облачная версия этой модели получила название Qwen3.5-Flash и способна работать с контекстом до 1 миллиона токенов, а также оснащена встроенными инструментами.
Qwen3.5-122B-A10B содержит 122 миллиарда параметров, из которых активны 10 миллиардов. По ряду тестов производительности эта модель сопоставима с флагманской Qwen3.5-397B и на некоторых бенчмарках её даже превосходит.
Модель Qwen3.5-27B, у которой все 27 миллиардов параметров активны, продемонстрировала высокие показатели в разных задачах, включая 72.4% на SWE-bench Verified и 95% на тесте IFEval, что является лучшим результатом во всей серии.
Важной особенностью всей серии Qwen 3.5 является комплексное использование линейного внимания в 3 из 4 слоёв, что обеспечило семикратное ускорение декодирования в сравнении с предыдущей серией Qwen3 при работе с длинным контекстом в 256 тысяч токенов.
Кроме того, все модели являются мультимодальными, поддерживая обработку текста и изображений посредством ранней интеграции (early fusion), что расширяет их области применения. Все версии распространяются под открытой лицензией Apache 2.0, что стимулирует использование и доработку моделей сторонним сообществом.
Также была выпущена базовая версия Qwen3.5-35B-A3B-Base без дообучения (fine-tuning), рассчитанная на кастомизацию пользователями под собственные задачи.
Таким образом, серия Qwen 3.5 демонстрирует значительный технологический прогресс в области больших языковых моделей, предлагая более компактные, быстрые и многозадачные решения, что может серьезно повлиять на развитие искусственного интеллекта и его прикладные области.
