- Представлена модель Ling-1T с триллионом параметров и использованием всего 5 % нейронов на каждый токен.
- Модель обучена на 20 триллионах токенов с приоритетом на задачи, требующие рассуждений.
- Ling-1T демонстрирует превосходство над GPT-5 и DeepSeek-V3 в кодовых и математических бенчмарках.
Компания InclusionAI анонсировала инновационную языковую модель Ling-1T, построенную на новой архитектуре Ling 2.0, ориентированной на «эффективное мышление». Эта MoE-модель с триллионом параметров реализует принцип экономного использования ресурсов: на обработку каждого токена задействуется лишь около 5 % нейронов, что существенно повышает эффективность вычислений. При этом модель поддерживает контекст размером до 128 тысяч токенов и обучена с использованием формата чисел FP8, что дополнительно оптимизирует процесс обучения.
Основой для обучения послужило 20 триллионов токенов, из которых 40 % составляют задачи, требующие аналитических рассуждений. В Ling-1T внедрен новый метод Evo-CoT (Evolutionary Chain-of-Thought), позволяющий выстраивать поэтапное логическое мышление. Для управления генерацией текста используется система LPO (Linguistic Policy Optimization), которая оптимизирует поведение модели не на уровне отдельных токенов, а на уровне смысловых предложений, что улучшает качество и связность вывода.
В сравнении с современными аналогами Ling-1T превосходит GPT-5 и DeepSeek-V3 в специализированных кодовых тестах mbpp и LiveCodeBench. Кроме того, в математических задачах AIME-2025 и Omni-Math модель показывает улучшение точности на 5–10 %, что свидетельствует о ее продвинутых аналитических способностях.
Таким образом, Ling-1T демонстрирует, что крупномасштабные модели искусственного интеллекта могут сочетать огромный размер и высокую эффективность мышления, решая сложные задачи с экономичным использованием ресурсов и высокой степенью детерминированности ответа.
