- Современные языковые модели с режимом «длинных рассуждений» часто выполняют избыточные вычисления на простых запросах.
- Исследование Google выявило два основных шаблона избыточных вычислений: непрекращающийся поиск альтернатив и длительные циклы самопроверки.
- Внедрение простых стоп-сигналов может сократить количество вычислений на 40–60%, сохранив высокое качество ответов.
Команда исследователей из Google провела анализ поведения современных языковых моделей, обладающих режимом «длинных рассуждений». Результаты опубликованы в недавнем исследовании, в котором отмечается, что эти модели при решении простых задач выполняют существенно больше вычислительных шагов, чем требуется — от пяти до двадцати раз. При этом точность ответов практически не увеличивается, что указывает на неоптимальное расходование вычислительных ресурсов и токенов.
Для проведения анализа учёные разработали инструмент TRACE, позволяющий разлагать длинные ответы моделей на отдельные «под-мысли» и визуализировать ход рассуждений в виде графа. Выявились два характерных шаблона поведения: первый — «исследователь», когда модель быстро находит правильный ответ, но затем продолжает активно искать альтернативные варианты; второй — «поздняя посадка», при котором после нахождения верного ответа начинается продолжительный цикл самопроверок.
Авторы исследования подчеркнули, что внедрение простых стоп-сигналов, например автоматическое прерывание процесса после нескольких повторяющихся самопроверок или повторения одного и того же ответа, способно значительно сократить длину вывода — на 40–60% — практически без ухудшения качества результатов. Для конечных пользователей это означает экономию токенов при использовании моделей через API и ускоренное получение ответов.
Отмечено, что в исследовании были рассмотрены открытые модели из семейств Qwen3 и DeepSeek R1, широко применяемые для научных экспериментов. Интересно, что схожие выводы были недавно сделаны специалистами OpenAI, которые в результате обновлений добавили в ChatGPT несколько режимов работы, различающихся количеством ресурсов, затрачиваемых на рассуждения.
Таким образом, исследование Google подчеркивает важность оптимизации процесса рассуждений в языковых моделях и открывает пути к более эффективному использованию вычислительных мощностей без потери качества получаемого результата.
