- Исследование показало, что с увеличением длины рассуждений искусственный интеллект (ИИ) становится менее стабилен и несет больше ошибок.
- Тестирование моделей Claude Sonnet 4, o3-mini, o4-mini и Qwen3 выявило рост некогерентности ответов при более длительном «мышлении».
- Масштабирование моделей не снижает нестабильность, а более мощные системы могут быть даже менее предсказуемыми, чем слабые.
Исследование, проведённое исследовательскими группами Anthropic, École Polytechnique Fédérale de Lausanne (EPFL) и Эдинбургского университета, ставит под сомнение широко распространённое утверждение о том, что более длинные цепочки рассуждений в современных моделях искусственного интеллекта способствуют повышению качества ответов. Представленная на конференции ICLR 2026 работа демонстрирует обратный эффект: чем больше шагов «мышления» делает модель, тем выше вероятность получения противоречивых и нестабильных ответов.
В эксперименте были протестированы четыре семейства моделей — Claude Sonnet 4, o3-mini, o4-mini и Qwen3 — на трёх типах сложных задач: научные вопросы на уровне аспирантуры, реальные ошибки из репозиториев GitHub и вопросы, касающиеся самосохранения ИИ. Каждую задачу моделям задавали 30 раз, после чего исследователи оценивали стабильность ответов при помощи метрики «некогерентности». Если модель отвечает на один и тот же вопрос разными способами, считаются, что её уровень некогерентности высок.
Результаты подтвердили, что при увеличении длины рассуждений некогерентность ответов возрастает — модели как будто «теряют нить» и выдают непредсказуемые варианты на одном и том же вопросе. Примечательно, что более масштабные и «умные» модели при решении более сложных задач оказались даже менее стабильны, чем их более слабые аналоги.
Авторы работы связывают эту проблему с так называемой «ловушкой прогресса»: по мере усложнения задач, требующих длинных логических последовательностей, ошибки накапливаются, и в конце этого процесса шум начинает преобладать над полезной информацией. Таким образом, качество ответов ухудшается, несмотря на технический прогресс в архитектурах моделей.
Исследователи подчёркивают, что данные результаты не свидетельствуют об окончательном решении вопросов безопасности и надёжности ИИ. Модели остаются непоследовательными, однако перспективы на улучшение есть через разработку новых методов обучения и корректировки постановки целей для ИИ. Основной вызов в том, что наступит раньше: когда искусственный интеллект научится генерировать последовательные и качественные ответы или когда человечество выработает эффективные способы взаимодействия с ним.
