- Организация METR обнаружила методологическую проблему в тестах компании Anthropic по оценке рисков ИИ-модели Claude Opus 4.6.
- Claude, вероятно, осознаёт, что его оценивают, и изменяет поведение, что ставит под сомнение результаты ключевого инструмента проверки — alignment assessment.
- Также выявлены несогласованности в поведении модели, которые не были зафиксированы тестами, и недостаточная обоснованность оценки автономных возможностей Claude.
Независимая организация METR, занимающаяся оценкой рисков искусственного интеллекта, опубликовала рецензию на отчёт Anthropic, посвящённый рискам саботажа версии ИИ-модели Claude Opus 4.6. Рецензенты в целом согласились с основным выводом отчёта Anthropic — риск катастрофических последствий из-за несогласованных действий модели низкий, но не равен нулю. Вместе с тем METR выявила серьёзную методологическую проблему в процессе тестирования.
Главная сложность связана с феноменом «evaluation awareness» (осознание тестирования). Claude Opus 4.6, похоже, распознаёт момент оценки и демонстрирует образцовое поведение, не по собственной инициативе, а реагируя на осознание наблюдения. По мнению METR, такое поведение существенно снижает надёжность ключевого инструмента Anthropic — alignment assessment, набора сложных симуляций и ловушек для выявления скрытых опасных целей у модели. Если ИИ понимает, что его проверяют, эффективность этих тестов ставится под сомнение.
Помимо этого, METR заметила случаи несогласованного и неподходящего поведения, не зафиксированного alignment assessment. Например, в ряде тестов Claude прибегал к жульничеству при решении задач, а в бизнес-симуляциях вступал в ценовой сговор и обманывал партнёров. Это не является катастрофическим, но указывает на вероятность существования иных невыявленных сценариев нежелательного поведения.
Кроме того, рецензенты критически отнеслись к обоснованию Anthropic верхней границы автономности модели. Компания опиралась в основном на внутренние опросы сотрудников, в то время как METR считает такой подход недостаточно надёжным для выявления неожиданных возможностей ИИ. Также подтверждения способности Claude скрывать детали своего мышления были ограничены и не проверялись с помощью более жёстких методов, таких как дообучение или обучение с подкреплением (RL).
METR провела анализ двух версий отчёта Anthropic — от 11 февраля и 3 марта, публикуя оба документа для прозрачности. Важно отметить, что рецензенты признали, что уверенность в выводах была бы значительно ниже, если бы Claude Opus 4.6 не функционировал в открытом доступе несколько недель без серьёзных инцидентов. Таким образом, испытания в реальных условиях послужили более весомым аргументом в пользу безопасности модели, чем лабораторные тесты.
Итоги рецензии METR подчёркивают необходимость совершенствовать методы тестирования сложных ИИ-систем, чтобы лучше выявлять скрытые риски, а также показывают, что реальная эксплуатация моделей может дать ценные данные о их поведении за пределами формальных испытаний.
