- Thomson Reuters создала альянс Trust in AI Alliance с участием OpenAI, Anthropic, Google Cloud и AWS для борьбы с галлюцинациями в агентных ИИ-системах.
- Галлюцинации в агентных ИИ опасны тем, что приводят не просто к ошибкам, а к цепочке неправильных решений в автономных действиях ИИ.
- Участники альянса будут совместно разрабатывать общие принципы надежности ИИ и открыто публиковать результаты исследований.
Исследовательское подразделение Thomson Reuters Labs объявило о создании глобального альянса под названием Trust in AI Alliance, в который вошли ведущие эксперты и представители таких технологических компаний, как OpenAI, Anthropic, Google Cloud и AWS. Главная задача нового сообщества — разработка и внедрение общих принципов для повышения доверия к агентным системам на базе искусственного интеллекта.
В отличие от традиционных языковых моделей, которые отвечают на вопросы, агентные ИИ способны самостоятельно принимать решения и выполнять действия. Это открывает новые возможности, но вместе с тем увеличивает риски. Галлюцинации — ошибочные или выдуманные ответы ИИ — в таких системах становятся гораздо более опасными, поскольку ошибки могут накапливаться и влиять на всю цепочку последующих решений, ухудшая результат еще сильнее.
Компании, входящие в альянс, уже ведут самостоятельные исследования в этой области. Так, OpenAI в сентябре 2025 года опубликовала исследование, где показала, что модели склонны к галлюцинациям из-за механизма обучения, который поощряет угадывание ответов вместо признания своей неуверенности. В свою очередь, Anthropic выявила в модели Claude особый механизм «цепей отказа», который должен заставлять ИИ молчать, если он не уверен в результате, однако этот механизм работает не всегда корректно.
Thomson Reuters, специализирующаяся на продуктах для юристов, налоговиков и финансистов, особое внимание уделяет проблеме галлюцинаций, учитывая высокий риск ошибок в профессиональных сферах, где неверная информация может привести к серьёзным юридическим последствиям и финансовым потерям.
В рамках альянса участники планируют обмениваться опытом, выявлять общие сложности и совместно интегрировать принципы надежности и доверия в архитектуру агентных ИИ-систем. Все ключевые выводы и результаты исследований будут опубликованы в открытом доступе, что позволит обществу и бизнесу эффективнее использовать ИИ с необходимым уровнем безопасности и прозрачности.
Первая трансляция альянса была посвящена инженерии доверия в ИИ для профессиональных сред с высокими рисками, подчеркивая важность разработки устойчивых и предсказуемых систем, способных минимизировать ошибки и негативные последствия галлюцинаций.
