- Журналист и разработчик Томас Жермен за 20 минут создал фальшивую статью и опубликовал её в интернете.
- На основе этой выдуманной информации крупные ИИ-модели, включая ChatGPT и поисковик Google, начали формировать ответы с цитированием недостоверных данных.
- ИИ Claude от Anthropic остался устойчивым к подобной манипуляции и не распространял ложную информацию.
В очередном эксперименте, проведённом журналистом BBC и разработчиком Томасом Жерменом, было выявлено, насколько уязвимыми к манипуляциям могут быть современные искусственные интеллекты. За 20 минут он создал на своём сайте вымышленную страницу, на которой утверждалось, что он — «самый быстрый поедатель хот-догов в мире среди журналистов». В статье были добавлены фиктивные рейтинги и описания соревнований, не существующих в реальности.
После публикации он попросил искусственные интеллекты назвать самых известных журналистов-чемпионов по поеданию хот-догов. К удивлению разработчика, ChatGPT от OpenAI и ИИ-поиск Google стали использовать эту ложную информацию как факт, приводя ссылки на созданную им страницу. При этом система Anthropic Claude не поддалась на провокацию и не распространяла выдуманные сведения, а некоторые ответы даже предупреждали о возможности сатиричности информации.
Зермен затем дополнительно изменил текст, указав, что статья не является шуткой, и повторил эксперимент, а также опубликовал другую абсурдную заметку — о лучших регулировщиках дорожного движения, умеющих крутить обручи. В ряде случаев и эти фальшивые данные начали отображаться в результатах ИИ.
Для проверки он попросил знакомых повторить запросы с разных аккаунтов, чтобы исключить влияние пользовательской персонализации — ответы оставались идентичными с указаниями на его сайт. Таким образом, он продемонстрировал, что модели искусственного интеллекта опираются на тексты, доступные в интернете, без самостоятельной проверки достоверности информации. Даже при кажущейся убедительности и корректном оформлении ложные данные могут быть восприняты как истина.
Эксперты в области поисковой оптимизации, включая Лили Рэй, подтверждают, что генеративные модели унаследовали проблемы традиционного поиска, в том числе уязвимость перед манипуляциями через контент. В компаниях Google и OpenAI заявляют о постоянной работе над усовершенствованием систем защиты от спама и улучшением качества источников, а также повышением прозрачности ответов. Тем не менее, задача фильтрации недостоверной информации и повышения надёжности остаётся одной из самых острых в развитии искусственного интеллекта.
Основной вызов состоит в том, что большие языковые модели формируют свои ответы, опираясь на статистическую обработку доступного текстового массива, а не на фактчекинг. Если ложная информация достаточно правдоподобна и оформлена как настоящий материал, искусственный интеллект может включить её в свои ответы, что подчёркивает необходимость совершенствования механизмов оценки качества и достоверности источников.
