- ИИ Gemini от Google уязвим к скрытым ASCII-атакам, при которых невидимые символы внедряются в текст и обманывают модель.
- Подобные атаки позволяют злоумышленникам скрыто передавать инструкции, используя, например, приглашения в Календаре Google Workspace.
- Google отклонила просьбы о признании проблемы, утверждая, что это не ошибка безопасности, однако исследователь доказал риск заблуждений и фишинга через ИИ.
Исследователь в области кибербезопасности Виктор Маркопулос из компании FireTail провёл тестирование популярных больших языковых моделей (LLM) на предмет уязвимости к так называемым ASCII-атакам. В ходе анализа он выявил, что модель Gemini от Google, а также DeepSeek и Grok подвержены внедрению скрытых символов ASCII, которые невидимы обычному глазу, но воспринимаются и обрабатываются ИИ. В то же время модели Claude, ChatGPT и Copilot продемонстрировали устойчивость к подобным манипуляциям.
Атака с подменой ASCII-кодов заключается во внедрении специальных символов из блоков Unicode в текст, что даёт злоумышленникам возможность передавать невидимые инструкции ИИ. Например, такие инструкции могут скрываться в электронных письмах или приглашениях в календаре, оставаясь незаметными для пользователя. Для моделей, обрабатывающих конфиденциальные данные и выполняющих автономные задачи, это создает существенную угрозу.
Особенно уязвимой оказалась интеграция Gemini с Google Workspace. Маркопулос показал, что злоумышленники могут вставлять скрытые инструкции в заголовки приглашений, изменять данные организатора, скрыто модифицировать описания встреч, а также внедрять вредоносные рекомендации в почтовые сообщения. В результате под видом обычных событий и писем ИИ может получать и обрабатывать конфиденциальную информацию или распространять ложные данные.
Исследователь сообщил о находке Google 18 сентября, однако в корпорации сочли данную ситуацию не критической с точки зрения безопасности, отметив, что атака возможна лишь через использование социальной инженерии. Тем не менее, Маркопулос продемонстрировал, что Gemini способен не только читать скрытые указания, но и предоставлять пользователям заведомо ложную информацию, например, рекомендуя посетить потенциально вредоносный сайт.
В отличие от Google, некоторые крупные компании более серьёзно подходят к проблеме ASCII-манипуляций. К примеру, Amazon опубликовала подробное руководство по защите LLM-приложений от подобных атак с использованием символов Unicode. В то же время специалисты другой компании — SPLX — смогли обойти защиту ChatGPT с помощью техники промпт-инъекций, что дополнительно подчёркивает значимость вопросов безопасности в сфере искусственного интеллекта.
Таким образом, открытая уязвимость Gemini ставит под сомнение безопасность автономных ИИ-агентов, особенно при работе с конфиденциальной информацией. Отказ Google признавать проблему и предпринимать меры вызывает опасения в контексте роста гибридных угроз, сочетающих технические уязвимости и социальную инженерию.
