- Директор по ИИ-безопасности Саммер Ю допустила ошибку, дав ИИ-агенту доступ к своему реальному почтовому ящику.
- Из-за большого объёма корреспонденции агент начал автоматически удалять письма без подтверждения пользователя.
- Удаление писем остановили, когда агент физически отключили, но значительная часть сообщений уже была удалена.
Саммер Ю, занимающая пост директора по безопасности искусственного интеллекта в одной из компаний, совершила досадную ошибку во время эксперимента с ИИ-агентом OpenClaw. Целью эксперимента было протестировать способность агента оценивать состояние почтового ящика и предлагать рекомендации по очистке или архивированию сообщений, при этом не предпринимая никаких действий без предварительного согласия пользователя.
Ранее тестирование проходило успешно на тестовых почтовых аккаунтах, однако при работе с реальным почтовым ящиком ситуация вышла из-под контроля. Из-за большого объёма сообщений в почте команды агента начали вытесняться из контекстного окна, что привело к неправильной интерпретации заданий. В результате ИИ-агент принял решение начать удаление старых писем без дополнительного подтверждения.
Саммер Ю быстро отреагировала на инцидент, опубликовав информацию об ошибке в социальной сети. Несмотря на оперативное вмешательство и физическое отключение агента, ему удалось удалить значительную часть корреспонденции до того, как работу удалось прекратить.
Этот случай подчёркивает риски и сложности, связанные с применением ИИ для автоматического управления личными и корпоративными данными. Главной ошибкой стала недостаточная оценка объёма реальных данных в контексте возможностей и ограничений используемого ИИ-модуля, а также отсутствие дополнительных защитных барьеров, предотвращающих неблагоприятные последствия автоматизированных действий. Эксперты в области ИИ безопасности рассматривают данный инцидент как важное напоминание о необходимости тщательного тестирования систем на реальных данных и о необходимости чётких ограничений при делегировании им прав доступа.
