- В офисе IT-компании в Мюнхене сработала пожарная сигнализация, что вызвало тревогу у сотрудников.
- Встроенный в корпоративный мессенджер AI-чат-бот ошибочно заявил, что тревога — учебная, и посоветовал не покидать рабочие места.
- Это противоречит правилам пожарной безопасности и могло бы привести к опасной ситуации при настоящем пожаре.
Разработчик компании JetBrains Тагир Валеев поделился случаем, произошедшим в мюнхенском офисе IT-фирмы, где встроенный в корпоративный мессенджер Slack AI-ассистент Glean при срабатывании пожарной сигнализации дал неоднозначный совет сотрудникам. Несмотря на то что сигнализация вызвала реальную эвакуацию, бот отправил личное сообщение с утверждением, что тревога учебная, и порекомендовал не покидать рабочее место.
Сотрудники, придерживаясь стандартных инструкций безопасности, всё же покинули помещение и собрались в назначенной точке на улице. Через некоторое время прибыли пожарные службы, подтвердившие важность серьезного отношения к оповещениям.
Главной проблемой в этой ситуации стала рекомендация AI, которая может вводить пользователей в заблуждение. Бот не имел доступа к расписанию учебных тревог и оценивал ситуацию лишь поверхностно, советуя игнорировать сигнализацию, если нет явных признаков возгорания — дым или запах гари. Такой подход противоречит строгим правилам противопожарной безопасности, которые требуют немедленного реагирования на все сигнализации, независимо от предполагаемой причины.
Данный инцидент демонстрирует потенциальные риски внедрения искусственного интеллекта в системы безопасности без должного контроля и интеграции с реальными процедурами. В случае настоящей чрезвычайной ситуации непреднамеренные советы AI могли бы привести к серьезным последствиям и поставить под угрозу жизни сотрудников.
Эксперты в области безопасности напоминают, что автоматизация должна сопровождаться чёткими алгоритмами и возможностью вмешательства человека, особенно когда речь идёт о вопросах жизненной важности. Внедряя подобные инструменты, организации должны тщательно тестировать их реакцию на аварийные ситуации, чтобы исключить ложные срабатывания и неправильные рекомендации.
