- В средней школе Кенвуд в Балтиморе ИИ-система безопасности приняла пачку Doritos в руках ученика за пистолет и вызвала полицию.
- Полицейские задержали подростка, применив к нему силу, несмотря на отсутствие угрозы или правонарушений с его стороны.
- Компания-разработчик системы Omnialert признала ложное срабатывание, но заявила, что программа функционировала в соответствии с задачами безопасности.
В средней школе Кенвуд, расположенной в Балтиморе штата Мэриленд, произошёл инцидент, вызвавший широкое обсуждение применения искусственного интеллекта в системах безопасности образовательных учреждений. Программное обеспечение на базе ИИ, задействованное для выявления огнестрельного оружия через видеонаблюдение, ошибочно идентифицировало пакет мятых чипсов Doritos, который держал в руках старшеклассник Таки Аллен, как пистолет. Вследствие этого сигнал тревоги был направлен в полицию, и на место прибыли вооружённые сотрудники.
Подростка задержали сразу после футбольной тренировки, направив на него оружие и приказывая лечь на землю. Аллен подчеркнул, что в ходе происшествия испытывал сильный стресс и отметил, что школьный персонал не проявил интереса к его эмоциональному состоянию после инцидента. Семья подростка выразила недовольство чрезмерной агрессивностью действий правоохранителей.
Разработчик системы безопасности, компания Omnialert, официально признала ошибку, обусловленную высокой схожестью пакета Doritos с огнестрельным оружием при обработке изображения. В то же время представители фирмы заявили, что программа сработала в строгом соответствии с заданной логикой, делая упор на максимальную безопасность и оперативное информирование лиц, отвечающих за безопасность, включая сотрудников полиции. В качестве меры для повышения точности алгоритмов они анонсировали проведение детального анализа инцидента.
В ответ на инцидент администрация школ Балтимора направила родителям письмо с разъяснением от Omnialert и информацией о предоставлении консультационной поддержки пострадавшим ученикам. Однако сам Таки Аллен отметил, что с ним не связывались и не выясняли его состояние после случившегося, а также высказал опасения по поводу возвращения в учебное заведение, опасаясь новых ложных срабатываний системы на предметы личного пользования.
Данный случай подчёркивает сложности и вызовы, связанные с применением искусственного интеллекта в вопросах безопасности, особенно в образовательной среде, где ошибки могут приводить к серьёзным психологическим и социальным последствиям для учащихся. Необходимость тонкой настройки и тщательной проверки подобных систем становится очевидной для обеспечения баланса между эффективной защитой и уважением к правам и благополучию учеников.
