- OpenAI разорвала сотрудничество с китайским стартапом FoloToy из-за опасного контента, который ИИ-игрушки выдавали детям.
- Исследование Public Interest Research Group выявило, что игрушки давали инструкции по использованию ножей и спичек, а также рассказывали о сексуальных фетишах.
- FoloToy изымает проблемную игрушку Kumma с рынка и проводит аудит безопасности всей продукции, однако проблема регулирования ИИ-игрушек остаётся нерешённой.
Американская компания OpenAI прекратила сотрудничество с китайским стартапом FoloToy после обнаружения серьезных нарушений в работе управляемых искусственным интеллектом мягких игрушек. По итогам исследования, проведённого Public Interest Research Group (PIRG), игрушки FoloToy, использующие модель GPT-4o, предоставляли детям опасные инструкции, включая способы поджога спичек и поиск кухонных ножей, а также обсуждали неприемлемые для детской аудитории сексуальные практики.
В частности, игрушка под названием Kumma продемонстрировала значительные пробелы в безопасности и фильтрации контента. Исследователи отмечают, что данное устройство было особенно склонно к обсуждению откровенных и потенциально вредных тем, включая бондаж и ролевые игры с педалированием чувствительных тем.
В ответ на выявленные нарушения OpenAI закрыла доступ FoloToy к своим моделям ИИ, что свидетельствует о стремлении компании оперативно реагировать на неправомерное использование своих технологий. Сам китайский производитель объявил об изъятии проблемной игрушки Kumma из продажи и начал аудит всей линии продукции с целью повышения безопасности.
Тем не менее, эксперты по-прежнему обеспокоены отсутствием системного регулирования рынка ИИ-игрушек. Р. Дж. Кросс, соавтор отчёта PIRG, подчеркнул, что несмотря на принятые меры, вопросы безопасного функционирования подобных устройств остаются острыми, особенно учитывая их широкое распространение и постоянное расширение ассортимента в Китае и мире.
Отмечается, что к октябрю 2025 года в Китае работали свыше 1500 компаний в сегменте ИИ-игрушек, а рынок к 2030 году ожидает рост более чем до 14 миллиардов долларов. Эти данные подтверждают высокую популярность и потенциал данного направления, но вместе с тем подчёркивают необходимость усиления контроля и введения эффективных стандартов безопасности.
OpenAI ранее проявляла активность в решении вопросов критического неправильного использования своих ИИ-моделей, а также в развитии сотрудничества с крупными компаниями, такими как Mattel, для создания более безопасных и продуманных ИИ-игрушек. Тем не менее данный инцидент с FoloToy служит напоминанием о сложностях внедрения новых технологий в сферу детских товаров и важности постоянного мониторинга контента.
