- Cloudflare с июля 2023 года заблокировала более 416 миллиардов запросов от ИИ-ботов, осуществлявших парсинг контента.
- Компания внедрила функцию, позволяющую владельцам сайтов блокировать ИИ-ботов по умолчанию, если не оплачивается доступ к содержимому.
- Среди исключений остается Google, чьи ИИ-боты объединены с поисковыми и связаны с индексированием сайтов.
Генеральный директор Cloudflare, Мэтью Принс, сообщил о масштабных мерах компании по борьбе с несанкционированным использованием контента ИИ-ботами. С начала июля этого года сервис заблокировал свыше 416 миллиардов запросов, поступивших от искусственного интеллекта, который занимался автоматическим сбором информации с веб-ресурсов. Такая активность была частью инициативы, обозначенной как «День независимости контента», направленной на защиту прав создателей и исключения бесплатного парсинга без их согласия.
Особенностью внедренной Cloudflare защиты стало предоставление владельцам сайтов возможности по умолчанию блокировать ИИ-ботов, помимо официально разрешенных. Доступ к контенту при этом становится платным для роботов, что создает экономический барьер и стимулирует регулирование автоматизированного сбора информации. В исключении находится Google, у которого интегрированный ИИ-бот с поисковой системой, и который имеет собственные соглашения об индексировании – отказ от их бота приведет к исключению сайта из поисковой выдачи.
Мэтью Принс подчеркнул, что развитие экосистемы контента должно строиться на равных условиях для всех участников рынка. Он выразил обеспокоенность тем, что монопольные компании не должны использовать прежние рыночные преимущества для дальнейшего укрепления своего положения посредством ИИ-технологий.
Стоит отметить, что в последнее время Cloudflare столкнулась с несколькими техническими сбоями. Так, в ноябре 2023 года несколько часов были недоступны известные сайты и облачные сервисы, включая Spotify, Uber, а также ChatGPT. Причиной стали ошибки в конфигурации системы защиты от ботов, обновления которой и привели к инцидентам. Это подчеркивает сложность и динамичность задач, связанных с обеспечением безопасности и качества работы интернет-инфраструктуры в условиях роста ИИ-трафика.
