- Cloudflare представила новую функцию Content Signals Policy для расширенного управления доступом к контенту сайтов.
- Политика позволяет владельцам сайтов задавать разрешения на использование контента для поиска и обучения искусственного интеллекта.
- Генеральный директор Cloudflare Мэтью Принс выразил обеспокоенность снижением трафика на оригинальные сайты из-за роста использования ИИ.
Компания Cloudflare анонсировала дополнение к уже существующему файлу robots.txt — новую политику под названием Content Signals Policy. Эта бесплатная функция предназначена для того, чтобы владельцы сайтов получили более тонкий контроль над тем, каким образом их контент используется компаниями, работающими с искусственным интеллектом.
Традиционный формат robots.txt позволял ограничивать сбор данных поисковыми роботами и закрывать доступ к определённым разделам сайта. Однако новая политика от Cloudflare вводит дополнительный уровень настройки: теперь можно указать, каким именно образом разрешается применять полученный контент — исключительно для поисковой индексации, либо для поиска и обучения моделей ИИ, либо полностью запретить использование.
Соучредитель и CEO Cloudflare Мэтью Принс отметил, что развитие технологий искусственного интеллекта вызывает серьёзные опасения по поводу будущего издательств и сайтов с оригинальным контентом. По его словам, рост доверия пользователей к ИИ приводит к уменьшению количества переходов с поисковых систем на первоисточники. В результате многим издателям приходится пересматривать свои бизнес-модели или даже покидать рынок.
Принс привёл наглядные данные: десять лет назад на две страницы, проиндексированные Google, приходился один переход пользователя с поисковой выдачи на сайт. Сегодня соотношение изменилось — для Google оно составляет уже 8 страниц на один переход. Для компаний, разрабатывающих ИИ, ситуация ещё серьёзнее: у OpenAI соотношение составляет 1500 к 1, а у Anthropic — 60000 к 1. Для сравнения, шесть лет назад эти коэффициенты были значительно ниже — соответственно 250 и 6000 к 1.
Таким образом, Content Signals Policy от Cloudflare становится важным инструментом, позволяющим владельцам сайтов защищать свои интересы в эпоху быстрого внедрения искусственного интеллекта, сохраняя контроль над использованием своего контента и влияя на развитие цифрового рынка.
