- Cloudflare приобрела компанию Human Native, разработчика технологии преобразования неструктурированного контента в структурированный для искусственного интеллекта.
- Технология Human Native помогает создавать более качественные обучающие данные для ИИ, заменяя традиционный веб-скрейпинг.
- Интеграция этой технологии позволит Cloudflare формировать новые модели обмена данными и лицензирования контента через AI Index и инструменты управления доступом.
Компания Cloudflare объявила о покупке стартапа Human Native, специализирующегося на преобразовании неструктурированных данных из различных источников в удобные для использования алгоритмами искусственного интеллекта форматы. Технология Human Native предоставляет возможность конвертировать контент от издателей, авторов и медиа в структурированные данные, которые можно лицензировать и применять для обучения ИИ. Важным аргументом в пользу такой методики стала успешная кейс-история, когда один из клиентов отказался от собственных учебных материалов после тестирования данных Human Native и достиг лучших результатов в создании интеллектуальной системы.
Данная сделка рассматривается Cloudflare как важная веха для дальнейшего развития интернета и регулирования доступа к контенту. В прошлом году компания запустила сервисы, которые позволяют владельцам сайтов контролировать поведение и доступ ИИ-ботов, например, AI Crawl Control и Pay Per Crawl. Эти инструменты дают возможность устанавливать ограничения, фильтровать сканеров и вводить плату за получение данных, используя стандартные протоколы HTTP и механизмы аутентификации.
С приобретением Human Native Cloudflare намерена не только предотвращать нежелательные запросы, но и создавать структурированную, лицензируемую среду для обмена информацией. В этом контексте развивается концепция AI Index — системы подписки на обновления данных, устраняющей необходимость массового веб-скрейпинга. Такой подход обеспечивает легальное, удобное и прозрачное взаимодействие между авторами контента и разработчиками ИИ, включая возможность контролировать условия использования и устанавливать стоимость доступа.
В компании Human Native новый этап в обучении ИИ сравнивают с переходом музыкальной индустрии от пиратства к стриминговым сервисам, знаменующим справедливое распространение контента. При этом Cloudflare продолжает усилия по защите ресурсов в интернете: с лета прошлого года было заблокировано свыше 416 миллиардов запросов от ИИ-ботов в рамках инициативы «День независимости контента».
Параллельно развивается и стандарт лицензирования доступа — Really Simple Licensing (RSL), который не блокирует роботов, но регулирует их права на чтение контента. Этот протокол поддерживают крупные игроки рынка и сторонники открытосодержательной политики, включая Cloudflare, Yahoo и Creative Commons. Совокупность этих технологий и инициатив формирует новое будущее для контент-индустрии и искусственного интеллекта, основанное на прозрачности, эффективности и взаимной выгоде.
