Переход от свободного доступа к модели разрешений
Компания Cloudflare, обслуживающая около 20% всех интернет-сайтов по всему миру, представила новую инициативу — модель Pay per Crawl. Это платформа, которая позволяет владельцам веб-сайтов выставлять плату за доступ искусственного интеллекта к своему контенту. Решение анонсировано как ответ на растущие опасения издателей и правообладателей по поводу бесплатного использования их данных генеративными ИИ-моделями, такими как ChatGPT от OpenAI или Gemini от Google.
Теперь веб-ресурсы могут самостоятельно управлять условиями взаимодействия с ИИ-ботами: разрешать сканирование, блокировать его или устанавливать конкретную стоимость за каждый запрос. Инициатива стартовала в закрытом бета-тестировании, но уже на этом этапе к ней подключились ведущие мировые издатели и платформы.
Новый стандарт цифрового взаимодействия
Технической основой системы стала редкая реализация HTTP-статуса 402 Payment Required — формата, предложенного еще в 1990-х, но до сих пор почти не использовавшегося в реальных продуктах. При попытке получить доступ без оплаты, бот получает 402 в ответ и может повторить запрос только после подтверждения оплаты, передав соответствующий заголовок. Все расчеты проходит через саму Cloudflare, что освобождает издателей от необходимости внедрять собственные платёжные механизмы или вести переговоры с каждым агрегатором отдельно.
По умолчанию все новые домены, подключающиеся к платформе, получают запрет на доступ для ИИ-ботов, который можно отменить вручную. Таким образом Cloudflare пытается запустить новую «экономику разрешений», в которой право на доступ к информации будет подкреплено микроплатежами, а не извлекаться в обход интересов правообладателей.
Поддержка со стороны крупнейших медиакомпаний
В проекте уже участвуют крупные издатели и медийные дома, включая Condé Nast, Associated Press, Ziff Davis, The Atlantic, Adweek, BuzzFeed, Time и O’Reilly Media. К инициативе также присоединились такие цифровые платформы, как Reddit и Pinterest, которые предоставляют контент, активно используемый в обучении генеративных моделей.
Для них модель Pay per Crawl становится альтернативой судебным искам и дорогостоящим лицензионным соглашениям. В отличие от эксклюзивных контрактов, система Cloudflare позволяет всем заинтересованным ИИ-компаниям получить доступ к контенту — при условии оплаты по установленной ставке. Это упрощает правила игры и снижает юридические и технологические барьеры.
Ответ на падение трафика и снижение доходов
Запуск Pay per Crawl происходит на фоне резкого падения трафика из поисковых систем. По данным Cloudflare Radar, соотношение между количеством сканирований и фактическими переходами на сайты ухудшается. В случае с Google оно достигло 18:1, а для OpenAI — 1500:1. Это значит, что пользователи ИИ-продуктов получают информацию с сайтов, но почти не переходят на сами ресурсы, что подрывает рекламную монетизацию и снижает узнаваемость брендов.
В условиях, когда традиционные источники дохода сокращаются, особенно в медийной индустрии, модель микроплатежей за ИИ-доступ становится потенциальным новым каналом монетизации. Она позволяет возмещать расходы на создание контента и сохранять устойчивость цифровой экономики.
Перспективы и дальнейшее развитие
В ближайшем будущем Cloudflare планирует расширить функциональность платформы. В числе возможных опций — предпросмотр контента для ИИ-ботов, доставка данных в оптимизированном формате, а также аналитика спроса, которая позволит издателям адаптировать ценообразование в реальном времени.
Генеральный директор компании Мэттью Принс сравнивает инициативу с тем, как в прошлом индустрия медиа отстояла свои авторские права на музыку, фильмы и книги. Cloudflare стремится создать аналогичную структуру защиты прав на цифровой контент — с прозрачной системой вознаграждения за его использование.
Таким образом, запуск Pay per Crawl знаменует собой начало новой фазы в отношениях между владельцами контента и разработчиками искусственного интеллекта. Впервые за многие годы авторы интернет-контента получают реальный инструмент управления своим цифровым капиталом.
Комментарии