Cloudflare теперь позволяет издателям брать с AI-агентов плату за доступ. Иногда платить — верно, а иногда это плата за дверь, которая и не была заперта. Разбираем, как отличить.
Платите за краул, когда контент лицензионный, премиальный или нужен легально в объёме, а издатель продаёт доступ — вы получаете надёжный доступ и чистую историю по комплаенсу. Используйте мобильные прокси для подавляющей части веба, которая ничего не берёт и не имеет белого списка, где единственная преграда — репутация IP. Это не столько конкуренты, сколько два инструмента для двух половин веба. Ошибка — платить за доступ на сайте, который отдал бы контент бесплатно, если бы вы просто не выглядели как дата-центровый бот.
Годами у издателя против нежеланного краулера было два варианта: «пропустить» или «заблокировать». Оплата за краул добавила третий: «взять плату». Концептуально она опирается на HTTP 402 Payment Required — краулер запрашивает страницу, узнаёт цену, платит и получает контент. Крупные издатели подписались, потому что это превращает дорогой бот-трафик в выручку.
Для разработчика агента это полезно в одном сценарии: вам нужен контент конкретного издателя, он участвует, а данные стоят цены за запрос. Это канал лицензирования, а не общий способ попасть в веб — и это важно, ведь большинство сайтов вообще не в маркетплейсе.
| Оплата за краул | Мобильные прокси | |
|---|---|---|
| Охват | Только участвующие издатели | Практически весь публичный веб |
| Модель оплаты | За запрос, цену задаёт издатель | За трафик ($4 → $2.40) |
| Комплаенс | Явный лицензионный доступ | Зависит от ToS сайта и задачи |
| Надёжность | Высокая — вы платящий клиент | Высокая на реальных мобильных IP; зависит от качества |
| Лучше для | Премиум/лицензионный контент, данные обучения | Парсинг, мониторинг, тесты, автоматизация |
Именованный премиум-источник на долгую перспективу? Платите за краул, если доступно. Дешевле иска, надёжнее гонки вооружений.
Широкие данные по множеству обычных сайтов? Мобильные прокси. Платить не за что — нужно лишь не быть заблокированным.
Это ровно та многослойная модель из нашего опорного гида как AI-агенты получают доступ к вебу в 2026. Если ваш агент на крипто-рельсах, наш MCP-сервер и x402-платежи позволяют ему автономно платить за трафик (и, где поддерживается, за контент) в USDC. Не уверены, какой путь нужен конкретному запросу? Используйте дерево решений.
Pay Per Crawl — маркетплейс Cloudflare, позволяющий издателям брать с AI-краулеров плату вместо блокировки. Краулера просят заплатить (концептуально через HTTP 402 Payment Required), и после оплаты издатель отдаёт контент. Это про лицензионный доступ к ценному контенту, а не про обычный веб-сёрфинг.
Зависит от сайта. Оплата за краул работает только у участвующих издателей, и вы платите их цену за запрос — для премиального лицензионного контента это может быть оправдано. Для остального веба, который ничего не берёт и не имеет белого списка, платить не за что: вам нужен лишь незаблокированный IP, и здесь мобильные прокси по $4/GB куда экономичнее.
Да, и большинству серьёзных агентов так и стоит. Платите там, где издатель продаёт доступ и контент того стоит; идите через мобильные прокси во всём остальном. Они покрывают разные части веба, так что считать их «или-или» — ошибка.
4G/5G мобильные прокси в 17+ странах — $4/GB, бесплатные эндпоинты и ротация, USDC через x402 для автономных агентов.