开放网络正悄然分成三条车道:表明身份的流量、付费的流量,以及融入人群的流量。 如果你在构建会浏览、抓取或购买的 AI 智能体,就必须清楚每个请求处在哪条车道。
2026 年,AI 智能体通过三道关卡之一抵达网站。签名身份(Web Bot Auth)让智能体证明自己,合作站点据此放行;按次抓取付费让智能体付费换取访问;IP 信誉——通过真实住宅或 4G/5G 移动代理路由——让智能体在那 ~99% 既无白名单也不出售访问的网站上看起来像普通用户。生产级智能体三者并用:在受欢迎处签名或付费,其余一律依靠移动 IP 信誉。
直到不久前,"以编程方式访问网络"只意味着一件事:发出 HTTP 请求,然后祈祷不被屏蔽。这一模式在 2025–2026 年因两件事而崩塌。
其一,发布方开始直接对抗 AI 爬虫。Cloudflare 在新域名上默认屏蔽 AI 爬虫,并推出按次抓取付费市场,大型发布方纷纷签约收费。 其二,业界开始为"良性"机器人构建加密自我标识的方式——Web Bot Auth 与签名智能体,现已进入 IETF 流程。
与此同时,反爬检测早已超越简单指纹。随着 JA4/JA4+ TLS 指纹与后量子 TLS 的普及,隐藏客户端比以往更难——这意味着你抵达时所用的 IP 比从前更重要。最终形成下面这套三关卡模型。
| 关卡 | 运作方式 | 适用范围 | 最适合 |
|---|---|---|---|
| 签名身份 | 智能体签名请求(Ed25519 / RFC 9421),网站验证并加入白名单 | 已接入且放行你的站点 | 合作 API、伙伴、官方智能体访问 |
| 按次付费 | 智能体按请求向发布方付费(如经 Cloudflare) | 出售抓取访问的发布方 | 授权内容、训练数据、优质来源 |
| IP 信誉 | 通过住宅 / 4G/5G 移动代理路由以融入人群 | 几乎整个公开网络 | 抓取、监控、测试、多账号、一切无白名单场景 |
三者并非互斥。设计良好的智能体在能换取访问处签名、在内容值得处付费、其余一律用移动 IP 信誉。
站点发布了签名白名单且你在其中:签名你的请求。这是最干净、最持久的访问方式,可完全避开代理军备竞赛。
内容是授权的、高价值的,或你需要合法大规模获取:按次付费。访问可靠,合规叙事清晰。
站点既无白名单也不出售访问(默认情形):被识别的机器人只会被轻易屏蔽。通过真实 4G/5G 移动代理路由,让智能体继承普通移动用户的 IP 信誉。
若只记一条规则:身份与付费是网站授予的可选特权;IP 信誉是永远有效的兜底。这正是每个严肃智能体技术栈最终都要有代理层的原因。 想要逐请求的判断流程,见我们的AI 智能体被屏蔽决策树。
2026 年 AI 智能体要通过三道关卡:(1)签名身份——智能体用 Web Bot Auth 加密标识自己,网站据此放行或限速;(2)按次抓取付费——智能体向发布方(通常经 Cloudflare)付费换取访问;(3)IP 信誉——通过住宅或 4G/5G 移动代理路由,让流量看起来像普通用户。大多数生产级智能体三者并用:对合作站点签名或付费,其余一律依靠移动 IP 信誉。
对绝大多数网络仍然需要。签名智能体(Web Bot Auth)只在已接入该方案并选择放行你的网站上有用。绝大多数网站没有签名白名单,被识别的机器人反而更容易被屏蔽。对这些站点,真实 4G/5G 移动代理带来的 IP 信誉仍是最可靠的进入方式。
移动代理使用 CGNAT 后真实的运营商 IP,数百名真实用户共享同一地址。屏蔽该 IP 会误伤真实客户,因此反爬系统格外谨慎。数据中心 IP 属于已知托管 ASN,会被激进屏蔽。这就是移动 IP 在重防护站点上成功率高得多的原因。
覆盖 17+ 国家的真实 4G/5G 移动代理——$4/GB,端点免费、轮换免费,并为自主智能体提供 MCP 服务器与 x402 支付。