最危险的流量，长着AI的脸

凌晨的安全运营中心，值班分析师在日志里刷到一波自称来自知名AI公司的爬虫请求，第一反应是放行——公司正全面拥抱AI搜索生态。但他不知道的是，真正的爬虫远在别处。2024年下半年以来，多家Bot管理与CDN厂商在公开报告中记录到同一类现象：大量自称 OpenAI 的 GPTBot、Anthropic 的 ClaudeBot、Meta 的 meta-externalagent 的“官方爬虫”流量，实际并非来自这些公司——攻击者借这些UA做马甲，持续扫描公网，搜寻暴露的数据和凭证。这不是孤立的猎奇手法，而是一个明确的信号：当AI流量成为人人争抢的资源，攻击者也学会了借壳。

🤖 一条User-Agent引发的误放行

信任一旦批量下发，就会被批量利用。

过去一年，各家AI厂商的爬虫蜂拥而至：OpenAI在2023年8月上线GPTBot用于训练数据抓取，Meta在2024年6月发布meta-externalagent，Anthropic的ClaudeBot、Perplexity的PerplexityBot、字节跳动的Bytespayer紧随其后。业务方抱怨AI搜索带来的流量入口不能丢，于是大量安全团队在WAF上给这批熟悉的User-Agent开了白名单。从此，凡是自称这些爬虫的流量，基本畅通无阻。

正是这道绿灯，被攻击者盯上了。2024年下半年以来，多家Bot管理与威胁情报团队的公开观测显示，存在把扫描器的UA字段改成GPTBot、ClaudeBot、meta-externalagent字样、对目标站点高频扫描、探测登录端点与暴露凭证的恶意流量。一个可查的旁证是：Cloudflare在2025年的技术博客中披露，被封锁的AI爬虫会主动改用浏览器UA伪装成普通用户——连正规厂商都在“改UA”，攻击者的门槛更低。

真正的攻击链大致是这样的：

这类流量在日志里极难一眼识别：UA字符串与官方文档公布的完全一致，请求频率也刻意模仿正常抓取节奏，只做UA匹配的规则引擎几乎不会报警。攻击者从不发明新漏洞，他们只利用新建立的信任关系——AI爬虫白名单是过去一年企业安全策略里新增的信任面，任何新增信任面都会在第一时间被纳入攻击武器库。

🔍 为什么偏偏是AI爬虫

流量越被优待，越适合做马甲。

AI训练和AI搜索的爆发，让大模型公司的抓取行为成为互联网新常态。Imperva《2025 Bad Bot Report》的数据可以量化这个背景：2024年，自动化流量占全网流量的51%，其中恶意Bot占37%——机器流量第一次超过了人类。站长们面临真实的两难：拦截这些爬虫，可能失去AI搜索的分发入口；放行，又担心内容被白嫖。于是robots协议改写、爬虫放行策略调整，成了2024年以来大量网站的标准动作。

这带来一个此前不存在的管理问题：UA以知名AI公司开头的流量，天然带着“官方背书”的光环，安全团队的处置逻辑变成了“先放行、再观察”——毕竟拦错了官方爬虫，业务方会找上门。这个心理被利用过不止一次：2024年6月，多家媒体与研究团队（包括Wired报道和Darkvisitors的监测）证实，Perplexity在被robots.txt明确拒绝后仍持续抓取，并曾将爬虫UA伪装成普通浏览器。连正规公司都借用UA伪装绕过封禁，冒用这个壳的“可行性”已经被反复验证。

冒充AI爬虫相比匿名扫描器，有三个天然优势：

• 信任溢价：企业主动为这些UA开绿灯，扫描行为更隐蔽；
• 流量掩护：AI爬虫本身访问量巨大、行为模式多样，异常请求容易混入；
• 追责模糊：面对海量自称官方的流量，真伪判断慢，响应窗口被拉长。

而大规模扫描本身就是这类攻击的核心动作。攻击者不指望一次扫描就命中，他们把互联网当成一个持续漏斗：扫得足够多、足够久，总会有企业把.env配置文件、测试接口、后台登录页、API密钥遗忘在公网上。AI爬虫的外壳，只是让这个漏斗转得更顺滑。

⚠️ 真正的猎物是凭证

数据可以备份，凭证泄露没有回收站。

值得注意这类攻击的目标选择：它要的不是页面内容，而是暴露的数据和凭证——登录端点、认证接口、忘在公网上的配置与密钥。这个目标画像勾勒出的是一条通往身份层面的攻击路径。

凭证为什么比数据更值钱？拿到一对有效凭证，攻击者获得的是持续性：可以登录、可以维持访问、可以在内网横向移动，甚至转手售卖接力使用。数据泄露是一次性事件，凭证泄露是长期租约。公开案例早已证明这条路径的杀伤力：GitGuardian的年度报告统计，仅2023年，公开GitHub仓库中就新增约1280万个泄露密钥，同比增长28%；而Wiz Research在2024年2月披露，微软AI基础设施的一个SAS访问令牌因被员工发布到GitHub，导致38TB内部数据可被任何人读取——一个没人轮换的密钥，就是一次大规模泄露的起点。

把这些元素拼起来，可以看到一条完整的风险传导链：企业为AI生态放行爬虫流量 → 攻击者借壳扫描 → 撞上暴露的凭证和数据 → 以合法身份进入系统。链条里最讽刺的一环在于：帮助企业接入AI时代的那些努力，恰恰成了攻击者的敲门砖。

对企业的启示随之清晰——暴露面治理的优先级必须重排：我们有多少登录接口直接暴露在公网？有多少密钥、凭证散落在无人看管的角落？在攻击者已经学会借壳的当下，任何一个暴露的凭证，都可能成为下一次入侵的第一张多米诺骨牌。🚩

🛡️ 把身份还给Bot

UA是自报家门，不是身份证明。

防御的锚点必须从“听其自述”转向“验证真身”。而这恰恰有现成的官方标准：OpenAI的开发者文档明确说明，GPTBot的真实性可通过反向DNS解析核验，并公开了官方IP地址清单；Anthropic对ClaudeBot提供了类似的核验指引；Meta也公开发布了其爬虫的归属网段。也就是说，“AI爬虫身份核验”不是未解难题，而是一套早已写进官方文档、却尚未落进多数企业流程的标准动作。

把当前主流的防御手段放在同一个坐标系里看，技术门槛与防护价值的分布相当有戏剧性：

这张图想说明的很简单：真正有价值的防御，大多需要一点工程投入，但都算不上高不可攀。而且头部厂商已经把这条路铺好了——Cloudflare在2024年7月上线“一键拦截AI爬虫”能力，2025年推出AI Crawl Control，提供按爬虫粒度的放行/拦截/计费策略（其Pay Per Crawl市场于2025年7月进入Beta）；DataDome、HUMAN、Fastly等厂商也已把AI爬虫识别与管理作为标准产品能力上线。密钥轮换是老生常谈，却在这次事件的目标画像下重新变得紧迫。

把落地路径整理成一张问题-方案对照表，会更直观：

📊 一条新赛道的轮廓

每一次信任机制的重构，都会养活一批安全公司。

跳出单次事件，“借壳AI爬虫”的攻击潮，其实给安全产业标出了一块新地：Bot身份治理。它横跨几条既有产品线的交界处——Bot管理、API安全、身份与访问管理、数据安全——过去各管一段，现在被一类攻击者用一根链条串了起来。

这不是偶然。AI流量的激增让“机器身份”第一次成为企业必须系统性管理的东西：哪些爬虫可以进来、抓什么、抓多快、如何证明身份。就像过去十年“人类身份”管理催生了庞大的IAM市场，机器身份——尤其是AI时代的爬虫身份——正在复制同样的产业路径。而2025年7月Cloudflare把“默认拦截AI爬虫”设为新站点的缺省选项，并被主要云厂商跟进讨论，标志着平台层面的默认值已经转向——默认信任的时代正在结束，默认验证的时代正在开始。

对甲方安全团队，更现实的判断是：这件事不需要等预算、等采购、等平台。反向DNS核验、暴露面收敛、密钥轮换，三件事都是现有工具就能落地的动作，本周就可以开始做。攻击者借的是AI的壳，但真正被利用的，是我们自己发放的信任。收紧这份信任，比任何单点防御都有效。

小结来看，冒充AI爬虫扫描凭证的攻击，把AI流量治理这个新课题的阴暗面提前摆上了桌面：信任批量建立的地方，就是冒用批量发生的地方。可以预见，随着AI代理进一步替代人类访问互联网，机器身份的验证、托管与审计，会从安全团队的技术细节上升为企业的基础设施议题。下一次值班分析师看到“官方爬虫”的UA时，正确的问题不该是“放不放”，而是“你是谁，拿什么证明”。