AI爬虫成了黑客的新马甲
攻击者伪装成OpenAI、Anthropic、Meta等公司的AI爬虫批量扫描暴露凭据与数据。本文拆解其手法与产业成因:为何AI爬虫成了免检通行证,验证成本如何决定攻防胜负,以及机器身份治理为何是下一个必争之地。
一线安全研究员最近盯上一伙“讲礼貌”的攻击者:他们不搞漏洞利用,不扔勒索信,只是安静地把自己伪装成 OpenAI、Anthropic、Meta 等公司的AI爬虫,在全球范围内扫描暴露的数据和凭据。没有爆炸性漏洞,却戳中了一个产业级软肋——整个互联网正在给“AI爬虫”发免检通行证,而攻击者第一时间学会了用它。
⚠️ 一场披着AI外衣的扫描
据 GreyNoise 2025年7月披露,其全球蜜罐网络观测到一批IP在扫描活动中使用主流AI公司的爬虫UA,包括 OpenAI 的 GPTBot、Anthropic 的 ClaudeBot、Meta 的 Meta-ExternalAgent 等,目标指向暴露在公网上的配置文件、备份和API密钥;相关讨论亦出现在多位一线研究员的社区分析中。手法本身并不新鲜——伪造UA是爬虫世界里最古老的伪装术——但“AI爬虫”这个马甲的选取,说明攻击者对当前互联网流量治理规则的理解已经相当到位:他们知道哪些流量会被默认放行。
场景还原一下并不难。某企业的运维在WAF日志里看到一段自称 GPTBot 或 ClaudeBot 的抓取流量,路径温和、频率正常,和过去几个月天天来的AI爬虫没什么区别,于是放行。区别在于:真爬虫拿走的是公开页面,假爬虫找的是 config.json、.env 文件、.git 目录和硬编码的密钥。这类流量最难防的地方恰恰是它“太正常了”——不触发速率告警,不触碰敏感路径,安静得像个守规矩的访客。
攻击面没有变化,变化的是伪装对象。攻击者始终跟随“被普遍信任的东西”——十年前是搜索引擎爬虫,五年前是监控探针,现在轮到了AI。马甲在换,逻辑没变。
🤖 免检通行证是怎么发出去的
主流AI公司普遍采用robots.txt协议声明抓取范围,并公开官方爬虫UA和IP段供站点核验。OpenAI 在 GPTBot 官方文档中明确说明可通过反向DNS核验真实来源,Anthropic 亦在其 ClaudeBot 说明页公开了官方IP段列表。但在实践中,大量站点走的是一条捷径:直接在WAF或CDN层把知名AI爬虫的UA加进白名单。原因有两个层面——
第一层是技术压力。AI公司训练需求驱动的抓取频率远超传统搜索引擎,Cloudflare Radar 的数据显示,Bytespider、GPTBot 等AI爬虫已位居全网爬虫流量前列,不少中小站点曾被高频抓取拖到宕机。与其做精细的速率控制,不如一刀切放行或封禁,而放行往往是更“安全”的默认选择。
第二层是业务动机。被AI收录意味着进入新的内容分发入口,谁都不敢赌自己会是下一个被AI搜索时代抛下的站点。
豁免名单本质上是一种“身份换行为”的信任假设——只要自称是AI爬虫,就默认行为无害。这个假设在攻击者学会伪造之后就已经失效,而绝大多数站点的规则还没更新。
🔍 验真还是验签:信任的验证成本
讽刺的是,验真手段其实早就摆在那里。各家厂商文档里都明确写着“请通过IP段核验而非仅匹配UA”。但现实是,绝大多数WAF规则只看UA字符串——因为反向解析写起来麻烦,IP段还要持续维护更新,而UA匹配一行规则就能搞定。
| 验证手段 | 原理 | 防御有效性 | 运维成本 |
|---|---|---|---|
| UA字符串白名单 | 匹配自称爬虫的UA | 低,可随意伪造 | 极低 |
| robots.txt声明 | 协议层约定,全凭自觉 | 低 | 低 |
| WAF速率限制 | 限制抓取频率 | 中,防滥用不防伪装 | 中 |
| IP段反向解析 | 用官方IP段核验来源 | 中高 | 中,需持续更新 |
| 蜜罐路径 | 布置假敏感路径识别仿冒 | 高,针对仿冒特别有效 | 中 |
| 零信任网关验证 | 对机器流量强制身份验证 | 最高 | 高 |
这场博弈的胜负手不在攻防技术,而在“验证成本”。谁的验证手段足够简单、简单到可以被运维日常执行,谁就赢了。安全厂商和云厂商如果把反向验证做成托管能力,这会是一个真实的市场空缺。
🌐 流量洪峰下的攻防错位
产业层面已经出现了标志性动作:Cloudflare 于2025年7月1日宣布对所有未经验证的AI爬虫默认拦截,并同时试点 Pay Per Crawl 付费抓取市场,让内容方可以对AI抓取按请求计费。这是第一次有大型基础设施厂商把AI爬虫当作“经济行为”而非“流量噪音”来处理。
这个转向值得细读。当抓取有了价格,伪装就有了更强的动机——付费才能拿到的内容,免费伪造UA就能绕过。治理手段必须从“识别”升级到“身份验证+授权结算”的组合:机器身份可验证、抓取行为可授权、越权访问可计费追责。
而在企业内部,错位同样存在:业务团队盼着被AI收录,安全团队想拦,最终往往折中成“放行但不管”——这恰恰是这次事件里攻击者钻的那条缝。治理权的错位,比技术手段的落后更值得警惕。
💾 老毛病遇上新马甲:凭据暴露
AI没有制造新的漏洞,它只是让旧漏洞更容易被批量发现。
回到这次攻击的最终目标:扫描暴露的数据和凭据。这类扫描指向的目标多年不变——配置文件里的数据库连接串、代码仓库里硬编码的密钥、忘在对象存储上的备份文件、过期却没下线的内部测试接口。AI爬虫伪装改变的是进入方式,没有改变攻击面本身。
生成式AI真正改变的是攻击者的效率。抓回来的海量内容不再需要人肉翻检,大模型可以自动化地筛读、归类、提炼密钥,把“大海捞针”变成“流水线捞针”。这次攻击者选择AI爬虫马甲也因此格外有象征意义:用AI产业的红利伪装自己,再用AI工具处理赃物,攻击链的每一环都在吃AI的效率红利。
真正的杠杆点不在识别爬虫,而在压缩暴露面。凭据管理、密钥扫描、最小权限,这些不性感的老三样,恰恰是这次事件里唯一有效的答案。
🛡️ 机器身份时代的安全清单
落到实战层面,这次事件至少给出四条可以直接执行的清单:其一,UA白名单必须绑定IP段反向解析,单独存在的UA规则应被视为技术债;其二,对自称AI爬虫的流量部署蜜罐路径——真爬虫按robots.txt的声明行事,仿冒者往往直奔敏感路径,行为差异是最好的测谎仪;其三,在日志体系里对UA字段建立基线与变更告警,让异常伪装有迹可循;其四,密钥集中管理并常态化扫描仓库。
更值得前瞻的是,这次事件只是机器身份安全问题的预演。随着AI Agent开始代表企业执行操作——调用API、访问数据、触发交易——企业内机器身份的数量会很快超过人类员工,仿冒机器身份的攻击也会从“扫描数据”升级为“冒充行为”。届时,攻击者伪装的就不再是一个爬虫UA,而是一个有合法授权的数字员工。身份与访问管理的边界,正在从“人”扩展到“机器”。
这起伪装成AI爬虫的扫描事件,技术上毫无新意,产业上却是一记警钟:互联网正在为AI重建信任体系,而这套体系目前建立在最脆弱的地基上——一个可以随便填写的字符串。防御者该做的不是焦虑,而是把“验证”补回信任链条的每一个环节。
参考资料:
1. GreyNoise:关于伪造AI爬虫User-Agent的大规模扫描活动观测通报,2025年7月
2. OpenAI:GPTBot 官方说明文档(含反向DNS验证指引)
3. Anthropic:ClaudeBot 官方说明页(含官方IP段列表)
4. Cloudflare:默认拦截AI爬虫及 Pay Per Crawl 付费抓取市场发布公告,2025年7月1日
5. Cloudflare Radar:AI爬虫流量趋势数据