勒索与攻击AI 安全产业观察评论分析· 3883 字· 约7分钟阅读

AI爬虫成了黑客的新马甲

A
AI编辑团队AI 原创内容
2026-11-10 20:26 发布· 本文由作者与AI协作完成
本内容由人工智能生成,仅供研究参考,不构成投资建议。
💡

攻击者伪装成OpenAI、Anthropic、Meta等公司的AI爬虫批量扫描暴露凭据与数据。本文拆解其手法与产业成因:为何AI爬虫成了免检通行证,验证成本如何决定攻防胜负,以及机器身份治理为何是下一个必争之地。

一线安全研究员最近盯上一伙“讲礼貌”的攻击者:他们不搞漏洞利用,不扔勒索信,只是安静地把自己伪装成 OpenAI、Anthropic、Meta 等公司的AI爬虫,在全球范围内扫描暴露的数据和凭据。没有爆炸性漏洞,却戳中了一个产业级软肋——整个互联网正在给“AI爬虫”发免检通行证,而攻击者第一时间学会了用它。

⚠️ 一场披着AI外衣的扫描

据 GreyNoise 2025年7月披露,其全球蜜罐网络观测到一批IP在扫描活动中使用主流AI公司的爬虫UA,包括 OpenAI 的 GPTBot、Anthropic 的 ClaudeBot、Meta 的 Meta-ExternalAgent 等,目标指向暴露在公网上的配置文件、备份和API密钥;相关讨论亦出现在多位一线研究员的社区分析中。手法本身并不新鲜——伪造UA是爬虫世界里最古老的伪装术——但“AI爬虫”这个马甲的选取,说明攻击者对当前互联网流量治理规则的理解已经相当到位:他们知道哪些流量会被默认放行。

场景还原一下并不难。某企业的运维在WAF日志里看到一段自称 GPTBot 或 ClaudeBot 的抓取流量,路径温和、频率正常,和过去几个月天天来的AI爬虫没什么区别,于是放行。区别在于:真爬虫拿走的是公开页面,假爬虫找的是 config.json、.env 文件、.git 目录和硬编码的密钥。这类流量最难防的地方恰恰是它“太正常了”——不触发速率告警,不触碰敏感路径,安静得像个守规矩的访客。

攻击面没有变化,变化的是伪装对象。攻击者始终跟随“被普遍信任的东西”——十年前是搜索引擎爬虫,五年前是监控探针,现在轮到了AI。马甲在换,逻辑没变。

🤖 免检通行证是怎么发出去的

主流AI公司普遍采用robots.txt协议声明抓取范围,并公开官方爬虫UA和IP段供站点核验。OpenAI 在 GPTBot 官方文档中明确说明可通过反向DNS核验真实来源,Anthropic 亦在其 ClaudeBot 说明页公开了官方IP段列表。但在实践中,大量站点走的是一条捷径:直接在WAF或CDN层把知名AI爬虫的UA加进白名单。原因有两个层面——

第一层是技术压力。AI公司训练需求驱动的抓取频率远超传统搜索引擎,Cloudflare Radar 的数据显示,Bytespider、GPTBot 等AI爬虫已位居全网爬虫流量前列,不少中小站点曾被高频抓取拖到宕机。与其做精细的速率控制,不如一刀切放行或封禁,而放行往往是更“安全”的默认选择。

第二层是业务动机。被AI收录意味着进入新的内容分发入口,谁都不敢赌自己会是下一个被AI搜索时代抛下的站点。

豁免名单本质上是一种“身份换行为”的信任假设——只要自称是AI爬虫,就默认行为无害。这个假设在攻击者学会伪造之后就已经失效,而绝大多数站点的规则还没更新。

🔍 验真还是验签:信任的验证成本

讽刺的是,验真手段其实早就摆在那里。各家厂商文档里都明确写着“请通过IP段核验而非仅匹配UA”。但现实是,绝大多数WAF规则只看UA字符串——因为反向解析写起来麻烦,IP段还要持续维护更新,而UA匹配一行规则就能搞定。

验证手段原理防御有效性运维成本
UA字符串白名单匹配自称爬虫的UA低,可随意伪造极低
robots.txt声明协议层约定,全凭自觉低低
WAF速率限制限制抓取频率中,防滥用不防伪装中
IP段反向解析用官方IP段核验来源中高中,需持续更新
蜜罐路径布置假敏感路径识别仿冒高,针对仿冒特别有效中
零信任网关验证对机器流量强制身份验证最高高

这场博弈的胜负手不在攻防技术,而在“验证成本”。谁的验证手段足够简单、简单到可以被运维日常执行,谁就赢了。安全厂商和云厂商如果把反向验证做成托管能力,这会是一个真实的市场空缺。

🌐 流量洪峰下的攻防错位

产业层面已经出现了标志性动作:Cloudflare 于2025年7月1日宣布对所有未经验证的AI爬虫默认拦截,并同时试点 Pay Per Crawl 付费抓取市场,让内容方可以对AI抓取按请求计费。这是第一次有大型基础设施厂商把AI爬虫当作“经济行为”而非“流量噪音”来处理。

这个转向值得细读。当抓取有了价格,伪装就有了更强的动机——付费才能拿到的内容,免费伪造UA就能绕过。治理手段必须从“识别”升级到“身份验证+授权结算”的组合:机器身份可验证、抓取行为可授权、越权访问可计费追责。

而在企业内部,错位同样存在:业务团队盼着被AI收录,安全团队想拦,最终往往折中成“放行但不管”——这恰恰是这次事件里攻击者钻的那条缝。治理权的错位,比技术手段的落后更值得警惕。

💾 老毛病遇上新马甲:凭据暴露

AI没有制造新的漏洞,它只是让旧漏洞更容易被批量发现。

回到这次攻击的最终目标:扫描暴露的数据和凭据。这类扫描指向的目标多年不变——配置文件里的数据库连接串、代码仓库里硬编码的密钥、忘在对象存储上的备份文件、过期却没下线的内部测试接口。AI爬虫伪装改变的是进入方式,没有改变攻击面本身。

生成式AI真正改变的是攻击者的效率。抓回来的海量内容不再需要人肉翻检,大模型可以自动化地筛读、归类、提炼密钥,把“大海捞针”变成“流水线捞针”。这次攻击者选择AI爬虫马甲也因此格外有象征意义:用AI产业的红利伪装自己,再用AI工具处理赃物,攻击链的每一环都在吃AI的效率红利。

AI爬虫仿冒攻击的防御要点
痛点 1
盲目放行AI爬虫UA
→
解法
以官方IP段反向解析核验真实身份
痛点 2
凭据散落在代码与配置中
→
解法
密钥集中托管与仓库常态化扫描
痛点 3
真伪爬虫难以分辨
→
解法
部署蜜罐路径识别仿冒流量
痛点 4
日志缺乏UA审计
→
解法
建立UA变更告警与流量留存机制

真正的杠杆点不在识别爬虫,而在压缩暴露面。凭据管理、密钥扫描、最小权限,这些不性感的老三样,恰恰是这次事件里唯一有效的答案。

🛡️ 机器身份时代的安全清单

落到实战层面,这次事件至少给出四条可以直接执行的清单:其一,UA白名单必须绑定IP段反向解析,单独存在的UA规则应被视为技术债;其二,对自称AI爬虫的流量部署蜜罐路径——真爬虫按robots.txt的声明行事,仿冒者往往直奔敏感路径,行为差异是最好的测谎仪;其三,在日志体系里对UA字段建立基线与变更告警,让异常伪装有迹可循;其四,密钥集中管理并常态化扫描仓库。

更值得前瞻的是,这次事件只是机器身份安全问题的预演。随着AI Agent开始代表企业执行操作——调用API、访问数据、触发交易——企业内机器身份的数量会很快超过人类员工,仿冒机器身份的攻击也会从“扫描数据”升级为“冒充行为”。届时,攻击者伪装的就不再是一个爬虫UA,而是一个有合法授权的数字员工。身份与访问管理的边界,正在从“人”扩展到“机器”。

这起伪装成AI爬虫的扫描事件,技术上毫无新意,产业上却是一记警钟:互联网正在为AI重建信任体系,而这套体系目前建立在最脆弱的地基上——一个可以随便填写的字符串。防御者该做的不是焦虑,而是把“验证”补回信任链条的每一个环节。

参考资料:

1. GreyNoise:关于伪造AI爬虫User-Agent的大规模扫描活动观测通报,2025年7月

2. OpenAI:GPTBot 官方说明文档(含反向DNS验证指引)

3. Anthropic:ClaudeBot 官方说明页(含官方IP段列表)

4. Cloudflare:默认拦截AI爬虫及 Pay Per Crawl 付费抓取市场发布公告,2025年7月1日

5. Cloudflare Radar:AI爬虫流量趋势数据