AI爬虫的马甲,成了黑客的隐身衣
攻击者将扫描器的User-Agent伪装成OpenAI、Anthropic、Meta等公司的官方AI爬虫,混入爬虫流量洪流中搜寻暴露的凭据与数据。本文拆解这一攻击手法的机理、UA信任链崩塌的原因,以及机器身份验证为何正在成为身份安全的新战场。
有安全团队披露,一名攻击者把自家扫描工具的 User-Agent 改成了 OpenAI、Anthropic、Meta 等公司官方 AI 爬虫的标识,长时间在互联网上搜寻暴露的数据和凭据。管理员在日志里看到的,不是可疑的陌生扫描,而是「GPTBot 来过」「ClaudeBot 来过」——于是顺手放行。
这是一起值得所有安全团队停下来想一想的事件。它真正的杀伤力不在某个新漏洞,而在一条被沿用二十年的默认信任被悄悄击穿:User-Agent 从来都不是身份凭证,但在 AI 爬虫时代,太多人把它当成了。
🕵️ 马甲是怎么穿上的
伪装成搜索引擎爬虫做侦察,是渗透测试里最古老的手法之一。老派攻击者冒充 Googlebot,因为站长不敢封搜索引擎,怕掉收录。今天剧本原样重演,只是主角换成了 AI 爬虫——而且这一次,攻击者借了一股前所未有的「势」。
过去一年,GPTBot、ClaudeBot、meta-externalagent 这些名字大量涌入网站访问日志。AI 公司为了训练模型和构建搜索产品,以远超传统爬虫的频率抓取全网。对站长来说,这些流量是「新客人」:要么在 robots.txt 里欢迎,要么一刀切屏蔽,很少有人会去验证每一个自称 AI 爬虫的请求是不是真的。
攻击链并不复杂:
据多位一线应急响应从业者私下交流,这类伪装扫描在实际攻防中并不罕见,只是这次攻击者「蹲守」的时间足够长、目标足够明确——专门找暴露在公网的登录入口和敏感数据。而防御方之所以长时间没有察觉,恰恰是因为日志里全是「合法访客」。
产业逻辑很直白:攻击者从不发明新东西,他们只是寄生在每一波新的流量趋势上。 AI 爬虫潮造就了一片天然掩体,谁混在里面都难以分辨。
⚠️ 为什么一条UA能骗过所有人
这一招能得逞,根子在 Web 世界遗留的信任模型上。识别爬虫,绝大多数站点靠的就是那一行 User-Agent 字符串——客户端自己声明「我是谁」,服务端照单全收。这在浏览器时代勉强够用,因为浏览器流量占绝对大头,爬虫只是零头,误伤成本可控。
AI 时代情况反过来了:爬虫流量暴涨,而每一行 UA 都可以被人任意写在 HTTP 请求头里。你日志里那条「GPTBot」,可能来自 OpenAI 的机房,也可能来自任何一个装了 curl 的攻击者。字符串本身不携带任何密码学意义上的证明。
| 爬虫标识 | 所属公司 | 防御方核验思路 |
|---|---|---|
| GPTBot / OAI-SearchBot | OpenAI | 反向DNS解析回官方网段后再放行 |
| ClaudeBot | Anthropic | 与官方公布网段比对后再放行 |
| meta-externalagent | Meta | 结合来源IP归属与行为特征交叉核验 |
各家 AI 公司其实都提供了验证爬虫真伪的官方途径,核心思路大同小异:对来源 IP 做反向 DNS,解析回官方域名后再正向解析比对。但据一线安全人员的普遍感受,真正部署了这一步验证的站点是少数——大多数团队连「自己的网站被哪些爬虫抓过」都说不清楚。
把当前主流防御手段放到一张图上看,分层非常明显:
左下角是今天的普遍现状——靠 IP 信誉库和 UA 黑名单打补丁;右上角是方向,但落地率极低。防御水位和攻击水位之间的落差,就是这起事件的发生空间。
📈 爬虫洪流冲垮了流量基线
第二个被冲垮的,是安全运营的「正常流量」基线。
传统 SOC 的经验法则之一:非浏览器流量、高频请求、扫描行为,等于可疑。这套启发式在爬虫占比很低的年代运转良好。而现在,一个内容站每天可能被各家 AI 爬虫抓取成千上万次,SOC 面对的是一片「合法的洪流」——你不可能逐条审查,只能建立规则放行。
规则一旦建立,攻击者要做的就是让请求「长得像规则里的样子」。把 UA 改成 GPTBot,速率控制在与真实爬虫相当的区间,请求路径模拟正常抓取模式——于是每一条日志看起来都合情合理。攻击者利用的不是规则的漏洞,而是规则建立时「爬虫大概率是真的」这个隐含假设。
产业层面的判断是:基于「声誉」的爬虫管理正在失效,必须升级为基于「验证」的机器身份体系。 声誉库记录的是「这个 IP 历史上像不像坏蛋」,而验证回答的是「这个请求密码学上证明了它是谁」。前者永远慢攻击者一步,后者才有确定性。
🔑 机器身份:身份安全被遗忘的另一半
把镜头拉远,这起事件暴露的是一个更大的空白:整个身份与访问安全(IAM)产业,过去二十年几乎全部围绕「人」来构建。员工的 SSO、MFA、最小权限,做得越来越精细;但另一大类访问主体——爬虫、脚本、API 调用、自动化任务——的身份治理,长期停留在「IP 白名单加 UA 过滤」的原始阶段。
AI 让这个空白急剧放大。一方面,AI 公司的爬虫以前所未有的规模访问网站;另一方面,AI Agent 正在成为新的网络访问主体——Agent 代替人去调用网站、抓取数据、执行操作。机器对机器的流量占比只会越来越高,而今天绝大多数站点对「机器访客」的身份核验能力,约等于零。
业界已经意识到了这一点。针对爬虫身份验证的方向,各家厂商和标准组织正在推进基于签名机制的方案——让爬虫请求携带可验证的密码学签名,网站用验证取代猜测。这条路本质上就是把「人的 SSO」逻辑搬到机器世界:身份要可证明,授权要可管理,撤销要可执行。
对安全厂商来说,这是一块正在成形的新市场:Bot 管理产品要从「拦截坏爬虫」升级为「认证所有爬虫」;WAAP 和 IAM 的边界会进一步模糊;谁先把机器身份做成可运营的产品,谁就拿到了 AI 流量时代的门禁系统订单。据多位接近厂商的人士观察,头部云厂商和 Bot 管理团队都已把机器身份验证列入路线图,落地节奏的差异主要在客户侧的迁移成本。
🛠️ 防御侧现在能做什么
标准落地需要时间,但攻击不会等人。对一线团队,有几件事本周就可以做:
第一,停止无条件放行 AI 爬虫 UA。 对自称 GPTBot、ClaudeBot、meta-externalagent 的流量,先做反向 DNS 核验再放行;核验不通过的,按可疑流量处理并告警。这一步的成本很低,能挡住绝大多数「贴牌攻击」。
第二,收敛暴露面永远是第一位的。 这次攻击的目标是暴露的登录页和数据。管理后台、备份文件、内部 API 没有任何理由直接暴露在公网——这比任何爬虫鉴别技术都更根本。攻击者伪装成谁不重要,重要的是你把门开在了哪。
第三,敏感路径默认拒绝所有非必要爬虫。 登录页、密码重置、用户数据接口,不需要任何 AI 爬虫来「学习」。一刀切的拒绝规则,比精细的放行规则更可靠。
第四,对 robots.txt 不抱幻想。 robots.txt 是君子协定,而这次事件里的主角恰恰不是君子。协定挡不住恶意方,能依赖的只有验证和访问控制。
第五,把「AI 爬虫 UA 但来源异常」设为告警规则。 UA 是官方爬虫、IP 却不属于官方网段——这是最简单也最有效的检测信号,值得在 WAF 和日志平台里立刻配上。
说到底,这次事件对防御方是一次低成本的提醒:你以为是访客名单的东西,其实只是一张可以随便打印的名片。
结语:信任必须重建,验证没有退路
冒充爬虫不是新技术,但 AI 爬虫的流量洪流给了它前所未有的掩护。这条马甲迟早会被普遍识破——反向 DNS、请求签名、机器身份管理,工具都在路上。真正需要重建的,是整个行业对「机器访客」的信任模型:从看名片,到查证件,再到发门禁卡。
AI 让「伪装成好人」的边际成本趋近于零,也让「验证身份」从可选项变成了唯一解。接下来一年的看点,是机器身份验证能否从头部网站的实践,变成全行业的默认配置——在那之前,每一个把 UA 当身份的站点,都是攻击者的猎场。