🏢 公司C档 · NaN分

AI爬虫的马甲,成了黑客的隐身衣

··约1分钟阅读

📋 总体概括

攻击者将扫描器的User-Agent伪装成OpenAI、Anthropic、Meta等公司的官方AI爬虫,混入爬虫流量洪流中搜寻暴露的凭据与数据。本文拆解这一攻击手法的机理、UA信任链崩塌的原因,以及机器身份验证为何正在成为身份安全的新战场。

📄 正文

有安全团队披露,一名攻击者把自家扫描工具的 User-Agent 改成了 OpenAI、Anthropic、Meta 等公司官方 AI 爬虫的标识,长时间在互联网上搜寻暴露的数据和凭据。管理员在日志里看到的,不是可疑的陌生扫描,而是「GPTBot 来过」「ClaudeBot 来过」——于是顺手放行。

这是一起值得所有安全团队停下来想一想的事件。它真正的杀伤力不在某个新漏洞,而在一条被沿用二十年的默认信任被悄悄击穿:User-Agent 从来都不是身份凭证,但在 AI 爬虫时代,太多人把它当成了。

🕵️ 马甲是怎么穿上的

伪装成搜索引擎爬虫做侦察,是渗透测试里最古老的手法之一。老派攻击者冒充 Googlebot,因为站长不敢封搜索引擎,怕掉收录。今天剧本原样重演,只是主角换成了 AI 爬虫——而且这一次,攻击者借了一股前所未有的「势」。

过去一年,GPTBot、ClaudeBot、meta-externalagent 这些名字大量涌入网站访问日志。AI 公司为了训练模型和构建搜索产品,以远超传统爬虫的频率抓取全网。对站长来说,这些流量是「新客人」:要么在 robots.txt 里欢迎,要么一刀切屏蔽,很少有人会去验证每一个自称 AI 爬虫的请求是不是真的。

攻击链并不复杂:

据多位一线应急响应从业者私下交流,这类伪装扫描在实际攻防中并不罕见,只是这次攻击者「蹲守」的时间足够长、目标足够明确——专门找暴露在公网的登录入口和敏感数据。而防御方之所以长时间没有察觉,恰恰是因为日志里全是「合法访客」。

产业逻辑很直白:攻击者从不发明新东西,他们只是寄生在每一波新的流量趋势上。 AI 爬虫潮造就了一片天然掩体,谁混在里面都难以分辨。

⚠️ 为什么一条UA能骗过所有人

这一招能得逞,根子在 Web 世界遗留的信任模型上。识别爬虫,绝大多数站点靠的就是那一行 User-Agent 字符串——客户端自己声明「我是谁」,服务端照单全收。这在浏览器时代勉强够用,因为浏览器流量占绝对大头,爬虫只是零头,误伤成本可控。

AI 时代情况反过来了:爬虫流量暴涨,而每一行 UA 都可以被人任意写在 HTTP 请求头里。你日志里那条「GPTBot」,可能来自 OpenAI 的机房,也可能来自任何一个装了 curl 的攻击者。字符串本身不携带任何密码学意义上的证明。

爬虫标识所属公司防御方核验思路
GPTBot / OAI-SearchBotOpenAI反向DNS解析回官方网段后再放行
ClaudeBotAnthropic与官方公布网段比对后再放行
meta-externalagentMeta结合来源IP归属与行为特征交叉核验

各家 AI 公司其实都提供了验证爬虫真伪的官方途径,核心思路大同小异:对来源 IP 做反向 DNS,解析回官方域名后再正向解析比对。但据一线安全人员的普遍感受,真正部署了这一步验证的站点是少数——大多数团队连「自己的网站被哪些爬虫抓过」都说不清楚。

把当前主流防御手段放到一张图上看,分层非常明显:

左下角是今天的普遍现状——靠 IP 信誉库和 UA 黑名单打补丁;右上角是方向,但落地率极低。防御水位和攻击水位之间的落差,就是这起事件的发生空间。

📈 爬虫洪流冲垮了流量基线

第二个被冲垮的,是安全运营的「正常流量」基线。

传统 SOC 的经验法则之一:非浏览器流量、高频请求、扫描行为,等于可疑。这套启发式在爬虫占比很低的年代运转良好。而现在,一个内容站每天可能被各家 AI 爬虫抓取成千上万次,SOC 面对的是一片「合法的洪流」——你不可能逐条审查,只能建立规则放行。

规则一旦建立,攻击者要做的就是让请求「长得像规则里的样子」。把 UA 改成 GPTBot,速率控制在与真实爬虫相当的区间,请求路径模拟正常抓取模式——于是每一条日志看起来都合情合理。攻击者利用的不是规则的漏洞,而是规则建立时「爬虫大概率是真的」这个隐含假设。

AI爬虫时代的防御重构
痛点 1
UA字符串可被任意伪造,不能再当身份凭证
→
解法
用反向DNS与官方网段校验爬虫真实性,再决定放行
痛点 2
爬虫流量激增冲垮安全团队的审查基线
→
解法
建立机器流量分级清单,白名单放行、其余默认观察
痛点 3
登录页、备份与内部系统暴露在公网
→
解法
收敛暴露面,敏感路径对非必要爬虫一律拒绝
痛点 4
机器身份治理长期缺位
→
解法
将爬虫与AI Agent纳入统一的身份与访问体系

产业层面的判断是:基于「声誉」的爬虫管理正在失效,必须升级为基于「验证」的机器身份体系。 声誉库记录的是「这个 IP 历史上像不像坏蛋」,而验证回答的是「这个请求密码学上证明了它是谁」。前者永远慢攻击者一步,后者才有确定性。

🔑 机器身份:身份安全被遗忘的另一半

把镜头拉远,这起事件暴露的是一个更大的空白:整个身份与访问安全(IAM)产业,过去二十年几乎全部围绕「人」来构建。员工的 SSO、MFA、最小权限,做得越来越精细;但另一大类访问主体——爬虫、脚本、API 调用、自动化任务——的身份治理,长期停留在「IP 白名单加 UA 过滤」的原始阶段。

AI 让这个空白急剧放大。一方面,AI 公司的爬虫以前所未有的规模访问网站;另一方面,AI Agent 正在成为新的网络访问主体——Agent 代替人去调用网站、抓取数据、执行操作。机器对机器的流量占比只会越来越高,而今天绝大多数站点对「机器访客」的身份核验能力,约等于零。

业界已经意识到了这一点。针对爬虫身份验证的方向,各家厂商和标准组织正在推进基于签名机制的方案——让爬虫请求携带可验证的密码学签名,网站用验证取代猜测。这条路本质上就是把「人的 SSO」逻辑搬到机器世界:身份要可证明,授权要可管理,撤销要可执行。

对安全厂商来说,这是一块正在成形的新市场:Bot 管理产品要从「拦截坏爬虫」升级为「认证所有爬虫」;WAAP 和 IAM 的边界会进一步模糊;谁先把机器身份做成可运营的产品,谁就拿到了 AI 流量时代的门禁系统订单。据多位接近厂商的人士观察,头部云厂商和 Bot 管理团队都已把机器身份验证列入路线图,落地节奏的差异主要在客户侧的迁移成本。

🛠️ 防御侧现在能做什么

标准落地需要时间,但攻击不会等人。对一线团队,有几件事本周就可以做:

第一,停止无条件放行 AI 爬虫 UA。 对自称 GPTBot、ClaudeBot、meta-externalagent 的流量,先做反向 DNS 核验再放行;核验不通过的,按可疑流量处理并告警。这一步的成本很低,能挡住绝大多数「贴牌攻击」。

第二,收敛暴露面永远是第一位的。 这次攻击的目标是暴露的登录页和数据。管理后台、备份文件、内部 API 没有任何理由直接暴露在公网——这比任何爬虫鉴别技术都更根本。攻击者伪装成谁不重要,重要的是你把门开在了哪。

第三,敏感路径默认拒绝所有非必要爬虫。 登录页、密码重置、用户数据接口,不需要任何 AI 爬虫来「学习」。一刀切的拒绝规则,比精细的放行规则更可靠。

第四,对 robots.txt 不抱幻想。 robots.txt 是君子协定,而这次事件里的主角恰恰不是君子。协定挡不住恶意方,能依赖的只有验证和访问控制。

第五,把「AI 爬虫 UA 但来源异常」设为告警规则。 UA 是官方爬虫、IP 却不属于官方网段——这是最简单也最有效的检测信号,值得在 WAF 和日志平台里立刻配上。

说到底,这次事件对防御方是一次低成本的提醒:你以为是访客名单的东西,其实只是一张可以随便打印的名片。

结语:信任必须重建,验证没有退路

冒充爬虫不是新技术,但 AI 爬虫的流量洪流给了它前所未有的掩护。这条马甲迟早会被普遍识破——反向 DNS、请求签名、机器身份管理,工具都在路上。真正需要重建的,是整个行业对「机器访客」的信任模型:从看名片,到查证件,再到发门禁卡。

AI 让「伪装成好人」的边际成本趋近于零,也让「验证身份」从可选项变成了唯一解。接下来一年的看点,是机器身份验证能否从头部网站的实践,变成全行业的默认配置——在那之前,每一个把 UA 当身份的站点,都是攻击者的猎场。

本文由本站 AI 辅助聚合生成,原始来源如下:

🔎 本文基于以下资讯(素材溯源 · 信息来源)

📰 相关阅读推荐(与本文相关的其他资讯)