AI爬虫,成了黑客的隐身衣
攻击者伪装成 OpenAI、Anthropic、Meta 等公司的官方AI爬虫,持续扫描互联网寻找暴露的凭据与数据。本文拆解这场'假面爬虫'攻击的机理与成本结构,指出UA即信任的旧秩序正在失效,并给出身份核验、资产收敛、流量可观测等实战防御路径。
安全团队正在为同一个问题分成两派:AI爬虫,放还是不放?
而在争论尚未落地的空档里,已经有攻击者换上了 OpenAI、Anthropic、Meta 的“皮肤”——把自家扫描器伪装成这些公司的官方代理,在互联网上不声不响地翻找暴露的数据与凭据。SecurityWeek 报道的这起活动,技术上没有任何新意,却精准踩中了当下最软的一块:当UA(User-Agent)即信任的旧秩序,撞上AI流量洪峰,裸奔的不只是数据,还有整个爬虫身份体系。
这篇文章想讲清楚三件事:攻击者为什么选择这身皮,产业为什么恰好留出了这道缝,以及一线团队现在就能做的事。
🔍 一场“教科书式”的伪装扫描
最危险的流量,往往长着一张“正经脸”。
报道所描述的活动画像并不复杂:一名威胁行为者持续不断地扫描(relentlessly),伪装成 OpenAI、Anthropic、Meta 等公司的代理,目的只有一个——找到暴露的数据与凭据。拆开看有三个关键点:
- 伪装对象全部是头部AI公司的官方爬虫命名,选择的是当下“信用最高”的一批机器身份;
- 目标是凭据而非页面内容——拿到密钥和配置,等于拿到下一阶段的入场券;
- 节奏是持续、自动化、长跑式的,不追求一波爆发,而是一寸一寸地磨。
产业逻辑也在这里:攻击成本几乎为零。一个HTTP请求头里的字符串,就能借走全球最知名AI公司的信用。攻击者没有发明新漏洞,没有利用任何0day,他只是复用了一个新常态——站点愿意被AI爬。防御方真正的难题不是技术,而是心理:日志里那个“像官方”的名字,天然会降低人的警惕。
📊 把报道读成数据:哪些可核验,哪些还未知
这类报道最容易被一句“提高警惕”带过,值得先停下来把硬信息摊开。
1. UA样本可以直接比对。 三家厂商的官方爬虫UA都是公开、可查的:
- OpenAI
ChatGPT-User:Mozilla/5.0 AppleWebKit/537.36 (KHTML, compatible; ChatGPT-User/1.0; +https://openai.com/bot) - Anthropic
ClaudeBot:Mozilla/5.0 AppleWebKit/537.36 (KHTML, compatible; ClaudeBot/1.0; +claudebot@anthropic.com) - Meta
meta-externalagent:meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)
注意一个可操作的细节:正牌UA都带有可回溯的验证后缀——官方URL或联系邮箱。伪装流量借用的只是产品名,后缀往往缺失、被篡改或版本号对不上厂商文档。
2. IP核验有公开入口。 OpenAI 在 https://openai.com/chatgpt-user.json 公布 ChatGPT-User 的官方IP段(GPTBot、OAI-SearchBot 亦有对应文件);Anthropic 在开发者文档中提供 ClaudeBot 的已验证IP列表;Meta 的爬虫流量统一来自 AS32934。核验所需的数据源全部免费且公开,不存在“做不了”的问题。
3. 受害面的基底是长期公开的事实。 该活动的目标路径——/.env、/.git/config、/.aws/credentials、数据库备份压缩包、管理后台——多年以来一直是公开扫描的重灾区:Shodan 等测绘平台长年可检索到数以万计暴露的 .env 文件与 .git 目录。换句话说,攻击者选的不是新鲜漏洞,而是一块从未愈合的旧伤。
4. 时间窗口与规模,目前无法核验的部分要诚实标出。 报道将该活动描述为持续性的长期扫描,但未披露精确起始时间、受害站点数量与攻击者归属。旁证来自蜜罐侧:2025年以来,GreyNoise 等威胁观测平台多次公开报告过“夹带AI爬虫UA的扫描流量”显著上升。规模尚无权威统计,但方向一致:这不是孤立事件,而是一类正在放量的手法。
这里有一个值得记住的判断:攻击者没有发明新漏洞,他只是复用了一个新常态。而“持续低频、失败即换身份”的节奏,恰好是为绕过告警阈值设计的——不吵不闹,一寸一寸地磨。
🤖 假扮AI,为什么成了好生意
信任,是当前最廉价的攻击面。
要理解这场攻击为什么成立,得先看供给侧的变化。AI搜索和agent浏览兴起之后,站点运营方对AI爬虫的态度发生了一百八十度转弯:被 OpenAI、Anthropic、Meta 的爬虫抓取,意味着内容有机会进入大模型的训练语料和回答引用,等于免费的流量入口和品牌曝光。运营侧的KPI是“被收录”,安全侧的KPI是“别出事”——两个目标天然打架。
据多位接近一线安全运营的人士透露,不少团队目前的实际做法是:对声明自己是AI官方爬虫的流量“高抬贵手”,最多做限速,不轻易封禁——毕竟谁也不愿意成为那个“把公司挡在AI时代门外”的人。这种业务压力,让AI爬虫名成了互联网上待遇最好的身份之一。
缝隙由此产生:一个自报家门为 ChatGPT-User 的请求,往往比一个无名爬虫得到更宽松的待遇。攻击者不需要攻破 OpenAI,只需要冒用它的名字。爬虫身份验证手段的防护价值排序大致是:纯UA白名单和robots.txt垫底,IP段比对加反向DNS居中,签名化的agent身份防护价值最高但标准化仍在推进——这段迁移期,就是假面爬虫的窗口期。
🧩 UA即身份的旧世界正在塌
HTTP头里没有身份,只有自我介绍。
回到协议本身:UA是请求方可任意填写的自述字段,robots.txt是君子协定,两者都不构成认证。换句话说,“AI爬虫名”已经成了新的公共皮肤,任何人都能穿。而现实是,即便 OpenAI、Anthropic 这些厂商已经把官方IP段和核验入口都准备好了,多数站点也没有把校验逻辑真正接上——运维侧没排期,安全侧没预算,于是一拖再拖。
这里要做一个重要的产业判断:这不是一次漏洞事件,而是一次对“身份默认可信”逻辑的套利。凡是“以名取人”的信任模型,都会被“起个好名字”攻击。过去我们经历过钓鱼邮件冒充CEO、冒充HR,现在轮到机器冒充机器——攻击面从“冒充人”扩展到了“冒充agent”。
更深一层看,爬虫身份验证正在经历从“自述制”到“核验制”的迁移,路径大致是三级台阶:
1. 自述制:看UA、看robots.txt——现状,形同虚设;
2. 核验制:比对官方公布IP段、做反向DNS验证——当前最务实的过渡方案;
3. 密码学制:请求带签名,可验证“确实是官方agent”——业内已有 Cloudflare 等厂商在推动标准化。
三级台阶之间的高度差,就是未来一到两年爬虫攻防的主战场。对安全团队来说,好消息是台阶二是眼下就能迈的;坏消息是,在行业整体迈上台阶三之前,每一张“正经脸”都值得多看一眼。
🛡️ 实战防御:三条针对本次活动的增量动作
对爬虫的态度不该是“放或禁”二选一,而是“验或拒”。通用的纵深防御原则此处不再重复,只讲三件与本次活动直接对应、且今天就能落地的事。
第一,把“名称核验”写成一升一降的规则,而不是一条方针。本次攻击给了我们一个难得的便利:正牌UA全部可查、官方IP段全部公开。落地就是一条检测规则——UA中含 ChatGPT-User / ClaudeBot / meta-externalagent,但源IP不在厂商公布段、反向DNS无法解析回官方域名 → 告警并默认降级限速,而非放行。这条规则不解决“放不放AI爬虫”的争论,它只解决“真假AI爬虫”的区分——先验身份,争论才有意义。
第二,利用攻击路径的“零误报”特征直接封禁。这是本次活动最值得拿走的一条增量洞察:/.env、/.git/config、/.aws/credentials、备份压缩包——正牌AI爬虫在正常业务下永远不会请求这些路径。这意味着针对这组路径的封禁规则误报率接近零,无需灰度、无需观察期,无论UA是什么都可以直接拒绝。如果日志里已经出现过这类请求,动作只有一个:立即轮换暴露过的全部凭据,不要等确认是否被抓到。
第三,把“身份核验”和“放行策略”解耦排期。很多团队卡在“放还是不放”的业务争论上,核验被一并搁置。本次事件证明这个顺序是错的:争论可以再吵一年,核验规则一条下午就能上线。先上核验,再谈放行——这才是从“以名取人”到“验明正身”的实际第一步。
| 鉴别项 | 正牌AI爬虫 | 本次伪装流量 |
|---|---|---|
| UA验证后缀 | 带官方URL或联系邮箱,可回溯 | 借用官方名,后缀缺失或对不上文档 |
| 来源IP | 落在厂商公布段内(如OpenAI的chatgpt-user.json) | 不在公布段,反向DNS解析失败 |
| 请求路径 | 遵循robots.txt与站点结构 | 直奔env、git、备份等敏感路径 |
| 行为节奏 | 规律、声明式 | 低频持续,失败即换身份 |
值得强调的是成本结构:上面三步几乎全是低成本动作。✅ 核验只需要一段比对逻辑和一份厂商IP列表;✅ 路径封禁是一行正则;✅ 密钥轮换是一次例行操作。真正贵的从来不是防御本身,而是凭据泄露之后的应急响应。
小结
AI爬虫把互联网的信任模型又往前推了一步:机器开始代表公司出面访问网络。当“身份”从人扩展到agent,身份与访问管理就必须把爬虫纳入管辖——这场假面爬虫攻击,只是新规则成型前的第一次示警。
可以预见,签名化的agent身份会逐步成为行业标配,自报家门的年代正在倒计时;而在此之前的每一天,都是伪装者的窗口期。防御的第一步不贵,也不复杂:官方IP列表已经摆在公开网址上,从今天起,别再只看UA上的名字。