黑客开始冒充 AI 机器人了
攻击者伪装成 OpenAI、Anthropic、Meta 等公司的 AI 爬虫,批量扫描互联网上暴露的凭据与敏感数据。AI agent 带来的信任红利正在被攻击者借壳,传统的 robots.txt 与 UA 白名单机制出现裂缝,机器身份验证正在成为新的安全主战场。
安全团队最近在日志里看到一种很"体面"的流量:请求头里自称 GPTBot、ClaudeBot,来自"OpenAI""Anthropic""Meta"的采集代理,规规矩矩地按爬虫节奏访问站点。没人觉得奇怪——直到有人顺着这批流量追下去,发现它们真正感兴趣的不是页面内容,而是 .env 文件、备份目录和内部接口里的凭据。
一个新攻击面正在成形:攻击者大量伪装成 AI 厂商的官方爬虫与 agent,扫描互联网上暴露的数据和凭据。AI 的信任红利,正在被攻击者借壳套现。
🤖 一件 AI 马甲,成了攻击者的隐身衣
先讲一个一线场景。
一位互联网公司的安全运维,在 WAF 日志里例行巡检时发现,一批自称来自 OpenAI、Anthropic、Meta 等公司的 agent 流量,正在高频探测站点的配置文件路径、对象存储桶和几个未公开的内部 API。按老经验,AI 爬虫抓公开网页,无所谓。但当他把这批流量的目标路径拉出来排序,敏感词密度高得反常。
这不是某家大厂的采集行为,而是威胁行为者有组织的凭据狩猎——只是披上了 AI 的皮。
这件事的杀伤力在于心理层面:过去几年,站长们被训练出了一种条件反射——AI 巨头的爬虫来了,说明你的内容有被收录的价值,是"好事"。有的站点甚至主动放行,生怕错过 AI 时代的流量入口。攻击者利用的正是这种心理:一个自称 GPTBot 的请求,抵达目标时默认携带了大厂背书的"体面感",守门人会不自觉地降低审查等级。
攻击链其实非常朴素:
没有零日漏洞,没有复杂载荷,攻击者只需要改一个 User-Agent 字符串。最先进的伪装,用的是最原始的技术——这恰恰是最值得警惕的信号:当攻击成本低到只需要撒谎,防御就必须从"识别内容"升级到"验证身份"。
🔑 为什么 AI 爬虫是完美的伪装外衣
要理解这场伪装为什么有效,得看 AI 公司自己造的轮子。
为了抓取训练数据和检索内容,OpenAI 推出了 GPTBot 等爬虫标识,Anthropic 有 ClaudeBot 系列爬虫,Meta 也上线了外部采集代理。行业约定俗成的机制是 robots.txt 声明加 UA 自报家门:爬虫说自己是谁,站点决定放不放。这套机制沿用了三十年,前提只有一个——bot 是低价值流量,骗你也没多大好处。
Agent 时代把这个前提砸了。AI agent 是"高价值可信流量",能替用户下单、检索、调用 API,站长巴不得它进来。于是大量站点对 AI 爬虫一路绿灯。行业里私下流传的判断很直白:现在伪装成 AI 爬虫,是性价比最高的流量伪装方式,因为没人拦,拦了还怕错杀。
下面是主流 AI 爬虫的公开情况:
| 爬虫标识 | 所属公司 | 声明用途 | 站点常见的验证方式 |
|---|---|---|---|
| GPTBot | OpenAI | 训练数据采集 | 公布 IP 段 + 反向 DNS |
| ClaudeBot 系列 | Anthropic | 训练与检索 | 反向 DNS 校验 |
| Meta 采集代理 | Meta | 内容采集 | 官方 IP 段比对 |
| Google-Extended | 控制训练数据使用 | robots.txt 声明 | |
| PerplexityBot | Perplexity | 搜索检索 | 反向 DNS(曾被质疑伪装绕过) |
问题就出在验证这一列。绝大多数站点根本不做验证,只看 UA 字符串。即便做了,官方 IP 段列表更新有滞后,反向 DNS 需要逐请求查询,成本敏感的中小站点往往选择"信任但不验证"。
产业逻辑随之清晰:AI 厂商为爬虫建立的"身份声明体系",本质是自报家门而非密码学证明。攻击者冒用这个体系,几乎零成本。信任声明发得越多,冒领信任的成本就越低。
⚠️ Agent 时代的信任模型正在漏水
把镜头拉远,这不是一次孤立的攻击活动,而是一类结构性矛盾的第一次显形。
互联网原有的"人机区分"机制——验证码、速率限制、robots.txt——建立在三个假设上:bot 价值低、bot 身份无所谓、bot 不该碰敏感资源。Agent 把三个假设全部击穿:agent 是高价值流量,身份自带大厂光环,且天然要接触用户授权下的敏感资源。
于是站长陷入两难:封,可能错杀真正的官方 agent,丢掉 AI 分发入口;放,可能放进一个改了 UA 的攻击者。两难的本质,是机器身份缺乏可验证的凭证。
安全圈内部的讨论已经从"要不要管 AI 爬虫"转向"如何验证机器身份"。多位接近厂商的人士透露,主流 bot 管理厂商都在加紧推出 agent 流量的验证方案,IETF 社区也在推进让爬虫携带密码学签名的工作草案,思路是用请求签名替代 UA 自报家门——相当于给机器人发身份证。
这背后的产业判断是:机器身份会复刻十年前"零信任"的路径。当年"从不信任、始终验证"从口号变成企业标配,用了将近十年;如今轮到机器侧,节奏只会更快,因为 agent 的规模化速度远超当年的远程办公。
各类防御方案在格局中的位置大致如下:
左下角的 robots.txt 白名单是今天的默认姿势,但它挡不住冒名者;右上角的密码学签名身份是终局,但生态还没就位。未来一两年,真正的主战场在中间带——谁能把"验证成本低到无感"和"验证强度足够硬"同时做到,谁就拿走这个市场。
🛡️ 防御实战:把"信任"逐条验证
落到企业侧,这件事今天就能动手,不需要等技术标准。
一线应急和渗透经验给出的判断很明确:对付"冒名 AI 爬虫",核心不是拦爬虫,而是砍掉它想偷的东西的可达性。攻击者赌的是你的敏感路径对"体面流量"不设防,那你就让所有流量在敏感路径上一视同仁。
具体清单如下:
几条值得展开:
第一,敏感路径全拒绝,不看 UA。 .env、.git、备份文件、内部 API 文档,这类资源对任何自报为爬虫的流量都应默认 403。真正的大厂爬虫不会碰它们,会碰的必有问题。
第二,验证要走"官方渠道闭环"。 用 AI 厂商自己公布的 IP 段和反向 DNS 做双重校验,别信任任何第三方转发的"爬虫名单"——名单本身也可能是攻击者投喂的。
第三,把密钥从"可被扫到"的位置挪走。 这次攻击的目标是凭据,最根本的解法是让凭据短时效、细粒度、不落盘。攻击者扫到再多的路径,拿不到可用密钥,攻击链就断在第三步。
一位做过多次数据泄露应急的安全负责人私下说过一句话,很传神:被扫不可怕,可怕的是你的密钥就躺在被扫得到的地方等着。边界上省下的每一分钟验证成本,都会在应急响应时加倍还回去。
💰 一个正在长出来的市场:机器身份管理
从攻击事件回到产业盘面,这场"AI 皮"伪装潮指向的是一个正在成形的赛道:机器身份与 agent 鉴权。
传统身份安全解决的是"人的访问"——SSO、MFA、IAM,围绕员工和客户。但 agent 的规模化让"机器的访问"数量级暴涨:每个 agent 都可能携带用户授权,独立发起请求、调用 API、访问数据。今天冒充 AI 爬虫偷凭据只是序幕,等 agent 真正替人办事时,"这个请求到底是哪家厂商的 agent、拿着谁的授权"将成为每个企业必须回答的问题。
Cloudflare、Akamai、DataDome、HUMAN Security 这些 bot 管理厂商已经卡位,AI 厂商自己也在补课——公布 IP 段、参与签名标准的制定。据多位接近人士观察,部分大型企业的安全团队已开始把"agent 流量白名单策略"列入年度评估项,这在此前是从未有过的预算科目。
用一个脑图概括这个防御体系的骨架:
对创业公司而言,机会在标准落地前的窗口期:签名验证、agent 授权管理、机器身份治理,每一条都是可以单独成立产品的缝隙。对存量厂商而言,风险在于这套能力可能被云厂商直接内嵌进 WAF,变成又一项"平台默认功能"。
小结
攻击者冒充 OpenAI、Anthropic、Meta 的爬虫扫凭据,技术含量不高,但信号价值极高:AI 建立的信任,第一次被系统性反向利用。这不是某个漏洞的补丁问题,而是机器身份体系的真空问题。robots.txt 时代的"自报家门"已经撑不住 agent 的规模,密码学签名、可验证的机器身份会在未来两三年从草案变成标配。对企业来说,动作可以先行——验证每一次"体面"的流量,把密钥藏好。信任是稀缺资源,在 agent 时代尤其如此。