当"AI"来敲门，可能是来撬锁的

当一个自称 GPTBot 的访问者反复请求 /.env 文件时，它多半不是来做客的。

2025 年 2 月，安全公司 ReliaQuest 发布报告《Threat Actors Impersonating AI Crawlers to Steal Credentials》，披露了一起至少自 2025 年 1 月起持续进行的攻击活动：威胁行为者伪装成 OpenAI（GPTBot）、Anthropic（ClaudeBot）、Meta（Meta-ExternalAgent） 等公司的 AI 爬虫代理，在互联网上大规模扫描，目标直指暴露的凭据与敏感数据——其中被探测频率最高的目标路径，正是存储环境变量与密钥的 /.env 文件。这不是一次高深的APT，而是一次精准的产业级“搭便车”：借着 AI 爬虫大举进场、站长们不敢轻易封禁的窗口期，把扫描流量藏进正常噪音里。

🕵️ 一场藏在“正常噪音”里的扫描

金句先行：最好的伪装，不是把自己藏起来，而是把自己变成背景。

先还原一个典型场景。某公司的安全运营团队在例行巡检时发现，网站日志里出现大量自称来自 OpenAI、Anthropic 和 Meta 的爬虫请求。乍看没什么异常——过去一年，AI 训练爬虫的访问量激增，谁都习惯了。但细看请求路径，画风不对：这些“AI 爬虫”不关心正常内容，而是持续探测配置文件、备份目录、管理后台路径，行为模式与凭据搜集工具高度一致。

这正是 ReliaQuest 报告披露的核心事实：攻击者冒用主流 AI 公司的爬虫身份（User-Agent），进行不留情面的持续扫描，寻找暴露数据。也就是说，攻击的“外壳”是 AI，“内核”依然是那个古老的生意——搜集凭据，撬开大门。

为什么偏偏选 AI 爬虫做马甲？逻辑很直接，而且有数据支撑。其一，AI 爬虫流量在近年呈爆发式增长：Cloudflare Radar 的统计显示，AI 爬虫类流量在 2024 年已成为爬虫生态中增长最快的类别之一，主流 AI 公司的爬虫几乎访问过所有公开站点，日志里出现 GPTBot、ClaudeBot 不会引起警觉；其二，一个真实的案例足以说明这层身份的“豁免权”有多强——2024 年 4 月，iFixit CEO Kyle Wiens 公开抱怨，Anthropic 的 ClaudeBot 在 24 小时内对其站点发起了约 100 万次请求，远超其 robots.txt 中的抓取频率约定；其三，多数站点的识别手段仅停留在“看 User-Agent 字符串”——而这恰恰是全网最容易伪造的一个字段。

这类“名字很正规、行为很可疑”的流量已不再是个案。ReliaQuest 报告中给出了可核查的行为特征：攻击流量会以与真实 AI 爬虫完全一致的 User-Agent 访问站点，但请求目标集中在 /.env、/.git、/config 等凭据高发路径，且从不抓取正常页面内容。难点不在发现，而在定性——目前尚无官方公开的受害规模统计，但报告确认该活动是持续性的、以凭据窃取为明确目的的扫描。

产业逻辑层面，这件事暴露了一个结构性盲区：安全团队对“爬虫”的威胁模型还停留在上一个时代。爬虫不再是抓网页的小脚本，它正在成为一种“默认被信任的流量类别”，而信任恰恰是攻击者最想借用的东西。

🎭 爬虫身份，其实一直是纸糊的

金句先行：互联网从未真正解决过“你是谁”这个问题，爬虫尤其如此。

要理解这次攻击为何奏效，得先看清爬虫身份体系有多脆弱。目前主流的“爬虫识别”方式大致四档：

关键在于：前两档是当前绝大多数站点的默认配置，而后两档需要主动建设。换句话说，市面上大部分网站对爬虫的“身份认证”，约等于靠对方递上来的名片判断来客身份——而名片是可以印的。

看这张图会更直观：伪造的 AI 爬虫落在“高危伪装区”——身份不可验证，却盯着最敏感的数据；真正的 AI 训练爬虫虽然身份相对可验，但访问的往往是核心内容资产，属于需要治理的重点对象；而大量匿名扫描器则沉淀为背景噪音，恰恰为伪装提供了最好的掩体。

事实上，OpenAI、Anthropic 等厂商并非没有给出解法：OpenAI 在其官方文档中公布了 GPTBot 的网段信息并支持反向 DNS 核验（可通过解析 .openai.com 形式的记录确认来源）；Anthropic 同样在官方文档中提供了 ClaudeBot 的验证方法。问题在于产业侧的执行率——对绝大多数中小站点来说，“配置 UA 白名单”是十分钟的活，“搭建核验体系”是一个项目。攻击者赌的，正是这个执行力缺口。

值得注意的是，头部基础设施厂商已经动手收紧这个缺口：2025 年 7 月 1 日，Cloudflare 宣布对所有客户默认拦截已知的 AI 爬虫，并同步推出了允许内容方“按授权付费”的爬虫准入机制。这等于行业基础设施层第一次公开表态：AI 爬虫的默认身份，从“被信任”降级为“待盘查”。

这里的产业判断是：爬虫身份核验正在从“加分项”变成“必选项”。随着 AI 爬虫与人类流量、恶意流量的边界愈发模糊，谁能提供“可验证的爬虫身份”——无论是云厂商的验证机器人服务，还是签名的爬虫凭证体系——谁就有机会吃下一块新增的边界安全市场。

⚠️ 真正的漏洞，是你自己晾在外面的钥匙

金句先行：攻击者只是换了马甲，你暴露的资产却一直没变。

把镜头从攻击者拉回受害者一侧。本次活动的目标是凭据与暴露数据——这意味着，即便伪装被拆穿，只要暴露面治理到位，攻击者的收益就趋近于零。反过来说，这场攻击的全部“杀伤力”，其实来自于企业自己晾在门外的钥匙。

哪些东西最常被翻出来？结合攻击路径看，无外乎几类：硬编码在配置文件里的数据库连接串和 API 密钥、误传到 Web 目录的代码仓库与备份文件、缺乏访问控制的测试环境和后台路径、以及被搜索引擎或爬虫顺手收录的内部文档。它们有一个共同点：都不是“漏洞”，而是“放置不当”。

这也是近两年安全行业反复强调的趋势：边界在溶解，暴露面成为新的战场。攻击者不再费劲打穿防线，而是耐心等待企业自己把东西放到外面来。凭据搜集型扫描正是这条路线的极致形态——成本极低、门槛极低、收益却可能极高，因为一串泄露的密钥，往往就直通云环境和核心数据。

从产业逻辑看，这解释了为什么攻击者愿意花心思伪装成 AI 爬虫：扫描本身不值钱，“扫描不被发现”才值钱。当一种流量类别获得了事实上的豁免权，它就一定会被滥用。这不是第一次——历史上，攻击者曾把自己伪装成搜索引擎爬虫、安全扫描器、监控探针；AI 爬虫只是最新一件被穿走的外衣，也不会是最后一件。

对企业的启示因此非常具体：与其追问“这个爬虫是真的吗”，不如先回答“它就算是真的，凭什么能看到我的凭据”。前者是别人的问题，后者才是自己的问题。

🛡️ 防御清单：把“AI”从白名单里请出来接受盘查

金句先行：安全建设不缺方案，缺的是把常识执行到位的纪律。

落到实操层面，这份防御对照表值得每一个运维和安全团队过一遍：

逐条拆开看：

第一，身份核验前置。对任何自称 AI 爬虫的流量，先做官方 IP 段比对或反向 DNS 验证，验证不过的一律按可疑流量处理。这一步成本不高，却能直接废掉本次攻击的核心伪装。

第二，暴露面收敛。把“如果被爬到会怎样”当作资产分级标准：凭据全部进密钥管理，配置与备份文件下线或脱敏，测试环境与后台加访问控制。攻击者扫描的清单是公开的，你的修复清单也应该是公开的决心。

第三，主动布饵。蜜罐路径和金丝雀凭据是性价比极高的手段——任何正常爬虫都不会去请求一个不存在的配置文件，一旦有人碰了，几乎可以断定是恶意扫描，还能借此溯源其行为指纹。

第四，治理策略化。robots.txt 不是摆设，但也不能当保险箱。按“训练用途”“抓取用途”细分授权，定期审计，并对爬虫流量做独立限速——把 AI 流量从“默认信任”降级为“待验证”，是这次事件最该留下的组织记忆。

值得一提的是，这一领域的产品化已经落地，而非停留在预期：Cloudflare 的“阻止 AI 爬虫”一键开关与按授权准入机制已于 2025 年上线；多家 Bot 管理厂商（如 DataDome、HUMAN、F5）也已在产品中提供 AI 爬虫识别与按厂商粒度的放行/拦截策略。攻击者的每一次成功伪装，都在给这门生意写招股书——而这门生意已经开始交付了。

🔭 写在最后：信任需要成本，这是好事

金句先行：当“AI”这个字眼不再是免检通行证，互联网才算补上了一堂迟到的课。

回到这次事件本身：攻击手法算不上新颖，伪装对象却足够“应景”。它真正的价值在于提前暴露了一个正在成形的产业命题——当 AI 代理开始大规模代替人类访问互联网，“如何证明你是一个可信的访问者”将从技术细节升格为基础设施问题。

可以预见三条演进路径：其一，主流厂商会持续强化可验证的爬虫身份体系，签名凭证、网段公示、核验接口将成为标配；其二，网关侧的“AI 流量治理”能力会并入边界安全产品，成为 WAF 和 Bot 管理的新战场；其三，企业侧的暴露面管理将从“合规动作”前移为“攻击面经济学”的日常核算——毕竟攻击者已经在按经济学逻辑给你算账了。

对安全从业者，留一句务实的收尾：不要为“AI 被用来做坏事”焦虑，要为“AI 被用来做坏事时我们居然看不出来”而行动。信任从来不该免费，让它重新变得有成本——无论对攻击者，还是对每一个敲门的人。

参考信源

1. ReliaQuest，《Threat Actors Impersonating AI Crawlers to Steal Credentials》，2025 年 2 月发布

2. Kyle Wiens（iFixit CEO），公开博客《Anthropic's ClaudeBot 在 24 小时内对 iFixit 发起约 100 万次请求》，2024 年 4 月

3. OpenAI 官方文档：《GPTBot 爬虫说明与 IP 网段验证方法》

4. Anthropic 官方文档：《ClaudeBot 爬虫说明与反向 DNS 验证方法》

5. Cloudflare 官方博客：《默认阻止 AI 爬虫》及 AI 爬虫准入机制发布公告，2025 年 7 月 1 日

6. Cloudflare Radar：AI 爬虫流量统计与趋势数据，2024–2025 年度观测