黑客穿上了AI爬虫的马甲

最近一起攻击活动里，攻击者把流量伪装成OpenAI、Anthropic、Meta等公司的官方AI爬虫，大摇大摆地扫描目标站点，专找暴露的数据和凭据。没有0day，没有鱼叉邮件，利用的只是一样东西——整个行业对“知名AI爬虫”的默认信任。当大家还在争论AI爬虫该不该放行时，黑客已经先一步把这套身份做成了自己的隐身衣。

这轮活动在威胁情报圈被普遍称作“伪AI爬虫扫描”（fake AI crawler scanning）。它的时间线很清晰：2023年8月，OpenAI上线GPTBot，AI爬虫开始大规模出现在全网日志里；2024年7月，Cloudflare上线针对AI爬虫的一键屏蔽功能，等于官方承认“AI爬虫流量已成站点主要负担”；2025年7月起，SANS Internet Storm Center（ISC）的处置记录和GreyNoise的公开遥测先后确认，大量源IP开始冒用GPTBot、ClaudeBot、Meta-ExternalAgent等UA进行扫描——目标高度集中于.env、.git/config等敏感路径，且这些源IP中的大多数无法通过官方网段反向DNS验证。换句话说，攻击者赶在行业建立验证机制之前，先复用了行业正在建立的信任。

🕵️ 半夜三点，SOC里那条“无害”流量

最危险的流量，往往长着一副人畜无害的脸。

想象一个典型的夜间值守场景：SOC分析师盯着告警面板，几百条来自同一来源的扫描请求，User-Agent一栏写着熟悉的GPTBot、ClaudeBot。按过去一年的处置经验，这类请求大概率是AI公司抓数据，顶多算“骚扰”，标注、降级、放行，三步走完。没人会为一条“大厂爬虫”的告警把值班主管叫醒。

而这恰恰是这批威胁行为者押中的心理。ISC在2025年7月的公开记录中描述的正是这类场景：分析师面对自称GPTBot/ClaudeBot的请求，第一反应是放行，而真实目的往往直奔.env等凭据文件。对防御方来说，这不是一次新颖的漏洞利用，却是一次精准的信任模型利用——你检测的不是行为，是名片。

“长着大厂脸”的恶意流量明显变多，这一点有厂商遥测背书：GreyNoise公开数据记录了2025年夏季起冒用主流AI爬虫UA的扫描源IP的显著激增。原因也不难理解：AI大厂爬虫大规模出现后，站点出于获取AI引用流量的考虑，或者单纯不想惹麻烦，普遍对它们采取宽容策略。宽容一旦成为默认值，就有人来收割。

产业逻辑在此：检测规则基于声誉，而声誉建立在品牌之上。攻击者借用的不是谁的算力，而是品牌本身沉淀下来的信任。漏洞不在代码里，在流程和假设里。

🤖 AI爬虫为什么成了免检通行证

白名单放宽一寸，攻击面就宽出一丈。

robots.txt这个诞生于上世纪九十年代的协议，第一次同时被如此多的大厂高频访问：GPTBot、ClaudeBot、Meta的抓取程序，都在争夺全网内容的入口。Cloudflare Radar的数据显示，头部AI爬虫对热门站点的抓取强度在2024年下半年至2025年持续走高。站长们面对一个二元选择：欢迎（换取在AI回答中被引用的机会），或者屏蔽（保护内容资产）。

但无论选哪边，判断的前提都是同一个——先搞清楚“你是谁家的爬虫”。而现实中绝大多数站点的判断方式，是看请求自报家门的User-Agent字符串。UA是明文的、可任意篡改的一行文本。攻击者不需要破解任何东西，只需要把自己改成别人的名字。

这条攻击链走起来非常顺滑：

每一个环节用的都是“合规外衣”：以AI抓取的名义访问，频率模仿正常爬虫的节律，路径选择也伪装成对公开内容的抓取——直到碰到那个没锁门的目录。

反爬体系过去十年的默认假设——知名爬虫等于合规流量——在AI时代被击穿了。爬虫身份的供给方从几家搜索引擎扩展到十几家AI公司，验证手段却还停留在“看名片”阶段。伪造UA成本为零，识别伪造的成本却由每一个站点独自承担。

🔑 被扫走的从来不是页面，是身份

爬虫扫走的不是网页，是网页背后没锁门的身份。

这类扫描真正盯着的东西，从来不是那些本来就该公开的页面。攻击者的路径清单高度一致，指向的都是Web可达范围内的“身份资产”：

机器身份的欠账有多深，有可查的数据：GitGuardian《2024年Secrets外泄状态报告》统计，仅2023年一年，公开GitHub仓库中新增约1280万个明文密钥，且2022年泄露的密钥中约70%在一年后仍然有效。实例也并不遥远：2025年7月，Wiz对1645个用AI编程工具Lovable生成的应用做了一次扫描，发现其中170个应用直接把生产密钥和数据暴露在Web可达的路径上——其中相当一部分用的是AI时代最常见的“ vibe coding ”流水线，密钥散落在构建产物里，爬虫一扫一个准。

这些资产的共同特征是：一旦被拿走，攻击者获得的就是一个“合法身份”。用泄露的云密钥调API，日志里看到的是一次正常授权调用；用配置文件里的数据库口令连库，防火墙看到的是一次正常连接。检测视角里，攻击者的每一步都长得像内部人。

这正是身份与访问安全长期欠账的集中爆发。密钥长期有效、从不轮换、硬编码在代码里，访问权限只加不减。人类员工好歹还有入职离职流程，而一把写进.env的Access Key，可能从项目上线活到团队解散。

AI爬虫伪装只是打开了门，门后真正被搬走的是机器身份。这也是为什么这起活动值得所有在用云的团队复盘——问题表面在爬虫，根子在“你的密钥为什么放在爬虫够得着的地方”。

⚙️ 伪造与验证的军备竞赛

当伪装成本趋近于零，验证就成了唯一护城河。

防御侧并非没有解法，关键在于把信任锚点从“自报家门”挪到“难以伪造的属性”。目前业界公开的思路主要有三层：第一层，IP反解校验——Cloudflare在2024年7月屏蔽AI爬虫时就明确采用反向DNS验证官方网段，主流AI公司也大多公开了抓取网段；第二层，行为指纹分析，真实爬虫有稳定的抓取节律、路径偏好和并发模式，伪装者很难长时间保持一致；第三层，蜜罐诱捕，在站点上放置合法爬虫永远不会访问的隐藏路径，谁碰了谁就可疑。

图上左下角那个“UA黑名单”，恰恰是今天大多数站点正在用的方案——把可疑UA拉黑。这本质上是承认了“名单里的人都是好人”，而这起攻击活动已经证明此路不通。

产业层面，Cloudflare等头部厂商已经把Bot管理做成了独立产品线，验证能力正在从“认UA”演进到“认IP加认行为”，并在2025年进一步推出Web Bot Auth测试方案——要求爬虫用加密签名的HTTP消息自证身份，把验证从字符串时代推进到密码学时代。军备竞赛才刚开始，但天平正在向防御方有产品的这一侧倾斜。

🏗️ 信任链断裂之后，长出了什么生意

每一次信任链断裂，都会长出一门新生意。

这起事件踩中的是三条正在升温的产品线。一是Bot管理：AI爬虫流量激增让“区分好爬虫与坏爬虫”从运维问题变成了商业问题，内容站点愿意为精准识别付费；二是机器身份安全：密钥泄露治理、短生命周期凭证、自动轮换，正在变成合规与实战的双重要求；三是资产测绘与密钥扫描：大量暴露根源于“不知道自己有什么在网上”，Wiz对Lovable应用的扫描结果就是这一信息差的量化呈现。

还有一个值得注意的转向：过去一年，业界谈论“AI安全”时，注意力大多放在提示注入、模型越狱这些“新问题”上。而这起攻击活动提醒市场，AI时代相当一部分真实攻击，是借AI之名行传统攻击之实——老瓶新酒，但瓶子的迷惑性翻了几倍。安全预算的流向大概率会随之调整：从“防模型”部分转向“防借AI之名的攻击”，后者的市场确定性其实更高。

对厂商而言，谁能把“验证AI身份”做成标准化能力——正如Web Bot Auth这类签名凭证方案试图做到的——谁就站在了新一轮信任基建的起点上。

🧭 给防御者的五件事

防御不缺新工具，缺的是把默认信任收回来。

落到执行层面，这起事件给出的动作清单其实很短：

1. 所有AI爬虫身份一律做IP反解验证，不认UA自报家门。对不上官方网段的，一律按陌生流量处理。

2. 对未通过验证的爬虫全站限流，敏感路径直接拒绝，不要给“看起来像大厂”的请求任何例外。

3. 资产测绘常态化。定期检查Web根目录、备份目录、构建产物里有没有.env、密钥文件和版本目录，这是性价比最高的一步。

4. 机器密钥短生命周期化。云密钥、数据库口令配置自动轮换，做到“今天泄露的钥匙明天作废”。

5. 部署蜜罐路径并接入告警。合法流量永远不会踩到的地方被踩了，就是最高置信度的入侵信号。

这五件事没有一件