自己搭站这些年服务器日志里什么样的爬虫都见过但这两年明显感觉不对劲UA 里开始出现 GPTBot、ClaudeBot、Bytespider 这些以前根本没见过的家伙而且它们访问的频率、抓取的深度比普通搜索引擎爬虫凶猛得多。更头疼的是这些 AI 爬虫抓走的内容会被拿去训练大模型站点流量涨了、带宽费用涨了内容却可能以完全不受控的方式被引用甚至复用。最近腾讯 EdgeOne 把基础 Bot 管理能力免费开放了专门针对 AI 爬虫做一键管控。我第一时间在真实站点上试了一遍从开通、配置到观察报表整个过程比预想中顺滑。这篇就把我的操作记录、踩坑点和对功能的理解都写出来给同样被 AI 爬虫骚扰的站长一个参考。1. 为什么 AI 爬虫突然成了“公敌”1.1 AI 爬虫和传统搜索引擎爬虫根本不是一回事传统搜索引擎爬虫比如 Googlebot、Bingbot、百度蜘蛛它们来抓取网页的核心目的是建立索引方便用户通过搜索结果找到你。这类爬虫有明确的 robots 协议约束抓取频率相对稳定抓到的内容最终会以链接形式给你带回流量。AI 爬虫则完全不同。GPTBot、ClaudeBot、Bytespider、Google-Extended 这些它们抓取网页的目的不是给你导流而是采集语料喂给大模型做训练。内容被抓走后流量不会回到你的站点你的文章、产品描述、技术文档反而可能变成别人 AI 产品的一部分。说得直白点这相当于别人搬走你的货架却连一张购物小票都没给你留下。1.2 被 AI 爬虫盯上会有什么实际影响第一个能直接感受到的问题是带宽和成本。AI 爬虫抓取网页时请求密度很高一个小型站点如果被重点关照日均请求量可能翻好几倍按流量计费的服务器账单会肉眼可见地涨。我自己就遇到过一次某天从 afternoon 开始日志刷屏查下来是一个未知爬虫在深度遍历全站。第二个问题是内容被“正当化”地盗用。很多 AI 爬虫会识别 robots.txt但如果你没有明确禁止它们访问它们就会默认你有意开放抓取。抓走的内容不会显示来源也不会给你带来任何用户属于典型的单方面索取。第三个问题是对真实数据统计的污染。AI 爬虫的访问会混淆统计工具里的 PV、UV 数据干扰你对用户真实行为的判断。如果你的站点做了推荐算法或者广告投放策略脏数据带来的负面影响会更明显。2. EdgeOne 基础 Bot 管理能力到底开放了什么2.1 EdgeOne 是什么腾讯 EdgeOne 是腾讯云推出的边缘安全加速平台可以简单理解为一套同时提供 CDN 加速和 Web 安全防护的全球网络。它和传统 CDN 的区别在于安全能力不是“附加模块”而是内置在边缘节点里的包括在这些节点上直接完成 Bot 识别和拦截不需要把请求回源到中心服务器再处理。Bot 管理是 EdgeOne 安全能力里针对自动化流量的一环之前更多面向中大型企业提供这次腾讯把“基础版本”开放出来免费使用覆盖范围包括 AI 爬虫识别和一键管控这两个最核心的场景。2.2 免费版到底能做什么先说清楚这次免费开放不是试用也不是限时活动只要是 EdgeOne 用户就能用。基础 Bot 管理能力里面我实测下来有几个关键功能内置 AI 爬虫特征库自动识别主流 AI 爬虫和未知自动化工具。一键开启拦截或观察模式不需要写任何规则。可视化报表能看到哪些爬虫在什么时候访问了什么路径。自定义规则可以按 UA、IP、区域等维度做精细管控。这里要注意一个定位基础版主要解决“AI 爬虫”这个具体问题不是完整的 Bot 防护体系。如果你的站点需要处理复杂的 CC 攻击、恶意登录撞库那还需要更专业的 Bot 防护方案。但就 AI 爬虫管控这个场景来说免费版的功能已经够用甚至对很多中小站点来说开放的功能已经超出预期。2.3 免费开放意味着什么AI 爬虫现在是全行业共同面对的问题不是大企业专属。以前小站长要想拦截这些爬虫只能自己写规则、维护 UA 黑名单还容易被新的爬虫绕过。EdgeOne 把 Bot 管理基础能力免费化真正的意义在于把“AI 爬虫识别和拦截”从专业技能变成了普通站长也能一键完成的默认操作。3. 核心功能拆解为什么“一键管控”能成立3.1 识别层靠什么认出 AI 爬虫AI 爬虫识别不能只靠 UA 关键字。虽然 GPTBot、ClaudeBot 这些会声明自己的 UA但也有些爬虫会伪装成普通浏览器或者搜索引擎。EdgeOne 的识别机制大概是三层叠加第一层是 UA 特征库覆盖主流 AI 爬虫的标识第二层是行为分析像抓取频率、访问路径深度、是否加载静态资源等第三层是威胁情报库把已经确认过的爬虫 IP 段、ASN 信息同步到边缘节点。这三层里行为分析对伪装 UA 的爬虫最有效。比如正常用户会加载图片、CSS、JS 文件但爬虫通常只请求 HTML这个特征在边缘节点上很容易被统计分析出来。3.2 决策层观察模式和拦截模式怎么选启用 Bot 管理时你会面对两个基础动作“观察”和“拦截”。观察模式下EdgeOne 会记录符合条件的 AI 爬虫请求但不采取动作相当于先摸个底拦截模式则是直接返回 403 或者 JS 挑战阻止爬虫继续访问。我建议第一次使用的人先开观察模式跑 24 到 48 小时看报表。因为每个站点的流量结构不一样有的站点可能本身就被百度、Google 正常收录而这些搜索引擎也有 AI 爬虫变种。先观察再拦截能避免误伤。3.3 一键管控的具体实现“一键管控”在操作上并不是直接把所有 AI 爬虫都拦死而是给你一个开关控制“针对已识别的 AI 爬虫执行什么动作”。你打开开关选择拦截所有命中特征库的 AI 爬虫请求就会在边缘节点被挡住根本到不了源站。这个开关的意义是不需要你理解每条规则的含义也不需要自己配置封禁条件安全团队已经把策略固化好了。背后的规则引擎同样支持自定义。你可以针对特定 UA、特定路径、特定国家或地区配置更精细的动作。比如你可能希望放行某个 AI 搜索服务的爬虫因为它能给你带量那就在自定义规则里单独设置白名单。3.4 和 CDN/WAF 的联动逻辑EdgeOne 的 Bot 管理和 WAF、CDN 是同一套边缘节点上执行的。请求到达节点后会先经过 CDN 缓存检查再走 Bot 识别最后过 WAF 规则。这意味着 Bot 拦截动作发生在离用户最近的地方不会增加回源压力也不会拖慢正常用户的访问速度。反过来如果你的源站 IP 被爬虫直接扫描绕过 CDN 直连源站那 EdgeOne 也拦不到这就需要你做好源站访问控制只允许 EdgeOne 回源。4. 实操记录从开通到拦截全流程4.1 开通 EdgeOne 并接入站点如果还没有 EdgeOne 账号需要先到腾讯云控制台开通 EdgeOne 服务然后添加站点。这里有两条路可以走一是把域名 DNS 托管到 EdgeOne 提供的地址走正规接入流程所有流量都过边缘节点二是先接入 CDN 配置验证一段时间再切 DNS。我自己用的是第二种方式因为手头站点还在跑业务不想一下子把 DNS 切过去。先用 CNAME 方式接入确认边缘节点正常回源、缓存生效后再逐步切换流量。这样做的好处是回滚方便万一配置有问题把 CNAME 删掉就能恢复原状。注意如果站点已经用了其他 CDN 或云防火墙先确认它们之间不会产生冲突尤其是 HTTPS 证书配置和回源方式避免接入 EdgeOne 后出现证书报错或者循环重定向。4.2 打开 Bot 管理控制台站点接入成功后在 EdgeOne 控制台的左侧菜单里找到“安全防护”下的“Bot 管理”。进入页面后你会看到总览、基础设置、规则管理等几个 Tab。总览页面会自动展示最近 7 天的 Bot 请求数量、拦截数量、命中 Top 爬虫类型等数据。如果你的站点刚开始接入数据会有延迟一般要等一两个小时才能看到统计。我第一次打开的时候页面几乎是空的还以为是哪里没配置对后来等了几小时才有数据。4.3 先开观察模式看报表在基础设置里有一个“AI 爬虫保护”的开关默认是关闭状态。我建议先不要直接开拦截而是先开启“观察”动作保存后等一天。观察模式下EdgeOne 仍然会记录所有 AI 爬虫请求并在报表里标记出如果开启拦截会命中多少。这一步的价值在于让你对站点的 AI 爬虫流量有一个真实认知。我自己的站点开了观察后发现居然有 5 类 AI 爬虫定期来访其中 Bytespider 一天的请求量就超过 3000 次而在此之前我完全没有意识到这些爬虫的存在。4.4 一键开启拦截观察了两天确认报表里的 AI 爬虫请求量级后我决定开启拦截。操作很简单把动作从“观察”切到“拦截”保存生效。开启后我持续关注了几个小时边缘节点拦截量和报表里的预测量基本吻合正常用户访问没受任何影响。这里有一个经验值得分享开启拦截后建议继续关注正常搜索爬虫是否受到影响。因为有些搜索引擎的 bot 会带双重身份既可能是搜索引擎的正常收集也可能是 AI 摘要抓取。如果发现 Googlebot 被误伤就需要用到自定义规则来做精细放行。4.5 自定义规则按需放行和重点封禁除了默认的 AI 爬虫保护开关规则管理里可以创建自定义规则。规则由匹配条件和动作两部分组成匹配条件支持 UA、IP、区域、URL 路径等字段动作支持放行、拦截、观察。我实际配置了两条规则第一条是放行规则匹配 UA 是 Googlebot 的请求动作选“放行”。因为我不想让正常搜索收录受影响防止默认 AI 爬虫拦截策略把它误伤。第二条是封禁规则匹配某个在我后台日志里异常活跃的未知 UA动作选“拦截”。这个 UA 不在特征库内属于自定义补充。自定义规则有一个优先级的概念比如放行规则的优先级应该高于拦截规则。EdgeOne 的规则系统里每条规则可以设置执行顺序数值越小优先级越高。放行 Googlebot 的规则我设置了较高的优先级避免默认拦截规则先命中它。4.6 报表怎么看看懂数据背后的含义Bot 管理总览报表里有几个关键指标Bot 请求总数命中 Bot 特征的请求数量。拦截数量实际被拦截的请求数量。Top Bot 类型识别出的爬虫来源分布。Top 拦截路径爬虫最经常访问的 URL这个信息很有用能看出爬虫是不是盯上了你的某个具体内容。有一次我在报表里发现某个路径被大量爬虫访问点进去看详情发现是某个页面被外部 AI 工具引用成了抓取目标。这说明引入 Bot 管理报表之后你能比从前更早地发现内容被重点关注的情况并及时做防护或者下架处理。5. 常见问题与排查技巧实录5.1 为什么开了 Bot 管理报表还是空的这个问题我一开始也遇到过。排查思路主要是这几步先确认流量是否真的通过了 EdgeOne如果域名解析没切过来边缘节点连请求都看不到再看 Bot 管理开关是否真的启用了有时候你只开了观察模式报表里确实会有数据但不会有拦截最后确认数据延迟边缘节点数据上报一般有 1 到 2 小时延迟刚配置完不可能立刻看到完整数据。如果这三步都确认过了站点还是没有 AI 爬虫流量那真的可能你的站点对爬虫来说不太有吸引力。这种情况不用强行拦截保持观察模式开着就行。5.2 开了拦截后正常搜索引擎收录掉了怎么办这种情况大概率是默认拦截误伤了正常搜索爬虫。我的建议是马上在自定义规则里放行对应搜索引擎的爬虫 UA。同时可以对照搜索引擎站长平台的抓取诊断确认是哪些请求被 EdgeOne 拦截了。还有一个容易忽略的点有些搜索引擎会同时运行多个爬虫比如 Google 的 Googlebot 和 Google-Extended 就是两个不同的 UAGoogle-Extended 专门用于 AI 训练通常可以放心拦截但 Googlebot 必须放行。如果你做了一刀切的拦截导致 Googlebot 被挡那么搜索流量很快会受影响。5.3 爬虫伪装成浏览器 UA为什么自定义规则挡不住这是很多站点在自建防护时会遇到的问题。如果爬虫把 UA 伪装成 Chrome那么按 UA 匹配的自定义规则确实很难生效。但 EdgeOne 的 Bot 识别并不只看 UA。它的行为分析模块能识别不加载静态资源、请求频率过高等异常特征。如果你遇到伪装 UA 的爬虫建议不要执着于 UA 封禁而是利用行为特征设定限速规则比如同一个 IP 在单位时间内请求次数超过阈值就触发拦截。这个思路在反爬场景里基本是通用的。5.4 自定义规则和默认策略有冲突以哪个为准规则执行有一个明确的优先级顺序。一般来说显式配置的“放行”规则优先级会高于默认的拦截策略但不同平台的处理逻辑略有差异。我的建议是尽量创建逻辑清晰且不重叠的规则避免同时配置多条放行和拦截规则。规则数量少、条件明确后续排查问题时能节省大量时间。5.5 边缘节点拦截了但源站日志里还是看到爬虫这就要回到回源链路的问题了。EdgeOne 拦截发生在边缘节点正常逻辑下被拦截的请求不会回源所以源站日志里不应该有对应的访问记录。如果你在源站日志里依然看到爬虫记录先检查是不是源站 IP 被穿透了。有些爬虫不通过域名访问而是直接扫描源站 IP绕过了 CDN 的边缘节点。这种情况下正确做法是在源站的安全组或者防火墙里设置白名单只允许 EdgeOne 的回源 IP 访问源站端口其他来源一律拒绝这也是 CDN 架构里的基础安全策略。5.6 免费版够用吗什么时候需要升级基础 Bot 管理能力对绝大多数中小站点来说完全够用尤其是 AI 爬虫管控这个单一场景。但如果你的站点遇到以下几种情况可能需要考虑更高级的 Bot 防护频繁遭遇 CC 攻击大量请求耗尽连接资源。存在登录接口被刷、撞库等安全风险。需要更详细的 Bot 指纹分析和风险评级能力。关键业务要求对自动化请求做更精细的放行和拦截策略。免费版能解决 AI 爬虫但商业级 Bot 管理还覆盖了设备指纹、行为分析、验证码挑战、自定义拦截页面等更全面的功能。按需选择即可不用盲目升级。实操心得被 AI 爬虫追了一个多月之后从我个人的角度说在最需要处理 AI 爬虫问题时EdgeOne 这个免费能力来得正是时候。过去我自己编辑一份 UA 黑名单今天封了一个明天又会冒出一个新的维护成本很高。现在换成 EdgeOne 之后它内置的特征库会持续更新报表和时间分布也让我对站点的“爬虫生态”有了掌握完全没有之前那种疲于应付的感觉。如果现在有人问我AI 爬虫到底该不该拦我的看法是该拦的必须拦但拦之前一定要想清楚哪些流量对你有价值。搜索引擎的抓取该放行还是放行AI 训练采集这种单方面索取的行为则在可控范围内尽可能拦截。EdgeOne 这个基础 Bot 管理能力给你提供了一个门槛极低的起点建议所有站长都去把观察模式打开先看看数据你会对 AI 爬虫的规模有一个全新的认知。
