引言：AI爬虫的威胁与挑战
近年来，随着ChatGPT、Claude、Google-Extended等AI模型的兴起，恶意AI爬虫对网站的威胁越来越大。这些爬虫不同于传统搜索引擎蜘蛛，它们会以极高的频率抓取网站内容，导致服务器负载激增、带宽耗尽，甚至影响正常用户访问。
许多独立开发者发现，即使服务器配置足够，仍可能因AI爬虫的疯狂抓取而崩溃。因此，如何精准识别并屏蔽恶意AI爬虫，成为当前网站运维的关键问题。本文爱网赚将详细介绍如何通过Nginx配置、防火墙规则、robots.txt优化、IP黑名单等方式，有效拦截AI爬虫，确保网站稳定运行。
一、识别恶意AI爬虫的特征
在屏蔽AI爬虫之前，首先要了解它们的典型特征：
1. User-Agent（UA）特征
大多数AI爬虫会在HTTP请求头中携带独特的User-Agent标识，例如：
-
GPTBot（OpenAI官方爬虫）
-
Google-Extended（Google AI训练爬虫）
-
ClaudeBot（Anthropic的AI爬虫）
-
CCBot（Common Crawl，用于训练GPT-3等模型）
-
PetalBot（华为AI爬虫）
-
cohere-ai（Cohere AI训练数据爬虫）
此外，部分恶意爬虫会伪装成普通浏览器，例如：
Mozilla/5.0 (compatible; AI-Scraper/1.0; +http://example.com/bot.html)
2. IP来源与访问频率
-
高频率请求：AI爬虫通常以每秒数十次甚至上百次的频率抓取页面，远超正常用户。
-
来自特定IP段：部分AI爬虫使用云服务IP（如AWS、Google Cloud），可通过IP黑名单拦截。
-
无Referer或固定Referer：部分AI爬虫不携带Referer，或使用固定的虚假Referer。
3. 爬取路径特征
-
大量访问
/robots.txt、/sitemap.xml等文件 -
频繁抓取动态API接口（如
/api/data） -
尝试访问敏感路径（如
/admin、/wp-login.php）
二、Nginx配置屏蔽AI爬虫
Nginx是最常用的Web服务器之一，可以通过UA匹配、IP限制等方式拦截AI爬虫。
1. 通过User-Agent拦截AI爬虫
在Nginx配置文件中（/etc/nginx/nginx.conf或站点配置文件）添加以下规则：
# 屏蔽常见AI爬虫的UA
if ($http_user_agent ~* (GPTBot|Google-Extended|ClaudeBot|CCBot|cohere-ai|anthropic-ai|PetalBot|AI-Scraper)) {
return 444; # 直接断开连接
}
# 拦截伪装成浏览器的爬虫
if ($http_user_agent ~* "Mozilla.*(compatible|AI-Scraper|Bot|Spider)") {
return 403;
}
2. 限制IP访问频率
防止AI爬虫高频请求导致服务器崩溃：
limit_req_zone $binary_remote_addr zone=ai_limit:10m rate=5r/s;
server {
location / {
limit_req zone=ai_limit burst=10 nodelay;
}
}
-
rate=5r/s：限制每秒最多5次请求 -
burst=10：允许短时间突发10次请求
3. 禁止特定路径的爬取
如果AI爬虫频繁访问API或后台路径，可针对性拦截：
location ~ ^/(api|admin|wp-login\.php) {
if ($http_user_agent ~* (GPTBot|Google-Extended)) {
return 403;
}
}
三、宝塔面板防火墙规则优化
如果使用宝塔面板，可以通过内置防火墙更便捷地拦截AI爬虫。
1. UA黑名单设置
进入 Nginx防火墙 → User-Agent黑名单，添加正则表达式：
(.*)GPTBot(.*)|(.*)Google-Extended(.*)|(.*)ClaudeBot(.*)|(.*)CCBot(.*)
2. IP黑名单与CC防御
-
IP黑名单：在防火墙中添加已知的AI爬虫IP段（如AWS、Google Cloud的部分IP）。
-
CC防御：开启“增强模式”，限制单个IP的并发请求数（如每秒5次）。
3. 禁止海外IP访问
部分AI爬虫来自国外数据中心，可在 防火墙 → 全局设置 中启用“禁止海外访问”。
四、robots.txt 声明禁止AI爬虫
虽然部分AI爬虫不遵守robots.txt，但OpenAI、Google等官方爬虫会遵循该协议。
在网站根目录的robots.txt中添加：
User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: ClaudeBot Disallow: /
五、日志分析与动态拦截策略
1. 监控异常访问日志
使用grep分析Nginx日志，找出高频访问的IP和UA：
awk '{print $1,$12}' /var/log/nginx/access.log | sort | uniq -c | sort -nr
2. 动态IP黑名单
结合Fail2Ban自动封禁恶意IP：
fail2ban-regex /var/log/nginx/access.log /etc/fail2ban/filter.d/nginx-badbots.conf
3. 使用Cloudflare等CDN防护
-
启用 Bot Fight Mode（机器人防护模式）
-
设置 Rate Limiting（请求频率限制）
-
启用 WAF规则 拦截AI爬虫特征
六、总结：构建多层防御体系
-
Nginx拦截：通过UA匹配、IP限速、路径过滤拦截AI爬虫。
-
宝塔防火墙：设置UA黑名单、IP黑名单、CC防御。
-
robots.txt声明：阻止官方AI爬虫抓取。
-
日志监控：动态分析并封禁恶意IP。
-
CDN防护：利用Cloudflare等工具增强防御。
通过以上方法，独立开发者可以有效减少AI爬虫对服务器的冲击，确保网站稳定运行。