网站Apache的伪静态.htaccess屏蔽Facebook、Amazon等恶意爬虫的设置方法

🐞恶意爬虫有多恶心，被爬过的都知道。搜索引擎的爬虫我们称为蜘蛛，✔️例如百度蜘蛛、搜狗蜘蛛、Bing蜘蛛等，这些蜘蛛抓取的频率不高，而且是会收录网页，给我们网站带来流量的！

❌但是疯狂爬我们网站数据，不能够给我们带来流量，还要用我们的数据拿去发布抄袭内容的，这种就是很恶心的恶意爬虫了。

💢对于个人爬虫，我们直接用Fail2ban自动封禁就好了，直接参考这篇文章：https://www.shoushai.com/p/1829

❗还有Facebook、Semrushbot、Amazon等这种爬虫就恶心了，几万个IP疯狂爬，一个IP每分钟内就不会出现2次，Fail2ban根本就防不住！

✅教大家直接用.htaccess或者宝塔设置伪静态屏蔽这些UA的写法

✅在.htaccess最上方添加这段内容：

<IfModule mod_rewrite.c>
RewriteEngine On

# 封杀 Semrush
RewriteCond %{HTTP_USER_AGENT} Semrush [NC]
RewriteRule ^ - [F,L]

# 封杀 Facebook / Meta
RewriteCond %{HTTP_USER_AGENT} (meta-webindexer|facebookexternalhit|ExternalFetcher|meta-externalagent) [NC]
RewriteRule ^ - [F,L]

# 封杀 Amazonbot
RewriteCond %{HTTP_USER_AGENT} Amazonbot [NC]
RewriteRule ^ - [F,L]

# 封杀 亚马逊 Amzn-SearchBot
RewriteCond %{HTTP_USER_AGENT} Amzn-SearchBot [NC]
RewriteRule ^ - [F,L]

# 封杀 Ahrefs
RewriteCond %{HTTP_USER_AGENT} Ahrefs [NC]
RewriteRule ^ - [F,L]

# 封杀 Majestic
RewriteCond %{HTTP_USER_AGENT} (Majestic|MJ12bot) [NC]
RewriteRule ^ - [F,L]

# 封杀 Sitechecker / Seoscout
RewriteCond %{HTTP_USER_AGENT} (Sitechecker|Seoscout) [NC]
RewriteRule ^ - [F,L]

</IfModule>

💯这个设置我自己都在用的，效果非常好，被封禁在爬虫直接会返回403状态，不加载php和mysql，降低服务器压力90%以上。

✍如果你还有其它爬虫在爬你的网站，在日志里看UA按照这个格式加到里面，不会写可以让豆包AI帮你写！