BT宝塔面板Nginx防火墙针对蜘蛛放行设置教程

很多小伙伴在安装BT宝塔面板的时候,都会安装Nginx防火墙模块,毕竟多一重保险。但是有的小伙伴毕竟第一次接触Nginx防火墙,会发现很多被拦在防火墙外面,比如一些搜索引擎蜘蛛,这个怎么回事呢,今天,搬主题就分享一下BT宝塔面板Nginx防火墙针对蜘蛛放行设置教程。

什么?还没安装免费的BT宝塔面板?点击进行下载安装

宝塔服务器面板,一键全能部署及管理,送你3188元礼包,点我领取

一般BT宝塔面板的默认防火墙是放行如下7种蜘蛛:百度蜘蛛、谷歌蜘蛛、360蜘蛛、必应蜘蛛、搜狗蜘蛛、雅虎蜘蛛、头条蜘蛛

蜘蛛IP库是会自动更新的。不需要你自行设置放行的蜘蛛UA头。所有的蜘蛛IP都是通过官方途径获取。准确率能达到99%。也存在某些IP不在蜘蛛池内的,但是会很少。这个会实时更新的。蜘蛛的优先级高于CC 。所以蜘蛛爬取的话。是不会受你设置的CC规则而导致的拦截的。

如果蜘蛛被拦截了可能的原因: 设置了UA黑名单、设置了IP黑名单、设置了不让蜘蛛爬取。

自定义蜘蛛爬取规则

拒绝蜘蛛爬取

限制某一种蜘蛛的爬取

蜘蛛拦截的记录会记录到日志种如下:

这里是根据UA来匹配的。不是根据IP地址池来匹配的。

演示:拦截百度蜘蛛

拦截谷歌蜘蛛

拦截所有蜘蛛

备注:Nginx防火墙需要升级到9.4.2 才能生效蜘蛛拦截的规则。之前的版本只对总开关做了拦截。但是没有对单个的蜘蛛进行拦截

什么?还没安装免费的BT宝塔面板?点击进行下载安装

宝塔服务器面板,一键全能部署及管理,送你3188元礼包,点我领取

千百度
© 版权声明
THE END
喜欢就支持一下吧
点赞13 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容