很多小伙伴在安装BT宝塔面板的时候,都会安装Nginx防火墙模块,毕竟多一重保险。但是有的小伙伴毕竟第一次接触Nginx防火墙,会发现很多被拦在防火墙外面,比如一些搜索引擎蜘蛛,这个怎么回事呢,今天,搬主题就分享一下BT宝塔面板Nginx防火墙针对蜘蛛放行设置教程。
什么?还没安装免费的BT宝塔面板?点击进行下载安装
宝塔服务器面板,一键全能部署及管理,送你3188元礼包,点我领取
一般BT宝塔面板的默认防火墙是放行如下7种蜘蛛:百度蜘蛛、谷歌蜘蛛、360蜘蛛、必应蜘蛛、搜狗蜘蛛、雅虎蜘蛛、头条蜘蛛
蜘蛛IP库是会自动更新的。不需要你自行设置放行的蜘蛛UA头。所有的蜘蛛IP都是通过官方途径获取。准确率能达到99%。也存在某些IP不在蜘蛛池内的,但是会很少。这个会实时更新的。蜘蛛的优先级高于CC 。所以蜘蛛爬取的话。是不会受你设置的CC规则而导致的拦截的。
如果蜘蛛被拦截了可能的原因: 设置了UA黑名单、设置了IP黑名单、设置了不让蜘蛛爬取。
自定义蜘蛛爬取规则
拒绝蜘蛛爬取
限制某一种蜘蛛的爬取
蜘蛛拦截的记录会记录到日志种如下:
这里是根据UA来匹配的。不是根据IP地址池来匹配的。
演示:拦截百度蜘蛛
拦截谷歌蜘蛛
拦截所有蜘蛛
备注:Nginx防火墙需要升级到9.4.2 才能生效蜘蛛拦截的规则。之前的版本只对总开关做了拦截。但是没有对单个的蜘蛛进行拦截
什么?还没安装免费的BT宝塔面板?点击进行下载安装
宝塔服务器面板,一键全能部署及管理,送你3188元礼包,点我领取
1.本站内容仅供参考,不作为任何法律依据。用户在使用本站内容时,应自行判断其真实性、准确性和完整性,并承担相应风险。
2.本站部分内容来源于互联网,仅用于交流学习研究知识,若侵犯了您的合法权益,请及时邮件或站内私信与本站联系,我们将尽快予以处理。
3.本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
4.根据《计算机软件保护条例》第十七条规定“为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬。”您需知晓本站所有内容资源均来源于网络,仅供用户交流学习与研究使用,版权归属原版权方所有,版权争议与本站无关,用户本人下载后不能用作商业或非法用途,需在24个小时之内从您的电脑中彻底删除上述内容,否则后果均由用户承担责任;如果您访问和下载此文件,表示您同意只将此文件用于参考、学习而非其他用途,否则一切后果请您自行承担,如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。
5.本站是非经营性个人站点,所有软件信息均来自网络,所有资源仅供学习参考研究目的,并不贩卖软件,不存在任何商业目的及用途
暂无评论内容