我们已经准备好了,你呢?

2022我们与您携手共赢,为您的企业形象保驾护航!

很久之前其实就发现一个问题,很多的蜘蛛来抓取你的网站,通过分析网站的日志文件可以看到,有很多蜘蛛我们是欢迎的,有些我们确实不想要的,但是却长期的在抓取,于是想要把他屏蔽掉,当天一般想到的办法可能是定义robots文件去屏蔽蜘蛛;

但是这个似乎并没有用处,一方面有些蜘蛛并不遵守这个规则协议,照样抓取,一方面很多蜘蛛其实是仿冒的,比如你也可以仿冒百度蜘蛛的UA信息去抓取别人的网站,所以robots文件几乎是没法实现的。

之前介绍过宝塔免费的防火墙比较好用,可以借助这个防火墙功能,屏蔽恶意的无用的一些蜘蛛的UA信息,比如:

Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/);

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

等,这些几乎是国外的一些搜索引擎或者是根本不会带来任何好处比如搜索流量的,所以可以直接屏蔽他们。其他有益的蜘蛛需要保留不要误杀了,比如谷歌百度搜狗头条什么等等;除了防火墙可以屏蔽UA还可以借助CDN去实现屏蔽UA;

为什么要屏蔽呢?

其实到不见得有什么明显的好处,反正看到日志里面出现很多这些没用的觉得没有意义,访问抓取的时候还会消耗一定的服务器资源,带来带宽流量等消耗;

发表评论

评论列表

我们凭借多年的网站建设经验,坚持以“帮助中小企业实现网络营销化”为宗旨,累计为4000多家客户提供品质建站服务,得到了客户的一致好评。如果您有网站建设、网站改版、域名注册、主机空间、手机网站建设、网站备案等方面的需求...
请立即点击咨询我们或拨打咨询热线: 19987729702,我们会详细为你一一解答你心中的疑难。项目经理在线
相关阅读
猜您喜欢

我们已经准备好了,你呢?

2020我们与您携手共赢,为您的企业形象保驾护航!

在线客服
联系方式

19987729702(同行勿扰)

上班时间

周一到周五

打开微信扫一扫
微信
线