首页  /   资讯   /  正文

为什么其他家蜘蛛池平台过来的蜘蛛量那么多?客户与技术问答

作者:    时间:2023-07-17 19:10

客户:为什么其他家蜘蛛池平台过来的蜘蛛量那么多,并且刚提交不到一分钟就来,统计软件显示一天上万条,但是就是不收录呢?


技术:请查看web日志,发一条百度的过来


客户

220.181.108.102 - - [11/Jul/2023:05:35:59 +0800] "GET /pingtaidongtai/9.html HTTP/1.1" 200 2109 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"


技术:看前面的IP地址和UA确实是百度的,你按我说的改变下web日志显示格式,------------


客户

220.181.108.102 - - [11/Jul/2023:05:35:59 +0800] "GET /pingtaidongtai/9.html HTTP/1.1" 200 2109 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "221.228.73.28"


技术:后边的IP暴露了,这是软件刷的假蜘蛛


客户:这是怎么做的呢?


技术QQ20230717-191753@2x.png

以上仅为参考,具体情况请具体应对,更多可以百度搜索“伪造IP访问”



可以查看https://help.aliyun.com/document_detail/42205.html这篇文章,防范方法也在这里

宝塔Nginx设置方法 https://blog.51cto.com/u_12390904/6253880