全球主机交流论坛

标题: mjj看下这是啥爬虫蜘蛛,新站第一天撒了上万 [打印本页]

作者: iuko    时间: 2021-3-30 13:25
标题: mjj看下这是啥爬虫蜘蛛,新站第一天撒了上万
哪位mjj看下这是啥爬虫,河南跟北京这个第一天上线直接爬,用不用屏蔽
作者: 身份证    时间: 2021-3-30 13:26
肯定屏蔽啊
作者: 叶子    时间: 2021-3-30 13:27
图看不清楚
作者: 我是坏虫    时间: 2021-3-30 13:31
提示: 作者被禁止或删除 内容自动屏蔽
作者: iuko    时间: 2021-3-30 13:33
叶子 发表于 2021-3-30 13:27
图看不清楚

河南111.7.100* 跟北京的36.110.199.*
作者: pxy185    时间: 2021-3-30 13:55
图片看不清楚 欢迎用我图床
作者: Fei    时间: 2021-3-30 13:55
提示: 作者被禁止或删除 内容自动屏蔽
作者: 我是高富帅    时间: 2021-3-30 13:56
先要判断一下真假 蜘蛛。

如果是真蜘蛛不用屏蔽,假蜘蛛则建议屏蔽


高频率的抓取请求对速度有影响。
作者: 战神赵日天    时间: 2021-3-30 13:56
你如果放了百度统计,不建议封爬虫
为啥,会增加百度以及其他搜索引擎收录
我以前几个站,一年有几个站,每个站3000+ip
就是自己用的挂机ip每天大量访问,增加收录和权重
作者: iuko    时间: 2021-3-30 14:23
我是高富帅 发表于 2021-3-30 13:56
先要判断一下真假 蜘蛛。

如果是真蜘蛛不用屏蔽,假蜘蛛则建议屏蔽

肯定不是搜索爬虫,群里问了一个人说北京36是安全爬虫,然后问啥安全没回复
作者: citywar    时间: 2021-3-30 14:41
会不会是你IP或域名 以前就被人惦记的
作者: OXO    时间: 2021-3-30 14:48
提示: 作者被禁止或删除 内容自动屏蔽
作者: iuko    时间: 2021-3-30 15:24
citywar 发表于 2021-3-30 14:41
会不会是你IP或域名 以前就被人惦记的

新站第一天新域名
作者: iuko    时间: 2021-3-30 15:30
OXO 发表于 2021-3-30 14:48
如果是国内那几个蜘蛛 都有 user-agent 的,看 IP 没啥用

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36

没有蜘蛛标识,但是访问直接访问的内页,都是爬内页
作者: 没有的    时间: 2021-3-30 15:43
战神赵日天 发表于 2021-3-30 13:56
你如果放了百度统计,不建议封爬虫
为啥,会增加百度以及其他搜索引擎收录
我以前几个站,一年有几个站,每 ...

你的挂机ip具体是怎么操作呢?
作者: 战神赵日天    时间: 2021-3-30 15:53
本帖最后由 战神赵日天 于 2021-3-30 15:54 编辑
没有的 发表于 2021-3-30 15:43
你的挂机ip具体是怎么操作呢?


打错字了,用的流量宝,之前挂了几百点,然后每天设置用几点刷网站ip,刷多了以后,收录就上来了
不算科学验证,至少是我的一种玄学做法
一般流量宝是1点1000ip,可以分时间分地点以及访问时常,ip基本都不同,1000ip估计也就几个是重复的
作者: cheshirex    时间: 2021-3-30 16:05
可以用nslookup反查




欢迎光临 全球主机交流论坛 (https://loc.mjj8.eu.org/) Powered by Discuz! X3.4