全球主机交流论坛

标题: mjj看下这是啥爬虫蜘蛛，新站第一天撒了上万 [打印本页]

作者: iuko 时间: 2021-3-30 13:25
标题: mjj看下这是啥爬虫蜘蛛，新站第一天撒了上万
哪位mjj看下这是啥爬虫，河南跟北京这个第一天上线直接爬，用不用屏蔽

作者: 身份证 时间: 2021-3-30 13:26
肯定屏蔽啊

作者: 叶子 时间: 2021-3-30 13:27
图看不清楚

作者: 我是坏虫 时间: 2021-3-30 13:31
提示: 作者被禁止或删除内容自动屏蔽

作者: iuko 时间: 2021-3-30 13:33

叶子发表于 2021-3-30 13:27
图看不清楚

河南111.7.100* 跟北京的36.110.199.*

作者: pxy185 时间: 2021-3-30 13:55

图片看不清楚欢迎用我图床

作者: Fei 时间: 2021-3-30 13:55
提示: 作者被禁止或删除内容自动屏蔽

作者: 我是高富帅 时间: 2021-3-30 13:56
先要判断一下真假蜘蛛。

如果是真蜘蛛不用屏蔽，假蜘蛛则建议屏蔽

高频率的抓取请求对速度有影响。

作者: 战神赵日天 时间: 2021-3-30 13:56
你如果放了百度统计，不建议封爬虫
为啥，会增加百度以及其他搜索引擎收录
我以前几个站，一年有几个站，每个站3000+ip
就是自己用的挂机ip每天大量访问，增加收录和权重

作者: iuko 时间: 2021-3-30 14:23

我是高富帅发表于 2021-3-30 13:56
先要判断一下真假蜘蛛。

如果是真蜘蛛不用屏蔽，假蜘蛛则建议屏蔽

肯定不是搜索爬虫，群里问了一个人说北京36是安全爬虫，然后问啥安全没回复

作者: citywar 时间: 2021-3-30 14:41
会不会是你IP或域名以前就被人惦记的

作者: OXO 时间: 2021-3-30 14:48
提示: 作者被禁止或删除内容自动屏蔽

作者: iuko 时间: 2021-3-30 15:24

citywar 发表于 2021-3-30 14:41
会不会是你IP或域名以前就被人惦记的

新站第一天新域名

作者: iuko 时间: 2021-3-30 15:30

OXO 发表于 2021-3-30 14:48
如果是国内那几个蜘蛛都有 user-agent 的，看 IP 没啥用

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36

没有蜘蛛标识，但是访问直接访问的内页，都是爬内页

作者: 没有的 时间: 2021-3-30 15:43

战神赵日天发表于 2021-3-30 13:56
你如果放了百度统计，不建议封爬虫
为啥，会增加百度以及其他搜索引擎收录
我以前几个站，一年有几个站，每 ...

你的挂机ip具体是怎么操作呢？

作者: 战神赵日天 时间: 2021-3-30 15:53
本帖最后由战神赵日天于 2021-3-30 15:54 编辑

没有的发表于 2021-3-30 15:43
你的挂机ip具体是怎么操作呢？

打错字了，用的流量宝，之前挂了几百点，然后每天设置用几点刷网站ip，刷多了以后，收录就上来了
不算科学验证，至少是我的一种玄学做法
一般流量宝是1点1000ip，可以分时间分地点以及访问时常，ip基本都不同，1000ip估计也就几个是重复的

作者: cheshirex 时间: 2021-3-30 16:05
可以用nslookup反查

欢迎光临全球主机交流论坛 (https://loc.mjj8.eu.org/)