全球主机交流论坛

标题: 百度爬虫一天来十万次是好还是坏? [打印本页]

作者: zhongziso 时间: 2018-4-1 19:34
标题: 百度爬虫一天来十万次是好还是坏?
流量没看增加，尽是爬虫来访。数据库经常被爬挂了。要不要限制频率呢？

作者: sora 时间: 2018-4-1 19:36
撸主. 换友链么

作者: 一灰 时间: 2018-4-1 19:36
看看是不是真蜘蛛

百度的真蜘蛛，80%都是集中爬网站20%的页面

作者: kittyy487 时间: 2018-4-1 19:46
也可能是用的百度蜘蛛协议头的采集器哟！

作者: 欧阳逍遥 时间: 2018-4-1 19:53
去百度站长后台看看爬取数据

作者: beixiaoqian 时间: 2018-4-1 19:55
有多少数据啊，这么给力..

作者: TITAN-LOC 时间: 2018-4-1 19:57
三月份爬虫( ๑ŏ ﹏ ŏ๑ )

作者: flash 时间: 2018-4-1 20:05
这样的明显不正常，不是采集就是测试采集。

作者: 半半 时间: 2018-4-1 20:15
感觉不是正常的采集

作者: xiaoxong740 时间: 2018-4-1 20:51

感情是一群人在采集

作者: winday 时间: 2018-4-1 21:33
提示: 作者被禁止或删除内容自动屏蔽

作者: gakki 时间: 2018-4-1 21:34
你以为，结果是。应该有ip吧，看下ip是谁的。

作者: oskey 时间: 2018-4-1 21:37
怕是假蜘蛛吧，去百度站长后台看看是不是真的

作者: 尼欧一方通行 时间: 2018-4-1 21:41
怎么判断是爬虫的

作者: 捕风 时间: 2018-4-1 23:12
这怕是碰上了假蜘蛛吧。。。

作者: 总有刁民想害朕 时间: 2018-4-1 23:16
我一天爬百度二十万次嘎嘎嘎

作者: itbobo 时间: 2018-4-1 23:42

一灰发表于 2018-4-1 19:36
看看是不是真蜘蛛

百度的真蜘蛛，80%都是集中爬网站20%的页面

大佬的预测很准哦

作者: callmefeifei 时间: 2018-4-2 00:27
别人模拟了百度爬虫，爬你资源呢吧

楼主快dang机了

作者: 左手写爱 时间: 2018-4-2 10:11
蜘蛛不会把你数据库爬挂

作者: myseil 时间: 2018-4-2 10:26
应该是爬数据吧

作者: aq10 时间: 2018-4-2 10:37
到处是爬虫，看见就烦

作者: zxmlysxl 时间: 2018-4-3 23:25
我的站也估计是同样的情况，只是我的是google，每天都是这个域名来访

欢迎光临全球主机交流论坛 (https://loc.mjj8.eu.org/)