百度爬虫一天来十万次是好还是坏?

zhongziso · 发表于 2018-4-1 19:34:14

流量没看增加，尽是爬虫来访。数据库经常被爬挂了。要不要限制频率呢？

一灰 · 发表于 2018-4-1 19:36:45

看看是不是真蜘蛛

百度的真蜘蛛，80%都是集中爬网站20%的页面

zxmlysxl · 发表于 2018-4-3 23:25:06

我的站也估计是同样的情况，只是我的是google，每天都是这个域名来访

aq10 · 发表于 2018-4-2 10:37:00

到处是爬虫，看见就烦

myseil · 发表于 2018-4-2 10:26:28

应该是爬数据吧

左手写爱 · 发表于 2018-4-2 10:11:05

蜘蛛不会把你数据库爬挂

callmefeifei · 发表于 2018-4-2 00:27:00

别人模拟了百度爬虫，爬你资源呢吧

楼主快dang机了

itbobo · 发表于 2018-4-1 23:42:43

一灰发表于 2018-4-1 19:36
看看是不是真蜘蛛

百度的真蜘蛛，80%都是集中爬网站20%的页面

大佬的预测很准哦

总有刁民想害朕 · 发表于 2018-4-1 23:16:49

我一天爬百度二十万次嘎嘎嘎

捕风 · 发表于 2018-4-1 23:12:53

这怕是碰上了假蜘蛛吧。。。

尼欧一方通行 · 发表于 2018-4-1 21:41:32

怎么判断是爬虫的

		自动登录	找回密码
密码			注册