全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

IP归属甄别会员请立即修改密码
查看: 6376|回复: 21
打印 上一主题 下一主题

百度爬虫一天来十万次是好还是坏?

[复制链接]
跳转到指定楼层
1#
发表于 2018-4-1 19:34:14 来自手机 | 只看该作者 回帖奖励 |正序浏览 |阅读模式
流量没看增加,尽是爬虫来访。数据库经常被爬挂了。要不要限制频率呢?
推荐
发表于 2018-4-1 19:36:45 | 只看该作者
看看是不是真蜘蛛

百度的真蜘蛛,80%都是集中爬网站20%的页面
22#
发表于 2018-4-3 23:25:06 | 只看该作者
我的站也估计是同样的情况,只是我的是google,每天都是这个域名来访
21#
发表于 2018-4-2 10:37:00 | 只看该作者
到处是爬虫,看见就烦
20#
发表于 2018-4-2 10:26:28 | 只看该作者
应该是爬数据吧
19#
发表于 2018-4-2 10:11:05 | 只看该作者
蜘蛛不会把你数据库爬挂
18#
发表于 2018-4-2 00:27:00 | 只看该作者
别人模拟了百度爬虫,爬你资源呢吧 楼主快dang机了
17#
发表于 2018-4-1 23:42:43 | 只看该作者
一灰 发表于 2018-4-1 19:36
看看是不是真蜘蛛

百度的真蜘蛛,80%都是集中爬网站20%的页面

大佬的预测很准哦
16#
发表于 2018-4-1 23:16:49 来自手机 | 只看该作者
我一天爬百度二十万次嘎嘎嘎
15#
发表于 2018-4-1 23:12:53 | 只看该作者
这怕是碰上了假蜘蛛吧。。。
14#
发表于 2018-4-1 21:41:32 | 只看该作者
怎么判断是爬虫的
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2026-1-7 18:20 , Processed in 0.103535 second(s), 12 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表