设为首页收藏本站

切换到宽版

全球主机交流论坛»论坛 › 技术交流分享 › Web技术 › 百度爬虫一天来十万次是好还是坏?

会员请立即修改密码

12 3 / 3 页下一页

发新帖

查看: 6332|回复: 21

上一主题

下一主题

百度爬虫一天来十万次是好还是坏?

电梯直达

跳转到指定楼层

1^#

发表于 2018-4-1 19:34:14 来自手机 | 只看该作者回帖奖励

回帖奖励

|倒序浏览 |阅读模式

流量没看增加，尽是爬虫来访。数据库经常被爬挂了。要不要限制频率呢？

分享到: QQ好友和群 QQ空间

回复

推荐

发表于 2018-4-1 19:36:45 | 只看该作者

看看是不是真蜘蛛

百度的真蜘蛛，80%都是集中爬网站20%的页面

回复支持 1 反对 0

2^#

发表于 2018-4-1 19:36:00 | 只看该作者

撸主. 换友链么

回复支持反对

4^#

发表于 2018-4-1 19:46:22 | 只看该作者

也可能是用的百度蜘蛛协议头的采集器哟！

回复支持反对

5^#

发表于 2018-4-1 19:53:54 | 只看该作者

去百度站长后台看看爬取数据

回复支持反对

6^#

发表于 2018-4-1 19:55:56 | 只看该作者

有多少数据啊，这么给力..

回复支持反对

7^#

发表于 2018-4-1 19:57:55 来自手机 | 只看该作者

三月份爬虫( ๑ŏ ﹏ ŏ๑ )

回复支持反对

8^#

发表于 2018-4-1 20:05:17 | 只看该作者

这样的明显不正常，不是采集就是测试采集。

回复支持反对

9^#

发表于 2018-4-1 20:15:44 | 只看该作者

感觉不是正常的采集

回复支持反对

10^#

发表于 2018-4-1 20:51:25 | 只看该作者

感情是一群人在采集

回复支持反对

12 3 / 3 页下一页

发新帖

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2025-12-29 05:30 , Processed in 0.165015 second(s), 11 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表