设为首页收藏本站

切换到宽版

全球主机交流论坛»论坛 › 主机综合交流 › 美国VPS综合讨论 › 刚刚看到这这个垃圾爬虫几乎按ID从头扫到尾。 ...

会员请立即修改密码

发新帖

查看: 1173|回复: 1

上一主题

下一主题

[Windows VPS] 刚刚看到这这个垃圾爬虫几乎按ID从头扫到尾。

电梯直达

跳转到指定楼层

1^#

发表于 2021-10-28 20:19:24 | 只看该作者回帖奖励

回帖奖励

|倒序浏览 |阅读模式

seostar.co 这家是他的客户在使用这个工具才扫特定的页面，还是本身他们家的爬虫在不停在爬。
几乎整站从0到XXXX全来了遍不休息。

"Mozilla/5.0 (compatible; Adsbot/3.1; +https://seostar.co/robot/)"

"Mozilla/5.0 (compatible; ThinkChaos/0.3.0; +In_the_test_phase,_if_the_ThinkChaos_brings_you_trouble,_please_add_disallow_to_the_robots.txt._Thank_you.)"

分享到: QQ好友和群 QQ空间

回复

2^#

发表于 2021-10-28 20:26:04 | 只看该作者

发现了就好

回复支持反对

发新帖

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2026-1-13 19:35 , Processed in 0.056983 second(s), 9 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表