全球主机交流论坛

标题: MJJ们有没有爬取全站url 的爬虫 [打印本页]

作者: canwzk 时间: 2021-6-10 15:52
标题: MJJ们有没有爬取全站url 的爬虫
MJJ们有没有能用爬取全站url 的爬虫，找了这个爬不了https://github.com/saucer-man/UrlCrawler

作者: openboy 时间: 2021-6-10 15:56
提示: 作者被禁止或删除内容自动屏蔽

作者: h20 时间: 2021-6-10 15:58
提示: 作者被禁止或删除内容自动屏蔽

作者: sytta 时间: 2021-6-10 16:06
本帖最后由 sytta 于 2021-6-10 16:07 编辑

万能py 源站更新的速度没我抓的速度快

作者: Syc 时间: 2021-6-10 16:06
加钱，马上就有

作者: canwzk 时间: 2021-6-10 16:36

openboy 发表于 2021-6-10 15:56
如果只说“全站抓取”并不难，二三十行代码就够了
难的部分，
1，过滤，钻到死胡同里一堆没用的带参数的动 ...

能全站就可以的

欢迎光临全球主机交流论坛 (https://loc.mjj8.eu.org/)