全球主机交流论坛

标题: redtube爬虫发布~~~~~~~~~~~~~~~~~~~~~~~~~~~~ [打印本页]

作者: eqblog 时间: 2018-5-4 13:34
标题: redtube爬虫发布~~~~~~~~~~~~~~~~~~~~~~~~~~~~

标题一定要长

(, 下载次数: 437)

默认爬取720P的清晰度，如果需要更低清晰度请修改代码87行。

爬取的页面是https://www.redtube.com/mostviewed

作者: 全球资源提供商 时间: 2018-5-4 13:35
本帖最后由全球资源提供商于 2018-5-4 15:19 编辑

没什么卵用

我会告诉你我有超100T的资源
光tumblr就有20w

Update #0
分享不现实, 文件太多太大, 而且流量很贵

Update #1
看来你们对汤不热很有兴趣, 我给个逻辑
首先你要维护一个用户列表, 就是更新资源的用户
然后循环这个列表去采集就好了, 注意维护一个URL队列去重用途

我是用的官方API来采集
逻辑这样

内容服务器
#1 采集
判断用户内容数量如果和上次采集的数量一样
如果多则代表有更新采集自动去重
标记为未下载

存储服务器
#2 下载
读取队列查询未下载的
下载文件和图片存储本地

#3 效验
我用的最简单的方法判断文件是不是存在,且文件大小大于0
这样就好了

作者: eqblog 时间: 2018-5-4 13:36

全球资源提供商发表于 2018-5-4 13:35
没什么卵用

我会告诉你我有超100T的资源

有用就不会发布了呵呵

作者: yongs 时间: 2018-5-4 13:40
提示: 作者被禁止或删除内容自动屏蔽

作者: 木易酱 时间: 2018-5-4 14:14

yongs 发表于 2018-5-4 13:40
求gd分享。

tongqiu

作者: caboxer 时间: 2018-5-4 14:16

全球资源提供商发表于 2018-5-4 13:35
没什么卵用

我会告诉你我有超100T的资源

赶紧的，分享一下，让我也瞧瞧

作者: ǿ 时间: 2018-5-4 14:19
提示: 作者被禁止或删除内容自动屏蔽

作者: myseil 时间: 2018-5-4 14:20

全球资源提供商发表于 2018-5-4 13:35
没什么卵用

我会告诉你我有超100T的资源

不分享让论坛兄弟bao你菊花不用润滑油用辣椒酱！

作者: 左手写爱 时间: 2018-5-4 14:28
权限1其实是游客也可见的。。。

作者: sgwyhwt 时间: 2018-5-4 14:49
大佬10元的鸡鸡可以下载吗？

作者: funkys 时间: 2018-5-4 14:53
想要看日韩的，欧美的简直不是人

作者: cw723 时间: 2018-5-4 14:55

全球资源提供商发表于 2018-5-4 13:35
没什么卵用

我会告诉你我有超100T的资源

汤不热怎么采？

作者: 学到了么 时间: 2018-5-4 15:03
你这样发**网站好吗?

作者: qitilu 时间: 2018-5-27 08:29
你懂的

作者: zhaoxianjin 时间: 2018-5-27 12:38
三天就要一箱营养快线

作者: strengthen 时间: 2018-5-27 13:56
拿走，谢了

欢迎光临全球主机交流论坛 (https://loc.mjj8.eu.org/)