curl能下载整个网站吗？

哈P哥 · 发表于 2012-11-30 13:12:55

本帖最后由哈P哥于 2012-11-30 13:16 编辑

curl.haxx.se 这个网站的程序咋样？能下载Discuz! X1.5整个网站里所有附件的图片吗？对方的论坛好像注册邀请的，邀请吗很难搞到。

或者火车头免费版能搞到吗？

404 · 发表于 2012-11-30 13:17:38

wget能

哈P哥 · 发表于 2012-11-30 13:20:56

本帖最后由哈P哥于 2012-11-30 13:22 编辑

404 发表于 2012-11-30 13:17
wget能

谢了，我去试试，希望能下到整站的图片，但是万一对方服务器有权限限制wget也行？

404 · 发表于 2012-11-30 13:24:05

哈P哥发表于 2012-11-29 23:20
谢了，我去试试，希望能下到整站的图片，但是万一对方服务器有权限限制wget也行？ ...

你登录一下，看下user-agent和cookie，跑wget的时候设置成一样的基本就没问题了。不过静态资源用js加载的就没办法了

哈P哥 · 发表于 2012-11-30 14:34:31

本帖最后由哈P哥于 2012-11-30 15:03 编辑

404 发表于 2012-11-30 13:24
你登录一下，看下user-agent和cookie，跑wget的时候设置成一样的基本就没问题了。不过静态资源用js加载 ...

我用这个命令 wget -m -e robots=off -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" "http://www.example.com/" 为什么wget 都是提示time-stamps turned off?

lll.JPG (70.95 KB, 下载次数: 1)

哈P哥 · 发表于 2012-11-30 15:06:02

求助啊wget 下载Discuz! X1.5整站附件的图片啊

只看该作者 · 发表于 2012-11-30 15:19:51

提示: 作者被禁止或删除内容自动屏蔽

哈P哥 · 发表于 2012-11-30 15:24:52

suzizi 发表于 2012-11-30 15:19
不行

下载不了吗？有别的办法吗？

comput · 发表于 2012-11-30 15:30:04

论坛所有图片的URL如何收集呢？

paopao00 · 发表于 2012-11-30 15:33:30

可以吧，弄个列表，curl 自己读

		自动登录	找回密码
密码			注册

suzizi 该用户已被删除	7^# 发表于 2012-11-30 15:19:51 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽
suzizi 该用户已被删除
	回复支持反对举报

[Windows VPS] curl能下载整个网站吗？

相关帖子

评分

评分