找回密码
 立即注册
搜索
查看: 333|回复: 8

请教个难题 后续,又有问题了。。

[复制链接]

765

主题

3852

回帖

6077

积分

网站编辑

系统禁言

积分
6077
发表于 2009-4-14 01:25:36 | 显示全部楼层 |阅读模式
如何能自动批量获取下列结构网站的特定文件的URL

INDEX 下 N 个目录里的*.JPG。最好能支持通配符排除一些不需要的文件。而且不同的目录内文件能自动保存到相应的本地目录。

。。简单说就是把那个整站的特定目录和目录内所需要的*.JPG全部DOWN到本地。并且保留原目录,文件名。

进入目录用迅雷下载全部连接也能做到,主要是操作太繁琐了。大几百个目录。。。


又有问题了。teleport下载不了PHP。ASP网站的东西好像?如何解决啊?

[ 本帖最后由 最酷菜鸟 于 2009-4-18 22:18 编辑 ]
盗钩者诛,盗国者诸侯

765

主题

3852

回帖

6077

积分

网站编辑

系统禁言

积分
6077
 楼主| 发表于 2009-4-14 01:26:58 | 显示全部楼层
好像有个 。。pro ?啥的软件是不是有类似功能?整站复制
盗钩者诛,盗国者诸侯
回复

使用道具 举报

241

主题

2533

回帖

3699

积分

论坛元老

积分
3699
发表于 2009-4-14 08:59:41 | 显示全部楼层
offline explorer
or
teleport
回复

使用道具 举报

42

主题

835

回帖

1167

积分

金牌会员

积分
1167
发表于 2009-4-14 08:59:58 | 显示全部楼层
GNU Wget 1.8.2, a non-interactive network retriever.
Usage: wget [OPTION]... [URL]...

Mandatory arguments to long options are mandatory for short options too.

Startup:
  -V,  --version           display the version of Wget and exit.
  -h,  --help              print this help.
  -b,  --background        go to background after startup.
  -e,  --execute=COMMAND   execute a `.wgetrc'-style command.

Logging and input file:
  -o,  --output-file=FILE     log messages to FILE.
  -a,  --append-output=FILE   append messages to FILE.
  -d,  --debug                print debug output.
  -q,  --quiet                quiet (no output).
  -v,  --verbose              be verbose (this is the default).
  -nv, --non-verbose          turn off verboseness, without being quiet.
  -i,  --input-file=FILE      download URLs found in FILE.
  -F,  --force-html           treat input file as HTML.
  -B,  --base=URL             prepends URL to relative links in -F -i file.
       --sslcertfile=FILE     optional client certificate.
       --sslcertkey=KEYFILE   optional keyfile for this certificate.
       --egd-file=FILE        file name of the EGD socket.

Download:
       --bind-address=ADDRESS   bind to ADDRESS (hostname or IP) on local host.
  -t,  --tries=NUMBER           set number of retries to NUMBER (0 unlimits).
  -O   --output-document=FILE   write documents to FILE.
  -nc, --no-clobber             don't clobber existing files or use .# suffixes.
  -c,  --continue               resume getting a partially-downloaded file.
       --progress=TYPE          select progress gauge type.
  -N,  --timestamping           don't re-retrieve files unless newer than local.
  -S,  --server-response        print server response.
       --spider                 don't download anything.
  -T,  --timeout=SECONDS        set the read timeout to SECONDS.
  -w,  --wait=SECONDS           wait SECONDS between retrievals.
       --waitretry=SECONDS      wait 1...SECONDS between retries of a retrieval.
       --random-wait            wait from 0...2*WAIT secs between retrievals.
  -Y,  --proxy=on/off           turn proxy on or off.
  -Q,  --quota=NUMBER           set retrieval quota to NUMBER.
       --limit-rate=RATE        limit download rate to RATE.

Directories:
  -nd  --no-directories            don't create directories.
  -x,  --force-directories         force creation of directories.
  -nH, --no-host-directories       don't create host directories.
  -P,  --directory-prefix=PREFIX   save files to PREFIX/...
       --cut-dirs=NUMBER           ignore NUMBER remote directory components.

HTTP options:
       --http-user=USER      set http user to USER.
       --http-passwd=PASS    set http password to PASS.
  -C,  --cache=on/off        (dis)allow server-cached data (normally allowed).
  -E,  --html-extension      save all text/html documents with .html extension.
       --ignore-length       ignore `Content-Length' header field.
       --header=STRING       insert STRING among the headers.
       --proxy-user=USER     set USER as proxy username.
       --proxy-passwd=PASS   set PASS as proxy password.
       --referer=URL         include `Referer: URL' header in HTTP request.
  -s,  --save-headers        save the HTTP headers to file.
  -U,  --user-agent=AGENT    identify as AGENT instead of Wget/VERSION.
       --no-http-keep-alive  disable HTTP keep-alive (persistent connections).
       --cookies=off         don't use cookies.
       --load-cookies=FILE   load cookies from FILE before session.
       --save-cookies=FILE   save cookies to FILE after session.

FTP options:
  -nr, --dont-remove-listing   don't remove `.listing' files.
  -g,  --glob=on/off           turn file name globbing on or off.
       --passive-ftp           use the "passive" transfer mode.
       --retr-symlinks         when recursing, get linked-to files (not dirs).

Recursive retrieval:
  -r,  --recursive          recursive web-suck -- use with care!
  -l,  --level=NUMBER       maximum recursion depth (inf or 0 for infinite).
       --delete-after       delete files locally after downloading them.
  -k,  --convert-links      convert non-relative links to relative.
  -K,  --backup-converted   before converting file X, back up as X.orig.
  -m,  --mirror             shortcut option equivalent to -r -N -l inf -nr.
  -p,  --page-requisites    get all images, etc. needed to display HTML page.

Recursive accept/reject:
  -A,  --accept=LIST                comma-separated list of accepted extensions.
  -R,  --reject=LIST                comma-separated list of rejected extensions.
  -D,  --domains=LIST               comma-separated list of accepted domains.
       --exclude-domains=LIST       comma-separated list of rejected domains.
       --follow-ftp                 follow FTP links from HTML documents.
       --follow-tags=LIST           comma-separated list of followed HTML tags.
  -G,  --ignore-tags=LIST           comma-separated list of ignored HTML tags.
  -H,  --span-hosts                 go to foreign hosts when recursive.
  -L,  --relative                   follow relative links only.
  -I,  --include-directories=LIST   list of allowed directories.
  -X,  --exclude-directories=LIST   list of excluded directories.
  -np, --no-parent                  don't ascend to the parent directory.

Mail bug reports and suggestions to <[email protected]>.
回复

使用道具 举报

765

主题

3852

回帖

6077

积分

网站编辑

系统禁言

积分
6077
 楼主| 发表于 2009-4-15 21:46:19 | 显示全部楼层
多谢楼上诸位。就是teleport。功能好强大。爽啊。谢谢了;02

评分

参与人数 1金钱 +5 收起 理由
guodl + 5 谢谢反馈。

查看全部评分

盗钩者诛,盗国者诸侯
回复

使用道具 举报

42

主题

596

回帖

836

积分

金牌会员

积分
836
发表于 2009-4-17 19:35:57 | 显示全部楼层
好久好久没有用teleport了 也不知道它现在怎么样了
wget也可以
好像还有个什么ftp工具

teleport对有些网站不行
回复

使用道具 举报

765

主题

3852

回帖

6077

积分

网站编辑

系统禁言

积分
6077
 楼主| 发表于 2009-4-17 20:08:21 | 显示全部楼层
原帖由 judite 于 2009-4-14 08:59 发表
GNU Wget 1.8.2, a non-interactive network retriever.
Usage: wget [OPTION]... ...

Mandatory arguments to long options are mandatory for short options too.

Startup:
  -V,  --version           di ...


;13 看不太懂。给个实例把

如果要在 http://aaa.com/ 下所有目录内的 *.jpg 包括 *.jpg所在的目录,原名下载过来。怎么打那个命令?
盗钩者诛,盗国者诸侯
回复

使用道具 举报

718

主题

4719

回帖

5446

积分

网站编辑

积分
5446
发表于 2009-4-18 03:47:52 | 显示全部楼层
楼主把你要下载的网站链接贴出来吧?:D:D
下面这句话是真的
上面那句话是假的
回复

使用道具 举报

765

主题

3852

回帖

6077

积分

网站编辑

系统禁言

积分
6077
 楼主| 发表于 2009-4-18 22:17:45 | 显示全部楼层
;19  私下交流
盗钩者诛,盗国者诸侯
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|海浩社区

GMT+8, 2025-9-14 22:17 , Processed in 0.081030 second(s), 21 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表