linux wget 抓取 网站网页

http://www.justwinit.cn/post/4593/

wget 是一个命令行的下载文件工具,它支持HTTP，HTTPS和FTP协议，可以使用HTTP代理。Linux用户经常需要使用它。下此介绍几个wget使用的技巧。
wget技巧大全:
1>下载 http://www.linux.com 网站上 packs 目录中的所有文件
$ wget -r -np -nd http://www.linux.com/packs/
-np 的作用是不遍历父目录
-nd 表示不在本机重新创建目录结构。

2>下载整个http或者ftp站点
$ wget -r -x http://www.linux.com
-x 的作用强制建立服务器上一模一样的目录
这个命令会按照递归的下载服务器上所有的目录和文件，就是下载整个网站。在下载的时候，被下载网站指向的所有地址都会被下载，如果这个网站引用了其他网站，被引用的网站也会被下载下来！！！
注意: 可以用-l number参数来指定下载的层次。例如只下载两层，那么使用-l 2。
如: wget -r -x -l 2 http://www.linux.com

3>wget选择性的只下载某类文件
$ wget -r -np -nd –accept=iso http://www.linux.com/i386/
–accept=iso 选项，这指示wget仅下载 i386 目录中所有扩展名为 iso 的文件。你也可以指定多个扩展名，只需用逗号分隔即可。

4>批量下载
wget -i downloads.txt
如果有多个文件需要下载，那么把所有需要下载文件的地址放到downloads.txt中(每个文件的URL写一行)，然后 wget 就会自动为你下载所有文件了。

5>断点续传
$ wget -c -t 100 -T 120 http://www.linux.com/big-file.iso
当文件特别大或者网络特别慢的时候，往往一个文件还没有下载完，连接就已经被切断，此时就需要断点续传。wget的断点续传是自动的。
-c 选项的作用为断点续传。
-t 参数表示重试次数(例如需要重试100次，那么就写-t 100，如果设成-t 0，那么表示无穷次重试，直到连接成功。)
-T 参数表示超时等待时间，例如-T 120，表示等待120秒连接不上就算超时。

6>镜像一个网站
$ wget -m -k (-H) http://www.linux.com/
如果网站中的图像是放在另外的站点，那么可以使用 -H 选项。