命令行软件下载神器wget，你会用吗

1、功能说明

Linux wget是一个linux命令行下的文件下载工具。对于Linux运维人员来说，是必备的工具，wget工具体积小，但功能完善，它支持断点下载功能，同时支持FTP和HTTP、HTTPS下载方式，支持代理服务器，使用起来也很方便简单。其格式如下：

wget [要下载软件的网址]

2．wget实战举例

（1）使用wget下载单个文件

以下的例子是从网络下载一个linux-4.0.2版本内核，可以使用以下命令

wget https://mirrors.edge.kernel.org/pub/linux/kernel/v4.x/linux-4.14.100.tar.gz 

在下载的过程中会显示进度条，包含（下载完成百分比，已经下载的字节，当前下载速度，剩余下载时间）。

（2）使用wget下载文件并以不同的文件名保存

这要通过wget -O参数实现，wget默认会以url最后一个符号”/”的后面的字符来命名，这对于动态链接的下载文件名通常会不正确。 例如下面的URL：

http://cn2.php.net/get/php-7.3.2.tar.bz2/from/this/mirror

通过wget下载后，会下载一个名为mirror的文件，为了解决这个问题，我们可以使用参数-O来指定一个文件名：

wget -O php-7.3.2.tar.bz2 http://cn2.php.net/get/php-7.3.2.tar.bz2/from/this/mirror

（3）使用wget 的“-limit -rate”参数进行限速下载

当我们执行wget的时候，它默认会占用全部可能的宽带下载。但是当我们准备在线上服务器下载一个大文件时，为了不让wget耗尽带宽影响业务，就必须对wget进行限速了。

wget --limit-rate=1M http://mirrors.163.com/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso

这是限速1MB/s进行传输。

（4）使用wget -c断点续传

当我们要下载的文件特别大，而我们所在的网络速度又特别慢的时候，可能会出现一个文件还没有下载完，而网络就已经中断了的情况，此时如果没有断点续传功能，又要重新下载，这简直是噩梦，但wget就考虑到这点了，它支持断点续传，并且wget的断点续传是自动的，只需要使用-c参数即可，看下图操作：

断点续传对于我们下载大文件时突然由于网络等原因中断非常有帮助，我们可以继续接着下载而不是重新下载一个文件。

需要注意的是：使用断点续传要求服务器端支持断点续传。怎么测试呢，看下面这这个部分。

（5）测试服务器是否支持断点续传

通常情况下，Web服务器(如Apache、nginx)会默认开启对断点续传的支持。因此，如果直接通过Web服务器来提供文件的下载，可以不必做特别的配置，即可享受到断点续传的好处。断点续传是在发起HTTP请求的时候加入RANGE头来告诉服务器客户端已经下载了多少字节。等所有这些请求都返回之后，再把得到的内容一块一块的拼接起来得到完整的资源。

wget -S http://mirrors.163.com 2>&1 |grep "Accept-Ranges"
wget -S https://mirrors.aliyun.com/centos/timestamp.txt 2>&1|grep Ranges

输出结果中如果有“Accept-Ranges: bytes”，说明服务器支持按字节断点续传下载。

（6）让wget在后台自动下载

对于下载非常大的文件的时候，我们可以使用参数“-b”，让wget进行后台下载。看下图所示：

我们可以使用“tail -f wget-log”命令来察看下载进度。

（7）给wget下载增加重试次数和超时时间

如果网络有问题或下载一个大文件有可能会失败。此时，wget默认重试20次连接下载文件。如果需要，我们可以使用“-t/--tries”增加重试次数。 同理，还可以使用“-T/ --timeout”设置连接超时时间。

其中“-t”参数表示重试次数，例如需要重试10次，那么就写“-t 10”，如果设成“-t 0”，那么表示无穷次重试，直到连接成功。“-T”参数表示超时等待时间，例如“-T 120”，表示等待120秒连接不上就算超时。 来看下图：

（8）使用wget 批量下载多个文件

有时候要下载的文件很多，怎么实现批量下载呢，很简单，首先，保存一份下载文件链接的列表， 例如：

cat > filelist.txt 
url1 
url2 
url3 
url4 

接着使用这个文件和参数“i”即可实现批量下载 ，看下图操作：

（9）使用wget递归镜像网站

看到一个网站很漂亮，想下载下来学习一下，无奈页面太多，怎么办，wget一个命令就能轻松搞定，wget加上参数之后，即可成为相当强大的下载工具，并可以将下载的页面中的链接转换为本地链接，让你瞬间拥有一个想要的网站。

下面的例子是下载整个网站到本地的当前目录下：

wget -r -p -np -k  http://www.xxx.com

其中，用到了几个参数，含义如下：

-r, --recursive：表示递归下载页面,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接，那么wget也会把别的网站的东西下载下来,所以还要加上“-np”这个参数,表示不下载别的站点的链接。
-np，表示不下载第三方站点的链接。
-k, --convert-links：表示将下载的网页里的链接修改为本地链接。
-p, --page-requisites： 表示下载所有的图片、js、css等页面显示所需的内容元素。

（10）通过wget下载文件到指定目录

在进行编写运维自动化脚本的时候，会有自动下载文件到指定目录的需求，此时就需要用到wget的“-P”参数，通过指定“-P”参数可以下载文件到指定目录，例如：

[root@iZ23sl33esbZ ~]# wget http://mirrors.163.com/centos/timestamp.txt  -P  /tmp/

这样下载的文件timestamp.txt会自动保存到系统的/tmp目录下。