一、wget
"wget" 这个名称来源于 “World Wide Web” 与 “get” 的结合。
wget 是在 Linux 下开发的开放源代码的软件,作者是Hrvoje Niksic,后来被移植到包括 Windows 在内的各个平台上。 wget 是一个下载文件的工具,它用在命令行下。对于 Linux 用户是必不可少的工具,尤其对于网络管理员,经常要下载一些软件或从远程服务器恢复备份到本地服务器。
如果我们使用虚拟主机,处理这样的事务我们只能先从远程服务器下载到我们电脑磁盘,然后再用ftp工具上传到服务器。这样既浪费时间又浪费精力,那不没办法的事。而到了Linux VPS,它则可以直接下载到服务器而不用经过上传这一步。wget工具体积小但功能完善,它支持断点下载功能,同时支持FTP和HTTP下载方式,支持代理服务器和设置起来方便简单。
wget具有以下功能和特点:
(1)支持断点下传
(2)同时支持FTP和HTTP下载方式
(3)支持代理服务器
常见操作系统上安装 wget
的方法:
1、在 Ubuntu/Debian 系统上安装 wget
打开终端,然后运行以下命令:
sudo apt updatesudo apt install wget
2、在 CentOS/RHEL 系统上安装 wget
对于 CentOS/RHEL 7 或更早版本,可以使用 yum:
sudo yum install wget
对于 CentOS/RHEL 8 或 Fedora,使用 dnf:
sudo dnf install wget
3、在 macOS 上安装 wget(使用 Homebrew)
如果你使用的是 macOS,并且希望通过 Homebrew 来安装 wget
,首先需要安装 Homebrew(如果尚未安装):
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
然后,使用 Homebrew 安装 wget
:
brew install wget
4、在 Windows 上安装 wget(使用 Chocolatey)
如果你在 Windows 上,并且想通过 Chocolatey 来安装 wget
(类似于 Linux 的包管理器),首先需要安装 Chocolatey:
Set-ExecutionPolicy Bypass -Scope Process -Force; [System.Net.ServicePointManager]::SecurityProtocol = [System.Net.ServicePointManager]::SecurityProtocol -bor 3072; iex ((New-Object System.Net.WebClient).DownloadString('https://chocolatey.org/install.ps1'))
然后,使用 Chocolatey 安装 wget
:
choco install wget
验证安装
安装完成后,你可以通过运行以下命令来验证 wget
是否正确安装:
wget --version
更多参数:man wget
命令格式:
wget [参数列表] [目标软件、网页的网址] // 用法: wget [选项]... [URL]...长选项所必须的参数在使用短选项时也是必须的。启动:-V, --version 显示 Wget 的版本信息并退出-h, --help 打印此帮助-b, --background 启动后转入后台-e, --execute=命令 运行一个“.wgetrc”风格的命令日志和输入文件:-o, --output-file=文件 将日志信息写入 FILE-a, --append-output=文件 将信息添加至 FILE-d, --debug 打印大量调试信息-q, --quiet 安静模式 (无信息输出)-v, --verbose 详尽的输出 (此为默认值)-nv, --no-verbose 关闭详尽输出,但不进入安静模式--report-speed=类型 以 <类型> 报告带宽。类型可以是 bits-i, --input-file=文件 下载本地或外部 <文件> 中的 URL-F, --force-html 把输入文件当成 HTML 文件-B, --base=URL 解析相对于 URL 的 HTML 输入文件链接 (-i -F)--config=文件 指定要使用的配置文件--no-cookies 不读取任何配置文件--rejected-log=文件 将拒绝 URL 的原因写入 <文件>。下载:-t, --tries=数字 设置重试次数为 <数字> (0 代表无限制)--retry-connrefused 即使拒绝连接也是重试-O, --output-document=文件 将文档写入 FILE-nc, --no-clobber 不要下载已存在将被覆盖的文件-c, --continue 断点续传下载文件--start-pos=偏移量 从由零计数的 <偏移量> 开始下载--progress=类型 选择进度条类型--show-progress 在任意啰嗦状态下都显示进度条-N, --timestamping 只获取比本地文件新的文件--no-if-modified-since 不要在时间戳 (timestamping) 模式下使用if-modified-since get 条件请求--no-use-server-timestamps don't set the local file's timestamp bythe one on the server-S, --server-response 打印服务器响应--spider 不下载任何文件-T, --timeout=SECONDS 将所有超时设为 SECONDS 秒--dns-timeout=SECS 设置 DNS 查寻超时为 SECS 秒--connect-timeout=SECS 设置连接超时为 SECS 秒--read-timeout=SECS 设置读取超时为 SECS 秒-w, --wait=SECONDS 等待间隔为 SECONDS 秒--waitretry=SECONDS 在获取文件的重试期间等待 1..SECONDS 秒--random-wait 获取多个文件时,每次随机等待间隔 (0.5~1.5)*WAIT 秒--no-proxy 禁止使用代理-Q, --quota=数字 设置获取配额为 <数字> 字节--bind-address=ADDRESS 绑定至本地主机上的 ADDRESS (主机名或是 IP)--limit-rate=RATE 限制下载速率为 RATE--no-dns-cache 关闭 DNS 查询缓存--restrict-file-names=系统 限定文件名中的字符为 <系统> 允许的字符--ignore-case 匹配文件/目录时忽略大小写-4, --inet4-only 仅连接至 IPv4 地址-6, --inet6-only 仅连接至 IPv6 地址--prefer-family=地址族 首先连接至指定家族(IPv6,IPv4 或 none)的地址--user=用户 将 ftp 和 http 的用户名均设置为 <用户>--password=密码 将 ftp 和 http 的密码均设置为 <密码>--ask-password 提示输入密码--no-iri 关闭 IRI 支持--local-encoding=ENC 使用 ENC 作为 IRI (国际化资源标识符) 的本地编码--remote-encoding=ENC 使用 ENC 作为默认远程编码--unlink 覆盖前移除文件目录:-nd, --no-directories 不创建目录-x, --force-directories 强制创建目录-nH, --no-host-directories 不要创建主 (host) 目录--protocol-directories 在目录中使用协议名称-P, --directory-prefix=前缀 保存文件到 <前缀>/..--cut-dirs=数字 忽略远程目录中 <数字> 个目录层。HTTP 选项:--http-user=用户 设置 http 用户名为 <用户>--http-password=密码 设置 http 密码为 <密码>--no-cache 不使用服务器缓存的数据。--default-page=NAME 改变默认页 (通常是“index.html”)。-E, --adjust-extension 以合适的扩展名保存 HTML/CSS 文档--ignore-length 忽略头部的‘Content-Length’区域--header=字符串 在头部插入 <字符串>--max-redirect 每页所允许的最大重定向--proxy-user=用户 使用 <用户> 作为代理用户名--proxy-password=密码 使用 <密码> 作为代理密码--referer=URL 在 HTTP 请求头包含‘Referer: URL’--save-headers 将 HTTP 头保存至文件。-U, --user-agent=代理 标识自己为 <代理> 而不是 Wget/VERSION。--no-http-keep-alive 禁用 HTTP keep-alive (持久连接)。--no-cookies 不使用 cookies。--load-cookies=文件 会话开始前从 <文件> 中载入 cookies。--save-cookies=文件 会话结束后保存 cookies 至 FILE。--keep-session-cookies 载入并保存会话 (非永久) cookies。--post-data=字符串 使用 POST 方式;把 <字串>作为数据发送。--post-file=文件 使用 POST 方式;发送 <文件> 内容。--method=HTTP方法 在请求中使用指定的 <HTTP 方法>。--post-data=字符串 把 <字串> 作为数据发送,必须设置 --method--post-file=文件 发送 <文件> 内容,必须设置 --method--content-disposition 当选择本地文件名时允许 Content-Disposition头部 (实验中)。--content-on-error 在服务器错误时输出接收到的内容--auth-no-challenge 不先等待服务器询问就发送基本 HTTP 验证信息。HTTPS (SSL/TLS) 选项:--secure-protocol=PR 选择安全协议,可以是 auto、SSLv2、SSLv3、TLSv1、PFS 中的一个。--https-only 只跟随安全的 HTTPS 链接--no-check-certificate 不要验证服务器的证书。--certificate=文件 客户端证书文件。--certificate-type=类型 客户端证书类型,PEM 或 DER。--private-key=文件 私钥文件。--private-key-type=类型 私钥文件类型,PEM 或 DER。--ca-certificate=文件 带有一组 CA 证书的文件。--ca-directory=DIR 保存 CA 证书的哈希列表的目录。--ca-certificate=文件 带有一组 CA 证书的文件。--pinnedpubkey=FILE/HASHES Public key (PEM/DER) file, or any numberof base64 encoded sha256 hashes preceded by'sha256//' and seperated by ';', to verifypeer againstHSTS 选项:--no-hsts 禁用 HSTS--hsts-file HSTS 数据库路径(将覆盖默认值)FTP 选项:--ftp-user=用户 设置 ftp 用户名为 <用户>。--ftp-password=密码 设置 ftp 密码为 <密码>--no-remove-listing 不要删除‘.listing’文件--no-glob 不在 FTP 文件名中使用通配符展开--no-passive-ftp 禁用“passive”传输模式--preserve-permissions 保留远程文件的权限--retr-symlinks 递归目录时,获取链接的文件 (而非目录)FTPS 选项:--ftps-implicit 使用隐式 FTPS(默认端口 990)--ftps-resume-ssl 打开数据连接时继续控制连接中的 SSL/TLS 会话--ftps-clear-data-connection 只加密控制信道;数据传输使用明文--ftps-fallback-to-ftp 回落到 FTP,如果目标服务器不支持 FTPS
WARC 选项:--warc-file=文件名 在一个 .warc.gz 文件里保持请求/响应数据--warc-header=字符串 在头部插入 <字符串>--warc-max-size=数字 将 WARC 的最大尺寸设置为 <数字>--warc-cdx 写入 CDX 索引文件--warc-dedup=文件名 不要记录列在此 CDX 文件内的记录--no-warc-compression 不要 GZIP 压缩 WARC 文件--no-warc-digests 不要计算 SHA1 摘要--no-warc-keep-log 不要在 WARC 记录中存储日志文件--warc-tempdir=目录 WARC 写入器的临时文件目录递归下载:-r, --recursive 指定递归下载-l, --level=数字 最大递归深度 (inf 或 0 代表无限制,即全部下载)。--delete-after 下载完成后删除本地文件-k, --convert-links 让下载得到的 HTML 或 CSS 中的链接指向本地文件--convert-file-only convert the file part of the URLs only (usually known as the basename)--backups=N 写入文件 X 前,轮换移动最多 N 个备份文件-K, --backup-converted 在转换文件 X 前先将它备份为 X.orig。-m, --mirror -N -r -l inf --no-remove-listing 的缩写形式。-p, --page-requisites 下载所有用于显示 HTML 页面的图片之类的元素。--strict-comments 用严格方式 (SGML) 处理 HTML 注释。递归接受/拒绝:-A, --accept=列表 逗号分隔的可接受的扩展名列表-R, --reject=列表 逗号分隔的要拒绝的扩展名列表--accept-regex=REGEX 匹配接受的 URL 的正则表达式--reject-regex=REGEX 匹配拒绝的 URL 的正则表达式--regex-type=类型 正则类型 (posix|pcre)-D, --domains=列表 逗号分隔的可接受的域名列表--exclude-domains=列表 逗号分隔的要拒绝的域名列表--follow-ftp 跟踪 HTML 文档中的 FTP 链接--follow-tags=列表 逗号分隔的跟踪的 HTML 标识列表--ignore-tags=列表 逗号分隔的忽略的 HTML 标识列表-H, --span-hosts 递归时转向外部主机-L, --relative 仅跟踪相对链接-I, --include-directories=列表 允许目录的列表--trust-server-names 使用重定向 URL 的最后一段作为本地文件名-X, --exclude-directories=列表 排除目录的列表-np, --no-parent 不追溯至父目录
wget常用命令
- -O, --output-document=FILE:指定输出文件名12。
- -P, --directory-prefix=PREFIX:将所有文件保存到目录 PREFIX/12。
- -c, --continue:继续下载部分完成的文件(断点续传)12。
- -b, --background:启动后转入后台执行12。
- -t, --tries=NUMBER:设置最大重试次数(0 表示无限制)12。
- -w, --wait=SECONDS:两次尝试之间等待 SECONDS 秒(此选项在部分搜索结果中未提及,但属于wget的可用选项)5。
- -q, --quiet:静默模式,不显示进度条等信息12。
- -v, --verbose:冗长模式,增加输出信息12。
- --limit-rate=RATE:限制下载速率为 RATE34。
- -r, --recursive:递归下载,即下载指定URL中所有链接指向的文件(注意:此选项在部分搜索结果中仅提及了递归下载网站的概念,但
-r
是确切的选项用于递归下载)12。 - -U, --user-agent=AGENT:User-Agent字符串,用于伪装浏览器或其他客户端身份24。
其他高级选项
- -o, --output-file=FILE:将日志信息写入 FILE5。
- -a, --append-output=FILE:将信息添加至 FILE5。
- -nv, --no-verbose:关闭详细输出,但不进入安静模式5。
- -i, --input-file=FILE:下载本地或外部 FILE 中的 URL5。
- -N, --timestamping:只获取比本地文件新的文件5。
- -S, --server-response:打印服务器响应头信息5。
- --spider:不下载任何文件,仅检查URL是否有效5。
- -nd, --no-directories:不创建目录5。
- -x, --force-directories:强制创建目录5。
1. 下载单个文件
wget http://example.com/file.zip
2. 下载并保存为特定文件名
wget -O newname.zip http://example.com/file.zip
3. 下载整个网站
wget -r http://example.com/
4. 下载并以本地目录结构保存
wget -r --no-parent http://example.com/dir/
5. 限制下载速度
wget --limit-rate=200k http://example.com/file.zip
6. 设置重试次数
wget --tries=40 http://example.com/file.zip
7. 继续未完成的下载
wget -c http://example.com/file.zip
8. 下载并以时间戳命名文件
wget -N http://example.com/file.zip
9. 使用代理服务器下载
wget --proxy=on --http-user=username --http-passwd=password http://example.com/file.zip
或者使用环境变量:
export http_proxy="http://proxy.server.com:port/"wget http://example.com/file.zip
10. 下载并查看进度条(需要外部工具如 wget2
或使用 --progress=bar
)
wget --progress=bar http://example.com/file.zip或者使用 wget2:wget2 http://example.com/file.zip
(注意:wget2
可能不是所有系统默认安装的,可以通过包管理器安装,例如在 Ubuntu 上使用 sudo apt-get install wget2
)
11. 设置超时时间
wget --timeout=20 http://example.com/file.zip
12. 使用 HTTPS 协议下载文件(需要安装 openssl
)
wget --no-check-certificate https://example.com/file.zip或者使用 curl(如果更喜欢使用它):curl -O https://example.com/file.zip
13. 下载多个文件(使用循环或并行)
使用循环:
for i in {1..5}; do wget http://example.com/file$i.zip; done使用 xargs 和 parallel(如果已安装):
seq 5 | xargs -I {} wget http://example.com/file{}.zip &> /dev/null & # 使用后台运行多个下载任务,抑制输出到控制台。注意:并行下载可能会对服务器造成压力,使用时需谨慎。或者使用 parallel 直接:
parallel wget ::: http://example.com/file{1..5}.zip # 使用 GNU parallel 来
二、curl和wget区别
curl和wget都是命令行工具,用于从Web服务器下载文件或数据,但它们在功能、使用场景和支持的协议等方面存在显著差异。
功能差异
使用场景
- curl:由于其多功能性和高级功能,curl更适合需要进行复杂网络操作和自动化脚本的场景,例如测试API接口、发送各种HTTP请求等。
- wget:由于其简单性和递归下载功能,wget更适合简单的自动化下载任务和需要递归下载整个网站的情况。
协议支持
- curl:支持FTP(S), Gopher, HTTP(S), SCP, SFTP, TFTP, TELNET, DICT, LDAP(S), MQTT, FILE, POP3(S), IMAP(S), SMB/CIFS, SMTP(S), RTMP, RTSP等多种协议。
- wget:主要支持HTTP(S)和FTP协议。
curl
和 wget
都是用于从命令行下载文件的工具,它们在很多方面有相似性,但也有一些关键的区别。以下是两者的详细比较:
1. 基本功能
curl
(Client URL):一个强大的命令行工具,支持多种协议(如 HTTP、HTTPS、FTP、SFTP、SMTP 等)。它不仅能下载文件,还能上传文件、发送数据、执行 API 请求等,功能非常强大。wget
:一个专门用于下载文件的命令行工具,主要支持 HTTP、HTTPS 和 FTP 协议。它的特点是简单易用,通常用于下载文件或递归地下载整个网站。
2. 支持的协议
3. 下载方式
-
curl
:- 默认不会保存文件到本地磁盘,下载的数据会输出到标准输出(屏幕)。
- 通过
-o
或-O
选项来指定保存的文件名。 - 适用于发送 HTTP 请求(GET、POST、PUT 等)并获取响应内容。
- 支持对 API 请求进行更细致的控制(如设置 HTTP 头、POST 请求、文件上传等)。
示例:
curl -O https://example.com/file.txt # 下载并保存为 file.txt curl -o custom_name.txt https://example.com/file.txt # 下载并保存为 custom_name.txt
-
wget
:- 默认会将下载的文件保存到当前目录。
- 对于递归下载网站(例如下载整个网站或目录)非常方便。
- 对 HTTP 请求的控制较少,但可以通过命令行选项进行简单的定制。
示例:
wget https://example.com/file.txt # 下载并保存为 file.txt wget -O rename.txt https://example.com/file.txt # 下载并保存为 rename.txt
4. 限速下载
curl
curl --limit-rate 50k -O https://example.com/file.txt
wget
wget --limit-rate=50k https://example.com/file.txt
5. 递归下载
curl
本身不支持递归下载。尽管可以通过编写脚本实现递归下载,但它并没有原生的支持。wget
支持递归下载,这是它的一大优势。例如,你可以下载整个网站或目录:wget -r https://example.com/directory/ # 递归下载目录中的所有文件
6. 断点续传
-
wget
也支持断点续传(-c
选项),在下载中断时,可以继续从上次下载的地方恢复。示例:
curl -C - -O https://example.com/largefile.zip # 断点续传 wget -c https://example.com/largefile.zip # 断点续传
7. 多线程下载
8. 上传文件
-
curl
支持通过-F
选项上传文件,适用于与 API 交互时上传文件。
示例:curl -F "file=@localfile.txt" https://example.com/upload
-
wget
不支持直接上传文件,它专注于下载。
9. 配置和灵活性
-
curl
提供了更多的灵活性和可配置性,适用于复杂的 HTTP 请求(如自定义 HTTP 头、Cookie 支持、认证等)。- 示例:发送 POST 请求并附带数据:
curl -X POST -d "name=John&age=30" https://example.com/submit
- 示例:发送 POST 请求并附带数据:
-
wget
相对简单,适合直接下载文件,不需要进行复杂的配置。
10. 错误处理
11. 安装和可用性
curl
:在大多数现代 Linux 发行版中默认安装,且支持多种操作系统(Linux、macOS、Windows)。wget
:通常也会默认安装在 Linux 系统中,但在某些轻量级系统中可能需要手动安装。