利用wget批量下载http目录下文件

news/2025/3/14 19:26:35/

因为网络特殊,连不上互联网,只好自己制作一个puppet本地源。因为自己的电脑是是可以连互联网的,所以就直接将puppetlabs.repo导入进来了

rpm -Uvh http://yum.puppetlabs.com/el/6/products/i386/puppetlabs-release-6-7.noarch.rpm

进入/etc/yum.repos.d/看以看到puppetlabs.repo.


注意:因为我是X86-64的系统【在终端中输入arch命令可以知道$basearch】的值

进入http://yum.puppetlabs.com/el/6.0/products/x86_64/我们可以看到许多的包:要是用wget命令逐个包下载,繁琐程度难以想象。所以这时候就必须利用wget批量下载:

wget -nd -r -l1  -A.rpm --no-parent http://yum.puppetlabs.com/el/6.0/products/x86_64/




---------------------------------------------------------------------------------------------------------------------------------------------------------

使用 wget 完成批量下载
如果想下载一个网站上目录中的所有文件, 我需要执行一长串wget命令, 但这样做会更好:
wget -nd -r -l1 --no-parent http://www.foo.com/mp3/
这条命令可以执行的很好, 但有时会下载像 index.@xx 这样一些我不想要的文件. 如果你知道想要文件的格式, 可以用下面的命令来避免下载那些多余的文件:
wget -nd -r -l1 --no-parent -A.mp3 -A.wma http://www.foo.com/mp3/
我来简单的介绍一下命令中指定选项的作用.
-nd 不创建目录, wget默认会创建一个目录
-r 递归下载
-l1 (L one) 递归一层,只下载指定文件夹中的内容, 不下载下一级目录中的.
–no-parent 不下载父目录中的文件

转载地址:http://article.yeeyan.org/view/30993/19075

补充:http://yhj1065.blog.163.com/blog/static/19800217201392393033224/

---------------------------------------------------------------------------------------------------------------------------------------------------------


有时候下载整个目录下的包也不现实,那么可以吧自己需要的包的URL地址写入到一个文件中去。如我再../lixw/seeds.txt放入了一些URL地址,那么在该路径下,只要将使用命令也可以批量下载:

wget -i seeds.txt 





http://www.ppmy.cn/news/615840.html

相关文章

Python 使用mutagen批量修改MP3标签信息

以下代码仅供业余爱好参考,不涉及音频专业知识。 说明: 听歌时,想着修改一下mp3的标签信息,但是歌曲很多不可能一个个的修改。 下载了一个Mp3tag软件,添加封面还是可以,但是批量修改标题只能清空等。我希望…

php 批量下载

$filename "http://" . Config::$TitlePrefix . "/Business/Resume/forDownLoadResume.do?ResumeIDs" . $v; //获取要下载页面地址url $saveName $time . "_" . iconv("utf-8", "gbk", $resumeInfo["RealName"…

【Nodejs】使用http.request批量下载MP3,发现网络文件大于1000K时下载文件为0K

这又一次让我对http.request产生质疑 // // 喜爱123四年级上英语MP3下载爬虫1.00 // 2018年5月10日 // var httprequire("http"); // http模块 var httpsrequire("https"); // https模块 var zlib require(zlib); // 用…

php 批量下载网页文件,批量下载文件(以xxx网站为例)

爸爸经常拿个收音机听评书,最近想帮爸爸在网上下个全集。打开百度搜了下评书,发现有个叫评书网的网站。搜了下单田芳说的《白眉大侠》。但是只能一回一次的单个点击下载,那不得点死。所以就想到了批量搞它。本文用的方法很简单(大神勿喷)。 发…

前端批量下载七牛云文件

前端批量下载七牛云文件 // 组装文件名称getFileUrl(row) {var name row.filename .mp3;var url row.fileurl ?attname encodeURI(name);return url;},// 单个下载 第一种方法/**downloadOne(row) {window.open(this.getFileUrl(row), _self);}, */// 单个下载 第二种方法…

通过url地址批量打包zip下载文件

通过url地址批量打包zip下载文件 controller ApiOperation("通过下载url批量打包zip下载")PostMapping("batchDownloadFile")public void batchDownloadFile(RequestBody List<String> urlList){log.debug("通过下载url批量打包zip下载 入参 {}…

批量修改MP3文件信息

前两天本人在整理自己的歌单时&#xff08;题外话&#xff0c;本人是一个热衷音乐的程序员噢&#xff0c;哈哈&#xff09;&#xff0c;发现之前下载的很多MP3文件里的歌手&#xff0c;标题等信息对不上&#xff0c;很多都是错的。对于患有“强迫症”的本人来说&#xff0c;当然…

如何用python批量下载数据_如何基于Python批量下载音乐

这篇文章主要介绍了如何基于Python批量下载音乐,文中通过示例代码介绍的非常详细&#xff0c;对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 音乐是生活的调剂品&#xff0c;目前很多的音乐只能播放不能下载。生为技术员的我们&#xff0c;怎么甘心呢&…