手把手教你用Python网络爬虫获取壁纸图片!

news/2024/11/18 16:36:17/

桃之夭夭,灼灼其华。

/1 前言/

    想要电脑换个壁纸时都特别苦恼,因为百度搜到那些壁纸也就是分辨率达到了壁纸的水准。可是里面图片的质量嘛,实在是不忍直视…。而有些4K高清的壁纸大多是有版权的 ,这就使我们想要获取高清的图片,变得非常的困难。

    wallhaven 网站是无版权的4K壁纸 ,而且主题丰富(创意、摄影、人物、动漫、绘画、视觉),今天教大家如何去批量的去下载wallhaven4K原图。

/2 项目目标/

    获取对应的4K壁纸,并批量下载保存在文件夹。

/3 涉及的库和网站/

    软件:PyCharm

    需要用到的库:requests、lxml、fake_useragent、time

    先列出网址,如下所示:

https://wallhaven.cc/search?q=id%3A65348&page={}

    网址city=%E5%B9%BF%E5%B7%9E指的是广州这个城市、pn指的是页数。

/4 项目分析/

    滑动鼠标观察下一页的网址的变化:

https://wallhaven.cc/search?q=id%3A65348&page=1https://wallhaven.cc/search?q=id%3A65348&page=2https://wallhaven.cc/search?q=id%3A65348&page=3

    滑动下一页时,每增加一页page自增加1,用{}代替变换的变量,再用for循环遍历这网址,实现多个网址请求。

/5 具体实现/

1、定义一个class类继承object,定义init方法继承self,主函数main继承self。导入需要的库和网址。

import requestsfrom lxml import etreefrom fake_useragent import UserAgentimport time  class  wallhaven(object):    def __init__(self):      self.url = "https://wallhaven.cc/search?q=id%3A65348&page={}"      def main(self):        pass  if __name__ == '__main__':    imageSpider =  wallhaven()    imageSpider.main()

2、fake_useragent模块实现随机产生UserAgent。

 ua = UserAgent(verify_ssl=False)        for i in range(1, 50):            self.headers = {                'User-Agent': ua.random,            }

3、for循环实现多网址访问。

startPage = int(input("起始页:"))endPage = int(input("终止页:"))for page in range(startPage, endPage + 1):    url = self.url.format(page)

4、发送请求  获取响应。

'''发送请求  获取响应'''    def get_page(self, url):        res = requests.get(url=url, headers=self.headers)        html = res.content.decode("utf-8")        return html

5、解析一级页面,得到二级页面的 href 地址。

 def parse_page(self, html):    parse_html = etree.HTML(html)    image_src_list = parse_html.xpath('//figure//a/@href')

6、遍历二级页面网址,发生请求、解析数据。找到相对于的图片地址。

html1 = self.get_page(i)  # 二级页面发生请求parse_html1 = etree.HTML(html1)# print(parse_html1)filename = parse_html1.xpath('//div[@class="scrollbox"]//img/@src')# print(filename)

7、获取到的图片地址,发生请求,保存。

# 图片地址发生请求for img in filename:    dirname = "./图/" + img[32:] '''可修改图片保存的地址'''    print(dirname)    html2 = requests.get(url=img, headers=self.headers).content      with open(dirname, 'wb') as f:        f.write(html2)        print("%s下载成功" % filename)

8、调用方法,实现功能。

html = self.get_page(url)self.parse_page(html)

优化:设置延时。(防止ip被封)。

time.sleep(1.4) """时间延时"""

/6 效果展示/

1、点击绿色按钮运行,将结果显示在控制台,如下图所示。输起始页和终止页,回车。

2、图片下载成功控制台输出。

3、批量保存。

4、验证4K。(点击图片打开属性)

/7 小结/

1、不建议抓取太多数据,容易对服务器造成负载,浅尝辄止即可。

2、本文基于Python网络爬虫,利用爬虫库,获取wallhaven4K壁纸。

3、4K的壁纸下载时可能会有点缓慢,请大家耐心的等待。如果图片的地址不一样,需要自己修改一下图片的保存的地址。

4、大家也可以在wallhaven网址上,寻找自己喜欢图片,按照操作步骤,自己尝试去做。自己实现的时候,总会有各种各样的问题,切勿眼高手低,勤动手,才可以理解的更加深刻。

5、如果本文源码的小伙伴,请点击4K壁纸”四个字进行获取,觉得不错,记得给个Star噢~

 


http://www.ppmy.cn/news/262012.html

相关文章

A. The Good Array - 思维

分析&#xff1a; 首先数组第一个元素和最后一个元素一定为1&#xff0c;然后可以发现in-1时&#xff0c;可以得到数组中除了最后一位1的个数&#xff0c;也就可以得出答案&#xff0c;数组中一共的1的个数时n-1时的1的个数再加上1. 代码&#xff1a; #include <bits/stdc…

499张WEBP格式动漫图片

499张WEBP格式动漫图片 Lan 2020-05-10 19:13 185 人阅读 0 条评论 用处多多&#xff0c;即可当网站背景&#xff0c;还可以配合WE当桌面壁纸 本资源转载于网络&#xff0c;如有问题请联系E-mail:Vasttom.com 499webpimg.zip 密码&#xff1a;解压密码&#xff1a;www.lanol.…

动漫的python语言代码大全_下载动漫壁纸-Python代码

本帖最后由 我心她有丶 于 2020-4-16 19:28 编辑 前段时间在论坛找到一个下载动漫壁纸的软件&#xff0c;还挺好用的&#xff0c;这几天突然用一下&#xff0c;下载不出图片&#xff0c;下载的一片白&#xff0c;然后分析了下他的软件&#xff0c;得到了一个地址&#xff1a; h…

【数据库】数据库必背知识

数据库必背知识 数据库设计过程 需求分析概念结构设计逻辑结构设计物理结构设计数据库实施需求分析 收集用户需求和业务规则成果&#xff1a;数据流程图和数据字典&#xff08;数据项、数据结构、数据流、数据存储、处理过程&#xff09;概念结构设计 自顶向下地进行需求分析。…

android 2d 漫画界面,宅男舔屏必备!动漫人物Live2d壁纸App

宅男最喜欢什么东西&#xff1f;当然就是各种二次元萌妹子啦。看到手机中的萌图&#xff0c;宅男们甚至止不住舔屏(……)。今天&#xff0c;小编就来为各位宅男们推荐一款质量相当好的动漫人物Live2d动态壁纸App&#xff0c;尽情prpr吧&#xff01;软件名称&#xff1a;Live2d壁…

python爬虫设计图片_手把手教你用Python网络爬虫获取壁纸图片

点击上方“ Python爬虫与数据挖掘 ”&#xff0c;进行关注 回复“书籍”即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 桃之夭夭&#xff0c;灼灼其华。 /1 前言/ 想要电脑换个壁纸时都特别苦恼&#xff0c;因为百度搜到那些壁纸也就是分辨率达到了壁纸的水准。可是里面…

360壁纸图片API收录

1.获取壁纸类别 url&#xff1a;http://wallpaper.apc.360.cn/index.php?cWallPaperAndroid&agetAllCategories url 示例&#xff1a;http://wallpaper.apc.360.cn/index.php?cWallPaperAndroid&agetAllCategories json 示例&#xff1a; { "errno": &…

动漫图片接口整理和爬取

动漫图片爬取(附带随机图片接口&#xff0c;以及爬取程序代码&#xff09; 1.动漫图片接口收集一种转发的&#xff0c;可直接获取文件名&#xff0c;方便去重一种重定向的&#xff0c;需要自己命名 2.爬取程序代码展示 爬取程序已上传github&#xff0c;获取地址&#xff1a; 点…