python海贼王logo_Python 学习笔记---爬取海贼王动漫

news/2024/11/29 16:23:17/

最近无聊整理的爬虫代码,可以自动爬取腾讯动漫的任意漫画,思路如下:

1. 先获取想下载的动漫url, 这里用了 getUrls ,直接获取动漫的最后一章

2. 然后进入到该动漫去获取要下载的图片url

3. 下载到本地

import os

import random

import time

from random import randint

from bs4 import BeautifulSoup

from selenium import webdriver

from selenium.webdriver import DesiredCapabilities

import urllib.request as urllib2

ROOT_URL = "http://ac.qq.com"

target_url = [

ROOT_URL + "/Comic/comicInfo/id/505430", # 海贼王

]

ua_list = [

"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv2.0.1) Gecko/20100101 Firefox/4.0.1",

"Mozilla/5.0 (Windows NT 6.1; rv2.0.1) Gecko/20100101 Firefox/4.0.1",

"Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",

"Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",

"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"

]

user_agent=random.choice(ua_list)

dir_path="D:/py/海贼王/"

def getImageUrls(comic_url):

'''

通过Selenium和Phantomjs获取动态生成的数据

'''

urls = []

dcap = dict(DesiredCapabilities.PHANTOMJS)

dcap["phantomjs.page.settings.userAgent"] = ("Mozilla/4.0 (compatible; MSIE 5.5; windows NT)")

browser = webdriver.PhantomJS(executable_path=r"E:\py\littlepy\tencent_cartoon\phantomjs-2.1.1-windows\bin\phantomjs.exe",

desired_capabilities=dcap)

browser.get(comic_url)

imgs = browser.find_elements_by_xpath("//div[@id='mainView']/ul[@id='comicContain']//img")

for i in range(0, len(imgs) - 1):

if i == 1: # 略过广告图片

continue

urls.append(imgs[i].get_attribute("src"))

js = 'window.scrollTo( 800 ,' + str((i + 1) * 1280) + ')'

browser.execute_script(js)

time.sleep(randint(3, 6))

browser.quit()

print("urls=",urls)

return urls

def getUrls(comic_url):

result = dict()

req = urllib2.Request(comic_url)

req.add_header('User-Agent', user_agent)

print("url=",comic_url)

response = urllib2.urlopen(req)

soup = BeautifulSoup(response, "lxml")

#print("soup=",soup)

# 返回最近漫画中的最新20话

page = soup.find(attrs={"class": "chapter-page-new works-chapter-list"}).find_all(

"a") # 全部漫画 chapter-page-new works-chapter-list

title = page[-1]['title']

result[title] = ROOT_URL + page[-1]['href']

print("title=",title)

print("result=",result[title])

return title,result[title]

def downloadComics(dir_path, urls):

for url in urls:

urllib2.urlretrieve(url, dir_path + url[-8:-2])

#print("url=",url[-9:-2])

if __name__ == "__main__":

title,result_url=getUrls(target_url[0])

urls=getImageUrls(result_url)

path=dir_path+title+"/"

isExists = os.path.exists(path)

if not isExists:

os.makedirs(path)

print(path + ' 创建成功')

downloadComics(path,urls)


http://www.ppmy.cn/news/291411.html

相关文章

python海贼王logo_Python入门之生成海贼王云图

本教程适合于有一定编程经验的同学,使用Python3,在Jupyter进行调试开发。 涉及的Python基础包括:变量和函数的定义和使用 列表和字典等数据结构的使用 条件和循环语句,if、for等 模块的导入和使用,import语法 需要安装…

python海贼王logo_Python 实现的下载op海贼王网的图片(网络爬虫)

没得事就爬一下我喜欢的海贼王上的图片 需要在d盘下建立一个imgcache文件夹 # -*- coding: utf-8 -*- import urllib import urllib2 import json from bs4 import BeautifulSoup import threadpool import thread class htmlpaser: def __init__(self): self.urlhttp://1.hzfa…

python海贼王logo_Python实现的下载op海贼王网的图片

没得事就爬一下我喜欢的海贼王上的图片 需要在d盘下建立一个imgcache文件夹 # -*- coding: utf-8 -*- import urllib import urllib2 import json from bs4 import BeautifulSoup import threadpool import thread class htmlpaser: def __init__(self): self.urlhttp://1.hzfa…

python海贼王logo_中年大叔学编程-Python下载海贼王漫画图片

page pq(url"http://www.hanhande.net/manga/94/", encodingutf-8) lias page("#chapter-list-4").find(li).find(a).items() for a in lias: print(a.attr[href]) print(a.text()) 初步效果有了,我们再继续看看详细的动漫页面 我们可以看到页…

html怎么写海贼王旗帜图片,海贼王精美旗帜套图

1/49 海贼王精美旗帜套图 http://img1.v.tmcdn.net/haizei/bizhi/big_pic/20120728-118359/7812089422c27325d40d9d1d6911a9cf1.jpg http://img1.v.tmcdn.net/haizei/bizhi/big_pic/20120728-118359/7812089422c27325d40d9d1d6911a9cf1.jpg 2/49 海贼王精美旗帜套图 http://img…

python绘画海贼王_Python爬虫之爬取海贼王全彩漫画图片

制作工具模块 -隐藏身份信息的User-Agent模块;对象服务器识别不了身份信息。 import random user_agent_data = [ { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3314.0 Safari/537.36 SE 2.X Me…

新手做知识变现的三个阶段,看你在哪个阶段?

哈喽,大家好,我是海哥,知识付费变现创业教练,教育公司培训总监,从事知识付费变现咨询10年,已助力3000人实现知识付费变现。 做知识变现,不要一上来就说我做知识付费,我一上来分享就应…

一个好的浏览器是多么重要,强烈推荐一个好用的浏览器.........

什么,你不知道祖安是什么意思?没关系,可以搜索词条啊,最近祖安确实进入了大众的视野,祖安文化在蔓延,本来不知道祖安的我好奇的搜索了一下祖安。 什么你以为我会给你科普一下祖安文化,交流祖安心…