0.说明
本文章仅用于python爬虫的学习,爬取到的数据仅用于学习、竞赛等非营利活动,如有侵权请及时联系。
1.简单介绍
我们在爬虫时,往往都是静态界面,或者没有嵌套的的界面,直接使用requests.get()方法就可以 获取,但是当遇到动态刷新的界面,或者有iframe嵌套的界面,我们应该怎么处理。
selenium是一个很棒的库,除了可以完成自动化操作,还可以很好的解决上面的问题,下面我以爬取全国电动汽车充电站数据为例,学习一下爬虫的另一些方面。
2.代码部分
话不多说,先上代码
from bs4 import BeautifulSoup
from selenium import webdriver
import re
import requests
import xlsxwriter# 1.得到一个城市所有停车桩链接
info = []
driver = webdriver.Chrome("chromedriver.exe") #启动浏览器
driver.get("http://www.bjev520.com/jsp/beiqi/pcmap/do/pcMap.jsp?cityName=北京") #用浏览器打开链接,北京可以改成其他省份
driver.switch_to.frame('left') #网页是嵌套的,在一网页下面,有一个iframe,我们找到这个iframe
soup = driver.find_elements_by_tag_name('a') #链接都在a标签中,我们找到a标签
for item in soup:info.append(item.get_attribute('href')) #提取数a标签里面的href链接#2.爬虫函数
def get_data(url):try:headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'}response = requests.get(url, headers=headers)if response.status_code == 200:return response.textelse:print(response.status_code)return Noneexcept:print('访问 http 发生错误... ')return None
# 3.数据筛选
j=1
workbook = xlsxwriter.Workbook("test.xlsx")
df = workbook.add_worksheet()
cols = ["名称","地址","快充数量","慢充数量","支付方式","充电费","服务费","停车费","开放时间"]
for i in range(9):df.write(0,i,cols[i])for u in info:url = uprint(j)html = get_data(url)if html !=None:soup = BeautifulSoup(html) Name = soup.find_all("div",{"class":"news-top"})[0]name = Name.find_all("p")[0].textAddress = soup.find_all("div",{"class":"news-a"})[0]address = Address.find_all("p")[0].texttry:num = soup.find_all("div",{"class":"news-c"})[0].find_all("p")[0].textp = re.compile('数量:(.*)个')num = re.findall(p,num)[0]except:num = "NA"try:num2 = soup.find_all("div",{"class":"news-c"})[0].find_all("p")[1].textp = re.compile('数量:(.*)个')num2 = re.findall(p,num2)[0]except:num2 = "NA"Pay_type = soup.find_all("div",{"class":"news-con"})[0].find_all("ul",{"class":"news-d details"})[0]pay_type = Pay_type.find_all("li")[0].find_all("div")[0].textp1 = re.compile("支付方式:")pay_num = Pay_type.find_all("li")[1].find_all("div")[0].text.strip()pay_fee = Pay_type.find_all("li")[2].find_all("div")[0].text.strip()pay_park = Pay_type.find_all("li")[3].find_all("div")[0].text.strip()time = Pay_type.find_all("li")[4].find_all("div")[0].text.strip()
#4.把数据存储if name != None:df.write(j,0,name)df.write(j,1,address)df.write(j,2,num)df.write(j,3,num2)df.write(j,4,pay_type)df.write(j,5,pay_num)df.write(j,6,pay_fee)df.write(j,7,pay_park)df.write(j,8,time)j = j+1else:j=j+1workbook.close()
3.内容分析
本次爬虫数据来源:全国电动汽车充电站分布图
进入网页,看到是一个中国地图,地图省份上面有数字,应该是这个省份充电桩数量,我们点进去城市看下,以北京市为例。
左边是地址,右边是地图,我们不关心地图,只关心左边的地址。点击左边的地址,发现跳转到了一个界面, 这里面包含了所有的数据,心中窃喜。
话不多说,开始整活
1.检查链接
地图的链接是这样的,一看又是心中狂喜,根据经验,把北京换成其他城市,肯定跳转到其他城市,试验了一下,果然是。这样要得到全国的充电站数据,得到一个一个省的就可以,而且还做好了分类,针不戳。
2.检查网页源代码
发现数据都在这个 id = 'left' 的 iframe框架里面,事情有些不简单了,这时候直接get方法,得到的源代码,没有iframe部分,那怎么办。查了资料发现,可以用selenium库,解决这个问题。
driver = webdriver.Chrome("chromedriver.exe") #启动浏览器
driver.get("http://www.bjev520.com/jsp/beiqi/pcmap/do/pcMap.jsp?cityName=北京") #用浏览器打开链接,北京可以改成其他省份
driver.switch_to.frame('left') #网页是嵌套的,在一网页下面,有一个iframe,我们找到这个iframe
这样就进入了iframe里面的html代码。想着可以得到网页的源代码,问题就不大了????
soup = BeautifulSoup(driver.page_source, "html.parser")
可以看到,每一个地点,都在一个链接上面,这个链接都在<a>标签中,单独输入链接,我们可以得到和上面一样的内容,好家伙,那我得到这个界面所有的<a>标签内容不就可以了吗。
话不多说,开始尝试
driver = webdriver.Chrome("chromedriver.exe") #启动浏览器
driver.get("http://www.bjev520.com/jsp/beiqi/pcmap/do/pcMap.jsp?cityName=北京") #用浏览器打开链接,北京可以改成其他省份
driver.switch_to.frame('left') #网页是嵌套的,在一网页下面,有一个iframe,我们找到这个iframe
soup = driver.find_elements_by_tag_name('a') #链接都在a标签中,我们找到a标签
for item in soup:print(item.get_attribute('href')) #提取数a标签里面的href链接
打印出来的结果正是所有的链接
数据的开头和结尾
链接问题解决
3.开始爬虫
爬虫的话,因为都是静态界面,那就三步走:requests.get()获取源代码,Beautifulsoup提取信息,正则表达式进一步提取信息(可选)。
爬虫的代码,url就是上面的链接
def get_data(url):try:headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'}response = requests.get(url, headers=headers)if response.status_code == 200:return response.textelse:print(response.status_code)return Noneexcept:print('访问 http 发生错误... ')return None
数据筛选
for u in info:url = uprint(j)html = get_data(url)if html !=None:soup = BeautifulSoup(html) Name = soup.find_all("div",{"class":"news-top"})[0]name = Name.find_all("p")[0].text #地名Address = soup.find_all("div",{"class":"news-a"})[0]address = Address.find_all("p")[0].text #地址try:num = soup.find_all("div",{"class":"news-c"})[0].find_all("p")[0].textp = re.compile('数量:(.*)个')num = re.findall(p,num)[0]except:num = "NA" #快充数try:num2 = soup.find_all("div",{"class":"news-c"})[0].find_all("p")[1].textp = re.compile('数量:(.*)个')num2 = re.findall(p,num2)[0] #慢充数except:num2 = "NA"Pay_type = soup.find_all("div",{"class":"news-con"})[0].find_all("ul",{"class":"news-d details"})[0]pay_type = Pay_type.find_all("li")[0].find_all("div")[0].text #支付方式pay_num = Pay_type.find_all("li")[1].find_all("div")[0].text.strip() #充电费pay_fee = Pay_type.find_all("li")[2].find_all("div")[0].text.strip() #服务费pay_park = Pay_type.find_all("li")[3].find_all("div")[0].text.strip() #停车费time = Pay_type.find_all("li")[4].find_all("div")[0].text.strip() #开放时间
4.数据存储
使用xlxswriter进行对xlsx文件存取,方便数据的合并,看看效果
4.总结
后续的话还可以对数据进一步处理,也可以做可视化,和数据处理。
driver = webdriver.Chrome("chromedriver.exe") 这行代码,要根据自己谷歌浏览器的版本,下载对应的的chromedriver.exe文件。