#爬取3dm上单机游戏评测榜，50页的相关信息import requests
from lxml import etree
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36"
}
def index():for num in range(1,50,1):try:base_url='https://www.3dmgame.com/original_40_{0}/'.format(num)response=requests.get(base_url,headers=headers)# print(response.status_code)print(base_url+'访问成功')response.encoding=('utf-8')except:print("error")html=response.textclean(html)
def clean(html):#代码预处理html=etree.HTML(html)# print(html)#xpath守则game_name=html.xpath("//div[@class='bt']/a/text()")game_score=html.xpath("//a[@class='font']/text()")test_time=html.xpath("//div[@class='time']/text()")short_list=html.xpath("//div[@class='p']/p/text()")# hot_index=html.xpath("//span[@class='selectarcnum']/text()")# print(game_score)# print(game_score)# print(test_time)for name,score,time ,list in zip(game_name,game_score,test_time,short_list):#提取游戏名称name=name.split('》')[0]name=name+'》'#游戏单体信息加工info=name+'  3dm评分：'+score+'\n\t\t3dm评测时间：'+time+'\n\t\t简介：'+list+'\n'# print(info)#保存信息sto(info)
def sto(info):fp.write(info)
if __name__ == '__main__':fp=open('./3dm游戏评测.txt','a',encoding='utf-8')index()fp.close()

参考结果

《全面战争：三国》 3dm评分：8.2
3dm评测时间：2020-09-01 22:00:00
简介：南蛮的野兽部队，靠滑铲可对付不了。
《枪火重生》 3dm评分：8.0
3dm评测时间：2020-08-31 13:40:22
简介：游戏还是要好玩才是硬道理，兼具系统深度与重复可玩性的《枪火重生》，会是消磨酷夏时光的一大杀器。
《Spiritfarer》 3dm评分：8.5
3dm评测时间：2020-08-30 21:37:03
简介：当看到游戏有着拥抱的功能后，我就知道，这会是个好游戏。
《控制》 3dm评分：8.0
3dm评测时间：2020-08-29 19:07:17
简介：喜欢本体的，玩就对了。
《曲途》 3dm评分：7.0
3dm评测时间：2020-08-28 20:37:21
简介：要跳要舞，要跳得出类拔萃，要舞得让大家心悦诚服。
《废墟战旗》 3dm评分：7.0
3dm评测时间：2020-08-27 19:27:37
简介：兽人确实很棒。
《雨中冒险2》 3dm评分：8.0
3dm评测时间：2020-08-26 11:31:55
简介：玩着玩着，一小时便过去了
《全网公敌》 3dm评分：7.5
3dm评测时间：2020-08-25 18:55:47
简介：答案都在细节里
《英雄传说：创之轨迹》 3dm评分：8.5
3dm评测时间：2020-08-22 20:03:01
简介：量大管饱的系列里程碑。
《冰汽时代》 3dm评分：7.0
3dm评测时间：2020-08-21 19:57:59
简介：To be,or not to be.
《浴血黑帮：傀儡师》 3dm评分：8.0
3dm评测时间：2020-08-20 21:00:00
简介：英伦黑帮，西装暴徒
《全面战争传奇：特洛伊》 3dm评分：8.2
3dm评测时间：2020-08-19 20:06:45
简介：这次的古希腊神话，代入感比三国好太多了。
《致命躯壳》 3dm评分：8.8
3dm评测时间：2020-08-18 12:00:00
简介：在《致命躯壳》里，攻击可以成为最好的防守