##请求网址：https://www.xxsy.net/rank(潇湘书院)
引入模块包括re、json、requests
如果引入报错，可能是没有安装对应模块：pip install re/json/requests
##json_test.py
实现功能点描述：获取页面榜单数据字符串，并转成json格式，剥离作者、标题、书目类型、书目标签、书目简介等字段信息；
写入json文件
python">import requests
import re
import jsonurl='https://www.xxsy.net/rank'
headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}
res = requests.get(url=url,headers=headers)json_data = json.loads(re.findall(r'<script id="vite-plugin-ssr_pageContext" type="application/json">(.*?)</script>',res.text)[0])
rank_list = json_data['pageContext']['pageProps']['pageData']book_list = [j for i in rank_list for j in i.get('bookList')]
# 作者、标题、书目类型、书目标签
author = tuple(map(lambda x:x.get('author'),book_list))
title = tuple(map(lambda x:x.get('title'),book_list))
book_type= tuple(map(lambda x:x.get('catel2name'),book_list))
book_tag = tuple(map(lambda x:'/'.join(tuple(map(lambda y:y.get('tagName'),x.get('bookTagInfo')))),book_list))
book_intro = tuple(map(lambda x:x.get('intro'),book_list))
Data = list(map(lambda x:{'作者':x[1],'书名':title[x[0]],'书籍类别':book_type[x[0]],'书籍标签':book_tag[x[0]],'书籍简略内容':book_intro[x[0]]},enumerate(author)))with open('xxsy_rank.json','w',encoding='utf-8') as f:json.dump(Data,f,ensure_ascii=False,indent=2)
运行效果：
##json_test2.py
实现功能点描述：读取json文件数据
python">import json
with open('xxsy_rank.json','r',encoding='utf-8') as f:data = json.load(f)print(data)
##excel_test.py
实现功能点描述：
数据格式整理成键值对格式，写入excel表格
python">import json
import pandas as pdwith open('xxsy_rank.json','r',encoding='utf-8')as f:data = json.load(f)excel_data = {'作者':tuple(map(lambda x:x.get('作者'),data)),'书名':tuple(map(lambda x:x.get('书名'),data)),'书籍类别':tuple(map(lambda x:x.get('书籍类别'),data)),'书籍标签':tuple(map(lambda x:x.get('书籍标签'),data)),'书籍简略内容':tuple(map(lambda x:x.get('书籍简略内容'),data)),
}
df = pd.DataFrame(excel_data)
'''
excel 文件的写入
csv文件的默认编码格式不是utf-8,需要指定编码格式
xlsx to_excel'''df.to_csv('text.csv',encoding='utf_8_sig')
df.to_excel ('text.xlsx',index=False)
实现效果：
