前言

本教程将详细介绍如何使用Python爬虫批量获取中国知网(CNKI)的文献摘要信息。即使你是编程新手，也能通过本教程快速掌握相关技能。教程包含完整源码和详细解释，助你轻松入门网络爬虫开发。

准备工作

所需工具

• Python 3.6+

• requests库

• BeautifulSoup4库

• pandas库（用于数据存储）

 安装依赖

pip install requests beautifulsoup4 pandas

 

爬虫实现步骤

1. 分析CNKI搜索页面结构

首先我们需要了解CNKI的搜索URL构成和页面元素结构。以搜索"人工智能"为例：

python">base_url = "https://kns.cnki.net/kns8/defaultresult/index"
params = {"kw": "人工智能",  # 搜索关键词"korder": "SU",  # 按主题排序"crossDbcodes": "CFLS,CJFD,CDMD,CIPD,CCND,CISD,SNAD"
}

2. 模拟请求获取搜索结果

python">import requests
from bs4 import BeautifulSoup
import pandas as pdheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}def get_search_results(keyword, page=1):params = {"kw": keyword,"korder": "SU","crossDbcodes": "CFLS,CJFD,CDMD,CIPD,CCND,CISD,SNAD","page": page}try:response = requests.get("https://kns.cnki.net/kns8/defaultresult/index",params=params,headers=headers,timeout=10)response.raise_for_status()return response.textexcept Exception as e:print(f"获取搜索结果失败: {e}")return None

3. 解析页面获取文献列表

python">def parse_search_results(html):soup = BeautifulSoup(html, 'html.parser')papers = []items = soup.select('.result-item')for item in items:try:title = item.select_one('.result-item-title a').text.strip()link = item.select_one('.result-item-title a')['href']authors = item.select_one('.author').text.strip() if item.select_one('.author') else ''source = item.select_one('.source').text.strip() if item.select_one('.source') else ''date = item.select_one('.date').text.strip() if item.select_one('.date') else ''abstract = item.select_one('.abstract').text.strip() if item.select_one('.abstract') else ''papers.append({'title': title,'link': 'https://kns.cnki.net' + link if link.startswith('/') else link,'authors': authors,'source': source,'date': date,'abstract': abstract})except Exception as e:print(f"解析文献条目时出错: {e}")continuereturn papers

4. 分页获取所有结果

python">def get_all_papers(keyword, max_pages=5):all_papers = []for page in range(1, max_pages + 1):print(f"正在获取第 {page} 页数据...")html = get_search_results(keyword, page)if html:papers = parse_search_results(html)all_papers.extend(papers)return all_papers

5. 保存结果到Excel

python">def save_to_excel(papers, filename):df = pd.DataFrame(papers)df.to_excel(filename, index=False)print(f"数据已保存到 {filename}")

6. 主函数

python">def main():keyword = input("请输入要搜索的关键词: ")max_pages = int(input("请输入要爬取的页数(每页20条): "))papers = get_all_papers(keyword, max_pages)if papers:filename = f"CNKI_{keyword}_搜索结果.xlsx"save_to_excel(papers, filename)else:print("未获取到任何文献数据")if __name__ == "__main__":main()

注意事项

1. 遵守robots协议：CNKI的robots.txt可能限制爬虫访问，请勿用于商业用途

2. 控制请求频率：添加延时避免对服务器造成过大压力

3. 反爬机制：CNKI可能有反爬措施，建议：

   • 使用代理IP

   • 随机User-Agent

   • 添加请求间隔

4. 登录限制：部分内容需要登录才能查看，可考虑使用selenium模拟登录

扩展功能

1. 添加代理支持

2. 实现自动翻页直到获取所有结果

3. 获取文献的引用次数和被引信息

4. 下载PDF全文（需考虑版权问题）

结语

本教程提供了CNKI文献摘要爬取的基本框架，你可以根据需要进一步扩展功能。记住要合理使用爬虫，尊重网站的使用条款和版权规定。

希望这篇教程对你有所帮助！如果有任何问题，欢迎在评论区留言讨论。

本篇文章的完整源码可点击此处获取，或根据下方图片提示获取