前言
以下是一份较为全面的 Python 爬虫教程，涵盖基础知识、环境搭建、简单示例、反爬应对及深入学习方向：
一、Python 爬虫简介
爬虫，即网络爬虫，也被称为网络蜘蛛，是一种按照一定规则，自动抓取万维网信息的程序或者脚本。Python 由于其语法简洁、拥有丰富的库，成为了开发爬虫程序的首选语言。# 二、使用步骤
二、环境搭建
1. 下载 Python
访问 Python 官方网站，根据你的操作系统（Windows、Mac OS、Linux）选择合适的 Python 版本进行下载。建议下载 Python 3.x 版本，因为 Python 2 已经停止维护。
还可以从小编准备地址下载。
Python 3.7下载地址：https://pan.quark.cn/s/8268bf81f31f
Python 3.9下载地址：https://pan.quark.cn/s/9711a93276ad
Python 3.11下载地址：https://pan.quark.cn/s/9c44793cb24c
2. 安装 Python
访问 Python 官方网站（https://www.python.org/），根据自己的操作系统（Windows、MacOS、Linux）下载并安装 Python 3.x 版本。安装过程中注意勾选 “Add Python to PATH”，以便在命令行中能直接使用 Python。
Python 3.7安装教程：https://blog.csdn.net/u014164303/article/details/145620847
Python 3.9安装教程：https://blog.csdn.net/u014164303/article/details/145570561
Python 3.11安装教程：https://blog.csdn.net/u014164303/article/details/145549489
3. 安装必要的库
在命令行中使用 pip 命令安装以下常用的爬虫库：
- requests：用于发送 HTTP 请求，获取网页内容。
pip install requests
- lxml：一个高效的 XML 和 HTML 解析器，BeautifulSoup 常与之配合使用。
pip install lxml
三、一个简单的爬虫示例
下面是一个使用 requests 和 BeautifulSoup 库爬取豆瓣电影 Top250 页面电影名称的示例：
import requests
from bs4 import BeautifulSoup
# 定义请求头，模拟浏览器访问
headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3’}=
# 目标网页 URL
url = ‘https://movie.douban.com/top250’
# 发送 HTTP 请求
response = requests.get(url, headers=headers)
# 检查响应状态码
if response.status_code == 200:
# 使用 BeautifulSoup 解析 HTML 内容
soup = BeautifulSoup(response.text, ‘lxml’)
# 找到所有电影名称所在的标签
movie_names = soup.find_all(‘span’, class_=‘title’)
for name in movie_names:
print(name.text)
else:
print(f"请求失败，状态码: {response.status_code}")
代码解释：
- 请求头设置：通过设置 User - Agent 模拟浏览器访问，避免被网站识别为爬虫而拒绝请求。
- 发送请求：使用 requests.get() 方法发送 HTTP 请求，获取网页内容。
- 解析内容：使用 BeautifulSoup 解析 HTML 内容，通过 find_all() 方法找到所有电影名称所在的标签。
- 提取信息：遍历找到的标签，提取电影名称并打印。
四、应对网站反爬机制
许多网站会采取反爬措施，常见的有以下几种应对方法：
- 设置请求头：如上述示例，模拟浏览器的请求头，让服务器认为是正常的用户访问。
- 控制请求频率：避免短时间内发送大量请求，可以使用 time.sleep() 方法在每次请求之间添加适当的延迟。
import time
# 发送请求前等待 2 秒
time.sleep(2)
response = requests.get(url, headers=headers)
- 使用代理 IP：当 IP 被封禁时，可以使用代理 IP 继续访问。可以从一些免费或付费的代理 IP 提供商获取代理 IP，并在请求中使用。
proxies = {
‘http’: ‘http://proxy.example.com:8080’,
‘https’: ‘http://proxy.example.com:8080’
}
response = requests.get(url, headers=headers, proxies=proxies)
- 处理验证码：对于需要输入验证码的情况，可以使用第三方验证码识别服务，如打码平台。
