爬虫需要库是因为爬虫需要从网页中提取数据，并对数据进行处理和存储。库是一组已经封装好的工具，可以帮助爬虫快速地完成这些任务。这些库可以大大简化爬虫的开发过程，提高爬虫的效率和稳定性。
Python爬虫常用的库有很多，以下是一些常用的库：
1、requests：用于发送HTTP请求，获取网页内容。
2、BeautifulSoup：用于解析HTML和XML文档，提取所需信息。
3、Scrapy：一个高级的Python爬虫框架，可以快速构建爬虫程序。
4、Selenium：用于模拟浏览器行为，实现自动化测试和爬虫。
5、PyQuery：类似于jQuery的Python库，用于解析HTML文档。
6、lxml：一个高效的XML和HTML解析库。
7、re：Python的正则表达式库，用于匹配和提取文本信息。
8、Pandas：用于数据处理和分析的Python库，可以将爬取的数据进行处理和分析。
9、Pillow：Python的图像处理库，可以用于处理爬取的图片。
10、OpenCV：一个开源的计算机视觉库，可以用于图像处理和分析。
以上是一些常用的Python爬虫库，不同的爬虫任务需要使用不同的库来完成。
requests库的爬虫示例
import requestsurl = 'https://www.example.com' # 替换为你要爬取的网站地址response = requests.get(url)if response.status_code == 200:print(response.text)
else:print('请求失败，状态码为：', response.status_code)
这个示例中，我们使用requests库发送了一个GET请求，获取了指定网站的页面内容，并打印出来。你可以根据自己的需求修改代码，例如添加请求头、设置超时时间等。同时，也要注意遵守网站的爬虫规则，不要过度请求或者爬取不允许爬取的内容。
Scrapy库的爬虫示例
好的，以下是一个简单的Scrapy爬虫示例，用于爬取电影Top250的电影名称和评分：
1、首先，安装Scrapy库：
pip install scrapy
2、创建一个新的Scrapy项目：
scrapy startproject douban_movie
3、进入项目目录，创建一个新的Spider：
cd douban_movie
scrapy genspider douban_spider movie.douban.com
4、打开douban_spider.py文件，添加以下代码：
import scrapyclass DoubanSpider(scrapy.Spider):name = 'douban'allowed_domains = ['movie.douban.com']start_urls = ['https://movie.douban.com/top250']def parse(self, response):for movie in response.css('.item'):yield {'title': movie.css('.title::text').get(),'rating': movie.css('.rating_num::text').get()}next_page = response.css('.next a::attr(href)').get()if next_page is not None:yield response.follow(next_page, self.parse)
5、运行爬虫：
scrapy crawl douban -o movies.csv
6、爬虫会将结果保存到movies.csv文件中
以上就是一个简单的Scrapy爬虫示例，用于爬取电影的电影名称和评分。你可以根据自己的需求修改代码，爬取其他网站的数据。
