【零基础入门Python爬虫】第二节 Python 爬虫解析 Xpath、JsonPath 和 BeautifulSoup

网络爬虫是一种自动化程序，用于从互联网上获取信息。在网络爬虫中，数据的解析是一个非常重要的环节。Python 是一门流行的编程语言，具有优秀的网络爬虫库，如 Scrapy、BeautifulSoup、Requests 等。本文将着重介绍 Python 中的三种解析技术：Xpath、JsonPath 和 BeautifulSoup。

一、Xpath

XPath 是一种类 XML 的语言，可以用来选择 XML 或 HTML 文档中的节点。在 Python 编程中，我们可以使用 lxml 库来解析 HTML 或 XML 文件，并使用 XPath 语法选择需要的节点。

1.安装

使用 pip 安装：

pip install lxml

2.解析 HTML

我们可以使用 html.etree.ElementTree 模块中的 HTML 方法加载 HTML 文件，然后使用 xpath() 方法获取需要的节点。

from lxml import etreehtml = '''
<!DOCTYPE html>
<html><head><title>Test</title></head><body><ul><li><a href="http://www.baidu.com">Google</a></li><li><a href="http://www.qq.com">Yahoo</a></li></ul></body>
</html>
'''tree = etree.HTML(html)
links = tree.xpath('//ul/li/a')for link in links:print(link.attrib['href'])

输出结果：

http://www.baidu.com
http://www.qq.com

3.解析 XML

如果需要解析 XML 文件，我们可以使用 etree.parse() 方法加载 XML 文件，然后使用 xpath() 方法选择需要的节点。

from lxml import etreexml = '''
<bookstore><book category="cooking"><title lang="en">Everyday Italian</title><author>Giada De Laurentiis</author><year>2005</year><price>30.00</price></book><book category="children"><title lang="en">Harry Potter</title><author>J.K. Rowling</author><year>2005</year><price>29.99</price></book>
</bookstore>
'''tree = etree.fromstring(xml)
books = tree.xpath('//book')for book in books:print(book.xpath('./title/text()')[0], book.xpath('./price/text()')[0])

输出结果：

Everyday Italian 30.00
Harry Potter 29.99

二、JsonPath

JsonPath 是一种用于在 JSON 对象中定位元素的语言。与 XPath 类似，JsonPath 提供了一些简单的表达式来选择 JSON 对象中的元素。Python 中可以使用 jsonpath_rw 库来实现 JsonPath 的解析。

1.安装

使用 pip 安装：

pip install jsonpath-rw

2.解析 JSON

我们可以使用 json.loads() 方法将 JSON 字符串转换为 Python 对象，然后使用 jsonpath_rw.parse() 方法构造 JsonPath 表达式，并使用 find() 方法获取需要的元素。

import json
from jsonpath_rw import parsejson_str = '''
{"store": {"book": [{"category": "reference","author": "Nigel Rees","title": "Sayings of the Century","price": 8.95},{"category": "fiction","author": "Evelyn Waugh","title": "Sword of Honour","price": 12.99}],"bicycle": {"color": "red","price": 19.95}}
}
'''data = json.loads(json_str)
books = parse('$.store.book[*]').find(data)for book in books:print(book.value['title'], book.value['price'])

输出结果：

Sayings of the Century 8.95
Sword of Honour 12.99

三、BeautifulSoup

BeautifulSoup 是 Python 中的一个 HTML/XML 解析库，可以从 HTML 或 XML 中提取信息。它可以自动将不规范的 HTML 或 XML 文件转换为规范化的树形结构，并提供了一些简单的方法来查询和修改这个树形结构。

1.安装

使用 pip 安装：

pip install beautifulsoup4

2.解析 HTML

我们可以使用 bs4 模块中的 BeautifulSoup 类来解析 HTML 文件，然后使用 select() 方法获取需要的节点。

from bs4 import BeautifulSouphtml = '''
<!DOCTYPE html>
<html><head><title>Test</title></head><body><ul><li><a href="http://www.baidu.com">Google</a></li><li><a href="http://www.qq.com">Yahoo</a></li></ul></body>
</html>
'''soup = BeautifulSoup(html, 'html.parser')
links = soup.select('ul li a')for link in links:print(link['href'])

输出结果：

http://www.baidu.com
http://www.qq.com

3.解析 XML

如果需要解析 XML 文件，我们可以使用 lxml 库来解析 XML 文件，并将解析结果传递给 BeautifulSoup 类。

from lxml import etree
from bs4 import BeautifulSoupxml = '''
<bookstore><book category="cooking"><title lang="en">Everyday Italian</title><author>Giada De Laurentiis</author><year>2005</year><price>30.00</price></book><book category="children"><title lang="en">Harry Potter</title><author>J.K. Rowling</author><year>2005</year><price>29.99</price></book>
</bookstore>
'''tree = etree.fromstring(xml)
soup = BeautifulSoup(etree.tostring(tree), 'xml')
books = soup.select('book')for book in books:print(book.select_one('title').text, book.select_one('price').text)

输出结果：

Everyday Italian 30.00
Harry Potter 29.99

总结

本文介绍了 Python 中三种常用的解析技术：Xpath、JsonPath 和 BeautifulSoup。使用这些技术，我们可以方便地从 HTML、XML 或 JSON 文件中提取所需的信息。在实际开发中，我们可以根据具体情况选择适合自己的解析技术，并根据需求灵活运用各种工具和技术来提高数据解析效率。