python 获取网页表格的方法（多种方法汇总）

ops/2024/12/19 3:19:06/

我们在网页上看到很多的表格，如果要获取里面的数据或者转化成其他格式，

就需要将表格获取下来并进行整理。

在Python中，获取网页表格的方法有多种，以下是一些常用的方法和库：

1. 使用Pandas的`read_html`

Pandas库提供了一个非常方便的函数read_html，它可以自动识别HTML中的表格并将其转换为DataFrame对象。

python">import pandas as pd# 从URL读取
dfs = pd.read_html('http://example.com/some_page_with_tables.html')# 从文件读取
dfs = pd.read_html('path_to_your_file.html')# 访问第一个DataFrame
df = dfs[0]

这个方法获取表格非常简单，而且解析数据也很方便，是比较常用的直接获取网页表格的方法。

2. 使用BeautifulSoup和pandas

如果你需要更细粒度的控制，可以使用BeautifulSoup来解析HTML，然后手动提取表格数据，并将其转换为pandas的DataFrame。

python">from bs4 import BeautifulSoup
import pandas as pd# 假设html_doc是你的HTML内容
html_doc = """
<table><tr><th>Column1</th><th>Column2</th></tr><tr><td>Value1</td><td>Value2</td></tr>
</table>
"""# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(html_doc, 'html.parser')# 提取表格
table = soup.find('table')# 提取表头
headers = [th.text for th in table.find_all('th')]# 提取表格数据
rows = []
for tr in table.find_all('tr')[1:]:  # 跳过表头cells = [td.text for td in tr.find_all('td')]rows.append(cells)# 创建DataFrame
df = pd.DataFrame(rows, columns=headers)

这个方法主要是遍历表格的各个部分，然后保存下来。这样的方法可以细化做调整，例如可以筛选掉一些不需要的内容之类的。

3. 使用lxml库

lxml是一个强大的XML和HTML解析库，它提供了XPath支持，可以用来提取复杂的HTML结构。

python">from lxml import html# 假设html_doc是你的HTML内容
html_doc = """
<table><tr><th>Column1</th><th>Column2</th></tr><tr><td>Value1</td><td>Value2</td></tr>
</table>
"""# 解析HTML
tree = html.fromstring(html_doc)# 使用XPath提取表格数据
rows = tree.xpath('//tr')# 提取表头
headers = [header.text_content() for header in rows[0].xpath('.//th')]# 提取表格数据
data = []
for row in rows[1:]:cells = [cell.text_content() for cell in row.xpath('.//td')]data.append(cells)# 创建DataFrame
df = pd.DataFrame(data, columns=headers)

4. 使用Scrapy框架

Scrapy是一个用于爬取网站并从页面中提取结构化数据的应用框架。它提供了一套完整的工具，可以用来处理复杂的爬虫任务。

python">import scrapyclass MySpider(scrapy.Spider):name = 'my_spider'start_urls = ['http://example.com/some_page_with_tables.html']def parse(self, response):for table in response.css('table'):for row in table.css('tr'):columns = row.css('td::text').getall()yield {'Column1': columns[0],'Column2': columns[1],}