如何利用爬虫抓取多个页面的商品销量数据

在电商领域，商品销量数据是衡量产品受欢迎程度和市场表现的关键指标。通过爬虫技术，可以高效地获取多个页面的商品销量数据，为市场分析和商业决策提供支持。以下是利用Python爬虫抓取多个页面商品销量数据的详细步骤和代码示例。

一、环境准备

确保你已经安装了以下Python库：

requests：用于发送HTTP请求。
BeautifulSoup：用于解析HTML页面。
pandas：用于数据存储和处理。

可以通过以下命令安装这些库：

pip install requests beautifulsoup4 pandas

二、编写爬虫代码

（一）发送HTTP请求并解析HTML

使用requests库发送HTTP请求，获取商品列表页面的HTML内容。然后使用BeautifulSoup解析HTML，提取商品销量数据。

import requests
from bs4 import BeautifulSoup
import pandas as pd
import time
import randomdef get_product_sales(base_url, total_pages):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}all_products = []for page in range(1, total_pages + 1):url = f"{base_url}?page={page}"response = requests.get(url, headers=headers)if response.status_code == 200:print(f"正在抓取第 {page} 页")soup = BeautifulSoup(response.text, 'html.parser')products = soup.find_all('div', class_='product-item')for product in products:title = product.find('div', class_='product-title').get_text(strip=True)sales = product.find('span', class_='sales-count').get_text(strip=True)all_products.append({'title': title, 'sales': sales})time.sleep(random.uniform(1, 3))  # 随机延时，避免被封else:print(f"第 {page} 页抓取失败")return all_products# 示例：抓取前5页的商品销量数据
base_url = "https://www.example.com/products"
total_pages = 5
products = get_product_sales(base_url, total_pages)# 将结果保存到CSV文件
df = pd.DataFrame(products)
df.to_csv('product_sales.csv', index=False, encoding='utf-8')
print("数据已保存到 product_sales.csv")

（二）处理动态加载的内容

如果商品销量数据是通过JavaScript动态加载的，可以使用Selenium来模拟浏览器行为，获取完整的页面内容。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as ECdef get_dynamic_product_sales(base_url, total_pages):options = webdriver.ChromeOptions()options.add_argument('--headless')  # 无头模式driver = webdriver.Chrome(options=options)all_products = []for page in range(1, total_pages + 1):url = f"{base_url}?page={page}"driver.get(url)WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CLASS_NAME, 'product-item')))soup = BeautifulSoup(driver.page_source, 'html.parser')products = soup.find_all('div', class_='product-item')for product in products:title = product.find('div', class_='product-title').get_text(strip=True)sales = product.find('span', class_='sales-count').get_text(strip=True)all_products.append({'title': title, 'sales': sales})time.sleep(random.uniform(1, 3))  # 随机延时，避免被封driver.quit()return all_products# 示例：抓取前5页的商品销量数据
base_url = "https://www.example.com/products"
total_pages = 5
products = get_dynamic_product_sales(base_url, total_pages)# 将结果保存到CSV文件
df = pd.DataFrame(products)
df.to_csv('product_sales.csv', index=False, encoding='utf-8')
print("数据已保存到 product_sales.csv")