Python 爬虫爬取京东商品信息 ||京东商品详情API

ops/2025/1/20 1:21:15/

Python 爬虫爬取京东商品信息 

下面我将逐一解释每一部分的代码

导入库

from selenium import webdriver
from selenium.webdriver.edge.service import Service
from selenium.webdriver.edge.options import Options
import time
import random
import csv
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from pyquery import PyQuery as pq
import os
import requests
from datetime import datetime
import re

  • 作用：导入所有必要的库和模块。

  • 技术栈：

    • selenium: 用于自动化浏览器操作。

    • time, random: 用于添加延迟和生成随机数。

    • csv: 用于读写CSV文件。

    • os: 用于文件系统操作。

    • requests: 用于发送HTTP请求（例如下载图片）。

    • datetime: 用于处理日期和时间。

    • re: 用于正则表达式匹配。

配置变量

KEYWORD = '美妆'
CSV_FILE = 'DepartmentStore.csv'
id = 3538
dratenums = 5
drate = 5
num = 5

  • 作用：初始化全局变量。

  • 技术栈：无特殊技术栈。

设置WebDriver

# 创建EdgeOptions对象
options = Options()# 设置Edge WebDriver的路径
webdriver_path = 'G:\\大三下暑期实训基于电商商品推荐平台\\爬虫\\a\\msedgedriver.exe'
service = Service(webdriver_path)# 初始化Edge WebDriver
driver = webdriver.Edge(service=service, options=options)# 窗口最大化
driver.maximize_window()wait = WebDriverWait(driver, 15)

  • 作用：初始化Microsoft Edge WebDriver。

  • 技术栈：

    • selenium: 用于自动化浏览器操作。

函数定义

search_goods 函数
def search_goods(start_page, total_pages):# ...

  • 作用：搜索特定商品并处理翻页逻辑。

  • 技术栈：

    • selenium: 用于自动化浏览器操作。

    • pyquery: 用于解析HTML文档。

    • time: 用于添加延迟。

    • random: 用于生成随机数。

page_turning 函数
def page_turning(page_number):# ...

  • 作用：实现翻页操作。

  • 技术栈：selenium: 用于自动化浏览器操作。

random_sleep 函数
def random_sleep(timeS, timeE):# ...

  • 作用：随机等待一段时间，防止被网站检测到爬虫行为。

  • 技术栈：time, random: 用于添加延迟和生成随机数。

scroll_smoothly 函数
def scroll_smoothly(duration):# ...

  • 作用：平滑滚动页面以模拟真实用户行为。

  • 技术栈：selenium: 用于自动化浏览器操作。

get_goods 函数
def get_goods():# ...

  • 作用：获取商品列表中的具体信息。

  • 技术栈：

    • selenium: 用于自动化浏览器操作。

    • pyquery: 用于解析HTML文档。

    • os: 用于文件系统操作。

    • requests: 用于发送HTTP请求（例如下载图片）。

    • datetime: 用于处理日期和时间。

    • re: 用于正则表达式匹配。

save_to_csv 函数
def save_to_csv(result):# ...

  • 作用：将获取到的商品信息保存到CSV文件中。

  • 技术栈：csv: 用于读写CSV文件。

main 函数
def main():# ...

  • 作用：主函数，用于启动爬虫并处理异常。

  • 技术栈：无特殊技术栈。

主程序入口

if __name__ == '__main__':main()

  • 作用：程序的入口点。

  • 技术栈：无特殊技术栈。

接下来，我将针对每个函数进行详细的代码解释。

search_goods 函数

def search_goods(start_page, total_pages):print('正在搜索: ')try:driver.get('https://www.taobao.com')time.sleep(10)driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument",{"source": """Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"""})input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#q")))submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_TSearchForm > div.search-button > button')))input.send_keys(KEYWORD)submit.click()time.sleep(10)if start_page != 1:driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")random_sleep(1, 3)pageInput = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="root"]/div/div[3]/div[1]/div[1]/div[2]/div[4]/div/div/span[3]/input')))pageInput.send_keys(start_page)admit = wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="root"]/div/div[3]/div[1]/div[1]/div[2]/div[4]/div/div/button[3]')))admit.click()get_goods()for i in range(start_page + 1, start_page + total_pages):page_turning(i)except TimeoutException:print("search_goods: error")return search_goods(start_page, total_pages)

  • 作用：搜索特定商品并处理翻页逻辑。

  • 细节：

    • 打开淘宝网站并等待页面加载。

    • 使用CDP命令禁用WebDriver标志，以防被网站检测。

    • 在搜索框中输入关键词并提交。

    • 如果不是第一页，则跳转到指定的起始页。

    • 调用get_goods函数获取商品信息。

    • 循环翻页并获取商品信息。

page_turning 函数

def page_turning(page_number):print('正在翻页: ', page_number)try:submit = wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="sortBarWrap"]/div[1]/div[2]/div[2]/div[8]/div/button[2]')))submit.click()wait.until(EC.text_to_be_present_in_element((By.XPATH, '//*[@id="sortBarWrap"]/div[1]/div[2]/div[2]/div[8]/div/span/em'), str(page_number)))get_goods()except TimeoutException:page_turning(page_number)

  • 作用：实现翻页操作。

  • 细节：

    • 点击下一页按钮。

    • 等待新的页面加载完成。

    • 调用get_goods函数获取商品信息。

random_sleep 函数

def random_sleep(timeS, timeE):random_sleep_time = random.uniform(timeS, timeE)time.sleep(random_sleep_time)

  • 作用：随机等待一段时间，防止被网站检测到爬虫行为。

  • 细节：

    • 生成一个在timeS到timeE之间的随机数作为睡眠时间。

    • 使用time.sleep暂停指定的时间。

scroll_smoothly 函数

def scroll_smoothly(duration):total_height = driver.execute_script("return document.body.scrollHeight")viewport_height = driver.execute_script("return window.innerHeight")steps = 30  # 分成30步step_duration = duration / steps  # 每步的时间step_height = (total_height - viewport_height) / steps  # 每步的高度for i in range(steps):driver.execute_script(f"window.scrollBy(0, {step_height});")time.sleep(step_duration)

  • 作用：平滑滚动页面以模拟真实用户行为。

  • 细节：

    • 计算页面的总高度和视窗的高度。

    • 计算每次滚动的距离和时间。

    • 使用JavaScript执行平滑滚动效果。

get_goods 函数

def get_goods():global id, drate, dratenums, num  # 声明使用全局变量 idrandom_sleep(2, 4)# 滑动浏览器滚轮，向下滑动scroll_smoothly(4)random_sleep(4, 4)  # 等待页面加载html = driver.page_sourcedoc = pq(html)items = doc('div.PageContent--contentWrap--mep7AEm > div.LeftLay--leftWrap--xBQipVc > div.LeftLay--leftContent--AMmPNfB > div.Content--content--sgSCZ12 > div > div').items()for item in items:title = item.find('.Title--title--jCOPvpf span').text()price_int = item.find('.Price--priceInt--ZlsSi_M').text()price_float = item.find('.Price--priceFloat--h2RR0RK').text()if price_int and price_float:price = float(f"{price_int}{price_float}")else:price = 0.0deal = item.find('.Price--realSales--FhTZc7U').text()location = item.find('.Price--procity--_7Vt3mX').text()shop = item.find('.ShopInfo--TextAndPic--yH0AZfx a').text()postText = item.find('.SalesPoint--subIconWrapper--s6vanNY span').text()result = 1 if "包邮" in postText else 0image = item.find('.MainPic--mainPicWrapper--iv9Yv90 img').attr('src')# 图片的URLimage_url = imagepattern = r"https:\/\/.*?\.jpg"match = re.search(pattern, image_url)if match:print("Extracted URL:", match.group(0))else:print("No match found")image_url = match.group(0)# 保存图片的文件夹save_folder = "shopping_cover"# 确保保存路径存在if not os.path.exists(save_folder):os.makedirs(save_folder)# 将图片文件名固定为 '1.jpg'image_name = str(id) + ".jpg"# 完整的保存路径save_path = os.path.join(save_folder, image_name)# 获取当前日期current_date = datetime.now()# 格式化日期为 'yyyy-mm-dd'formatted_date = current_date.strftime('%Y-%m-%d')imdblink = item.find('.Card--doubleCardWrapper--L2XFE73 a').attr('href')# 下载图片并保存try:with requests.get(image_url, stream=True) as response:response.raise_for_status()with open(save_path, 'wb') as f:for chunk in response.iter_content(chunk_size=8192):if chunk:  # filter out keep-alive new chunksf.write(chunk)print(f"图片已保存到: {save_path}")product = {'id': id,'name': title,'director': shop,'country': location,'years': formatted_date,'leader': price,'d_rate_nums': dratenums,'d_rate': drate,'intro': deal + str(result),'num': num,'orign_image_link': image,'image_link': save_folder + '/' + image_name,'imdb_link': imdblink}save_to_csv(product)id += 1except requests.RequestException as e:print(f"下载图片失败：{e}")# 直接滑动浏览器滚轮到最顶部driver.execute_script("window.scrollTo(0, 0);")

  • 作用：获取商品列表中的具体信息。

  • 细节：

    • 使用pyquery解析HTML源码。

    • 提取每个商品的信息。

    • 下载并保存商品图片。

    • 调用save_to_csv保存数据。

save_to_csv 函数

def save_to_csv(result):try:with open(CSV_FILE, mode='a', newline='', encoding='utf-8') as file:writer = csv.writer(file)writer.writerow([result['id'], result['name'], result['director'], result['country'], result['years'], result['leader'], result['d_rate_nums'], result['d_rate'], result['intro'], result['num'], result['orign_image_link'], result['image_link'], result['imdb_link']])print('存储到CSV成功: ', result)except Exception as e:print('存储到CSV出错: ', result, e)

  • 作用：将获取到的商品信息保存到CSV文件中。

  • 细节：

    • 将商品信息追加到CSV文件中。

    • 输出保存成功的消息或错误消息。

main 函数

def main():try:# 检查文件是否存在，如果不存在则创建并写入标题行if not os.path.exists(CSV_FILE):with open(CSV_FILE, mode='w', newline='', encoding='utf-8') as file:writer = csv.writer(file)writer.writerow(['id', 'name', 'director', 'country', 'years', 'leader', 'd_rate_nums', 'd_rate', 'intro', 'num', 'orign_image_link', 'image_link', 'imdb_link'])pageStart = int(input("输入您想开始爬取的页面数: "))pageAll = int(input("输入您想爬取的总页面数: "))search_goods(pageStart, pageAll)except Exception as e:print('main函数报错: ', e)

  • 作用：主函数，用于启动爬虫并处理异常。

  • 细节：

    • 检查CSV文件是否存在，若不存在则创建并写入表头。

    • 获取用户输入的起始页和总页数。

    • 调用search_goods函数开始爬取。

主程序入口

if __name__ == '__main__':main()

  • 作用：程序的入口点。

  • 细节：当直接运行此文件时，执行main函数。

以下是完整代码

from selenium import webdriver
from selenium.webdriver.edge.service import Service
from selenium.webdriver.edge.options import Options
import time
import random
import csv
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from pyquery import PyQuery as pq
import os
import requests
from datetime import datetime
import reKEYWORD = '美妆'
CSV_FILE = 'DepartmentStore.csv'
id = 3538
dratenums = 5
drate = 5
num = 5# 创建EdgeOptions对象
options = Options()# 设置Edge WebDriver的路径
webdriver_path = 'G:\\大三下暑期实训基于电商商品推荐平台\\爬虫\\a\\msedgedriver.exe'
service = Service(webdriver_path)# 初始化Edge WebDriver
driver = webdriver.Edge(service=service, options=options)# 窗口最大化
driver.maximize_window()wait = WebDriverWait(driver, 15)def search_goods(start_page, total_pages):print('正在搜索: ')try:driver.get('https://www.taobao.com')time.sleep(10)driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument",{"source": """Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"""})input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#q")))submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#J_TSearchForm > div.search-button > button')))input.send_keys(KEYWORD)submit.click()time.sleep(10)if start_page != 1:driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")random_sleep(1, 3)pageInput = wait.until(EC.presence_of_element_located((By.XPATH, '//*[@id="root"]/div/div[3]/div[1]/div[1]/div[2]/div[4]/div/div/span[3]/input')))pageInput.send_keys(start_page)admit = wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="root"]/div/div[3]/div[1]/div[1]/div[2]/div[4]/div/div/button[3]')))admit.click()get_goods()for i in range(start_page + 1, start_page + total_pages):page_turning(i)except TimeoutException:print("search_goods: error")return search_goods(start_page, total_pages)def page_turning(page_number):print('正在翻页: ', page_number)try:submit = wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="sortBarWrap"]/div[1]/div[2]/div[2]/div[8]/div/button[2]')))submit.click()wait.until(EC.text_to_be_present_in_element((By.XPATH, '//*[@id="sortBarWrap"]/div[1]/div[2]/div[2]/div[8]/div/span/em'), str(page_number)))get_goods()except TimeoutException:page_turning(page_number)def random_sleep(timeS, timeE):random_sleep_time = random.uniform(timeS, timeE)time.sleep(random_sleep_time)def scroll_smoothly(duration):total_height = driver.execute_script("return document.body.scrollHeight")viewport_height = driver.execute_script("return window.innerHeight")steps = 30  # 分成30步step_duration = duration / steps  # 每步的时间step_height = (total_height - viewport_height) / steps  # 每步的高度for i in range(steps):driver.execute_script(f"window.scrollBy(0, {step_height});")time.sleep(step_duration)def get_goods():global id, drate, dratenums, num  # 声明使用全局变量 idrandom_sleep(2, 4)# 滑动浏览器滚轮，向下滑动scroll_smoothly(4)random_sleep(4, 4)  # 等待页面加载html = driver.page_sourcedoc = pq(html)items = doc('div.PageContent--contentWrap--mep7AEm > div.LeftLay--leftWrap--xBQipVc > div.LeftLay--leftContent--AMmPNfB > div.Content--content--sgSCZ12 > div > div').items()for item in items:title = item.find('.Title--title--jCOPvpf span').text()price_int = item.find('.Price--priceInt--ZlsSi_M').text()price_float = item.find('.Price--priceFloat--h2RR0RK').text()if price_int and price_float:price = float(f"{price_int}{price_float}")else:price = 0.0deal = item.find('.Price--realSales--FhTZc7U').text()location = item.find('.Price--procity--_7Vt3mX').text()shop = item.find('.ShopInfo--TextAndPic--yH0AZfx a').text()postText = item.find('.SalesPoint--subIconWrapper--s6vanNY span').text()result = 1 if "包邮" in postText else 0image = item.find('.MainPic--mainPicWrapper--iv9Yv90 img').attr('src')# 图片的URLimage_url = imagepattern = r"https:\/\/.*?\.jpg"match = re.search(pattern, image_url)if match:print("Extracted URL:", match.group(0))else:print("No match found")image_url = match.group(0)# 保存图片的文件夹save_folder = "shopping_cover"# 确保保存路径存在if not os.path.exists(save_folder):os.makedirs(save_folder)# 将图片文件名固定为 '1.jpg'image_name = str(id) + ".jpg"# 完整的保存路径save_path = os.path.join(save_folder, image_name)# 获取当前日期current_date = datetime.now()# 格式化日期为 'yyyy-mm-dd'formatted_date = current_date.strftime('%Y-%m-%d')imdblink = item.find('.Card--doubleCardWrapper--L2XFE73 a').attr('href')# 下载图片并保存try:with requests.get(image_url, stream=True) as response:response.raise_for_status()with open(save_path, 'wb') as f:for chunk in response.iter_content(chunk_size=8192):if chunk:  # filter out keep-alive new chunksf.write(chunk)print(f"图片已保存到: {save_path}")product = {'id': id,'name': title,'director': shop,'country': location,'years': formatted_date,'leader': price,'d_rate_nums': dratenums,'d_rate': drate,'intro': deal + str(result),'num': num,'orign_image_link': image,'image_link': save_folder + '/' + image_name,'imdb_link': imdblink}save_to_csv(product)id += 1except requests.RequestException as e:print(f"下载图片失败：{e}")# 直接滑动浏览器滚轮到最顶部driver.execute_script("window.scrollTo(0, 0);")def save_to_csv(result):try:with open(CSV_FILE, mode='a', newline='', encoding='utf-8') as file:writer = csv.writer(file)writer.writerow([result['id'], result['name'], result['director'], result['country'], result['years'], result['leader'], result['d_rate_nums'], result['d_rate'], result['intro'], result['num'], result['orign_image_link'], result['image_link'], result['imdb_link']])print('存储到CSV成功: ', result)except Exception as e:print('存储到CSV出错: ', result, e)def main():try:# 检查文件是否存在，如果不存在则创建并写入标题行if not os.path.exists(CSV_FILE):with open(CSV_FILE, mode='w', newline='', encoding='utf-8') as file:writer = csv.writer(file)writer.writerow(['id', 'name', 'director', 'country', 'years', 'leader', 'd_rate_nums', 'd_rate', 'intro', 'num', 'orign_image_link', 'image_link', 'imdb_link'])pageStart = int(input("输入您想开始爬取的页面数: "))pageAll = int(input("输入您想爬取的总页面数: "))search_goods(pageStart, pageAll)except Exception as e:print('main函数报错: ', e)if __name__ == '__main__':main()

最后，对本项目京东商品数据采集有需求可以联系我或者私信留言哦！


http://www.ppmy.cn/ops/151526.html

相关文章

Vim 项目的现状

Vim 项目的现状

以下是 Vim 项目的现状： 维护与开发团队 团队变动：创始人 Bram Moolenaar 于 2023 年 8 月去世后，主要维护者 Christian Brabandt 承担起更多责任，并接纳了更多的开发者加入，如 Yegappan Lakshmanan、Dominique Pell …
阅读更多...
攻防世界 unseping

攻防世界 unseping

开启场景 整体来说是创建了一个case类，然后可接受post传来的ctf的值，并对其进行base64解码以及反序列化。所以我们能控制ctf变量。 先看__wakeup方法，该方法使用waf方法对$arg中的内容进行了防护，过滤掉了| & ; 空格 / cat f…
阅读更多...
Kotlin 极简小抄 P7- 空安全（安全调用操作符、Elvis 操作符、非空断言操作符、let 函数）

Kotlin 极简小抄 P7- 空安全（安全调用操作符、Elvis 操作符、非空断言操作符、let 函数）

Kotlin 概述 Kotlin 由 JetBrains 开发，是一种在 JVM（Java 虚拟机）上运行的静态类型编程语言 Kotlin 旨在提高开发者的编码效率和安全性，同时保持与 Java 的高度互操作性 Kotlin 是 Android 应用开发的首选语言，也可…
阅读更多...
设计模式-结构型-装饰器模式

设计模式-结构型-装饰器模式

装饰器模式（Decorator Pattern）是结构型设计模式中的一种，它允许你通过将对象封装在一个新的对象中，来动态地添加新的功能，而无需改变原对象的结构。装饰器模式的核心思想是“将功能附加到对象上”，它是一种…
阅读更多...
PostgreSQL和MySQL有什么区别？

PostgreSQL和MySQL有什么区别？

一、数据存储与管理方面 数据类型支持 PostgreSQL： 提供了非常丰富的数据类型。除了基本的整数、浮点数、字符、日期等类型外，对复杂数据类型的支持很出色。例如，它原生支持数组（Array）类型，可以方便地存储…
阅读更多...
前端实习第二个月小结

前端实习第二个月小结

时间飞快，第一次实习已经过去两个多月，作一些简单的总结和分享。 注：文章整体会比较轻松，提及的经历、经验仅作参考。 一、关于实习/工作内容 1、工作内容 近期做的是管理后台方面的业务，技术栈：前端re…
阅读更多...
归并排序算法

归并排序算法

归并排序 1算法介绍 和选择排序一样，归并排序的性能不受输入数据的影响，但表现比选择排序好的多，因为始终都是O(n log n）的时间复杂度。代价是需要额外的内存空间。归并排序是建立在归并操作上的一种有效的排序算法。该算法是采用…
阅读更多...
自动化之Ansible

自动化之Ansible

一、Ansible介绍 Ansible是一个同时管理多个远程主机的软件(任何可以通过SSH协议登录的机器)，因此Ansible可以管理 运程虚拟机、物理机，也可以是本地主机(linux、windows)。 Ansible通过SSH协议实现 管理节点、远程节点的通信。 只要是能够SSH登录的主机…
阅读更多...
最新文章

Copyright @ 2022~2023