python小案例

news/2024/12/2 16:10:50/

以下是采集店铺链接并去重的代码示例:

import requests
from bs4 import BeautifulSoup

def get_shop_links(item_url):
    # 访问宝贝详情页面
    response = requests.get(item_url)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 获取必逛好店的店铺链接
    shop_links = []
    must_visit_shop_list = soup.find('div', class_='must-visit-shops').find_all('a')
    for shop in must_visit_shop_list:
        shop_link = shop['href']
        shop_links.append(shop_link)
    
    return shop_links

def remove_duplicate_links(links):
    unique_links = list(set(links))
    return unique_links

# 提供宝贝地址
item_url = 'http://item.taobao.com/item.htm?id=638673761014'
# 获取店铺链接
shop_links = get_shop_links(item_url)
# 去重店铺链接
unique_shop_links = remove_duplicate_links(shop_links)

print(unique_shop_links)

以上代码会根据提供的宝贝地址获取必逛好店的店铺链接,并对链接进行去重操作。你可以根据需要将该代码集成到你的采集过程中。

本文由 mdnice 多平台发布


http://www.ppmy.cn/news/997125.html

相关文章

从0到1框架搭建,Python+Pytest+Allure+Git+Jenkins接口自动化框架(超细整理)

目录:导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结(尾部小惊喜) 前言 接口测试是对系统…

机械硬盘资料

本资料仅用于讨论,如有侵权请反馈: 机械硬盘的生产是现代制造业的极致 硬盘的工作原理是:盘片上布满磁性材料,信息的存储靠磁性材料极性的排列组织来存储;信息的读写就是靠硬盘的磁头“掠过”盘片,依靠磁场…

【图论】强连通分量

一.定义 强连通分量(Strongly Connected Components,简称SCC)是图论中的一个概念,用于描述有向图中的一组顶点,其中任意两个顶点之间都存在一条有向路径。换句话说,对于图中的任意两个顶点u和v,…

前端(十一)——Vue vs. React:两大前端框架的深度对比与分析

😊博主:小猫娃来啦 😊文章核心:Vue vs. React:两大前端框架的深度对比与分析 文章目录 前言概述原理与设计思想算法生态系统与社区支持API与语法性能与优化开发体验与工程化对比总结结语 前言 在当今快速发展的前端领…

在排序数组中查找元素的第一个和最后一个位置——力扣34

文章目录 题目描述法一 二分查找 题目描述 法一 二分查找 int bsearch_1(int l, int r) {while (l < r){int mid (l r)/2;if (check(mid)) r mid;else l mid 1;}return l; }int bsearch_2(int l, int r) {while (l < r){int mid ( l r 1 ) /2;if (check(mid)) l …

大数据课程E4——Flume的Channel

文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州 ▲ 本章节目的 ⚪ 了解Channel的作用和配置; ⚪ 掌握Channel的使用方法; ⚪ 掌握Channel的File Channel; ⚪ 掌握Channel的JDBC Channel; ⚪ 掌握Channel的Spillable Memory Channel; 一、Memory Ch…

2023爱分析·超自动化厂商全景报告|爱分析报告

关键发现 当前的超自动化定义主要从技术组合角度阐述超自动化内涵&#xff0c;较难和业务价值建立链接。爱分析对超自动化作如下新定义&#xff1a;超自动化指利用RPA、iPaaS、AI、低代码、BPM、流程挖掘等自动化技术&#xff0c;实现组织端到端流程自动化以及新业务流程快速编…

SAP RSA与RBA,业务需求与技术实现间的桥梁

1. 背景 SAP相关的缩略语很多&#xff0c;抛开背景说RSA与RBA&#xff0c;一定会让大家产生无数的联想。今年介绍的RSA与RBA是SAP最新企业架构方法论中的两个概念&#xff0c;听起来高大上&#xff0c;但其实其初衷和想法都是很容易理解的。话不多说&#xff0c;开始。 2. SA…