以下是采集店铺链接并去重的代码示例:
import requests
from bs4 import BeautifulSoup
def get_shop_links(item_url):
# 访问宝贝详情页面
response = requests.get(item_url)
soup = BeautifulSoup(response.text, 'html.parser')
# 获取必逛好店的店铺链接
shop_links = []
must_visit_shop_list = soup.find('div', class_='must-visit-shops').find_all('a')
for shop in must_visit_shop_list:
shop_link = shop['href']
shop_links.append(shop_link)
return shop_links
def remove_duplicate_links(links):
unique_links = list(set(links))
return unique_links
# 提供宝贝地址
item_url = 'http://item.taobao.com/item.htm?id=638673761014'
# 获取店铺链接
shop_links = get_shop_links(item_url)
# 去重店铺链接
unique_shop_links = remove_duplicate_links(shop_links)
print(unique_shop_links)
以上代码会根据提供的宝贝地址获取必逛好店的店铺链接,并对链接进行去重操作。你可以根据需要将该代码集成到你的采集过程中。
本文由 mdnice 多平台发布