Ruby爬虫如何控制并发数量：爬取京东电子产品

1. 引言

京东作为中国最大的电商平台之一，拥有海量的商品信息，其中电子产品是其热门品类之一。对于市场研究人员、数据分析师和开发者来说，能够高效地爬取和分析这些数据具有重要的价值。然而，京东网站的复杂性和反爬措施使得爬取任务更具挑战性。合理控制并发数量不仅能提高爬取效率，还能避免触发网站的反爬机制，确保爬虫的稳定运行。

Ruby语言以其简洁的语法和强大的并发处理能力，结合Nokogiri等库，成为开发高效爬虫的理想选择。本文将通过一个实战案例，展示如何在Ruby爬虫中控制并发数量，同时解析京东电子产品页面并提取标题。

2. 爬虫设计与实现

在本节中，我们将详细介绍如何设计和实现一个Ruby爬虫，用于爬取京东电子产品页面并提取标题。我们将从简单的单线程爬虫开始，逐步扩展到并发爬虫，并最终实现动态并发控制。

2.1 单线程爬虫

单线程爬虫是最基本的爬虫形式，适用于小规模数据爬取。以下是单线程爬虫的实现代码：

ruby">require 'nokogiri'
require 'open-uri'proxy_host = "www.16yun.cn"
proxy_port = 5445
proxy_user = "16QMSOML"
proxy_pass = "280651"def fetch_title(url, proxy_host, proxy_port, proxy_user, proxy_pass)begin# 使用代理服务器打开网页doc = Nokogiri::HTML(URI.open(url, proxy_addr: proxy_host, proxy_port: proxy_port,proxy_user: proxy_user, proxy_pass: proxy_pass))doc.at('title').textrescue StandardError => eputs "Error fetching #{url}: #{e.message}"nilend
end# 示例：爬取京东电子产品首页
url = 'https://www.jd.com/category/1320-13753-13883.html'
title = fetch_title(url, proxy_host, proxy_port, proxy_user, proxy_pass)
puts "Title: #{title}"

2.2 并发爬虫

单线程爬虫效率较低，尤其是在爬取大量页面时。通过并发处理，可以显著提高爬取效率。以下是使用concurrent-ruby库实现的并发爬虫代码：

ruby">require 'nokogiri'
require 'open-uri'
require 'concurrent'proxy_host = "www.16yun.cn"
proxy_port = 5445
proxy_user = "16QMSOML"
proxy_pass = "280651"def fetch_title(url, proxy_host, proxy_port, proxy_user, proxy_pass)begindoc = Nokogiri::HTML(URI.open(url, proxy_addr: proxy_host, proxy_port: proxy_port,proxy_user: proxy_user, proxy_pass: proxy_pass))doc.at('title').textrescue StandardError => eputs "Error fetching #{url}: #{e.message}"nilend
end# 创建线程池，最大并发数为5
pool = Concurrent::ThreadPoolExecutor.new(max_threads: 5)urls = ['https://www.jd.com/category/1320-13753-13883.html', # 电子产品'https://www.jd.com/category/1320-13754-13884.html', # 手机'https://www.jd.com/category/1320-13755-13885.html'  # 笔记本电脑
]# 使用线程池并发爬取
results = urls.map do |url|pool.post(url, proxy_host, proxy_port, proxy_user, proxy_pass) do |u, host, port, user, pass|fetch_title(u, host, port, user, pass)end
endtitles = results.map(&:value).compact
titles.each { |title| puts "Title: #{title}" }pool.shutdown

2.3 动态并发调整

在实际应用中，目标网站的响应时间可能因网络状况和服务器负载而波动。通过动态调整并发数量，可以优化爬取效率，同时避免对目标网站造成过大压力。以下是动态并发调整的实现代码：

ruby">require 'nokogiri'
require 'open-uri'
require 'concurrent'def fetch_title(url, pool)start_time = Time.nowbegindoc = Nokogiri::HTML(URI.open(url))title = doc.at('title').textputs "Fetched #{url}: #{title}"titlerescue StandardError => eputs "Error fetching #{url}: #{e.message}"nilensureelapsed_time = Time.now - start_timeadjust_concurrency(pool, elapsed_time)end
enddef adjust_concurrency(pool, elapsed_time)if elapsed_time < 0.5pool.resize([pool.max_threads + 1, 10].min) # 最大并发数不超过10elsif elapsed_time > 2.0pool.resize([pool.max_threads - 1, 1].max) # 最小并发数为1end
endpool = Concurrent::ThreadPoolExecutor.new(max_threads: 5)
urls = ['https://www.jd.com/category/1320-13753-13883.html','https://www.jd.com/category/1320-13754-13884.html','https://www.jd.com/category/1320-13755-13885.html'
]results = urls.map { |url| pool.post(url, pool, &method(:fetch_title)) }
titles = results.map(&:value).compacttitles.each { |title| puts "Title: #{title}" }pool.shutdown