C#简化工作之实现网页爬虫获取数据

news/2025/1/16 0:49:51/

1、需求

想要获取网站上所有的气象信息，网站如下所示：

image-20231127193134632

目前总共有67页，随便点开一个如下所示：

image-20231127193254040

需要获取所有天气数据，如果靠一个个点开再一个个复制粘贴那么也不知道什么时候才能完成，这个时候就可以使用C#来实现网页爬虫获取这些数据。

2、效果

先来看下实现的效果，所有数据都已存入数据库中，如下所示：

image-20231127193726966

总共有4万多条数据。

3、具体实现

构建每一页的URL

第一页的网址如下所示：

image-20231127194211474

最后一页的网址如下所示：

image-20231127195622290

可以发现是有规律的，那么就可以先尝试构建出每个页面的URL

    // 发送 GET 请求string url = "https://cj.msa.gov.cn/xxgk/xxgkml/aqxx/qxyg/";HttpResponseMessage response = await httpClient.GetAsync(url);// 处理响应if (response.IsSuccessStatusCode){string responseBody = await response.Content.ReadAsStringAsync();doc.LoadHtml(responseBody);//获取需要的数据所在的节点var node = doc.DocumentNode.SelectSingleNode("//div[@class=\"page\"]/script");string rawText = node.InnerText.Trim();// 使用正则表达式来匹配页数数据Regex regex = new Regex(@"\b(\d+)\b");Match match = regex.Match(rawText);if (match.Success){string pageNumber = match.Groups[1].Value;Urls = GetUrls(Convert.ToInt32(pageNumber));MessageBox.Show($"获取每个页面的URL成功，总页面数为：{Urls.Length}");}}//构造每一页的URLpublic string[] GetUrls(int pageNumber){string[] urls = new string[pageNumber];for (int i = 0; i < urls.Length; i++){if (i == 0){urls[i] = "https://cj.msa.gov.cn/xxgk/xxgkml/aqxx/qxyg/index.shtml";}else{urls[i] = $"https://cj.msa.gov.cn/xxgk/xxgkml/aqxx/qxyg/index_{i}.shtml";}}return urls;}

这里使用了HtmlAgilityPack

image-20231127195928840

HtmlAgilityPack（HAP）是一个用于处理HTML文档的.NET库。它允许你方便地从HTML文档中提取信息，修改HTML结构，并执行其他HTML文档相关的操作。HtmlAgilityPack 提供了一种灵活而强大的方式来解析和处理HTML，使得在.NET应用程序中进行网页数据提取和处理变得更加容易。

 // 使用HtmlAgilityPack解析网页内容var doc = new HtmlAgilityPack.HtmlDocument();doc.LoadHtml("需要解析的Html");//获取需要的数据所在的节点
var node = doc.DocumentNode.SelectSingleNode("XPath");

那么XPath是什么呢？

XPath（XML Path Language）是一种用于在XML文档中定位和选择节点的语言。它是W3C（World Wide Web Consortium）的标准，通常用于在XML文档中执行查询操作。XPath提供了一种简洁而强大的方式来导航和操作XML文档的内容。

构建每一天的URL

获取到了每一页的URL之后，我们发现在每一页的URL都可以获取关于每一天的URL信息，如下所示：

image-20231127201037439

可以进一步构建每一天的URL，同时可以根据a的文本获取时间，当然也可以通过其他方式获取时间，但是这种可以获取到11点或者17点。

代码如下所示：

    for (int i = 0; i < Urls.Length; i++){// 发送 GET 请求string url2 = Urls[i];HttpResponseMessage response2 = await httpClient.GetAsync(url2);// 处理响应if (response2.IsSuccessStatusCode){string responseBody2 = await response2.Content.ReadAsStringAsync();doc.LoadHtml(responseBody2);var nodes = doc.DocumentNode.SelectNodes("//div[@class=\"lie\"]/ul/li");for (int j = 0; j < nodes.Count; j++){var name = nodes[j].ChildNodes[3].InnerText;//只有name符合下面的格式才能成功转换为时间，所以这里需要有一个判断if (name != "" && name.Contains("气象预告")){var dayUrl = new DayUrl();//string format;//DateTime date;// 定义日期时间格式string format = "yyyy年M月d日H点气象预告";// 解析字符串为DateTimeDateTime date = DateTime.ParseExact(name, format, null);var a = nodes[j].ChildNodes[3];string urlText = a.GetAttributeValue("href", "");string newValue = "https://cj.msa.gov.cn/xxgk/xxgkml/aqxx/qxyg/";string realUrl = "";realUrl = newValue + urlText.Substring(1);dayUrl.Date = date;dayUrl.Url = realUrl;dayUrlList.Add(dayUrl);}else{Debug.WriteLine($"在{name}处，判断不符合要求");}}}}// 将数据存入SQLite数据库db.Insertable(dayUrlList.OrderBy(x => x.Date).ToList()).ExecuteCommand();MessageBox.Show($"获取每天的URL成功，共有{dayUrlList.Count}条");
}

在这一步骤需要注意的是XPath的书写，以及每一天URL的构建，以及时间的获取。

XPath的书写：

 var nodes = doc.DocumentNode.SelectNodes("//div[@class=\"lie\"]/ul/li");

表示一个类名为"lie"的div下的ul标签下的所有li标签，如下所示：

image-20231127201558734

构建每一天的URL：

 var a = nodes[j].ChildNodes[3];string urlText = a.GetAttributeValue("href", "");string newValue = "https://cj.msa.gov.cn/xxgk/xxgkml/aqxx/qxyg/";string realUrl = "";realUrl = newValue + urlText.Substring(1);

这里获取li标签下的a标签，如下所示：

image-20231127201814284

string urlText = a.GetAttributeValue("href", "");

这段代码获取a标签中href属性的值，这里是./202311/t20231127_3103490.shtml。

 string urlText = a.GetAttributeValue("href", "");string newValue = "https://cj.msa.gov.cn/xxgk/xxgkml/aqxx/qxyg/";string realUrl =  newValue + urlText.Substring(1);

这里是在拼接每一天的URL。

var name = nodes[j].ChildNodes[3].InnerText;// 定义日期时间格式
string format = "yyyy年M月d日H点气象预告";// 解析字符串为DateTime
DateTime date = DateTime.ParseExact(name, format, null);

这里是从文本中获取时间，比如文本的值也就是name的值为：“2023年7月15日17点气象预告”，name获得的date就是2023-7-15 17：00。

    // 将数据存入SQLite数据库db.Insertable(dayUrlList.OrderBy(x => x.Date).ToList()).ExecuteCommand();MessageBox.Show($"获取每天的URL成功，共有{dayUrlList.Count}条");

这里是将数据存入数据库中，ORM使用的是SQLSugar，类DayUrl如下：

internal class DayUrl
{[SugarColumn(IsPrimaryKey = true, IsIdentity = true)]public int Id { get; set; }public DateTime Date { get; set; }public string Url { get; set; }
}

最后获取每一天URL的效果如下所示：

image-20231127202711471

获取温度数据

需要获取的内容如下：

image-20231127202852536

设计对应的类如下：

internal class WeatherData
{[SugarColumn(IsPrimaryKey = true, IsIdentity = true)]public int Id { get; set; }public string? StationName { get; set; }public string? Weather {  get; set; }public string? Tem_Low {  get; set; }public string? Tem_High { get; set; }public string? Wind {  get; set; }public string? Visibility_Low { get; set; }public string? Visibility_High { get; set; }public string? Fog { get; set; }public string? Haze { get; set; }public DateTime Date { get; set; }
}

增加了一个时间，方便以后根据时间获取。

获取温度数据的代码如下：

    var list = db.Queryable<DayUrl>().ToList();for (int i = 0; i < list.Count; i++){HttpResponseMessage response = await httpClient.GetAsync(list[i].Url);// 处理响应if (response.IsSuccessStatusCode){string responseBody2 = await response.Content.ReadAsStringAsync();doc.LoadHtml(responseBody2);var nodes = doc.DocumentNode.SelectNodes("//table");if (nodes != null){var table = nodes[5];var trs = table.SelectNodes("tbody/tr");for (int j = 1; j < trs.Count; j++){var tds = trs[j].SelectNodes("td");switch (tds.Count){case 8:var wd8 = new WeatherData();wd8.StationName = tds[0].InnerText.Trim().Replace("&nbsp;", "");wd8.Weather = tds[1].InnerText.Trim().Replace("&nbsp;", "");wd8.Tem_Low = tds[2].InnerText.Trim().Replace("&nbsp;", "");wd8.Tem_High = tds[3].InnerText.Trim().Replace("&nbsp;", "");wd8.Wind = tds[4].InnerText.Trim().Replace("&nbsp;", "");wd8.Visibility_Low = tds[5].InnerText.Trim().Replace("&nbsp;", "");wd8.Visibility_High = tds[6].InnerText.Trim().Replace("&nbsp;", "");wd8.Fog = tds[7].InnerText.Trim().Replace("&nbsp;", "");wd8.Date = list[i].Date;weatherDataList.Add(wd8);break;case 9:var wd9 = new WeatherData();wd9.StationName = tds[0].InnerText.Trim().Replace("&nbsp;", "");wd9.Weather = tds[1].InnerText.Trim().Replace("&nbsp;", "");wd9.Tem_Low = tds[2].InnerText.Trim().Replace("&nbsp;", "");wd9.Tem_High = tds[3].InnerText.Trim().Replace("&nbsp;", "");wd9.Wind = tds[4].InnerText.Trim().Replace("&nbsp;", "");wd9.Visibility_Low = tds[5].InnerText.Trim().Replace("&nbsp;", "");wd9.Visibility_High = tds[6].InnerText.Trim().Replace("&nbsp;", "");wd9.Fog = tds[7].InnerText.Trim().Replace("&nbsp;", "");wd9.Haze = tds[8].InnerText.Trim().Replace("&nbsp;", "");wd9.Date = list[i].Date;weatherDataList.Add(wd9);break;default:break;}}}else{}}// 输出进度提示Debug.WriteLine($"已处理完成第{i}个URL");}// 将数据存入SQLite数据库db.Insertable(weatherDataList.OrderBy(x => x.Date).ToList()).ExecuteCommand();MessageBox.Show($"获取天气数据成功，共有{weatherDataList.Count}条");}

这里使用swith case是因为网页的格式并不是一层不变的，有时候少了一列，没有霾的数据。

 wd9.StationName = tds[0].InnerText.Trim().Replace("&nbsp;", "");

这里对文本进行这样处理是因为原始的数据是“\n内容&nbsp\n”,C#中String.Trim()方法会删除字符串前后的空白，string.Replace(“a”,“b”)方法会将字符串中的a换成b。

效果如下所示：

image-20231127204509544

image-20231127204629667

将数据全部都存入数据库中了。

4、最后

通过这个实例说明了其实C#也是可以实现网页爬虫的，对于没有反爬的情况下是完全适用的，再配合linq做数据处理也是可以的。


http://www.ppmy.cn/news/1258346.html

相关文章

js对象转换为数组的两种方法

js对象转换为数组的两种方法

第一种方法&#xff1a; Object.values(obj) 示例&#xff1a; var obj { name: 张三, age: 18}; console.log( Object.values(obj) ); // [张三, 18]第二种方法&#xff1a; for-in循环 示例&#xff1a; var obj { name: 张三, age: 18}; var arr []; for(let i in obj) …
阅读更多...
Python 爬虫 之scrapy 框架

Python 爬虫 之scrapy 框架

文章目录 常用的命令开始爬虫请求与响应让控制台只输出想要的信息创建一个py 文件来帮忙运行爬虫 工作原理图实战scrapy 本身自带的选择器使用全部scrapy 自身选择器进行爬虫爬取多个网站 常用的命令 Scrapy是一个用于爬取网站数据的Python框架&#xff0c;以下是一些常用的Sc…
阅读更多...
234 回文链表

234 回文链表

解题思路&#xff1a; \qquad 由于链表的结构特点&#xff0c;访问链表中的元素的时间复杂度为O(n)。相比较而言&#xff0c;使用数组会方便很多&#xff0c;实现O(1)访问。 \qquad 所以这个题&#xff0c;可以先遍历一遍把数值存到数组中&#xff0c;再使用双指针判断是否是…
阅读更多...
Unity随笔1 - 安卓打包JDK not found

Unity随笔1 - 安卓打包JDK not found

今天遇到一个很奇怪的事情&#xff0c;之前可以正常打安卓包&#xff0c;但是突然报错如下&#xff1a; 提示很明显&#xff0c;找不到JDK了。可是我在下载Unity的时候明明安装了所有需要的组件&#xff0c;为什么今天突然不行。 看了眼Unity hub里面&#xff0c;没问题。 那就…
阅读更多...
深度学习在图像识别中的应用

深度学习在图像识别中的应用

深度学习在图像识别中的应用 摘要&#xff1a;本文介绍了深度学习在图像识别领域的应用&#xff0c;包括卷积神经网络&#xff08;CNN&#xff09;的基本原理、常见模型以及在图像识别中的优势。并通过实验展示了深度学习在图像识别中的实际应用和效果。 一、引言 随着数字化…
阅读更多...
RocketMQTemplate 发送消息的高级用法

RocketMQTemplate 发送消息的高级用法

Apache RocketMQ 是一款强大的分布式消息中间件&#xff0c;与 Spring Boot 集成后&#xff0c;通过 RocketMQTemplate 可以实现在应用程序中方便地发送消息。在本文中&#xff0c;我们将深入探讨 RocketMQTemplate 的一些高级用法&#xff0c;以提供更灵活的消息发送和控制。 …
阅读更多...
3分钟在CentOS 7上离线安装Docker

3分钟在CentOS 7上离线安装Docker

在CentOS 7上离线安装Docker的详细步骤如下&#xff1a; 环境检查和准备 检查内核版本&#xff1a;Docker要求系统为64位且内核版本至少为3.10。使用命令uname -r查看内核版本。 检查CentOS版本&#xff1a;通过命令cat /etc/redhat-release查看版本信息。 更新yum包&#xff0…
阅读更多...
在 CentOS 7 上使用 `redis` 用户安装 Redis 7.2.3 的完整步骤

在 CentOS 7 上使用 `redis` 用户安装 Redis 7.2.3 的完整步骤

在 CentOS 7 上使用 redis 用户安装 Redis 7.2.3 的完整步骤如下&#xff1a; 安装依赖&#xff1a;首先&#xff0c;您需要安装一些必要的软件包&#xff0c;以编译和运行 Redis。打开终端并执行以下命令&#xff1a; sudo yum install gcc make创建 Redis 用户&#xff1a;为…
阅读更多...
最新文章

Copyright @ 2022~2023