hutool-http实现离线爬虫

news/2025/1/16 10:00:11/

文章目录

- - 1.数据爬取流程
  - 2.离线爬虫(Hutool-http实现)
  - - 1.获取数据
    - 2.数据清洗
    - 3.为什么有各种类型的强转
    - 4.数据入库
  - 3.测试完整代码

1.数据爬取流程

1.分析数据源(怎么获取)

2.拿到数据后怎么处理

3.写入数据库存储

http_8">2.离线爬虫(Hutool-http实现)

1.获取数据

这里返回的是json格式的字符串
https://i-blog.csdnimg.cn/img_convert/4d3008f8fbfad4d62d761401b8a7522a.png" alt="" />
https://i-blog.csdnimg.cn/img_convert/593247f38c98e4665824f3b4cad5e1b3.png" alt="" />

2.数据清洗

通过该工具类将json数据转换成map对象
https://i-blog.csdnimg.cn/img_convert/1486492611f1c54b2147b70fe954d820.png" alt="" />
有一些数据还是数组，通过toList装成List集合后就可以通过该方法转成 Json字符串
https://i-blog.csdnimg.cn/img_convert/19434ae667a703189a12828cac6923e3.png" alt="" />
https://i-blog.csdnimg.cn/img_convert/26ab025bcd30690451c0f60569b57db7.png" alt="" />

3.为什么有各种类型的强转

https://i-blog.csdnimg.cn/img_convert/e89d61bcd6640e919a7458b8e755dacf.png" alt="" />

从调试的结果可以看出，虽然转换成了map集合，但各自原有的类型依然存在，我们强转之后就能调用该类型的方法

4.数据入库

https://i-blog.csdnimg.cn/img_convert/7c41f72d1117cc9778a313ad50a6cdf1.png" alt="" />
我们使用mybatis-plus的批量插入

3.测试完整代码

    @Autowiredprivate PostService postService;/*** 离线爬取数据入库*/@Testvoid getLiXian() {/*** 1.获取数据*///请求的地址String url = "别人的接口";//请求的参数String json = "别人的json格式参数";String result = HttpRequest.post(url).body(json).execute().body();/*** 2.数据清洗:json转对象*/Map<String,Object> map = JSONUtil.toBean(result, Map.class);JSONObject data = (JSONObject) map.get("data");JSONArray records = (JSONArray)data.get("records");List<Post> postList = new ArrayList<>();for (Object record : records) {JSONObject recordNew = (JSONObject) record;Post post = new Post();JSONArray tags = (JSONArray) recordNew.get("tags");List<String> list = tags.toList(String.class);post.setTags(JSONUtil.toJsonStr(list));post.setContent(recordNew.getStr("content"));post.setThumbNum(0);post.setFavourNum(0);post.setUserId(0L);post.setCreateTime(new Date());post.setUpdateTime(new Date());postList.add(post);}/*** 3.离线爬取数据存储到数据库*/postService.saveBatch(postList);}