Java爬虫抓取B站视频信息

devtools/2025/3/19 20:37:03/

依赖

<dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.17.2</version> <!-- 最新版可去官网查看 --></dependency>

编码

java">public static List<VideoDto> parseSearchPage(String keyword, int page,int lim) throws Exception {String url = "https://search.bilibili.com/all?keyword=" + keyword + "&page=" + page;Document doc = Jsoup.connect(url).userAgent("Mozilla/5.0").timeout(10000).get();List<VideoDto> list = new ArrayList<>();Elements pictures = doc.select("picture");System.out.println("OK");int cnt=0;for (Element picture : pictures) {String pictureSrc = Objects.requireNonNull(picture.selectFirst("source")).attr("srcset");String title = Objects.requireNonNull(picture.selectFirst("img")).attr("alt");VideoDto videoDto = new VideoDto();videoDto.setPicture(pictureSrc);videoDto.setTitle(title);list.add(videoDto);cnt++;if(cnt==lim)break;}Elements divElements = doc.select("div.bili-video-card__info--right");cnt=0;for(Element divElement : divElements){Element firstLink = divElement.selectFirst("a");if(firstLink != null){String link= firstLink.attr("href");VideoDto videoDto=list.get(cnt);videoDto.setUrl(link);list.set(cnt,videoDto);cnt++;if(cnt==lim)break;}}return list;}

http://www.ppmy.cn/devtools/168434.html

相关文章

【漫话机器学习系列】141.灵敏度(Sensitivity)

灵敏度&#xff08;Sensitivity&#xff09;详解 在统计学和机器学习领域&#xff0c;灵敏度&#xff08;Sensitivity&#xff09;&#xff0c;也称为召回率&#xff08;Recall&#xff09;&#xff0c;是一种衡量分类模型在检测正例时的能力的重要指标。灵敏度的计算公式如下…

3.17学习总结

完成了一道算法题&#xff0c;终于自己独立写出了一道二叉树的题了 bool isSameTree(struct TreeNode* p, struct TreeNode* q) {if(pNULL&&qNULL) return true;if(pNULL||qNULL) return false;if(p->val!q->val) return false;if(p->leftNULL&&…

如何优化 TCP/IP 的 NCCL 通信

是的&#xff0c;相比 InfiniBand (IB)&#xff0c;TCP/IP 通信的性能会低很多&#xff0c;主要体现在以下几个方面&#xff1a; 1. 带宽对比 InfiniBand (IB)&#xff08;例如 HDR 200Gbps&#xff09;&#xff1a;通常提供 100-200Gbps 的带宽&#xff0c;远超普通以太网。…

【算法百题】专题六_模拟

文章目录 前言题目&#xff1a;038. [替换所有的问号&#xff08;easy&#xff09;](https://leetcode.cn/problems/replace-all-s-to-avoid-consecutive-repeating-characters/description/)分析 039. [提莫攻击&#xff08;easy&#xff09;](https://leetcode.cn/problems/t…

K8S之QoS详解

Pod QoS 类 服务质量&#xff08;Quality of Service&#xff0c;QoS&#xff09;类&#xff0c; 阐述 Kubernetes 如何根据为 Pod 中的容器指定的资源约束为每个 Pod 设置 QoS 类。Kubernetes 依赖这种分类来决定当 Node 上没有足够可用资源时要驱逐哪些 Pod。 QoS 类&#…

【css酷炫效果】纯CSS实现黑白电视故障雪花

【css酷炫效果】纯CSS实现黑白电视故障雪花 缘创作背景html结构css样式完整代码效果图 想直接拿走的老板&#xff0c;链接放在这里&#xff1a;https://download.csdn.net/download/u011561335/90492002 缘 创作随缘&#xff0c;不定时更新。 创作背景 刚看到csdn出活动了&…

独立部署DeepSeek 大语言模型(如 DeepSeek Coder、DeepSeek LLM)可以采用什么框架?

DeepSeek 大语言模型&#xff08;如 DeepSeek Coder、DeepSeek LLM&#xff09;&#xff0c;独立部署这些模型可以采用以下几种框架&#xff1a; 1. Hugging Face Transformers 特点 易用性高&#xff1a;提供了丰富的预训练模型接口&#xff0c;对于 DeepSeek 模型&#xff…

SpringBoot 和vue前后端配合开发网页拼图10关游戏源码技术分享

今天分享一个 前后端结合 的网页游戏 开发项目源码技术。 这也是我第一次写游戏类的程序&#xff0c;虽然不是特别复杂的游戏&#xff0c;但是是第一次写&#xff0c;肯定要记录一下了&#xff0c;哈哈。 游戏的内容 就是 我们显示中玩的那个 拼图碎片的 游戏&#xff0c;类似下…