不会点爬虫技术写代码真没意思，Java 爬虫利器 Jsoup 详解

Jsoup的概述

Jsoup是一款Java语言开发的HTML解析器，用于解析HTML文档以及对HTML文档进行操作，处理等。它提供了类似于jQuery的DOM操作方法，以及用于HTML元素遍历、迭代、查询以及修改等操作的API，同时还支持CSS选择器和正则表达式的解析。

Jsoup的特点

可以从URL中直接获取网页的内容并进行解析。
支持CSS选择器和正则表达式。
采用DOM结构，直观简单。
支持流畅的链式操作风格。
支持属性查找和修改。
支持XML解析。

Jsoup的优点

简单、方便、易学易用。
Jsoup的相对性能比较高，特别是在处理大型HTML文件时。
支持CSS选择器及正则表达式等复杂操作。
Jsoup对HTML进行清理，可以特别有效地防止XSS脚本攻击。
能够与Java内部的文档模型(DOM)结合，符合Java的运行环境。

Jsoup的核心类

以下是Jsoup中最重要的几个核心类：

Document：代表整个HTML或XML文档。可以通过该类来获取所需的元素、属性等。
Element：代表HTML中的一个元素。例如, ,
等。
Elements：代表多个元素组成的集合，即一个数组。
Node：代表一个节点，可以是文本、注释或者其他类型的节点。
TextNode：代表文本节点，主要用于获取标签之间的文本内容。
Attribute：代表HTML元素中的属性。

Jsoup的用法

这里我将从以下方面介绍Jsoup的用法：

1.导入Jsoup到项目中

在使用Jsoup前，需要将它添加到项目的依赖中。如果使用Maven，只需要在pom.xml文件中添加下面的代码即可：

<dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.14.3</version>
</dependency>

2.解析HTML文档

解析HTML的第一步是将HTML文档加载到Jsoup的Document对象中，以便进行后续操作。可以通过以下方式实现：

String html = "<html><head><title>Jsoup Example</title></head>"+ "<body><p>Hello world!</p></body></html>";
Document doc = Jsoup.parse(html);

其中，Jsoup.parse(html)可以将字符串转换为Document对象，而html则是需要解析的HTML。

3.从URL加载HTML

除了直接解析HTML字符串，Jsoup还支持从URL地址获取HTML内容并进行解析。可以使用以下代码：

String url = "http://www.example.com/";
Document doc = Jsoup.connect(url).get();

其中，Jsoup.connect(url).get()可以从指定的url地址获取HTML内容并解析成Document对象。

4.使用选择器查找元素

Jsoup支持类似于jQuery的CSS选择器语法，可以用非常简单的方式查找HTML元素。例如，查找所有的p标签，可以使用如下代码：

Elements paragraphs = doc.select("p");

select()方法会返回匹配选择器的元素的集合。

更进一步来说，选择器可以根据标签名、属性、样式等多种条件筛选元素。例如，以下代码会查找所有带有href属性的链接：

Elements links = doc.select("a[href]");

如果要查找指定class的元素，可以使用类似于CSS的“.classname”语法：

Elements elementsByClass = doc.select(".classname");

同样地，也支持按属性值进行查找：

Elements links = doc.select("a[href=\"#\"]");

这些选择器可以非常灵活地精准定位到需要的HTML元素。

5.获取元素的属性和内容

在定位到所需的HTML元素后，可以使用Jsoup提供的方法获取元素的属性和内容。例如，以下代码可以获取a标签的href属性和显示的文本内容：

Element link = doc.select("a").first();
String href = link.attr("href");
String text = link.text();

attr()方法可以获取指定属性的值，而text()方法可以获取标签之间的文本内容。

6.修改HTML文档

Jsoup不仅可以解析HTML文档，还可以修改文档中的元素、属性等内容。可以使用以下代码：

Element link = doc.select("a").first();
link.attr("href", "http://www.newsite.com/");
link.text("New Site");

这些方法可以非常方便地修改HTML文档中的元素和属性。

7.处理HTML中的正文

有时候我们只需要解析HTML中的正文部分而不是全文，这种情况下可以使用Jsoup提供的方法实现。例如，以下代码可以提取HTML中的所有正文段落：

Document doc = Jsoup.parse(html);
Elements paragraphs = doc.select("p");
String text = paragraphs.text();

上面代码中，Jsoup首先解析HTML文档并查找所有的p标签，然后使用text()方法提取正文内容。

Jsoup的高级用法

了解了基本用法后，我们可以进一步了解Jsoup的高级用法，例如：

1.从HTML中提取图片

可以使用以下代码提取出HTML文档中的所有图片：

Document doc = Jsoup.connect(url).get();
Elements images = doc.select("img[src~=(?i)\\.(png|jpe?g|gif)]");

这里的正则表达式可以过滤掉非图片类型的元素。

2.从HTML中提取所有链接

可以使用以下代码提取出HTML中的所有链接：

Document doc = Jsoup.connect(url).get();
Elements links = doc.select("a[href]");

然后遍历links集合，即可获取每个链接的href属性和文本内容。

3.自定义User-Agent和超时时间

可以通过以下方式指定Jsoup连接的User-Agent和超时时间：

String url = "http://www.example.com/";
Connection conn = Jsoup.connect(url);
conn.userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");
conn.timeout(5000);
Document doc = conn.get();

其中userAgent()方法可以设置User-Agent，timeout()方法可以设置超时时间，单位是毫秒。

4.处理HTML中的中文编码问题

当解析包含中文字符的HTML文档时，可能会出现乱码等问题。可以通过以下方式解决：

Document doc = Jsoup.parse(html, "UTF-8");
String title = doc.title();
String text = doc.text();

这里的"UTF-8"指定了HTML文档的字符集，以解决编码问题。

5.处理HTML中的表格

可以使用以下代码提取表格中的数据：

Document doc = Jsoup.connect(url).get();
Elements tableRows = doc.select("table tr");
for (Element row : tableRows) {Elements cells = row.select("td");for (Element cell : cells) {String cellText = cell.text();}
}

这里先通过选择器查找所有的tr标签，然后对每个tr标签内的td标签进行遍历，获取单元格的内容。

6.处理HTML中的特殊字符

Document doc = Jsoup.parse(html);
doc.outputSettings().escapeMode(EscapeMode.base);
String text = doc.text();

这里的escapeMode()方法可以指定转义字符的模式，base模式表示只转义基本的字符，其他的字符不做转义。

7.使用代理连接网站

有些网站可能会禁止爬虫访问，可以使用代理服务器连接到网站。可以使用以下代码设置代理：

String url = "http://www.example.com/";
Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress("proxyhost", 8080));
Connection conn = Jsoup.connect(url).proxy(proxy);
Document doc = conn.get();

其中proxy()方法可以设置代理服务器的地址和端口号。

8.处理HTML中的连接

可以使用以下代码将相对路径转换为绝对路径：

String url = "http://www.example.com/";
Document doc = Jsoup.connect(url).get();
Elements links = doc.select("a[href]");
for (Element link : links) {String absLink = link.attr("abs:href");
}

这里的abs()方法可以将相对路径转换为绝对路径，从而能够正确地访问链接。

9.使用Jsoup处理XML

除了HTML，Jsoup还能够处理XML文档。可以使用以下代码解析XML文档：

String xml = "<root><item>1</item><item>2</item><item>3</item></root>";
Document doc = Jsoup.parse(xml, "", Parser.xmlParser());
Elements items = doc.select("item");

这里的xmlParser()方法将Jsoup的解析器设置为XML模式，然后就可以使用CSS选择器查找XML元素了。

10.处理HTML中的图片

有时候我们需要将HTML中的图片下载到本地使用。可以使用以下代码实现：

String imageUrl = "http://www.example.com/image.jpg";
Connection.Response resultImageResponse = Jsoup.connect(imageUrl).ignoreContentType(true).maxBodySize(0).execute();
byte[] imageBytes = resultImageResponse.bodyAsBytes();