Java爬虫调用API时的异常处理策略

在使用Java爬虫调用API时，异常处理是确保程序稳定运行的关键环节。网络请求可能会遇到各种问题，如网络超时、服务器错误、数据格式错误等。合理地处理这些异常可以提高爬虫的健壮性和可靠性。以下是一些常见的异常处理策略和代码示例。

一、常见的异常类型

（一）网络异常

连接超时（ConnectTimeoutException）：无法在指定时间内建立连接。
读取超时（SocketTimeoutException）：连接建立后，无法在指定时间内读取数据。
DNS解析失败（UnknownHostException）：无法解析目标域名。

（二）HTTP异常

HTTP状态码错误（HttpResponseException）：服务器返回的HTTP状态码表示请求失败，如404（未找到）、500（服务器错误）等。
SSL证书错误（SSLHandshakeException）：在使用HTTPS时，SSL证书验证失败。

（三）数据解析异常

JSON解析错误（JsonParseException）：返回的数据格式不符合JSON规范，无法解析。
字段缺失（NullPointerException）：解析JSON时，某些预期字段不存在。

二、异常处理策略

（一）捕获异常

使用try-catch块捕获可能的异常，并进行适当的处理。

（二）重试机制

在网络请求失败时，可以设置重试机制，增加请求成功的概率。

（三）日志记录

记录异常信息，便于后续排查问题。

（四）优雅降级

在某些情况下，即使请求失败，也可以提供部分数据或默认值，而不是直接抛出异常。

三、代码示例

以下是一个完整的Java代码示例，展示如何在调用API时处理异常：

java">import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import com.fasterxml.jackson.databind.ObjectMapper;import java.io.IOException;public class ApiCrawler {public static void main(String[] args) {String url = "https://api.example.com/data";int maxRetries = 3;  // 最大重试次数int retryCount = 0;while (retryCount < maxRetries) {try (CloseableHttpClient httpClient = HttpClients.createDefault()) {HttpGet request = new HttpGet(url);HttpResponse response = httpClient.execute(request);if (response.getStatusLine().getStatusCode() == 200) {String jsonResponse = EntityUtils.toString(response.getEntity());ObjectMapper mapper = new ObjectMapper();Map<String, Object> data = mapper.readValue(jsonResponse, Map.class);System.out.println("Data: " + data);break;  // 请求成功，退出循环} else {System.out.println("Request failed with status code: " + response.getStatusLine().getStatusCode());}} catch (UnknownHostException e) {System.out.println("UnknownHostException: " + e.getMessage());} catch (SocketTimeoutException e) {System.out.println("SocketTimeoutException: " + e.getMessage());} catch (IOException e) {System.out.println("IOException: " + e.getMessage());} catch (Exception e) {System.out.println("Unexpected exception: " + e.getMessage());}retryCount++;System.out.println("Retrying... Attempt " + retryCount);}if (retryCount == maxRetries) {System.out.println("Max retries reached. Request failed.");}}
}

代码解析

捕获异常：使用try-catch块捕获可能的异常，包括网络异常、HTTP异常和IO异常。
重试机制：在捕获异常后，增加重试次数，直到达到最大重试次数。
日志记录：在捕获异常时，记录异常信息，便于排查问题。

四、注意事项

（一）合理设置超时时间

在创建HttpClient时，可以设置连接超时和读取超时时间，避免程序长时间等待。

java">CloseableHttpClient httpClient = HttpClients.custom().setConnectTimeout(5000)  // 设置连接超时时间为5秒.setSocketTimeout(10000)  // 设置读取超时时间为10秒.build();

（二）处理HTTP状态码

根据返回的HTTP状态码，可以进行不同的处理。例如，对于404错误，可以记录日志并跳过；对于500错误，可以重试。

（三）优雅降级

在某些情况下，即使请求失败，也可以提供部分数据或默认值，而不是直接抛出异常。例如，如果某个字段缺失，可以使用默认值替代。

（四）日志记录

使用日志框架（如SLF4J、Logback）记录异常信息，便于后续排查问题。

java">import org.slf4j.Logger;
import org.slf4j.LoggerFactory;public class ApiCrawler {private static final Logger logger = LoggerFactory.getLogger(ApiCrawler.class);public static void main(String[] args) {String url = "https://api.example.com/data";int maxRetries = 3;int retryCount = 0;while (retryCount < maxRetries) {try (CloseableHttpClient httpClient = HttpClients.createDefault()) {HttpGet request = new HttpGet(url);HttpResponse response = httpClient.execute(request);if (response.getStatusLine().getStatusCode() == 200) {String jsonResponse = EntityUtils.toString(response.getEntity());ObjectMapper mapper = new ObjectMapper();Map<String, Object> data = mapper.readValue(jsonResponse, Map.class);logger.info("Data: {}", data);break;} else {logger.warn("Request failed with status code: {}", response.getStatusLine().getStatusCode());}} catch (Exception e) {logger.error("Exception occurred: {}", e.getMessage(), e);}retryCount++;logger.info("Retrying... Attempt {}", retryCount);}if (retryCount == maxRetries) {logger.error("Max retries reached. Request failed.");}}
}