爬虫程序如何存储数据到数据库？

将爬虫程序中获取的数据存储到数据库是一个常见的需求，这不仅可以方便地管理和查询数据，还可以为后续的数据分析和应用提供支持。以下是一个详细的步骤指南，介绍如何将爬虫程序中获取的数据存储到数据库中，以 MySQL 为例。

一、准备工作

安装 MySQL：确保你的系统中已经安装了 MySQL 数据库。如果未安装，可以从 MySQL 官网下载并安装。
创建数据库和表：在 MySQL 中创建一个数据库和表，用于存储爬取的数据。例如，创建一个名为 ecommerce 的数据库和一个名为 product_comments 的表。
```
CREATE DATABASE ecommerce;
USE ecommerce;CREATE TABLE product_comments (id INT AUTO_INCREMENT PRIMARY KEY,product_id VARCHAR(255) NOT NULL,content TEXT,nickname VARCHAR(255),time DATETIME
);
```
3.添加 MySQL 驱动依赖：在你的 Maven 项目中，添加 MySQL 驱动依赖，以便 Java 程序能够连接到 MySQL 数据库。
```
<dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>8.0.28</version>
</dependency>
```

二、编写数据存储代码

加载数据库驱动：在 Java 程序中加载 MySQL 驱动。

Class.forName("com.mysql.cj.jdbc.Driver");

2.建立数据库连接：使用 JDBC 连接到 MySQL 数据库。

String url = "jdbc:mysql://localhost:3306/ecommerce?useSSL=false&serverTimezone=UTC";
String username = "root";
String password = "your_password";
Connection connection = DriverManager.getConnection(url, username, password);

3.插入数据：编写 SQL 插入语句，将爬取到的数据插入到 product_comments 表中。

public void saveComments(List<Map<String, String>> comments, String productId) {String sql = "INSERT INTO product_comments (product_id, content, nickname, time) VALUES (?, ?, ?, ?)";try (Connection connection = DriverManager.getConnection(url, username, password);PreparedStatement statement = connection.prepareStatement(sql)) {for (Map<String, String> comment : comments) {statement.setString(1, productId);statement.setString(2, comment.get("content"));statement.setString(3, comment.get("nickname"));statement.setString(4, comment.get("time"));statement.addBatch();}statement.executeBatch();} catch (SQLException e) {e.printStackTrace();}
}

三、完整示例

以下是一个完整的示例，展示如何将爬取到的 1688 商品评论数据存储到 MySQL 数据库中。

import java.sql.*;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;public class CommentCrawler {private static final String url = "jdbc:mysql://localhost:3306/ecommerce?useSSL=false&serverTimezone=UTC";private static final String username = "root";private static final String password = "your_password";public static void main(String[] args) {try {Class.forName("com.mysql.cj.jdbc.Driver");List<Map<String, String>> comments = crawlProductComments("商品ID");saveComments(comments, "商品ID");} catch (ClassNotFoundException | SQLException e) {e.printStackTrace();}}public static List<Map<String, String>> crawlProductComments(String productId) {List<Map<String, String>> comments = new ArrayList<>();// 爬虫逻辑，假设已经爬取到评论数据Map<String, String> comment1 = new HashMap<>();comment1.put("content", "商品质量很好，非常满意！");comment1.put("nickname", "用户1");comment1.put("time", "2025-01-13 10:00:00");comments.add(comment1);Map<String, String> comment2 = new HashMap<>();comment2.put("content", "物流速度很快，赞一个！");comment2.put("nickname", "用户2");comment2.put("time", "2025-01-12 15:30:00");comments.add(comment2);return comments;}public static void saveComments(List<Map<String, String>> comments, String productId) {String sql = "INSERT INTO product_comments (product_id, content, nickname, time) VALUES (?, ?, ?, ?)";try (Connection connection = DriverManager.getConnection(url, username, password);PreparedStatement statement = connection.prepareStatement(sql)) {for (Map<String, String> comment : comments) {statement.setString(1, productId);statement.setString(2, comment.get("content"));statement.setString(3, comment.get("nickname"));statement.setString(4, comment.get("time"));statement.addBatch();}statement.executeBatch();} catch (SQLException e) {e.printStackTrace();}}
}