整合全文检索引擎 Lucene 添加站内搜索子模块

ops/2024/10/31 3:29:55/

整合全文检索引擎 Lucene: 添加站内搜索子模块

1. 什么是 Lucene ? 有啥优势？

Lucene 是一个开源的全文检索引擎库，由 Apache 基金会维护，官网地址：https://lucene.apache.org/ 。它提供了丰富的文本处理和搜索功能，允许开发者在应用程序中集成强大的全文检索能力。

以下是 Lucene 的一些主要特点和优势：

  1. 全文检索： Lucene 支持全文检索，可以在大量文本数据中快速而准确地查找关键字。
  2. 开源： Lucene 是开源的，可以免费使用，并且具有灵活的许可证，适用于各种项目。
  3. 高性能： Lucene 的搜索性能非常高效，它使用了许多优化算法和数据结构，能够在大型数据集上快速执行搜索。
  4. 跨平台： Lucene 是用 Java 编写的，因此可以在几乎所有的平台上运行。
  5. 可扩展： Lucene 提供了丰富的API和插件机制，可以轻松扩展其功能，以满足不同应用的需求。
  6. 丰富的查询语法： Lucene 支持复杂的查询语法，包括通配符、模糊查询、范围查询等。

2.添加依赖

    <!-- 版本号统一管理 --><properties>// 省略...<lucene.version>8.11.1</lucene.version></properties><!-- 统一依赖管理 --><dependencyManagement><dependencies>// 省略...<!-- lucene 全文检索引擎 --><dependency><groupId>org.apache.lucene</groupId><artifactId>lucene-core</artifactId><version>${lucene.version}</version></dependency><!-- 中文分词 --><dependency><groupId>org.apache.lucene</groupId><artifactId>lucene-analyzers-smartcn</artifactId><version>${lucene.version}</version></dependency><!-- 关键词高亮 --><dependency><groupId>org.apache.lucene</groupId><artifactId>lucene-highlighter</artifactId><version>${lucene.version}</version></dependency><!-- 查询解析器 --><dependency><groupId>org.apache.lucene</groupId><artifactId>lucene-queryparser</artifactId><version>${lucene.version}</version></dependency></dependencies></dependencyManagement>

添加 CommandLineRunner 项目启动任务：初始化 Lucene 文章索引

如何在 Spring Boot 工程启动时，执行一些任务呢？ 其实实现方式有多种，这里使用的是 CommandLineRunner 。

CommandLineRunner 是什么？

CommandLineRunner 是 Spring Boot 提供的一个接口，用于在 Spring Boot 应用启动后执行一些初始化逻辑。它是一个功能接口，只包含一个 run 方法，该方法会在 Spring Boot 应用启动后被调用。

我们在 weblog-module-search 模块中，创建一个 /runner 包，并添加一个 InitLuceneIndexRunner 初始化索引的任务

package com.quanxiaoha.weblog.search.runner;import lombok.extern.slf4j.Slf4j;
import org.springframework.boot.CommandLineRunner;
import org.springframework.stereotype.Component;@Component
@Slf4j
public class InitLuceneIndexRunner implements CommandLineRunner {@Overridepublic void run(String... args) throws Exception {log.info("==> 开始初始化 Lucene 索引...");}
}

2. 扫描 CommandLineRunner

3.Lucene 相关概念

在这里插入图片描述

  • 索引（Index）： 索引是 Lucene 中的核心概念，它类似于数据库中的表。在 Lucene 中，索引是由一系列词项（terms）构成的数据结构，每个词项都关联到一个或多个文档。这允许非常快速的搜索，类似于数据库中使用索引进行快速检索的方式；
  • 文档（Document）：文档是 Lucene 中的基本信息单元，可以看作数据库表中的一行。每个文档由一组字段（Field）组成，每个字段包含一个值。文档在索引中存储，并且可以根据这些字段进行搜索；
  • 字段（Field）：字段是文档中的一个属性，它有一个名称和一个值。在搜索和检索中，我们可以使用字段来过滤和排序文档;
  • 分析器（Analyzer）：分析器负责将文本切分成单词，并对这些单词进行标准化处理，以便建立索引和进行搜索。Lucene 提供了各种分析器来处理不同类型的文本数据;
  • 查询（Query）：查询是用于在索引中搜索文档的表达式。Lucene 提供了强大的查询语言，允许我们构建复杂的搜索条件。

4.配置索引存储目录

为了能够自定义 Lucene 索引的存储目录，编辑 application-dev.yml 开发环境配置文件，自定义一个 lucene.indexDir 配置：

#=================================================================
# Lucene 全文检索
#=================================================================
lucene:indexDir: E:\\java_workspace\\lucene-index # lucene 索引存放的位置

另外，再编辑 applicaiton-prod.yml 生产环境配置文件，自定义一个 linux 环境的索引存储目录，这里放置到了项目部署的目录下，方便后续维护：

#=================================================================
# Lucene 全文检索
#=================================================================
lucene:indexDir: /app/weblog/lucene-index # lucene 索引存放的位置

读取 Lucene 配置

添加一个 /config 包，并新建一个 LuceneProperties 配置类，用于读取 .yml 文件中的 lucene 配置：

@ConfigurationProperties(prefix = "lucene")
@Component
@Data
public class LuceneProperties {/*** 索引存放的文件夹*/private String indexDir;
}

定义索引

接着，再添加一个 /index 包，在里面创建一个 ArticleIndex 索引接口，用于定义文章索引的名称，以及文档字段。添加哪些字段，就看你页面中需要展示哪些数据，代码如下：

public interface ArticleIndex {/*** 索引名称*/String NAME = "article";// --------------------- 文档字段 ---------------------String COLUMN_ID = "id";String COLUMN_TITLE = "title";String COLUMN_COVER = "cover";String COLUMN_SUMMARY = "summary";String COLUMN_CONTENT = "content";String COLUMN_CREATE_TIME = "createTime";
}

引入 commons-io 工具包

准备工作完成后，正式进入到创建索引阶段了。因为涉及到操作文件，这里在父 pom.xml 中声明一下 commons-io 工具包，该库中封装了一些文件相关的常用操作，如创建文件，创建文件夹，删除文件夹等等，还是非常好用的：

    <!-- 版本号统一管理 --><properties>// 省略...<commons-io.version>2.11.0</commons-io.version></properties><dependencies>// 省略..<!-- 工具包 --><dependency><groupId>commons-io</groupId><artifactId>commons-io</artifactId><version>${commons-io.version}</version></dependency></dependencies>

封装 Lucene 工具类

@Component
@Slf4j
public class LuceneHelper {/*** 创建索引* @param indexDir 索引存放的目录* @param documents 文档*/public void createIndex(String indexDir, List<Document> documents) {try {File dir = new File(indexDir);// 判断索引目录是否存在if (dir.exists()) {// 删除目录中的内容FileUtils.cleanDirectory(dir);} else {// 若不存在，则创建目录FileUtils.forceMkdir(dir);}// 读取索引目录Directory directory = FSDirectory.open(Paths.get(indexDir));// 中文分析器Analyzer analyzer = new SmartChineseAnalyzer();IndexWriterConfig config = new IndexWriterConfig(analyzer);// 创建索引IndexWriter writer = new IndexWriter(directory, config);// 添加文档documents.forEach(document -> {try {writer.addDocument(document);} catch (IOException e) {log.error("添加 Lucene 文档错误: ", e);}});// 提交writer.commit();writer.close();} catch (Exception e) {log.error("创建 Lucene 索引失败: ", e);}}
}

初始化 Lucene 索引

工具类封装完成后，回到 InitLuceneIndexRunner 类中，编辑代码如下：

package com.quanxiaoha.weblog.search;import lombok.extern.slf4j.Slf4j;
import org.apache.commons.io.FileUtils;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.springframework.stereotype.Component;import java.io.File;
import java.io.IOException;
import java.nio.file.Paths;
import java.util.List;@Component
@Slf4j
public class InitLuceneIndexRunner implements CommandLineRunner {@Autowiredprivate LuceneProperties luceneProperties;@Autowiredprivate LuceneHelper luceneHelper;@Autowiredprivate ArticleMapper articleMapper;@Autowiredprivate ArticleContentMapper articleContentMapper;@Overridepublic void run(String... args) throws Exception {log.info("==> 开始初始化 Lucene 索引...");// 查询所有文章List<ArticleDO> articleDOS = articleMapper.selectList(Wrappers.emptyWrapper());// 未发布文章，则不创建 lucene 索引if (articleDOS.isEmpty()) {log.info("==> 未发布任何文章，暂不创建 Lucene 索引...");return;}// 若配置文件中未配置索引存放目录，日志提示错误信息if (StringUtils.isBlank(luceneProperties.getIndexDir())) {log.error("==> 未指定 Lucene 索引存放位置，需在 application.yml 文件中添加路径配置...");return;}// 文章索引存放目录， 如 /app/weblog/lucene-index/articleString articleIndexDir = luceneProperties.getIndexDir() + File.separator + ArticleIndex.NAME;List<Document> documents = Lists.newArrayList();articleDOS.forEach(articleDO -> {Long articleId = articleDO.getId();// 查询文章正文ArticleContentDO articleContentDO = articleContentMapper.selectByArticleId(articleId);// 构建文档Document document = new Document();// 设置文档字段 Fielddocument.add(new TextField(ArticleIndex.COLUMN_ID, String.valueOf(articleId), Field.Store.YES));document.add(new TextField(ArticleIndex.COLUMN_TITLE, articleDO.getTitle(), Field.Store.YES));document.add(new TextField(ArticleIndex.COLUMN_COVER, articleDO.getCover(), Field.Store.YES));document.add(new TextField(ArticleIndex.COLUMN_SUMMARY, articleDO.getSummary(), Field.Store.YES));document.add(new TextField(ArticleIndex.COLUMN_CONTENT, articleContentDO.getContent(), Field.Store.YES));document.add(new TextField(ArticleIndex.COLUMN_CREATE_TIME, Constants.DATE_TIME_FORMATTER.format(articleDO.getCreateTime()), Field.Store.YES));documents.add(document);});// 创建索引luceneHelper.createIndex(articleIndexDir, documents);log.info("==> 结束初始化 Lucene 索引...");}
}

上述代码中，首先查询了文章表，校验了一下是否有文章，以及 .yml 文件中是否配置了索引存储目录。若通过，则对文章数据进行遍历，拿着文章 ID 查询正文，并构建 Document 文档，以及设置文档中需要存储的 Field 字段，最终调用 LuceneHelper 工具类中的 createIndex()方法，完成对文章索引的创建工作。

封装查询总文档数方法

在动手写接口之前，先来给 LuceneHelper 工具类封装两个分页相关的方法：

  • 1、中文分词分页搜索，查询总文档数；
  • 2、中文分词分页搜索;

编辑 LuceneHelper 工具类，添加查询总文档数方法，代码如下：

package com.quanxiaoha.weblog.search;import lombok.extern.slf4j.Slf4j;
import org.apache.commons.io.FileUtils;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.queryparser.classic.MultiFieldQueryParser;
import org.apache.lucene.queryparser.classic.QueryParser;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.springframework.stereotype.Component;import java.io.File;
import java.io.IOException;
import java.nio.file.Paths;
import java.util.List;@Component
@Slf4j
public class LuceneHelper {// 省略.../*** 关键词搜索, 查询总数据量* @param indexDir 索引目录* @param word 查询关键词* @param columns 需要搜索的字段* @return*/public long searchTotal(String indexDir, String word, String[] columns) {try {// 打开索引目录Directory directory = FSDirectory.open(Paths.get(indexDir));IndexReader reader = DirectoryReader.open(directory);IndexSearcher searcher = new IndexSearcher(reader);// 中文分析器Analyzer analyzer = new SmartChineseAnalyzer();// 查询解析器QueryParser parser = new MultiFieldQueryParser(columns, analyzer);// 解析查询关键字Query query = parser.parse(word);// 搜索文档TopDocs totalDocs  = searcher.search(query, Integer.MAX_VALUE);// 返回文档数return totalDocs.totalHits.value;} catch (Exception e) {log.error("查询 Lucene 错误: ", e);return 0;}}
}

上面封装的方法，主要是用于在 Lucene 中执行搜索，然后获取匹配的文档总数。入参需要传入索引目录，被查询的关键词，以及想要搜索的文档字段。

接下来，我来逐行解释一下方法内的代码含义：

  1. 打开索引目录并创建 IndexReader 和 IndexSearcher：

    Directory directory = FSDirectory.open(Paths.get(indexDir));
IndexReader reader = DirectoryReader.open(directory);
IndexSearcher searcher = new IndexSearcher(reader);
    • FSDirectory.open(Paths.get(indexDir)) 打开存储索引的目录。
    • DirectoryReader.open(directory) 创建一个 IndexReader，用于读取索引。
    • IndexSearcher(reader) 创建一个 IndexSearcher，用于执行搜索操作。

  2. 设置中文分析器和查询解析器：

    Analyzer analyzer = new SmartChineseAnalyzer();
QueryParser parser = new MultiFieldQueryParser(columns, analyzer);
    • 创建中文分析器 SmartChineseAnalyzer。
    • 创建 MultiFieldQueryParser，用于解析查询字符串。columns 参数指定了在哪些字段上执行查询。

  3. 解析查询字符串：

    Query query = parser.parse(word);
    • 使用 parser.parse(word) 将查询字符串 word 解析为 Lucene 的查询对象 Query。

  4. 执行搜索并获取总文档数：

    TopDocs totalDocs  = searcher.search(query, Integer.MAX_VALUE);
    • searcher.search(query, Integer.MAX_VALUE) 执行搜索，获取匹配查询的所有文档。
    • totalDocs.totalHits.value 获取匹配的文档总数。

  5. 返回匹配文档的总数：

    return totalDocs.totalHits.value;

ery query = parser.parse(word);


- 使用 `parser.parse(word)` 将查询字符串 `word` 解析为 Lucene 的查询对象 `Query`。4. **执行搜索并获取总文档数：**```java
TopDocs totalDocs  = searcher.search(query, Integer.MAX_VALUE);
  • searcher.search(query, Integer.MAX_VALUE) 执行搜索，获取匹配查询的所有文档。
  • totalDocs.totalHits.value 获取匹配的文档总数。

  1. 返回匹配文档的总数：

    return totalDocs.totalHits.value;
    • 返回搜索结果中匹配的文档总数。

http://www.ppmy.cn/ops/129374.html

相关文章

一文掌握Kubernates核心组件，构建智能容器管理集群

一文掌握Kubernates核心组件，构建智能容器管理集群

1.Kubernates简要概述 Kubernates&#xff08;常称为K8s&#xff0c;因省略了“ubernate”中的8个字符&#xff09;是Google开源的容器编排平台&#xff0c;专为简化和自动化应用服务的部署、扩展和管理而设计。它将应用与底层的服务器抽象开来&#xff0c;提供了自动化的机制…
阅读更多...
LabVIEW汽车状态监测系统

LabVIEW汽车状态监测系统

LabVIEW汽车状态监测系统通过模拟车辆运行状态&#xff0c;有效地辅助工程师进行故障预测和维护计划优化&#xff0c;从而提高汽车的可靠性和安全性。 项目背景&#xff1a; 现代汽车工业面临着日益增长的安全要求和客户对于车辆性能的高期望。汽车状态监测系统旨在实时监控汽…
阅读更多...
数据挖掘：电商会员价值分析模型方案

数据挖掘：电商会员价值分析模型方案

某服装电商会员价值分析模型 &#xff08;数据挖掘项目核心关注的是特征工程和业务梳理&#xff0c;本方案聚焦这两处进行分析。&#xff09; 项目背景 背景说明 信息时代的来临使得企业营销焦点从产品转向了客户&#xff0c;客户关系管理(CRM)成为企业的核心问题。客户关系…
阅读更多...
[JAVAEE] 多线程的案例(三) - 线程池

[JAVAEE] 多线程的案例(三) - 线程池

目录 一. 什么是线程池 二. 线程池的作用 三. java提供的线程池类 四. ThreadPoolExecutor的构造方法及参数理解 1. int corePoolSize: 核心线程数. 2. int maximumPoolSize: 最大线程数 核心线程数 非核心线程数 3. int keepAliveTime:非核心线程允许空闲的最大时间. …
阅读更多...
汽车IVI中控OS Linux driver开发实操（二十六）：i.MX图形库

汽车IVI中控OS Linux driver开发实操（二十六）：i.MX图形库

概述： 下表列出了整个GPU系列，在i.MX 6板上，只有6Quad和6QuadPlus支持OpenCL。表中还显示了OpenCL的关键性能指标GFLOPS的理论数量。一些基准测试，如Clpeak，可用于验证它。 i.MX G2D API G2D应用程序编程接口（API）设计为易于理解和使用2DBit blit（BLT）功能。它允许用…
阅读更多...
【Java语言】类和对象

【Java语言】类和对象

类 类是用来对一个对象进行描述的&#xff0c;主要描述这个对象哪些属性。 类需要class进行修饰&#xff0c;一个Java文件中可以存在多个类&#xff0c;但是只能存在一个public类且必须与Java文件名相同。eg&#xff1a;有一个Demo.Java文件&#xff0c;在文件中只能存在publi…
阅读更多...
活动预告丨CCF开源发展委员会“开源高校行”第二十九期—北京理工大学站

活动预告丨CCF开源发展委员会“开源高校行”第二十九期—北京理工大学站

点击蓝字 关注我们 CCF Opensource Development Committee 开源高校行 北京理工大学站 在数字化转型的浪潮中&#xff0c;开源软件人才的培养是信息技术创新发展的重要根基&#xff0c;高校学子作为我国开源生态的源头活水备受重视。10月26日晚18:30-20:05 CCF开源发展委员会“…
阅读更多...
苹果开发 IOS 证书生成步骤

苹果开发 IOS 证书生成步骤

前提条件 你手上有一台 Macbook你的苹果账号已被添加到开发人员中 证书创建步骤 打开 XCode 直接生成 p12证书生成后&#xff0c;就可在苹果开发者管理界面中看到你的证书记录登录苹果开发中心&#xff0c;创建 profiles 文件&#xff0c;并下载以上步骤即可&#xff0c;就这…
阅读更多...
最新文章

Copyright @ 2022~2023