【Elasticsearch 】自定义分词器

news/2025/1/31 20:59:50/

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c=1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编程，高并发设计，Springboot和微服务，熟悉Linux，ESXI虚拟化以及云原生Docker和K8s，热衷于探索科技的边界，并将理论知识转化为实际应用。保持对新技术的好奇心，乐于分享所学，希望通过我的实践经历和见解，启发他人的创新思维。在这里，我希望能与志同道合的朋友交流探讨，共同进步，一起在技术的世界里不断学习成长。
技术合作请加本人wx（注明来自csdn）：foreast_sea

在这里插入图片描述

在这里插入图片描述

【Elasticsearch 】自定义分词器

引言

在当今数字化信息爆炸的时代，文本数据的处理和分析变得至关重要。无论是搜索引擎、信息检索系统，还是智能客服、文本挖掘等应用场景，都离不开对文本的准确理解和分析。而在这一过程中，分词作为文本处理的基础环节，其效果直接影响到后续的数据分析和应用效果。

Elasticsearch 作为一款强大的分布式搜索引擎，提供了丰富的文本分析功能。然而，在实际的业务场景中，默认的分词器往往无法满足特定语言、业务需求或复杂文本处理要求。例如，在处理一些专业领域的文本时，如医学、法律等，需要根据专业术语和行业规范进行分词；对于一些具有特殊格式或结构的文本，也需要定制化的分词策略。

这就引出了我们今天要探讨的主题——Java Elasticsearch 自定义分词器。通过自定义分词器，开发者可以根据具体的场景，灵活配置字符过滤器、分词器、词项过滤器等组件，构建一套完全适合自身需求的文本分析流程。掌握这一技术，不仅能够提升文本处理的准确性和效率，还能为各种基于文本的应用带来更强大的功能和更好的用户体验。接下来，让我们一同深入学习如何在 Java 环境中利用 Elasticsearch 实现自定义分词器。

一、Elasticsearch 文本分析基础

1.1 文本分析流程概述

Elasticsearch 的文本分析是一个复杂但有序的过程，主要包括三个核心阶段：字符过滤（Character Filter）、分词（Tokenizer）和词项过滤（Token Filter）。

字符过滤阶段负责在文本被分词之前对原始文本进行预处理。它可以处理诸如 HTML 标签移除、特殊字符转换等任务。例如，如果我们的文本中包含 HTML 标签，字符过滤器可以将这些标签移除，只保留文本内容，这样可以避免在后续分词过程中标签对分词结果的干扰。

分词阶段是将文本按照一定的规则分割成一个个独立的词项（Token）。不同的分词器有不同的分词策略，比如标准分词器会按照单词边界进行分词，而中文分词器会根据中文的语义和语法规则进行分词。分词的准确性直接影响到后续的搜索和分析结果。

词项过滤阶段则是对已经分好的词项进行进一步的处理。比如，将词项转换为小写、移除停用词（如“的”“了”“是”等在文本中没有实际意义的词）、进行词干提取（将单词的不同形式转换为基本形式）等。通过词项过滤，可以进一步优化词项，提高搜索的精准度和召回率。

1.2 内置分词器介绍

Elasticsearch 提供了多种内置分词器，以满足不同的基本需求。

  • 标准分词器（Standard Tokenizer）：这是 Elasticsearch 的默认分词器。它按照 Unicode 文本分割算法将文本分割成词项，会去除标点符号等非字母数字字符。例如，对于文本“Hello, world! How are you?”，标准分词器会将其分词为“Hello”“world”“How”“are”“you”。它适用于处理大多数基于西方语言的文本。
  • 简单分词器（Simple Tokenizer）：简单分词器会在遇到非字母字符时进行分词。它会将所有词项转换为小写。例如，对于文本“Hello-World 123”，简单分词器会分词为“hello”“world”。
  • 空格分词器（Whitespace Tokenizer）：空格分词器非常简单，它仅仅根据空格来分割文本。对于文本“Hello world How are you”，它会分词为“Hello”“world”“How”“are”“you”。这种分词器适用于一些对格式有特定要求，且希望按照空格进行简单分割的场景。
  • 中文分词器（如 IK 分词器）：IK 分词器是 Elasticsearch 中常用的中文分词器，它有两种模式：细粒度模式和智能模式。细粒度模式会尽可能精确地将中文文本分词，例如“中华人民共和国”会被分词为“中华”“人民”“共和国”；智能模式则会根据语义进行更合理的分词，对于上述文本，智能模式可能会分词为“中华人民共和国”。

虽然这些内置分词器在很多情况下能够满足基本需求，但在面对复杂的业务场景时，往往需要自定义分词器来实现更精准的文本分析。

二、自定义分词器的组件

2.1 字符过滤器（Character Filter）

字符过滤器是文本分析流程的第一步，它用于对原始文本进行预处理。Elasticsearch 提供了一些内置的字符过滤器，同时也允许开发者自定义。

  • HTML Strip Character Filter：这是一个非常实用的内置字符过滤器，它可以移除文本中的 HTML 标签。例如，对于文本“

    Hello, world!

    ”，经过 HTML Strip Character Filter 处理后，会得到“Hello, world!”。在实际应用中，如果我们的文本数据来源包含 HTML 格式的内容，使用这个字符过滤器可以有效地清理文本，避免 HTML 标签对后续分词和分析的影响。
  • Mapping Character Filter：Mapping Character Filter 可以根据预定义的映射规则对字符进行替换。例如，我们可以定义一个映射规则，将所有的“&”替换为“and”。通过配置映射文件，我们可以灵活地处理各种特殊字符的转换需求。

自定义字符过滤器需要继承 AbstractCharFilterFactory 类，并实现相应的方法。在 Java 中，我们可以这样实现一个简单的自定义字符过滤器：

import org.apache.lucene.analysis.CharFilter;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.util.CharFilterFactory;
import org.elasticsearch.common.settings.Settings;import java.io.IOException;
import java.io.Reader;public class CustomCharFilterFactory extends CharFilterFactory {public CustomCharFilterFactory(Settings settings) {super(settings);}@Overridepublic CharFilter create(Reader input) throws IOException {// 这里可以实现自定义的字符过滤逻辑，例如对特定字符的替换return new CustomCharFilter(input);}private static class CustomCharFilter extends CharFilter {public CustomCharFilter(Reader in) {super(in);}@Overridepublic int read(char[] cbuf, int off, int len) throws IOException {// 实现具体的字符读取和过滤逻辑return super.read(cbuf, off, len);}}
}

2.2 分词器（Tokenizer）

分词器是自定义分词器的核心组件，它负责将文本分割成一个个词项。Elasticsearch 提供了多种内置分词器，同时也支持开发者自定义。

  • Keyword Tokenizer：Keyword Tokenizer 不会对文本进行分词，而是将整个文本作为一个词项。例如，对于文本“Hello world”，Keyword Tokenizer 会将其作为一个整体的词项“Hello world”。这种分词器适用于一些需要保留原始文本格式的场景，比如处理 IP 地址、日期等。
  • Pattern Tokenizer：Pattern Tokenizer 可以根据正则表达式对文本进行分词。通过定义正则表达式，我们可以灵活地控制分词的规则。例如，如果我们定义正则表达式为“\W+”（匹配非单词字符），那么对于文本“Hello, world! How are you?”，Pattern Tokenizer 会分词为“Hello”“world”“How”“are”“you”。

自定义分词器需要继承 TokenizerFactory 类，并实现相应的方法。以下是一个简单的自定义分词器示例：

import org.apache.lucene.analysis.Tokenizer;
import org.apache.lucene.analysis.util.TokenizerFactory;
import org.elasticsearch.common.settings.Settings;import java.io.Reader;public class CustomTokenizerFactory extends TokenizerFactory {public CustomTokenizerFactory(Settings settings) {super(settings);}@Overridepublic Tokenizer create(Reader input) {// 这里可以实现自定义的分词逻辑return new CustomTokenizer(input);}private static class CustomTokenizer extends Tokenizer {public CustomTokenizer(Reader input) {super(input);}@Overridepublic boolean incrementToken() throws IOException {// 实现具体的分词逻辑，填充词项return false;}}
}

2.3 词项过滤器（Token Filter）

词项过滤器用于对已经分好的词项进行进一步的处理和转换。

  • Lowercase Token Filter：Lowercase Token Filter 会将所有词项转换为小写形式。例如，对于词项“Hello”，经过 Lowercase Token Filter 处理后会变为“hello”。在很多搜索场景中，将词项转换为小写可以提高搜索的准确性，避免因为大小写不一致而导致的搜索结果不完整。
  • Stop Token Filter：Stop Token Filter 用于移除文本中的停用词。停用词是指在文本中没有实际意义的词，如“the”“and”“is”等。通过移除停用词，可以减少词项的数量，提高搜索效率和精准度。

自定义词项过滤器需要继承 TokenFilterFactory 类，并实现相应的方法。下面是一个简单的自定义词项过滤器示例：

import org.apache.lucene.analysis.TokenFilter;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.util.TokenFilterFactory;
import org.elasticsearch.common.settings.Settings;import java.io.IOException;public class CustomTokenFilterFactory extends TokenFilterFactory {public CustomTokenFilterFactory(Settings settings) {super(settings);}@Overridepublic TokenFilter create(TokenStream input) throws IOException {// 这里可以实现自定义的词项过滤逻辑return new CustomTokenFilter(input);}private static class CustomTokenFilter extends TokenFilter {public CustomTokenFilter(TokenStream input) {super(input);}@Overridepublic boolean incrementToken() throws IOException {// 实现具体的词项过滤逻辑return super.incrementToken();}}
}

三、构建自定义分词器

3.1 配置自定义分词器

在 Elasticsearch 中，配置自定义分词器需要在 elasticsearch.yml 文件或索引的映射文件中进行。以下是在索引映射文件中配置自定义分词器的示例：

{"settings": {"analysis": {"char_filter": {"custom_char_filter": {"type": "mapping","mappings": ["&=>and"]}},"tokenizer": {"custom_tokenizer": {"type": "pattern","pattern": "\\W+"}},"filter": {"custom_token_filter": {"type": "lowercase"}},"analyzer": {"custom_analyzer": {"type": "custom","char_filter": ["custom_char_filter"],"tokenizer": "custom_tokenizer","filter": ["custom_token_filter"]}}}}
}

在上述配置中，我们定义了一个自定义字符过滤器 custom_char_filter，它将“&”替换为“and”；一个自定义分词器 custom_tokenizer，它根据非单词字符进行分词；一个自定义词项过滤器 custom_token_filter，它将词项转换为小写。最后，我们定义了一个自定义分析器 custom_analyzer，它组合了上述定义的字符过滤器、分词器和词项过滤器。

3.2 在 Java 中使用自定义分词器

在 Java 中使用自定义分词器，我们需要借助 Elasticsearch 的 Java API。首先，我们需要添加相应的 Maven 依赖：

<dependency><groupId>org.elasticsearch.client</groupId><artifactId>elasticsearch-rest-high-level-client</artifactId><version>7.17.0</version>
</dependency>
<dependency><groupId>org.elasticsearch</groupId><artifactId>elasticsearch</artifactId><version>7.17.0</version>
</dependency>

上述依赖中，elasticsearch-rest-high-level-client 提供了与 Elasticsearch 进行交互的高级 REST 客户端 API，elasticsearch 则是 Elasticsearch 的核心库。

接下来，我们可以在 Java 代码中使用自定义分词器进行文本分析：

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.client.indices.GetIndexRequest;
import org.elasticsearch.client.indices.GetIndexResponse;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.xcontent.XContentType;
import org.elasticsearch.index.analysis.AnalyzerProvider;
import org.elasticsearch.index.analysis.IndexAnalyzers;
import org.elasticsearch.rest.RestClient;import java.io.IOException;
import java.util.Map;public class CustomAnalyzerExample {public static void main(String[] args) throws IOException {RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));GetIndexRequest request = new GetIndexRequest("your_index_name");GetIndexResponse response = client.indices().get(request);Settings settings = response.getSettings();IndexAnalyzers indexAnalyzers = IndexAnalyzers.fromSettings(settings);AnalyzerProvider analyzerProvider = indexAnalyzers.getCustom("custom_analyzer");Analyzer analyzer = analyzerProvider.get();TokenStream tokenStream = analyzer.tokenStream("text", "Hello, &world! How are you?");CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);tokenStream.reset();while (tokenStream.incrementToken()) {System.out.println(charTermAttribute.toString());}tokenStream.end();tokenStream.close();client.close();}
}

在上述代码中，我们首先创建了一个 RestHighLevelClient 实例，用于与 Elasticsearch 进行通信。然后，我们通过 GetIndexRequest 获取索引的设置信息，从中提取出我们定义的自定义分析器 custom_analyzer。接着，我们使用这个分析器对文本“Hello, &world! How are you?”进行分词，并输出分词结果。

四、实际案例：电商商品标题分词优化

4.1 业务场景分析

在电商系统中，商品标题的准确分词对于商品搜索和推荐至关重要。例如，当用户搜索“苹果手机”时，我们希望系统能够准确地将商品标题中包含“苹果手机”相关的商品检索出来。然而，默认的分词器可能无法很好地处理一些复杂的商品标题，比如包含品牌名、型号、功能等多种信息的标题。

4.2 自定义分词器设计

为了优化电商商品标题的分词效果，我们设计了一个自定义分词器。

  • 字符过滤器：我们定义了一个字符过滤器，用于移除商品标题中的一些特殊字符，如括号、引号等，这些字符可能会干扰分词结果。
  • 分词器：使用 Pattern Tokenizer 作为基础分词器，根据空格、下划线等字符进行分词。同时，我们针对电商领域的特点，对一些常见的品牌名、型号等进行特殊处理，确保这些关键信息不会被错误分词。
  • 词项过滤器：添加了一个词项过滤器，用于移除一些在商品标题中常见但没有实际搜索意义的词，如“新款”“包邮”等。

4.3 代码实现与效果验证

在 Java 中实现上述自定义分词器，并将其应用到电商商品标题的索引和搜索中。通过实际的测试数据验证，使用自定义分词器后，商品搜索的准确率和召回率都有了显著提升，用户能够更准确地找到自己需要的商品。

五、总结

通过本文的学习，我们深入了解了 Java Elasticsearch 自定义分词器的相关知识。从 Elasticsearch 文本分析的基础原理，到自定义分词器的各个组件（字符过滤器、分词器、词项过滤器）的介绍，再到构建自定义分词器的具体步骤和实际案例应用，我们一步步掌握了如何根据特定的语言、业务需求或文本处理要求，打造适合自身场景的文本分析流程。

在实际的项目开发中，根据具体的业务场景灵活运用自定义分词器，可以极大地提升文本处理的准确性和效率，为用户提供更好的搜索和分析体验。希望本文的内容能够对广大开发者在 Elasticsearch 文本分析领域的工作有所帮助。

参考资料文献

  • 《Elasticsearch 官方文档》
  • 《Lucene 官方文档》
  • 《Java Elasticsearch 实战》

http://www.ppmy.cn/news/1568238.html

相关文章

SpringBoot+Vue的理解（含axios/ajax）-前后端交互前端篇

SpringBoot+Vue的理解（含axios/ajax）-前后端交互前端篇

文章目录 引言SpringBootThymeleafVueSpringBootSpringBootVue&#xff08;前端&#xff09;axios/ajaxVue作用响应式动态绑定单页面应用SPA前端路由 前端路由URL和后端API URL的区别前端路由的数据从哪里来的 Vue和只用三件套axios区别 关于地址栏url和axios请求不一致VueJSPS…
阅读更多...
Linux shell脚本笔记-One

Linux shell脚本笔记-One

前言 本文主要汇总有关shell脚本常用的知识点&#xff0c;有时候使用忘记某些用法指令&#xff0c;特此汇总方便后续查阅。 一.shell脚本编写的头部定义: 定义的shell脚本头部有多种写法&#xff0c;具体根基实际系统结构处理&#xff0c;如下: #!/bin/sh &#xff…
阅读更多...
计算机毕业设计Python+CNN卷积神经网络高考推荐系统 高考分数线预测 高考爬虫 协同过滤推荐算法 Vue.js Django Hadoop 大数据毕设

计算机毕业设计Python+CNN卷积神经网络高考推荐系统 高考分数线预测 高考爬虫 协同过滤推荐算法 Vue.js Django Hadoop 大数据毕设

温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 温馨提示&#xff1a;文末有 CSDN 平台官方提供的学长联系方式的名片&#xff01; 作者简介&#xff1a;Java领…
阅读更多...
【数据分享】1929-2024年全球站点的逐日降水量数据（Shp\Excel格式）

【数据分享】1929-2024年全球站点的逐日降水量数据（Shp\Excel格式）

气象数据是在各项研究中都经常使用的数据&#xff0c;气象指标包括气温、风速、降水、湿度等指标&#xff01;说到气象数据&#xff0c;最详细的气象数据是具体到气象监测站点的数据&#xff01; 之前我们分享过1929-2024年全球气象站点的逐日平均气温数据最高气温数据和最低气…
阅读更多...
蓝桥杯3519 填充 | 分类讨论

蓝桥杯3519 填充 | 分类讨论

题目传送门 很简单&#xff0c;遍历一次字符串&#xff0c;将‘?’作为0或1处理&#xff0c;发现00和11统计次数即可。 s str(input()) cnt 0 arr [00, 11, 0?, ?0, 1?, ?1, ??] i0 while i < len(s)-1:if s[i:(i2)] in arr:i 2cnt 1else:i 1 print(cnt)END✨
阅读更多...
uniapp 地图添加，删除，编辑标记，在地图中根据屏幕范围中呈现标记

uniapp 地图添加，删除，编辑标记，在地图中根据屏幕范围中呈现标记

前言 小程序实现新功能&#xff0c;在地图中选取位置添加标记&#xff0c;并在地图中呈现添加的标记&#xff0c;&#xff08;呈现的是根据当前屏幕范围内的标记&#xff09;&#xff0c;并对标记进行分享&#xff0c;删除&#xff0c;编辑&#xff0c;导航&#xff0c;并从分…
阅读更多...
React 前端框架开发详细操作

React 前端框架开发详细操作

一、引言 在当今的 web 开发领域，React 作为一款流行的前端框架，以其高效的组件化开发模式、虚拟 DOM 带来的高性能以及灵活的生态系统，受到了广大开发者的青睐。无论是开发小型的单页应用还是大型的企业级项目，React 都能展现出强大的能力。本文将详细介绍 React 前端框架…
阅读更多...
pytorch使用SVM实现文本分类

pytorch使用SVM实现文本分类

完整代码&#xff1a; import torch import torch.nn as nn import torch.optim as optim import jieba import numpy as np from sklearn.model_selection import train_test_split from sklearn.feature_extraction.text import TfidfVectorizer from sklearn import metric…
阅读更多...
最新文章

Copyright @ 2022~2023