【easy-ES使用】1.基础操作:增删改查、批量操作、分词查询、聚合处理。

news/2024/10/19 6:19:31/

easy-es、elasticsearch、分词器 与springboot 结合的代码我这里就不放了,我这里直接是使用代码。

基础准备:

创建实体类:
@Data
// 索引名
@IndexName("test_jc")
public class TestJcES {// id注解@IndexId(type = IdType.CUSTOMIZE)private Long id;// 如果需要分词查询,必须  FieldType.TEXT  analyzer = "ik_max_word" 官网有说明@IndexField(fieldType = FieldType.TEXT,  analyzer = "ik_max_word")private String name;// 非分词查询类型 最好用 KEYWORD@IndexField(fieldType = FieldType.KEYWORD)private String sex;/*** [描述] 如果某字段数组类型,并且该类型后期需要聚合操作,必须 fieldData = true* FieldType.TEXT:会将数组中的元素 “拆分单字符” 进行聚合* FieldType.KEYWORD: 会对数组中的元素进行聚合*/@IndexField(fieldType = FieldType.TEXT,fieldData = true)private List<String> industryTags;@IndexField(fieldType = FieldType.KEYWORD,fieldData = true)private List<String> productTags;//时间类型@IndexField(fieldType = FieldType.DATE, dateFormat = "yyyy-MM-dd HH:mm:ss")private String updateTime;@IndexField(fieldType = FieldType.DATE, dateFormat = "yyyy-MM-dd HH:mm:ss")private String createTime;public TestJcES(Long id,String name, List<String> industryTags, List<String> productTags) {this.id = id;this.name = name;this.industryTags = industryTags;this.productTags = productTags;}
}
PS:在easy-es的注解 @IndexFiled 中源码会有说明:

在这里插入图片描述

对应的mapper:
// BaseEsMapper  来自 easy-es框架
public interface TestJcESMapper extends cn.easyes.core.core.BaseEsMapper<TestJcES> {
}

增删改(带批量):

		testJcESMapper.deleteIndex("test_jd");testJcESMapper.createIndex("test_jd");TestJcES es = new TestJcES(1L,"小红",29,Arrays.asList("分类1","分类2","分类3"),Arrays.asList("标签1","标签2"));TestJcES es2 = new TestJcES(2L,"小白",29,Arrays.asList("分类1","分类3"),Arrays.asList("标签1","标签3"));TestJcES es3 = new TestJcES(3L,"小黑",30,Arrays.asList("分类4"),Arrays.asList("标签1"));TestJcES es4 = new TestJcES(4L,"小明",18,Arrays.asList("分类1"),Arrays.asList("标签1","标签2","变迁3"));testJcESMapper.insertBatch(Arrays.asList(es,es2,es3,es4));//批量更新//testJcESMapper.updateBatchByIds(Arrays.asList(es,es2,es3,es4));//批量删除//testJcESMapper.deleteBatchIds(Arrays.asList(1L,2L, 3L, 4L));LambdaEsQueryWrapper<TestJcES> query = new LambdaEsQueryWrapper<>();//相当于 select * from test_jc where name like '%红%' and sex = 29 and industryTags in ('标签1','标签2')query.and(item->item.match(TestJcES::getName, "红"));query.and(item->item.match(TestJcES::getSex, 29));query.in("industryTags",Arrays.asList("标签1","标签2"));// 默认按查询度倒叙lambdaEsQueryWrapper.sortByScore(SortOrder.DESC);//注意:从1开始起步 不是从0开始EsPageInfo<TestJcES> pageQuery = testJcESMapper.pageQuery(query, 1, 10);//查询数据System.out.println(pageQuery.getList());//总条数System.out.println(pageQuery.getTotal());//总页数System.out.println(pageQuery.getPages());

聚合操作:

1.普通keyword类型字段聚合:
        LambdaEsQueryWrapper<TestJcES> query = new LambdaEsQueryWrapper<>();//TODO 这里也可以通过query带条件进行聚合//比如: query.match(TestJcES::getName, "红");// 这里类似 select * from test_jc group by sex String filedName = "sex";query.groupBy(filedName);// 是否统计hits的数据总数 设置为0 则不统计 数据量大的时候聚合速度会更快一些//query.size(0);SearchResponse searchResponse = testJcESMapper.search(query);//7. 获取命中对象 SearchHitsSearchHits hits = searchResponse.getHits();//7.1 获取总记录数 如果 query.size(0) 则这里值就为0Long total= hits.getTotalHits().value;System.out.println("被聚合的数据总条数:"+total);// aggregations 对象Aggregations aggregations = searchResponse.getAggregations();//将aggregations 转化为mapMap<String, Aggregation> aggregationMap = aggregations.asMap();//通过key获取 filedName+"Terms" 对象 使用Aggregation的子类接收  buckets属性在Terms接口中体现//        Aggregation goods_brands1 = aggregationMap.get(filedName+"Terms");Terms resultTerms =(Terms) aggregationMap.get(filedName+"Terms");//获取buckets 数组集合List<? extends Terms.Bucket> buckets = resultTerms.getBuckets();Map<String,Object>map=new HashMap<>();//遍历buckets   key 属性名,doc_count 统计聚合数for (Terms.Bucket bucket : buckets) {System.out.println(bucket.getKey());System.out.println(bucket.getDocCount());map.put(bucket.getKeyAsString(),bucket.getDocCount());}

聚合效果:
在这里插入图片描述

2.数组(text类型)类型聚合:
LambdaEsQueryWrapper<TestJcES> query = new LambdaEsQueryWrapper<>();//TODO 这里也可以通过query带条件进行聚合//比如: query.match(TestJcES::getName, "红");String filedName = "industryTags";query.groupBy(filedName);// 是否统计hits的数据总数 设置为0 则不统计 数据量大的时候聚合速度会更快一些//query.size(0);SearchResponse searchResponse = testJcESMapper.search(query);//7. 获取命中对象 SearchHitsSearchHits hits = searchResponse.getHits();//7.1 获取总记录数 如果 query.size(0) 则这里值就为0Long total= hits.getTotalHits().value;System.out.println("被聚合的数据总条数:"+total);// aggregations 对象Aggregations aggregations = searchResponse.getAggregations();//将aggregations 转化为mapMap<String, Aggregation> aggregationMap = aggregations.asMap();//通过key获取 filedName+"Terms" 对象 使用Aggregation的子类接收  buckets属性在Terms接口中体现//        Aggregation goods_brands1 = aggregationMap.get(filedName+"Terms");Terms resultTerms =(Terms) aggregationMap.get(filedName+"Terms");//获取buckets 数组集合List<? extends Terms.Bucket> buckets = resultTerms.getBuckets();Map<String,Object>map=new HashMap<>();//遍历buckets   key 属性名,doc_count 统计聚合数for (Terms.Bucket bucket : buckets) {System.out.println(bucket.getKey());System.out.println(bucket.getDocCount());map.put(bucket.getKeyAsString(),bucket.getDocCount());}

如果实体类的属性类型采用 text,则会把该属性里面的所有值分词然后进行聚合:
在这里插入图片描述
聚合效果:
在这里插入图片描述

2.数组(keyword类型)类型聚合:
        LambdaEsQueryWrapper<TestJcES> query = new LambdaEsQueryWrapper<>();//TODO 这里也可以通过query带条件进行聚合//比如: query.match(TestJcES::getName, "红");// 类似  select * from test_jc group by productTagsString filedName = "productTags";query.groupBy(filedName);// 是否统计hits的数据总数 设置为0 则不统计 数据量大的时候聚合速度会更快一些//query.size(0);SearchResponse searchResponse = testJcESMapper.search(query);//7. 获取命中对象 SearchHitsSearchHits hits = searchResponse.getHits();//7.1 获取总记录数 如果 query.size(0) 则这里值就为0Long total= hits.getTotalHits().value;System.out.println("被聚合的数据总条数:"+total);// aggregations 对象Aggregations aggregations = searchResponse.getAggregations();//将aggregations 转化为mapMap<String, Aggregation> aggregationMap = aggregations.asMap();//通过key获取 filedName+"Terms" 对象 使用Aggregation的子类接收  buckets属性在Terms接口中体现//        Aggregation goods_brands1 = aggregationMap.get(filedName+"Terms");Terms resultTerms =(Terms) aggregationMap.get(filedName+"Terms");//获取buckets 数组集合List<? extends Terms.Bucket> buckets = resultTerms.getBuckets();Map<String,Object>map=new HashMap<>();//遍历buckets   key 属性名,doc_count 统计聚合数for (Terms.Bucket bucket : buckets) {System.out.println(bucket.getKey());System.out.println(bucket.getDocCount());map.put(bucket.getKeyAsString(),bucket.getDocCount());}

聚合效果:
es聚合强大的地方在于,会把属性为数组拆分元素进行聚合统计,一般来说,普通统计用到这里就完全足够了。
在这里插入图片描述

PS 另外附赠elasticsearch通用聚合方法:

    /*** [描述]*/private List<Map<String,Object>> commonGroup3(TestJcES search , String fieldName) {// 创建一个布尔查询来组合多个条件BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();if (StringUtils.isNotBlank(search.getName())) {boolQuery.should(QueryBuilders.multiMatchQuery(search.getName(), "name"));}if(search.getProductTags() != null){boolQuery.should(QueryBuilders.matchQuery("productTags",search.getProductTags()));}return commonGroupByBoolQuery(fieldName, boolQuery,"test_jc");}/*** 根据布尔查询创建一个过滤聚合,并返回基于指定字段的聚合结果* @param fieldName 指定的字段名* @param boolQuery 基于该布尔查询创建过滤聚合* @param indexName 索引名称* @return 基于指定字段的聚合结果列表,每个结果包含字段名和计数*/private List<Map<String, Object>> commonGroupByBoolQuery(String fieldName, BoolQueryBuilder boolQuery,String indexName) {// 创建一个过滤聚合,基于布尔查询FilterAggregationBuilder filterAgg = AggregationBuilders.filter("filtered_agg", boolQuery);// 在过滤后的文档上创建其他聚合TermsAggregationBuilder termsAgg = AggregationBuilders.terms("agg_field").field(fieldName);// 将聚合添加到过滤聚合中filterAgg.subAggregation(termsAgg);SearchRequest searchRequest = new SearchRequest(indexName);SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();// 添加聚合到搜索源构建器sourceBuilder.aggregation(filterAgg);searchRequest.source(sourceBuilder);try {SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);// 获取聚合结果Filter filteredAggregation = searchResponse.getAggregations().get("filtered_agg");Terms yourFieldAggregation = filteredAggregation.getAggregations().get("agg_field");return yourFieldAggregation.getBuckets().stream().map(item -> {Map<String, Object> map = new HashMap<>(2);map.put("name", item.getKeyAsString());map.put("count", item.getDocCount());return map;}).collect(Collectors.toList());} catch (IOException e) {e.printStackTrace();}return List.of();}

另附easy-es官网地址:
https://www.easy-es.cn/pages/ce1922/#%E5%B8%B8%E8%A7%84%E8%81%9A%E5%90%88

部分es教程博客:
https://blog.csdn.net/weixin_46115287/article/details/120974337


http://www.ppmy.cn/news/1279025.html

相关文章

Kubernetes pod ip 暴露

1. k8s pod 和 service 网络暴露 借助 iptables 的路由转发功能&#xff0c;打通k8s集群内的pod和service网络&#xff0c;与外部网络联通 # 查看集群的 pod 网段和 service 网段 kubectl -n kube-system describe cm kubeadm-config networking:dnsDomain: cluster.localpod…

AI时代Python量化交易实战:ChatGPT引领新时代

文章目录 《AI时代Python量化交易实战&#xff1a;ChatGPT让量化交易插上翅膀》关键点内容简介作者简介购买链接 《AI时代架构师修炼之道&#xff1a;ChatGPT让架构师插上翅膀》关键点内容简介作者简介 赠书活动 《AI时代Python量化交易实战&#xff1a;ChatGPT让量化交易插上翅…

任天堂,steam游戏机通过type-c给VR投屏与PD快速充电的方案 三type-c口投屏转接器

游戏手柄这个概念&#xff0c;最早要追溯到二十年前玩FC游戏的时候&#xff0c;那时候超级玛丽成为了许多人童年里难忘的回忆&#xff0c;虽然长大了才知道超级玛丽是翻译错误&#xff0c;应该是任天堂的超级马里奥&#xff0c;不过这并不影响大家对他的喜爱。 当时FC家用机手柄…

VUE前端导出文件之file-saver插件

VUE前端导出文件之file-saver插件 安装 npm install file-saver --save # 如使用TS开发&#xff0c;可安装file-saver的TypeScript类型定义 npm install types/file-saver --save-dev如果需要保存大于 blob 大小限制的非常大的文件&#xff0c;或者没有 足够的 RAM&#xff0…

LeetCode-146.LRU缓存(Python)

此题看题解 题目链接 class ListNode:def __init__(self, keyNone, valueNone):self.key keyself.value valueself.prev Noneself.next Noneclass LRUCache:def __init__(self, capacity: int):self.capacity capacityself.cache {}self.head ListNode()self.tail Li…

数据结构 | 查漏补缺

目录 数据的基本单位 冒泡排序 DFS和BFS中文 Prim 比较 中序线索二叉树 顺序栈 链栈 时间复杂度 循环队列 求第K个结点的值 数据的基本单位 数据元素 循环队列sq中&#xff0c;用数组elem[0‥25]存放数据元素&#xff0c;设当前sq->front为20&#xff0c;sq-&g…

TCP/IP,UDP,DNS,NAT,DHCP,HTTP协议

1.TCP/IP协议 TCP/IP协议是Internet最基本的协议、Internet国际互联网络的基础&#xff0c;由网络层的IP协议和传输层的TCP协议组成。通俗而言&#xff1a;TCP负责发现传输的问题&#xff0c;一有问题就发出信号&#xff0c;要求重新传输&#xff0c;直到所有数据安全正确地传…

数据分析-19-Thera Bank信贷业务数据(包含数据代码)

文章目录 0. 数据代码下载1. 数据集介绍1.1 原始数据集变量的含义&#xff1a;1.2 原始数据的读入与清洗1.3 数据清洗及预处理 2. 探索数据变量2.1 数据相关系数的探索2.2 分类变量与开通贷款的关系探索2.2.1 银行存款证&#xff08;CD&#xff09;帐户与贷款之间的关系2.2.2 教…