Day28：ElasticSearch入门、Spring整合ES、开发社区搜索功能

news/2024/9/24 10:19:09/

ElasticSearch入门

Elasticsearch简介

  • 一个分布式的、Restful风格的搜索引擎。
  • 支持对各种类型的数据的检索（非结构化的也可以）。
  • 搜索速度快，可以提供实时的搜索服务。
  • 便于水平扩展（集群式部署），每秒可以处理PB级海量数据。

Elasticsearch术语

  • 索引（数据库，6.0后对应表）、类型（表）、文档（行）、字段（列）。
  • 集群、节点、分片、副本。

安装es服务器

docker部署见https://git.lug.ustc.edu.cn/Iris666/elastic-kg/-/tree/main?ref_type=heads

先用docker部署，不行再直接安装

为了简单，还是直接安装了ES，就是解压压缩包，

打开config/elasticsearch.yml文件改配置：

cluster.name: nowcoder
#
# ------------------------------------ Node ------------------------------------
#
# Use a descriptive name for the node:
#
#node.name: node-1
#
# Add custom attributes to the node:
#
#node.attr.rack: r1
#
# ----------------------------------- Paths ------------------------------------
#
# Path to directory where to store the data (separate multiple locations by comma):
#
path.data: /Users/iris/items/elasticsearch-8.13.2/data
#
# Path to log files:
#
path.logs: /Users/iris/items/elasticsearch-8.13.2/logs

然后把二进制程序添加到环境变量

vim ~/.bash_profile

export PATH=$PATH:/path/to/elasticsearch/bin

source ~/.bash_profile

再mac上直接运行es会报错，说jdk来路不明，方法是暂时关闭检查，用下面的命令：

sudo spctl --master-disable

为了安全用完后再打开：

sudo spctl --master-enable

安装中文分词插件

bin/elasticsearch-plugin install https://get.infini.cloud/elasticsearch/analysis-ik/8.13.2

(docker版本exec进container里面装插件）

版本要和es的版本严格对应。不然报错，之后会将插件存储在es/plugins路径下

使用postman发送HTTP请求

https://web.postman.co/workspace/My-Workspace~d9b1f35d-f6ed-4467-8496-6d08f79c506f/request/create?requestId=f3e969ea-9f37-4428-b3fa-6f0a40ec2837

注册账号模拟发送HTTP请求

通过命令行访问es

在命令行中键入：

curl -X GET "http://localhost:9200/_cluster/settings?pretty"

查看状态，但是报错empty，原因是es默认SSL开的，所以http过不去，解决方法是在config中将：

xpack.security.enabled: false

运行结果如下：

{"error" : {"root_cause" : [{"type" : "security_exception","reason" : "missing authentication credentials for REST request [/_cluster/settings?pretty]","header" : {"WWW-Authenticate" : ["Basic realm=\"security\" charset=\"UTF-8\"","ApiKey"]}}],"type" : "security_exception","reason" : "missing authentication credentials for REST request [/_cluster/settings?pretty]","header" : {"WWW-Authenticate" : ["Basic realm=\"security\" charset=\"UTF-8\"","ApiKey"]}},"status" : 401
}

接着报错，原因是curl的时候要-u传入用户名和密码，但是之前的已经忘了，重新创建个用户：

./elasticsearch-users useradd your_username -p your_password -r superuser

curl -u ***:password -X GET "http://localhost:9200/_cluster/settings?pretty"  

health status index                             uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   average_annual_wage               kqix1Pp7SiaUDtwWYNnELQ   1   1        785            0     56.8kb         56.8kb
green  open   .monitoring-es-7-2024.03.26       JtNGXpQYSvqBsClZtT8jdw   1   0      61371            0     24.7mb         24.7mb
green  open   .monitoring-es-7-2024.03.25       bHqBijFKQPy-S8aIXz_NQw   1   0      39185            0     16.2mb         16.2mb
green  open   .monitoring-kibana-7-2024.03.26   3vMGC8z5TJibwdTi1s0yOA   1   0       8178            0      1.7mb          1.7mb
yellow open   jobsearch                         9ekhjB0bQ4m3KKai8WmpFw   2   1      10661            0    161.4mb        161.4mb
green  open   .monitoring-kibana-7-2024.03.25   uY_wWKlGR1KgWdbUgSjHfw   1   0       6698            0      1.5mb          1.5mb
green  open   .monitoring-logstash-7-2024.03.25 VUJRgqRlSx-pDUr84z-QkA   1   0      39399            0        2mb            2mb
green  open   .monitoring-kibana-7-2024.03.27   sbMuIju9STCrPVuYLiQHzQ   1   0        230            0    126.4kb        126.4kb
green  open   .monitoring-kibana-7-2024.04.28   VPE9IIJLQrGHcjRt1GYvxA   1   0        338            0    254.6kb        254.6kb
yellow open   logstash-test_log-index           5dKT09aNRM-8GxjycBsH1Q   1   1         37            0     66.7kb         66.7kb
green  open   .monitoring-logstash-7-2024.03.27 GRmZTJ2XToyn5LDO6d8Xow   1   0       1380            0    200.5kb        200.5kb
green  open   .monitoring-logstash-7-2024.04.28 xvBwhA2pRkmKZYEpEacV3g   1   0       1583            0    317.9kb        317.9kb
green  open   .monitoring-logstash-7-2024.03.26 XhRvHVWdTu2klG5Gi78TLQ   1   0      48972            0      2.2mb          2.2mb
green  open   .monitoring-es-7-2024.03.27       l3k6wMcUToeToGVI5X1FkA   1   0       2155         3335      1.9mb          1.9mb
green  open   .monitoring-es-7-2024.04.28       DVXGvGDQSlaLB4CQYMbNkg   1   0        887           64    711.3kb        711.3kb

（发现之前弄的都是yellow，不知道为什么）

使用PostMan发请求

image

创建索引test PUT：

image

删除索引 DELETE：

image

提交数据（文档）PUT

image

查数据GET

image

删除文档 DELETE

image

搜索_search GET

image

image

多个字段逐层匹配：复合json查询

image

{"query":{"multi_match":{"query":"互联网","fields":["title", "content"]}}
}

Spring整合ES

引入依赖

配置Elasticsearch

  • cluster-name、cluster-nodes

Spring Data Elasticsearch API

  • ElasticsearchTemplate
  • ElasticsearchRepository

引入依赖

<!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter-data-elasticsearch -->
<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>

配置es

# Elasticsearch Properties
spring.elasticsearch.rest.uris=http://localhost:9200
#spring.data.elasticsearch.cluster-nodes=localhost:9300

解决netty冲突

在CommunityApplication.java中添加：在项目构建前运行。

@PostConstruct
public void init() {// 解决netty启动冲突问题// see Netty4Utils.setAvailableProcessors()System.setProperty("es.set.netty.runtime.available.processors", "false");
}

实现搜索功能

配置表和es索引的关系

在要搜索的实体类disscussPost中添加如下注解：

@Document(indexName = "discusspost")
public class DiscussPost {@Idprivate int id;@Field(type = FieldType.Integer)private int userId;//analyzer:存储时的分词器，searchAnalyzer:搜索时的分词器@Field(type = FieldType.Text, analyzer = "ik_max_word", searchAnalyzer = "ik_smart")private String title;@Field(type = FieldType.Text, analyzer = "ik_max_word", searchAnalyzer = "ik_smart")private String content;@Field(type = FieldType.Integer)private int type;@Field(type = FieldType.Integer)private int status;@Field(type = FieldType.Date)private java.util.Date createTime;@Field(type = FieldType.Integer)private int commentCount;@Field(type = FieldType.Double)private double score;...
}

配置Elasticsearch Reposity

在dao下创建子包elasticsearch，并添加接口DiscussPostRepository：

package com.newcoder.community.dao.elasticsearch;import com.newcoder.community.entity.DiscussPost;
import org.springframework.data.elasticsearch.repository.ElasticsearchRepository;
import org.springframework.stereotype.Repository;@Repository
public interface DiscussPostRepository  extends ElasticsearchRepository<DiscussPost, Integer> {;
}
  • Repository是Spring提供的用于数据访问层的注解；
  • 只需继承ElasticsearchRepository即可；
  • 需要范形。DiscussPost目标实体类型，Integer主键类型

测试

插入帖子
@RunWith(SpringRunner.class)
@SpringBootTest
@ContextConfiguration(classes = CommunityApplication.class)
public class ElasticsearchTests {@Autowiredprivate DiscussPostMapper discussMapper;@Autowiredprivate DiscussPostRepository discussRepository;@Autowiredprivate ElasticsearchTemplate elasticTemplate;@Testpublic void testInsert() {discussRepository.save(discussMapper.selectDiscussPostById(241));discussRepository.save(discussMapper.selectDiscussPostById(242));discussRepository.save(discussMapper.selectDiscussPostById(243));}
}

这样从mysql中传入3条数据到es，通过postman发请求看到插入数据成功：

image

批量入多个到es中：
 @Testpublic void testInsertList(){discussRepository.saveAll(discussMapper.selectDiscussPosts(101,0,100));discussRepository.saveAll(discussMapper.selectDiscussPosts(102,0,100));discussRepository.saveAll(discussMapper.selectDiscussPosts(103,0,100));discussRepository.saveAll(discussMapper.selectDiscussPosts(111,0,100));discussRepository.saveAll(discussMapper.selectDiscussPosts(112,0,100));discussRepository.saveAll(discussMapper.selectDiscussPosts(131,0,100));discussRepository.saveAll(discussMapper.selectDiscussPosts(132,0,100));discussRepository.saveAll(discussMapper.selectDiscussPosts(133,0,100));discussRepository.saveAll(discussMapper.selectDiscussPosts(134,0,100));}
修改帖子：
@Testpublic void testUpdate(){//修改先取出来再存进去DiscussPost post = discussMapper.selectDiscussPostById(231);post.setContent("我是新人gmz,使劲灌水");discussRepository.save(post);}

image

image

删除帖子
    @Testpublic void testDelete(){discussRepository.deleteById(231);}

image

(全删是deleteAll）

搜索帖子（这里版本问题混乱，先跳过）
@Testpublic void matchQuery(){Query query = NativeQuery.builder().withQuery(q -> q.match(m -> m.field("title")//字段.field("content").query("互联网寒冬") //值)).withPageable(Pageable.ofSize(10).withPage(0)).withSort(Sort.by("type").descending()).withSort(Sort.by("score").descending()).withSort(Sort.by("createTime").descending()).build();SearchHits<DiscussPost> searchHits = restTemplate.search(query, DiscussPost.class);// 获得searchHits,进行遍历得到contentList<DiscussPost> posts = new ArrayList<>();
//        System.out.println("总计：" + searchHits.getTotalHits());searchHits.forEach(hit -> {posts.add(hit.getContent());});
//        System.out.println(posts);
//        System.out.println("实际：" + posts.size());}

开发社区搜索功能

搜索服务

  • 将帖子保存至Elasticsearch服务器。 - 从Elasticsearch服务器删除帖子。
  • 从Elasticsearch服务器搜索帖子。

发布事件（表现层）

  • 发布帖子时，将帖子异步的提交到Elasticsearch服务器。
  • 增加评论时，将帖子异步的提交到Elasticsearch服务器（相当于修改帖子 ）。
  • 在消费组件中增加一个方法，消费帖子发布事件。

显示结果（动态模版）#

  • 在控制器中处理搜索请求，在HTML上显示搜索结果。

搜索服务

首先解决一个问题，在DiscussPostMapper中insert方法添加KeyPropety：

 <insert id="insertDiscussPost" parameterType="DiscussPost" keyProperty="id">insert into discuss_post (<include refid="insertFields"></include>)values (#{userId}, #{title}, #{content}, #{type}, #{status}, #{createTime}, #{commentCount}, #{score})</insert>

（不然主键无法映射到实体类）

然后编写service类：

@Service
public class ElasticsearchService {@Autowiredprivate DiscussPostRepository discussPostRepository;@Autowiredprivate ElasticsearchTemplate restTemplate;public void saveDiscussPost(DiscussPost post) {discussPostRepository.save(post);}public void deleteDiscussPost(int id) {discussPostRepository.deleteById(id);}public ArrayList<DiscussPost> searchDiscussPost(String keyword, int current, int limit) {Query query = NativeQuery.builder().withQuery(q -> q.match(m -> m.field("title")//字段.field("content").query(keyword) //值)).withPageable(Pageable.ofSize(limit).withPage(current)).withSort(Sort.by("type").descending()).withSort(Sort.by("score").descending()).withSort(Sort.by("createTime").descending()).build();SearchHits<DiscussPost> searchHits = restTemplate.search(query, DiscussPost.class);// 获得searchHits,进行遍历得到contentArrayList<DiscussPost> posts = new ArrayList<>();
//        System.out.println("总计：" + searchHits.getTotalHits());searchHits.forEach(hit -> {posts.add(hit.getContent());});
//        System.out.println(posts);
//        System.out.println("实际：" + posts.size());return posts;}}

表现层：发布事件

发帖触发

DiscussPostController->addDiscussPost：

discussPostService.addDiscussPost(post);//发帖子之后，触发发帖事件，将帖子存入es服务器Event event = new Event().setTopic(TOPIC_PUBLISH).setUserId(user.getId()).setEntityType(ENTITY_TYPE_POST).setEntityId(post.getId());eventProducer.fireEvent(event);// 报错的情况,将来统一处理.
///

评论触发

CommentController→ addComment

 //触发发帖时间，存到es服务器if(comment.getEntityType() == ENTITY_TYPE_POST) {event = new Event().setTopic(TOPIC_PUBLISH).setUserId(comment.getUserId()).setEntityType(ENTITY_TYPE_POST).setEntityId(discussPostId);eventProducer.fireEvent(event);}

消费事件

EventConsumer：

//消费发帖事件
@KafkaListener(topics = {TOPIC_PUBLISH})
public void handlePublishMessage(ConsumerRecord record){if(record == null || record.value() == null){logger.error("消息的内容为空");return;}Event event = JSONObject.parseObject(record.value().toString(), Event.class);if(event == null){logger.error("消息格式错误");return;}//查询帖子DiscussPost post = discussPostService.findDiscussPostById(event.getEntityId());//存入eselasticsearchService.saveDiscussPost(post);}

控制层查询数据

@Controller
public class SearchController implements CommunityConstant {@Autowiredprivate ElasticsearchService elasticsearchService;@Autowiredprivate UserService userService;@Autowiredprivate LikeService likeService;//search?keyword=xxx@RequestMapping(path = "/search", method = RequestMethod.GET)public String search(String keyword, Page page, Model model) {//搜索帖子ArrayList<DiscussPost> searchResult = elasticsearchService.searchDiscussPost(keyword, page.getCurrent() - 1, page.getLimit());//处理数据聚合数据List<Map<String,Object>> discussPosts = new ArrayList<>();if(searchResult != null){for(DiscussPost post : searchResult){Map<String,Object> map = new HashMap<>();//帖子map.put("post",post);//作者map.put("user",userService.findUserById(post.getUserId()));//点赞数量map.put("likeCount",likeService.findEntityLikeCount(ENTITY_TYPE_POST,post.getId()));discussPosts.add(map);}}//传入模版model.addAttribute("discussPosts",discussPosts);model.addAttribute("keyword",keyword);//分页信息page.setPath("/search?keyword=" + keyword);page.setRows(searchResult == null ? 0 : searchResult.size());return "/site/search";}}

修改模版

修改index.html的header

<!-- 搜索 -->
<form class="form-inline my-2 my-lg-0" method="get" th:action="@{/search}"><input class="form-control mr-sm-2" type="search" aria-label="Search" name="keyword" th:value="${keyword}"/><button class="btn btn-outline-light my-2 my-sm-0" type="submit">搜索</button>
</form>

修改search.html

<li class="media pb-3 pt-3 mb-3 border-bottom" th:each="map:${discussPosts}"><img th:src="${map.user.headerUrl}" class="mr-4 rounded-circle" alt="用户头像"><div class="media-body"><h6 class="mt-0 mb-3"><a th:href="@{|/discuss/detail/${map.post.id}|}" th:utext="${map.post.title}">备战<em>春招</em>，面试刷题跟他复习，一个月全搞定！</a></h6><div class="mb-3" th:utext="${map.post.content}">金三银四的金三已经到了，你还沉浸在过年的喜悦中吗？ 如果是，那我要让你清醒一下了：目前大部分公司已经开启了内推，正式网申也将在3月份陆续开始，金三银四，<em>春招</em>的求职黄金时期已经来啦！！！ 再不准备，作为19应届生的你可能就找不到工作了。。。作为20届实习生的你可能就找不到实习了。。。 现阶段时间紧，任务重，能做到短时间内快速提升的也就只有算法了， 那么算法要怎么复习？重点在哪里？常见笔试面试算法题型和解题思路以及最优代码是怎样的？ 跟左程云老师学算法，不仅能解决以上所有问题，还能在短时间内得到最大程度的提升！！！</div><div class="text-muted font-size-12"><u class="mr-3" th:utext="${map.user.username}">寒江雪</u>发布于 <b th:text="${#dates.format(map.post.createTime,'yyyy-MM-dd HH:mm:ss')}">2019-04-15 15:32:18</b><ul class="d-inline float-right"><li class="d-inline ml-2">赞 <i th:text = "${map.likeCount}"></i></li><li class="d-inline ml-2">|</li><li class="d-inline ml-2">回复 <i th:text = "${map.post.commentCount}"></i></li></ul></div></div>
</li>

测试效果

image


http://www.ppmy.cn/news/1444844.html

相关文章

Android 12系统源码_窗口动画（一） ActivityOptions实现窗口打开动画的流程

Android 12系统源码_窗口动画（一） ActivityOptions实现窗口打开动画的流程

一、通过ActivityOptions获取Activity对应的打开动画 1、我们可以通过ActivityOptions类&#xff0c;实现打开Activity的时候有对应的缩放动画。 private void startActivity(View view) {int width view.getMeasuredWidth();int height view.getMeasuredHeight();Log.d(TAG…
阅读更多...
人工 VS AGV无人搬运机器人，AGV赋能中国智能制造

人工 VS AGV无人搬运机器人，AGV赋能中国智能制造

agv 机器人作为智能制造的重要抓手&#xff0c;正在渗透到各个传统行业&#xff0c;成为我国制造业转型升级的焦点。未来&#xff0c;智能AGV将不仅仅是简单的把货物搬运到指定的位置&#xff0c;而是要把5G技术、大数据、物联网、云计算等贯穿于产品的设计中&#xff0c;让智能…
阅读更多...
AI智能名片商城小程序：引领企业迈向第三增长极

AI智能名片商城小程序：引领企业迈向第三增长极

随着数字化浪潮的席卷&#xff0c;私域流量的重要性逐渐凸显&#xff0c;为企业增长提供了全新的动力。在这一背景下&#xff0c;AI智能名片商城系统崭露头角&#xff0c;以其独特的优势&#xff0c;引领企业迈向第三增长极。 私域流量的兴起&#xff0c;为企业打开了一扇新的销…
阅读更多...
SpringCloud系列（21）--更换Ribbon的负载均衡模式

SpringCloud系列（21）--更换Ribbon的负载均衡模式

前言&#xff1a;在上一篇文章中我们介绍了关于Ribbon的知识点已经如果去应用Ribbon&#xff0c;而本章节内容则是关于如何去切换Ribbon的负载均衡模式。 以下是上篇文章的部分内容&#xff0c;可以再看下熟悉下&#xff0c;方便后续理解 Ribbon工作架构图 Ribbon的负载均衡模式…
阅读更多...
搭建智能客服机器人设计流程

搭建智能客服机器人设计流程

一、检索型机器人FAQ-Bot 在客服处理的问题中70%都是简单的问答业务&#xff0c;只要找到QA知识库中与用户当前问句语义最相近的标准问句&#xff0c;取出答案给用户就可以了。FAQ-Bot就是处理这类问题的。在没有使用深度学习算法之前&#xff0c;通常采用检索NLP技术处理。 …
阅读更多...
Arcgis Pro 制图基础操作流程

Arcgis Pro 制图基础操作流程

为什么推荐用Arcgis Pro 出图&#xff1f; 1、相比Arcmap 10.X&#xff0c;Pro的制图功能更强大&#xff0c;制图更便捷 2、相比PS&#xff0c;Arcgis Pro中的数据自带坐标&#xff0c;无需校正&#xff0c;表达更准确 3、自带底图&#xff0c;方便又美观 01 — 与Arcmap …
阅读更多...
程序包 org.junit 不存在解决方案

程序包 org.junit 不存在解决方案

问题描述 git 拉取其它同事维护的应用&#xff0c;构建报错&#xff1a;项目默认的单元测试类 ExampleUnitTest 涉及到 junit 的类都找不到。查看 build.gradle 配置的依赖项&#xff0c;缺失了 org.junit 的依赖。 问题解决 因为是在无法联网环境下开发&#xff0c;为避免从…
阅读更多...
ffplay支持mac/iOS硬解码实践

ffplay支持mac/iOS硬解码实践

1. ffmpeg编译开启videotoolbox的支持。 ./configure --enable-videotoolbox --enable-hwaccels 2. stream_component_open方法中开启硬件解码器。 int FSPlay::stream_component_open(VideoState *is, int stream_index) {//...codec avcodec_find_decoder(avctx->code…
阅读更多...
最新文章

Copyright @ 2022~2023