Elasticsearch【优化、案例】(八)-全面详解（学习总结---从入门到深化）

Elasticsearch集群_测试集群状态

Elasticsearch集群_故障应对&水平扩容

Elasticsearch优化_磁盘选择

Elasticsearch优化_分片策略

Elasticsearch优化_内存设置

Elasticsearch案例_需求说明

Elasticsearch案例_ES自动补全

Elasticsearch案例_创建索引

Elasticsearch案例_准备数据

Elasticsearch案例_项目搭建

Elasticsearch案例_创建实体类

Elasticsearch案例_创建Repository接口

Elasticsearch案例_自动补全功能

Elasticsearch案例_搜索关键字功能

Elasticsearch案例_创建Controller类

Elasticsearch案例_前端页面

Elasticsearch集群_测试集群状态

1、在集群中创建一个索引

PUT /product1
{"settings": {"number_of_shards": 5, // 分片数"number_of_replicas": 1 // 每个分片的副本数},"mappings": {"properties": {"id": {"type": "integer","store": true,"index": true},"productName": {"type": "text","store": true,"index": true},"productDesc": {"type": "text","store": true,"index": true}}}
}

2、查看集群状态

# 查看集群健康状态
GET /_cat/health?v# 查看索引状态
GET /_cat/indices?v# 查看分片状态
GET /_cat/shards?v

实时学习反馈

1. 在Elasticsearch中，查看集群健康状态的请求路径为

A /_cat/nodes

B /_cat/health?v

C /_cat/indices?v

D /_cat/shards?v

2. 在Elasticsearch中，查看集群分片状态的请求路径为

A /_cat/nodes

B /_cat/health?v

C /_cat/indices?v

D /_cat/shards?v

Elasticsearch集群_故障应对&水平扩容

1 关闭一个节点，可以发现ES集群可以自动进行故障应对。

2 重新打开该节点，可以发现ES集群可以自动进行水平扩容。

3 分片数不能改变，但是可以改变每个分片的副本数：

PUT /索引/_settings
{"number_of_replicas": 副本数
}

实时学习反馈

1. 关于Elasticsearch集群，以下说法正确的是

A ES集群不可以自动进行水平扩容

B ES集群分片数不能改变

C ES集群分片数可以改变

D ES集群副本数不能改变

Elasticsearch优化_磁盘选择

ES的优化即通过调整参数使得读写性能更快

磁盘通常是服务器的瓶颈。Elasticsearch重度使用磁盘，磁盘的效率越高，Elasticsearch的执行效率就越高。这里有一些优化磁盘的技巧：

1、使用SSD（固态硬盘），它比机械磁盘优秀多了。

2、使用RAID0模式（将连续的数据分散到多个硬盘存储，这样可以并行进行IO操作）,代价是一块硬盘发生故障就会引发系统故障。

3、不要使用远程挂载的存储。

实时学习反馈

1. 关于Elasticsearch磁盘优化，说法错误的是

A 机械磁盘比固态硬盘优秀

B 固态硬盘比机械磁盘优秀

C RAID0模式可以并行进行IO操作

D 不要使用远程挂载的存储

Elasticsearch优化_分片策略

分片和副本数并不是越多越好。每个分片的底层都是一个Lucene索引，会消耗一定的系统资源。且搜索请求需要命中索引中的所有分片，分片数过多会降低搜索性能。索引的分片数需要架构师和技术人员对业务的增长有预先的判断，一般来说我们遵循以下原则：

1、每个分片占用的硬盘容量不超过ES的最大JVM的堆空间设置(一般设置不超过32G）。比如：如果索引的总容量在500G左右，那分片数量在16个左右即可。

2、分片数一般不超过节点数的3倍。比如：如果集群内有10个节点，则分片数不超过30个。

3、推迟分片分配：节点中断后集群会重新分配分片。但默认集群会等待一分钟来查看节点是否重新加入。我们可以设置等待的时长，减少重新分配的次数：
PUT  /索引/_settings
{"settings":{"index.unassianed.node_left.delayed_timeout":"5m"}
}
4、减少副本数量：进行写入操作时，需要把写入的数据都同步到副本，副本越多写入的效率就越慢。我们进行大批量进行写入操作时可以先设置副本数为0，写入完成后再修改回正常的状态。

实时学习反馈

1. 关于Elasticsearch分片策略，说法正确的是

A 每个分片占用的硬盘容量一般不超过32G

B 分片数一般不超过节点数的3倍

C 进行大批量进行写入操作时可以先设置副本数为0，写入完成后再修改回正常状态

D 以上说法都正确

Elasticsearch优化_内存设置

ES默认占用内存是4GB，我们可以修改config/jvm.option设置ES的堆内存大小，Xms表示堆内存的初始大小，Xmx表示可分配的最大内存。

1、Xmx和Xms的大小设置为相同的，可以减轻伸缩堆大小带来的压力。

2、Xmx和Xms不要超过物理内存的50%，因为ES内部的Lucene也要占据一部分物理内存。 3、Xmx和Xms不要超过32GB，由于Java语言的特性，堆内存超过32G会浪费大量系统资源，所以在内存足够的情况下，最终我们都会采用设置为31G：
-Xms 31g
-Xmx 31g
例如：在一台128GB内存的机器中，我们可以创建两个节点，每个节点分配31GB内存。

实时学习反馈

1. 关于Elasticsearch内存设置，说法正确的是

A Xmx和Xms的大小设置为相同的

B Xmx和Xms不要超过物理内存的50%

C Xmx和Xms不要超过32GB

D 以上说法都正确

Elasticsearch案例_需求说明

接下来我们使用ES模仿百度搜索，即自动补全+搜索引擎效果：

Elasticsearch案例_ES自动补全

es为我们提供了关键词的自动补全功能：

GET /索引/_search
{"suggest": {"prefix_suggestion": {// 自定义推荐名"prefix": "elastic",// 被补全的关键字"completion": {"field": "productName",// 查询的域"skip_duplicates": true, //忽略重复结果"size": 10 //最多查询到的结果数}}}
}

注：自动补全对性能要求极高，ES不是通过倒排索引来实现的，所以需要将对应的查询字段类型设置为completion。

PUT /product2
{"mappings":{"properties":{"id":{"type":"integer","store":true,"index":true},"productName":{"type":"completion"},"productDesc":{"type":"text","store":true,"index":true}}}
}
POST /product2/_doc
{"id":1,"productName":"elasticsearch1","productDesc":"elasticsearch1 is a goodsearch engine"
}
POST /product2/_doc
{"id":2,"productName":"elasticsearch2","productDesc":"elasticsearch2 is a goodsearch engine"
}
POST /product2/_doc
{"id":3,"productName":"elasticsearch3","productDesc":"elasticsearch3 is a goodsearch engine"
}

Elasticsearch案例_创建索引

PUT /news
{"settings": {"number_of_shards": 5,"number_of_replicas": 1,"analysis": {"analyzer": {"ik_pinyin": {"tokenizer": "ik_smart","filter":"pinyin_filter"},"tag_pinyin": {"tokenizer": "keyword","filter":"pinyin_filter"}},"filter": {"pinyin_filter": {"type": "pinyin","keep_joined_full_pinyin": true,"keep_original": true,"remove_duplicated_term": true}}}},"mappings": {"properties": {"id": {"type": "integer","index": true},"title": {"type": "text","index": true,"analyzer": "ik_pinyin","search_analyzer":"ik_smart"},"content": {"type": "text","index": true,"analyzer": "ik_pinyin","search_analyzer":"ik_smart"},"url": {"type": "keyword","index": true},"tags": {"type": "completion","analyzer": "tag_pinyin","search_analyzer":"tag_pinyin"}}}
}

Elasticsearch案例_准备数据

使用logstash工具可以将mysql数据同步到es中：

1、解压logstash-7.17.0-windows-x86_64.zip

logstash要和elastisearch版本一致

2、在解压路径下的/config中创建mysql.conf文件，文件写入以下脚本内容：

input {jdbc {jdbc_driver_library => "E:\新课\Elasticsearch\软件\案例\mysql-connector-java-5.1.37-bin.jar"jdbc_driver_class => "com.mysql.jdbc.Driver"jdbc_connection_string => "jdbc:mysql:///news"jdbc_user => "root"jdbc_password => "root"schedule => "* * * * *"jdbc_default_timezone => "Asia/Shanghai"statement => "SELECT * FROM news;"}
}
filter {mutate {split => {"tags" => ","}}
}
output {elasticsearch {hosts =>["192.168.0.187:9200","192.168.0.187:9201","192.168.0.187:9202"]index => "news"document_id => "%{id}"}
}

3、在解压路径下打开cmd黑窗口，运行命令：

bin\logstash -f config\mysql.conf

4、测试自动补齐

GET /news/_search
{"suggest": {"my_suggest": {"prefix": "li","completion": {"field": "tags","skip_duplicates": true,"size": 10}}}
}

Elasticsearch案例_项目搭建

创建Springboot项目，加入SpringDataElasticsearch和SpringMVC 的起步依赖

<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>
<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><optional>true</optional>
</dependency>

写配置文件：

spring:elasticsearch:uris: 192.168.0.187:9200,192.168.0.187:9201,192.168.0.187:9202
logging:pattern:console: '%d{HH:mm:ss.SSS} %clr(%-5level) --- [%-15thread] %cyan(%-50logger{50}):%msg%n'

Elasticsearch案例_创建实体类

@Document(indexName = "news")
@Data
public class News {@Id@Fieldprivate Integer id;@Fieldprivate String title;@Fieldprivate String content;@Fieldprivate String url;@CompletionField@Transientprivate Completion tags;
}

Elasticsearch案例_创建Repository接口

public interface NewsRepository extends ElasticsearchRepository<News, Integer> {}

Elasticsearch案例_自动补全功能

@Service
public class NewsService {@Autowiredprivate ElasticsearchRestTemplate template;// 自动补齐public List<String> autoSuggest(String keyword) {// 1.创建补全请求SuggestBuilder suggestBuilder = new SuggestBuilder();// 2.构建补全条件SuggestionBuilder suggestionBuilder = SuggestBuilders.completionSuggestion("tags").prefix(keyword).skipDuplicates(true).size(10);suggestBuilder.addSuggestion("prefix_suggestion", suggestionBuilder);// 3.发送请求SearchResponse response = template.suggest(suggestBuilder,IndexCoordinates.of("news"));// 4.处理结果List<String> result = response.getSuggest().getSuggestion("prefix_suggestion").getEntries().get(0).getOptions().stream().map(Suggest.Suggestion.Entry.Option::getText).map(Text::toString).collect(Collectors.toList());return result;}
}

Elasticsearch案例_搜索关键字功能

在repository接口中添加高亮搜索关键字方法

// 高亮搜索关键字
@Highlight(fields = {@HighlightField(name = "title"), @HighlightField(name = "content")})
List<SearchHit<News>> findByTitleMatchesOrContentMatches(String title, String content);

service类中调用该方法

// 查询关键字
public List<News> highLightSearch(String keyword){List<SearchHit<News>> result = repository.findByTitleMatchesOrContentMatches(keyword, keyword);// 处理结果，封装为News类型的集合List<News> newsList = new ArrayList();for (SearchHit<News> newsSearchHit : result) {News news = newsSearchHit.getContent();// 高亮字段Map<String, List<String>> highlightFields = newsSearchHit.getHighlightFields();if (highlightFields.get("title") != null){news.setTitle(highlightFields.get("title").get(0));}if (highlightFields.get("content") != null){news.setContent(highlightFields.get("content").get(0));}newsList.add(news);}return newsList;
}

Elasticsearch案例_创建Controller类

@RestController
public class NewsController {@Autowiredprivate NewsService newsService;@GetMapping("/autoSuggest")public List<String> autoSuggest(String term){ // 前端使用jqueryUI，发送的参数默认名为termreturn newsService.autoSuggest(term);}@GetMapping("/highLightSearch")public List<News> highLightSearch(String term){return newsService.highLightSearch(term);}
}

Elasticsearch案例_前端页面

我们使用jqueryUI中的autocomplete插件完成项目的前端实现。

<script>$("#newsTag").autocomplete({source: "/autoSuggest", // 请求路径delay: 100, //请求延迟minLength: 1 //最少输入多少字符像服务器发送请求})function search() {var term = $("#newsTag").val();$.get("/highLightSearch", {term:term}, function (data) {var str = "";for (var i = 0; i < data.length;i++) {var document = data[i];str += "<li>" +"       <h4>" +"           <a href='" +document.url + "' target='_blank'>" +document.title + "</a>" +"       </h4> " +"       <p>" +document.content + "</p>" +"   </li>";}$("#news").html(str);})}
</script>