初识elasticsearch

elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以从海量数据中快速找到需要的内容，比如在在GitHub搜索代码，在电商网站搜索商品，在百度搜索答案，在打车软件搜索附近的车。
elasticsearch结合kibana、Logstash、Beats，也就是elastic stack（ELK）。被广泛应用在日志数据分析、实时监控等领域。elasticsearch是elastic stack的核心，负责存储、搜索、分析数据。

elasticsearch和lucene

elasticsearch底层是基于lucene来实现的。Lucene是一个Java语言的搜索引擎类库，是Apache公司的顶级项目，由DougCutting于1999年研发。官网地址：https://lucene.apache.org/ 。
Lucene的优势：易扩展，高性能(基于倒排索引)
Lucene的缺点：只限于java语言开发，学习曲线陡峭，不支持水平扩展

elasticsearch：
支持分布式，可水平扩展
提供Restful接口，可被任何语言调用

总结：
什么是elasticsearch？

• 一个开源的分布式搜索引擎，可以用来实现搜索、日志统计、分析、系统监控等功能

什么是elastic stack（ELK）？

• 是以elasticsearch为核心的技术栈，包括beats、Logstash、kibana、elasticsearch

什么是Lucene？

• 是Apache的开源搜索引擎类库，提供了搜索引擎的核心API

正向/倒排索引

正向索引
给下表中的id创建索引，如果是根据id查询，会直接走索引，查询速度非常快。

如果是基于title做模糊查询，只能逐行扫描，流程如右侧所示：
1.用户搜索数据，条件是title符合"%手机%"
2.逐行获取数据，比如id为1的数据
3.判断数据中的title是否符合用户搜索条件
4.如果符合则放入结果集，不符合则丢弃。回到步骤1

这样逐行扫描，也就是全表扫描，随着数据量增加，其查询效率也会越来越低。当数据量达到数百万时，就是一场灾难。

倒排索引
倒排索引的概念是基于MySQL这样的正向索引而言的。

• 文档（Document）：用来搜索的数据，其中的每一条数据就是一个文档。例如一个网页、一个商品信息
• 词条（Term）：对文档数据或用户搜索数据，利用某种算法分词，得到的具备含义的词语就是词条。
  例如：我是中国人，就可以分为：我、是、中国人、中国、国人这样的几个词条。

创建倒排索引是对正向索引的一种特殊处理，流程如下：

• 将每一个文档的数据利用算法分词，得到一个个词条
• 创建表，每行数据包括词条、词条所在文档id、位置等信息
• 因为词条唯一性，可以给词条创建索引，例如hash表结构索引

倒排索引的搜索流程如下（以搜索"华为手机"为例）：
1.用户输入"华为手机" 进行搜索。
2.将用户输入内容进行分词，得到词条：“华为”、“手机”。
3.拿着词条在倒排索引中查找，可以得到包含词条的文档id：1、2、3。
4.拿着文档id到正向索引中查找具体文档。

虽然要先查询倒排索引，再查询倒排索引，但是无论是词条、还是文档id都建立了索引，查询速度非常快！无需全表扫描。

正向和倒排

• 正向索引是最传统的，根据id索引的方式。但根据词条查询时，必须先逐条获取每个文档，然后判断文档中是否包含所需要的词条，是根据文档找词条的过程。

• 而倒排索引则相反，是先找到用户要搜索的词条，根据词条得到保护词条的文档的id，然后根据id获取文档。是根据词条找文档的过程。

两者方式的优缺点是什么呢？
正向索引：

• 优点：
  • 可以给多个字段创建索引
  • 根据索引字段搜索、排序速度非常快
• 缺点：
  • 根据非索引字段，或者索引字段中的部分词条查找时，只能全表扫描。

倒排索引：

• 优点：
  • 根据词条搜索、模糊搜索时，速度非常快
• 缺点：
  • 只能给词条创建索引，而不是字段
  • 无法根据字段做排序

elasticsearch的一些概念

elasticsearch是面向文档（Document）存储的，可以是数据库中的一条商品数据，一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中，Json文档中往往包含很多的字段（Field），类似于数据库中的列。

文档（Document），就是一条条的数据，类似数据库中的行（Row），文档都是JSON格式。、
字段（Field），就是JSON文档中的字段，类似数据库中的列（Column）

索引（Index），就是相同类型的文档的集合，类似数据库的表(table)。

• 所有用户文档，就可以组织在一起，称为用户的索引；
• 所有商品的文档，可以组织在一起，称为商品的索引；
• 所有订单的文档，可以组织在一起，称为订单的索引；

数据库的表会有约束信息，用来定义表的结构、字段的名称、类型等信息。因此，索引库中就有映射（mapping），是索引中文档的字段约束信息，类似表的结构约束。

DSL是elasticsearch提供的JSON风格的请求语句，用来操作elasticsearch，实现CRUD，类似于SQL。

对安全性要求较高的写操作，使用mysql实现。
对查询性能要求较高的搜索需求，使用elasticsearch实现。
两者再基于某种方式，实现数据的同步，保证一致性。

• Mysql：擅长事务类型操作，可以确保数据的安全和一致性
• Elasticsearch：擅长海量数据的搜索、分析、计算
  

分词器

分词器的作用是什么？

• 创建倒排索引时对文档分词
• 用户搜索时，对输入的内容分词

IK分词器有几种模式？

• ik_smart：智能切分，粗粒度
  
• ik_max_word：最细切分，细粒度
  

IK分词器如何拓展词条？如何停用词条？

• 在plugins\ik\config下添加词典
  
  
• 在plugins\ik\config\IkAnalyzer.cfg.xml文件添加拓展词典和停用词典，重启生效

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties><comment>IK Analyzer 扩展配置</comment><!--用户可以在这里配置自己的扩展字典 --><entry key="ext_dict">kuang.dic</entry><!--用户可以在这里配置自己的扩展停止词字典，配置一些敏感词汇--><entry key="ext_stopwords">stopword.dic</entry><!--用户可以在这里配置远程扩展字典 --><!-- <entry key="remote_ext_dict">words_location</entry> --><!--用户可以在这里配置远程扩展停止词字典--><!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

mapping是对索引库中文档的约束，常见的mapping属性包括：

• type：字段数据类型，常见的简单类型有：
  • 字符串：text（可分词的文本）、keyword（精确值，例如：品牌、国家、ip地址）
  • 数值：long、integer、short、byte、double、float、
  • 布尔：boolean
  • 日期：date
  • 对象：object，对象可以任意嵌套
• index：是否创建索引，默认为true
• analyzer：使用哪种分词器，结合text使用(ik_smart，ik_max_word)
• properties：该字段的子字段，在对象嵌套的情况下使用

没有数组概念，是同一种数据类型的多个值。

{"age": 21, #类型为 integer；参与搜索，因此需要index为true；无需分词器"weight": 52.1, #类型为float；参与搜索，因此需要index为true；无需分词器"isMarried": false, #类型为boolean；参与搜索，因此需要index为true；无需分词器"info": "黑马程序员Java讲师", #类型为字符串，需要分词，因此是text；参与搜索，因此需要index为true；分词器可以用ik_smart"email": "zy@itcast.cn", #类型为字符串，但是不需要分词，因此是keyword；不参与搜索，因此需要index为false；无需分词器"score": [99.1, 99.5, 98.9], #类型为float；参与搜索，需要index为true；无需分词器"name": { #类型为object，需要定义多个子属性"firstName": "云", #类型为字符串，但是不需要分词，因此是keyword；参与搜索，因此需要index为true；无需分词器"lastName": "赵"}
}

索引库操作

创建索引库：

PUT /索引库名称
{"mappings": {"properties": {"字段名":{"type": "text","analyzer": "ik_smart"},"字段名2":{"type": "keyword","index": "false"},"字段名3":{"properties": {"子字段": {"type": "keyword"}}},// ...略}}
}

示例：

PUT /heima
{"mappings": {"properties": {"info":{"type": "text","analyzer": "ik_smart"},"email":{"type": "keyword","index": "falsae"},"name":{"properties": {"firstName": {"type": "keyword"},"lastName": {"type": "keyword"}}},// ... 略}}
}

查询索引库： GET /索引库名

修改索引库：
倒排索引结构虽然不复杂，但是一旦数据结构改变（比如改变了分词器），就需要重新创建倒排索引，这简直是灾难。因此索引库一旦创建，无法修改mapping。

无法修改mapping中已有的字段，允许添加新的字段到mapping中，因为不会对倒排索引产生影响。
语法说明：

PUT /索引库名/_mapping
{"properties": {"新字段名":{"type": "integer"}}
}

删除索引库： DELETE /索引库名

索引库操作有哪些？

• 创建索引库：PUT /索引库名
• 查询索引库：GET /索引库名
• 删除索引库：DELETE /索引库名
• 添加字段：PUT /索引库名/_mapping

文档操作

新增文档：

POST /索引库名/_doc/文档id
{"字段1": "值1","字段2": "值2","字段3": {"子属性1": "值3","子属性2": "值4"},// ...
}

实例：

POST /heima/_doc/1
{"info": "黑马程序员Java讲师","email": "zy@itcast.cn","name": {"firstName": "云","lastName": "赵"}
}

查询文档： GET /索引库名/_doc/文档id

删除文档： DELETE/索引库名/_doc/文档id

修改文档

• 全量修改：直接覆盖原来的文档

其本质是：根据指定的id删除文档，新增一个相同id的文档。
如果根据id删除时，id不存在，第二步的新增也会执行，即修改变成新增操作。

PUT /{索引库名}/_doc/文档id
{"字段1": "值1","字段2": "值2",// ... 略
}

示例：

PUT /heima/_doc/1
{"info": "黑马程序员高级Java讲师","email": "zy@itcast.cn","name": {"firstName": "云","lastName": "赵"}
}

• 增量修改：修改文档中的部分字段

POST /{索引库名}/_update/文档id
{"doc": {"字段名": "新的值",}
}

示例：

POST /heima/_update/1
{"doc": {"email": "ZhaoYun@itcast.cn"}
}

文档操作有哪些？

• 创建文档：POST /{索引库名}/_doc/文档id { json文档 }
• 查询文档：GET /{索引库名}/_doc/文档id
• 删除文档：DELETE /{索引库名}/_doc/文档id
• 修改文档：
  • 全量修改：PUT /{索引库名}/_doc/文档id { json文档 }
  • 增量修改：POST /{索引库名}/_update/文档id { “doc”: {字段}}

查询文档

Elasticsearch提供了基于JSON的DSL（Domain Specific Language）来定义查询。常见的查询类型包括：

• 查询所有：查询出所有数据，一般测试用。例如：match_all
• 全文检索（full text）查询：利用分词器对用户输入内容分词，然后去倒排索引库中匹配。例如：
  • match(根据一个字段查)
  • multi_match(根据多个字段查询，参与查询字段越多，查询性能越差)
• 精确查询：根据精确词条值查找数据，一般是查找keyword、数值、日期、boolean等类型字段。例如：
  • ids(多个id)
  • range(数值范围，可以是数值、日期的范围)
  • term(精确的数据值，一般搜索keyword类型、数值类型、布尔类型、日期类型字段)
• 地理（geo）查询：根据经纬度查询。例如：
  • geo_distance(地理坐标点)
  • geo_bounding_box(地理坐标范围)
• 复合（compound）查询：复合查询可以将上述各种查询条件组合起来，合并查询条件。例如：
  • bool(利用boolean把其他查询条件组合起来)
  • function_score(控制相关度算分)

查询所有

基本语法：

GET /indexName/_search
{"query": {"查询类型": {"查询条件": "条件值"}}
}

查询所有，没有查询条件：

GET /indexName/_search
{"query": {"match_all": {}}
}

全文检索

• 对用户搜索的内容做分词，得到词条
• 根据词条去倒排索引库中匹配，得到文档id
• 根据文档id找到文档，返回给用户

因此参与搜索的字段也必须是可分词的text类型的字段。
match查询语法如下：

GET /indexName/_search
{"query": {"match": {"FIELD": "TEXT"}}
}

mulit_match语法如下：

GET /indexName/_search
{"query": {"multi_match": {"query": "TEXT","fields": ["FIELD1", " FIELD12"]}}
}

match查询示例：

multi_match查询示例：

两种查询结果是一样的，因为已将brand、name、business值都利用copy_to复制到了all字段中。因此根据三个字段搜索，和根据all字段搜索效果一样。

但是，搜索字段越多，对查询性能影响越大，因此建议采用copy_to，然后单字段查询的方式。

精确查询

精确查询一般是查找keyword、数值、日期、boolean等类型字段。所以不会对搜索条件分词。常见的有：

• term：根据词条精确值查询
• range：根据值的范围查询

语法说明：

// term查询
GET /indexName/_search
{"query": {"term": {"FIELD": {"value": "VALUE"}}}
}

搜索的是精确词条时，能正确查询出结果：

当搜索的内容不是词条，而是多个词语形成的短语时，反而搜索不到：

range查询

范围查询，一般应用在对数值类型做范围过滤的时候。比如做价格范围过滤。
基本语法：

// range查询
GET /indexName/_search
{"query": {"range": {"FIELD": {"gte": 10, // 这里的gte代表大于等于，gt则代表大于"lte": 20 // lte代表小于等于，lt则代表小于}}}
}

示例：

地理查询

地理坐标查询，其实就是根据经纬度查询，官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/geo-queries.html

常见的使用场景包括：

• 携程：搜索我附近的酒店
• 滴滴：搜索我附近的出租车
• 微信：搜索我附近的人

矩形范围查询
geo_bounding_box查询，查询坐标落在某个矩形范围的所有文档：

需要指定矩形的左上、右下两个点的坐标，然后画出一个矩形，落在该矩形内的都是符合条件的点。
语法如下：

// geo_bounding_box查询
GET /indexName/_search
{"query": {"geo_bounding_box": {"FIELD": {"top_left": { // 左上点"lat": 31.1,"lon": 121.5},"bottom_right": { // 右下点"lat": 30.9,"lon": 121.7}}}}
}

附近查询
也叫做距离查询（geo_distance）：查询到指定中心点小于某个距离值的所有文档。即在地图上找一个点作为圆心，以指定距离为半径，画一个圆，落在圆内的坐标都算符合条件：

语法说明：

// geo_distance 查询
GET /indexName/_search
{"query": {"geo_distance": {"distance": "15km", // 半径"FIELD": "31.21,121.5" // 圆心}}
}

搜索陆家嘴附近15km的酒店：

半径缩短到3公里，酒店数量减少到了5家

复合查询

复合（compound）查询：复合查询可以将其它简单查询组合起来，实现更复杂的搜索逻辑。常见的有两种：

• fuction score：算分函数查询，可以控制文档相关性算分，控制文档排名。例如百度搜索栏结果
• bool query：布尔查询，利用逻辑关系组合多个其它的查询，实现复杂搜索

相关性算分
利用match查询时，文档结果会根据与搜索词条的关联度打分（_score），返回结果时按照分值降序排列。
搜索 “虹桥如家”，结果如下：

[{"_score" : 17.850193,"_source" : {"name" : "虹桥如家酒店真不错",}},{"_score" : 12.259849,"_source" : {"name" : "外滩如家酒店真不错",}},{"_score" : 11.91091,"_source" : {"name" : "迪士尼如家酒店真不错",}}
]

在elasticsearch中，早期使用的打分算法是TF-IDF算法，公式如下：

在后来的5.1版本升级中，elasticsearch将算法改进为BM25算法，公式如下：

TF-IDF算法的缺陷，就是词条频率越高，文档得分也会越高，单个词条对文档影响较大。而BM25则会让单个词条的算分有一个上限，曲线更加平滑：

elasticsearch的相关性打分算法是什么?（根据词条和文档的相关度做打分)

• TF-IDF算法，elasticsearch5.9版本之前，会随着词频增加而越来越大
• BM25算法，elasticsearch5.1版本之后，会随着词频增加而增大，但是增长曲线会趋于水平

根据相关度打分是比较合理的需求，但合理的不一定是产品经理需要的。
以百度为例，你搜索的结果中，并不是相关度越高排名越靠前，而是谁掏的钱多排名就越靠前。如图：

算分函数查询

利用function_score_query，可以修改文档的相关性算分，根据新得到的算分排序

function score的运行流程如下：

• 1）根据原始条件查询搜索文档，并且计算相关性算分，称为原始算分（query score）
• 2）根据过滤条件，过滤文档
• 3）符合过滤条件的文档，基于算分函数运算，得到函数算分（function score）
• 4）将原始算分（query score）和函数算分（function score）基于运算模式做运算，得到最终结果，作为相关性算分。

因此，其中的关键点是：

• 过滤条件：决定哪些文档的算分被修改
• 算分函数：决定函数算分的算法
• 运算模式：决定最终算分结果

举例：给“如家”品牌的酒店排名靠前一些

• 原始条件：不确定，可以任意变化
• 过滤条件：brand = “如家”
• 算分函数：可以简单粗暴，直接给固定的算分结果，weight
• 运算模式：比如求和

因此最终的DSL语句如下：

GET /hotel/_search
{"query": {"function_score": {"query": {  .... }, // 原始查询，可以是任意条件"functions": [ // 算分函数{"filter": { // 满足的条件，品牌必须是如家"term": {"brand": "如家"}},"weight": 2 // 算分权重为2}],"boost_mode": "sum" // 加权模式，求和}}
}

测试，在未添加算分函数时，如家得分如下：

添加了算分函数后，如家得分就提升了：

布尔查询

布尔查询是一个或多个查询子句的组合，每一个子句就是一个子查询。子查询的组合方式有：

• must：必须匹配每个子查询，类似“与”
• should：选择性匹配子查询，类似“或”
• must_not：必须不匹配，不参与算分，类似“非”
• filter：必须匹配，不参与算分

比如在搜索酒店时，除了关键字搜索外，我们还可能根据品牌、价格、城市等字段做过滤：

因为每一个不同的字段，其查询的条件、方式都不一样，必须是多个不同的查询，所以用bool查询组合这些查询。

注意：搜索时，参与打分的字段越多，查询的性能也越差。因此这种多条件查询时，建议这样做：

• 搜索框的关键字搜索，是全文检索查询，使用must查询，参与算分
• 其它过滤条件，采用filter查询。不参与算分

语法示例：

GET /hotel/_search
{"query": {"bool": {"must": [{"term": {"city": "上海" }}],"should": [{"term": {"brand": "皇冠假日" }},{"term": {"brand": "华美达" }}],"must_not": [{ "range": { "price": { "lte": 500 } }}],"filter": [{ "range": {"score": { "gte": 45 } }}]}}
}

需求：搜索名字包含“如家”，价格不高于400，在坐标31.21,121.5周围10km范围内的酒店。
分析：

• 名称搜索，属于全文检索查询，应该参与算分。放到must中
• 价格不高于400，用range查询，属于过滤条件，不参与算分。放到must_not中
• 周围10km范围内，用geo_distance查询，属于过滤条件，不参与算分。放到filter中
  

搜索结果处理

排序

elasticsearch默认是根据相关度算分（_score）来排序，但是也支持自定义方式对搜索结果排序。可以排序字段类型有：keyword类型、数值类型、地理坐标类型、日期类型等。

keyword、数值、日期类型排序的语法基本一致：
排序条件是一个数组，也就是可以写多个排序条件。按照声明的顺序，当第一个条件相等时，再按照第二个条件排序，以此类推。

GET /indexName/_search
{"query": {"match_all": {}},"sort": [{"FIELD": "desc"  // 排序字段、排序方式ASC、DESC}]
}

需求描述：酒店数据按照用户评价(score)降序排序，评价相同的按照价格(price)升序排序

地理坐标：

• 指定一个坐标，作为目标点
• 计算每一个文档中，指定字段（必须是geo_point类型）的坐标 到目标点的距离是多少
• 根据距离排序

GET /indexName/_search
{"query": {"match_all": {}},"sort": [{"_geo_distance" : {"FIELD" : "纬度，经度", // 文档中geo_point类型的字段名、目标坐标点"order" : "asc", // 排序方式"unit" : "km" // 排序的距离单位}}]
}

需求描述：实现对酒店数据按照到你的位置坐标的距离升序排序
提示：获取你的位置的经纬度的方式：https://lbs.amap.com/demo/jsapi-v2/example/map/click-to-get-lnglat/
假设我的位置是：31.034661，121.612282，寻找我周围距离最近的酒店。

分页

elasticsearch 默认情况下只返回top10的数据。而如果要查询更多数据就需要修改分页参数了。elasticsearch中通过修改from、size参数来控制要返回的分页结果：

• from：从第几个文档开始
• size：总共查询几个文档
  分页的基本语法如下：

GET /hotel/_search
{"query": {"match_all": {}},"from": 0, // 分页开始的位置，默认为0"size": 10, // 期望获取的文档总数"sort": [{"price": "asc"}]
}

分页问题

查询990~1000的数据，查询逻辑如下：

GET /hotel/_search
{"query": {"match_all": {}},"from": 990, // 分页开始的位置，默认为0"size": 10, // 期望获取的文档总数"sort": [{"price": "asc"}]
}

查询990开始的数据，即第990-第1000条数据。但是elasticsearch内部分页时，必须先查询 0~1000条，然后截取其中的990 ~ 1000的这10条：

查询TOP1000，如果es是单点模式，这并无太大影响。但是elasticsearch将来一定是集群，例如我集群有5个节点，我要查询TOP1000的数据，并不是每个节点查询200条就可以了。因为节点A的TOP200，在另一个节点可能排到10000名以外了。因此要想获取整个集群的TOP1000，必须先查询出每个节点的TOP1000，汇总结果后，重新排名，重新截取TOP1000。

当查询分页深度较大时，汇总数据过多，对内存和CPU会产生非常大的压力，因此elasticsearch会禁止from+ size 超过10000的请求。针对深度分页，ES提供了两种解决方案，官方文档：

• search after：分页时需要排序，原理是从上一次的排序值开始，查询下一页数据。官方推荐使用的方式。
• scroll：原理将排序后的文档id形成快照，保存在内存(消耗内存)。官方已经不推荐使用。

分页查询的常见实现方案以及优缺点：

• from + size：
  • 优点：支持随机翻页
  • 缺点：深度分页问题，默认查询上限（from + size）是10000
  • 场景：百度、京东、谷歌、淘宝这样的随机翻页搜索
• after search：
  • 优点：没有查询上限（单次查询的size不超过10000）
  • 缺点：只能向后逐页查询，不支持随机翻页
  • 场景：没有随机翻页需求的搜索，例如手机向下滚动翻页
• scroll：
  • 优点：没有查询上限（单次查询的size不超过10000）
  • 缺点：会有额外内存消耗，并且搜索结果是非实时的
  • 场景：海量数据的获取和迁移。从ES7.1开始不推荐，建议用 after search方案。

高亮

在搜索结果中把搜索关键字突出显示。

高亮显示的实现分为两步：

• 1）给文档中的所有关键字都添加一个标签，例如<em>标签
• 2）页面给<em>标签编写CSS样式

高亮的语法：

GET /hotel/_search
{"query": {"match": {"FIELD": "TEXT" // 查询条件，高亮一定要使用全文检索查询}},"highlight": {"fields": { // 指定要高亮的字段"FIELD": {"pre_tags": "<em>",  // 用来标记高亮字段的前置标签"post_tags": "</em>" // 用来标记高亮字段的后置标签}}}
}

注意：

• 高亮是对关键字高亮，因此搜索条件必须带有关键字，而不能是范围这样的查询。
• 默认情况下，高亮的字段，必须与搜索指定的字段一致，否则无法高亮
• 如果要对非搜索字段高亮，则需要添加一个属性：required_field_match=false

总结

查询的DSL是一个大的JSON对象，包含下列属性：

• query：查询条件
• from和size：分页条件
• sort：排序条件
• highlight：高亮条件

示例：

RestClient操作es：https://blog.csdn.net/weixin_43994244/article/details/128857337