Elasticsearch检索方案之一:使用from+size实现分页

server/2024/12/28 3:43:41/

      前面两篇文章介绍了elasticsearch以及Kibana的安装,检索引擎以及可视化工具都已经安装完成,接下来介绍下如何使用golang的sdk实现简单的分页查询。

1、下载Elastic官方golang sdk

在讲解elasticsearch检索之前,需要先把golang的环境安装好,go的安装可以参考官方文档,mac、linux下的安装都非常简单,参考以下文档:

go下载地址:https://go.dev/dl/
安装说明:https://go.dev/doc/install

安装完成后,把goproxy改成国内代理,执行以下命令:

go env -w GOPROXY=https://goproxy.cn,direct

下载elasticsearch官方golang包:

go get github.com/elastic/go-elasticsearch/v8

或者直接在代码里引入该包,之后通过命令:

go mod tidy

来下载各种依赖包。

2、测试数据说明

es中一共写入了11000条数据,doc_id字段标识了数据的索引,有助于说明本文分享的使用from+size参数的检索。

3、使用from+size实现分页检索

首先定义检索结果的基础数据结构:


// 最外层数据结构
type Documents struct {Shards   Shards      `json:"_shards"`Hits     HitOutLayer `json:"hits"`TimedOut bool        `json:"timed_out"`Took     int         `json:"took"`
}
type Shards struct {Failed     int `json:"failed"`Skipped    int `json:"skipped"`Successful int `json:"successful"`Total      int `json:"total"`
}
type HitOutLayer struct {Hits     []Hits  `json:"hits"`MaxScore float64 `json:"max_score"`Total    Total   `json:"total"`
}
type Hits struct {ID     string         `json:"_id"`Index  string         `json:"_index"`Score  float64        `json:"_score"`Source map[string]any `json:"_source"`Type   string         `json:"_type"`
}
type Total struct {Relation string `json:"relation"`Value    int    `json:"value"`
}

连接es,es8默认是通过https进行连接,因此在连接时需要设置证书,证书的位置在es路径下的config文件夹中:

 连接es的代码如下:

cert, _ := os.ReadFile("/Users/liupeng/Documents/study/elasticsearch-8.17.0/config/certs/http_ca.crt")
client, err := elasticsearch.NewClient(elasticsearch.Config{Username:  "elastic",Password:  "XBS=adqa799j_Aoz=A+h",Addresses: []string{"https://127.0.0.1:9200"},CACert:    cert,
})

构建检索dsl,跳过前面1000个文档,检索10条文档:

dslQuery := esbuilder.NewDsl()
boolQuery := esbuilder.NewBoolQuery()
boolQuery.Filter(esbuilder.NewRangeQuery("doc_id").Gte(1))
dslQuery.SetQuery(boolQuery)
dslQuery.SetFrom(1000)
dslQuery.SetSize(3)
dslQuery.SetOrder(esbuilder.NewSortQuery("doc_id", "asc"))
dsl := dslQuery.BuildJson()

构建dsl我使用了自研的构建dsl的库:

github.com/liupengh3c/esbuilder

主打一个方便,就不用开发者自行去拼凑dsl了,开发成本降低了许多。

执行检索过程,并把检索到的内容进行打印:

search := esapi.SearchRequest{Index: []string{"new_tag_202411"},Body:  strings.NewReader(dsl),
}
resp, err := search.Do(context.Background(), client)
if err != nil {fmt.Println("search err:", err.Error())return
}
json.NewDecoder(resp.Body).Decode(&docs)
strDoc, _ := json.MarshalToString(docs)
fmt.Println(strDoc)

理论上,应该打印doc_id从1001开始到1003的3条数据,打印出来的数据如下:

{"_shards": {"failed": 0,"skipped": 0,"successful": 1,"total": 1},"hits": {"hits": [{"_id": "JME17xx_adc_behavior_NOJUNCTION_STRAIGHT_1_1732982184160_1732982184860_1733030180041","_index": "new_tag_202411","_score": 0,"_source": {"adc_behavior": "NOJUNCTION_STRAIGHT","car_id": "JME17xx","create_time": "2024-12-23 21:34:51","doc_id": 1001,"end_time": 1732982184860,"rule_id": 1,"rule_priority": 1,"rule_version": "2.1.0.0","start_time": 1732982184160,"tag_additional_info": {"adc_driving_mode": "COMPLETE_MANUAL","average_speed": 0.003893,"driving_mode": 0,"end_point": {"x": 222294.311402,"y": 3373118.699096,"z": 14.721843},"start_point": {"x": 222294.312234,"y": 3373118.698359,"z": 14.721373}},"tag_name": "adc_behavior","user": "liupeng"},"_type": ""},{"_id": "JME18xx_adc_behavior_NOJUNCTION_STRAIGHT_1_1732982184140_1732982218540_1733030184257","_index": "new_tag_202411","_score": 0,"_source": {"adc_behavior": "NOJUNCTION_STRAIGHT","car_id": "JME18xx","create_time": "2024-12-23 21:34:51","doc_id": 1002,"end_time": 1732982218540,"rule_id": 1,"rule_priority": 1,"rule_version": "2.1.0.0","start_time": 1732982184140,"tag_additional_info": {"adc_driving_mode": "COMPLETE_AUTO_DRIVE","average_speed": 3.86589,"driving_mode": 1,"end_point": {"x": 219886.247841,"y": 3374513.249021,"z": 8.882025},"start_point": {"x": 219576.290596,"y": 3374298.199175,"z": 9.130117}},"tag_name": "adc_behavior","user": "liupeng"},"_type": ""},{"_id": "ARCFxx_adc_behavior_U_TURN_1_1732982184047_1732982227367_1733030187627","_index": "new_tag_202411","_score": 0,"_source": {"adc_behavior": "U_TURN","car_id": "ARCFxx","create_time": "2024-12-23 21:34:52","doc_id": 1003,"end_time": 1732982227367,"rule_id": 1,"rule_priority": 1,"rule_version": "2.1.0.0","start_time": 1732982184047,"tag_additional_info": {"adc_driving_mode": "COMPLETE_AUTO_DRIVE","average_speed": 10.146669,"driving_mode": 1,"end_point": {"x": 228474.086367,"y": 3392800.40123,"z": 8.736978},"start_point": {"x": 228502.4916,"y": 3392823.01595,"z": 8.714573}},"tag_name": "adc_behavior","user": "liupeng"},"_type": ""}],"max_score": 0,"total": {"relation": "gte","value": 10000}},"timed_out": false,"took": 2
}

结果的返回是符合预期的,perfect。

4、一个很重要的知识点

form+size的这种分页方式,是有前提的,就是只能检索10000条以内的数据,如果超过10000,那就不灵了,超过10000后,一条数据都不会返回,比如我们将设置from、size的代码改成如下:

dslQuery := esbuilder.NewDsl()
boolQuery := esbuilder.NewBoolQuery()
boolQuery.Filter(esbuilder.NewRangeQuery("doc_id").Gte(1))
dslQuery.SetQuery(boolQuery)
dslQuery.SetFrom(9998)
dslQuery.SetSize(3)
dslQuery.SetOrder(esbuilder.NewSortQuery("doc_id", "asc"))
dsl := dslQuery.BuildJson()

跳过前面9998条,检索3条数据出来,很明显,这样的检索条件是超过了10000条的,执行代码后,检索没有结果:

所以这种检索分页方式存在局限性,在10000条数据之内可以这么使用,但是一旦超过10000就会有问题,当然,我们也不用担心,elastic是有解决方案的,我会再单独写文章来介绍。

5、one more thing

我在自己的macbook上【在家里】安装了es,注意关键信息,是【在家里】安装的,上班的时候把自己电脑带到了公司,上班摸鱼的时候我打开了自己电脑,连接wifi,启动es、kibana,准备把公司mac上es的数据copy到自己mac上,问题来了,自己mac上kibnan启动不了了,启动不了了......,我很纳闷,啥情况?为啥启动不了了?难道是我替换了es文件夹下data的缘故吗?重新恢复为自己的data,问题依旧。

下班心想,还得把公司电脑上es的数据拷贝一份到自己mac上,以用来测试,就把公司mac带回家,连接家里的wifi,我满怀期待的打开电脑准备倒数据,结果公司电脑的kibana也启动不了,启动不了了,我的天哪,这是见鬼了吗,啥情况呢?自己电脑上的kibana能启动了,这是在外面认生吗,得回到自己家才能启动,这是问题1,这个时候我心想,公司电脑上kibana启动不了就算了,我直接用自己mac跑代码读取公司mac上es的数据,然后写入到本地的es上,问题又来了,竟然连接不上,提示证书授权的ip没有当前ip,这完蛋了,这是问题2。

于是我就停下来,大概想了一下问题的始末,大概明白了,es8的安全证书对网络加了校验,既然我通过自己mac连接不上公司mac,现在所处的网络是家里,那就说明自己mac的证书是有效的,于是就调换一下,从公司mac上跑代码,读取本机,写入到自己mac上,结果还真成了。

但是kibana更换网络无法启动的问题还未解决,这个问题不解决,也就是说只要不是在家里,kibana就打不开,es不能做的这么傻吧,于是今天到公司后,请教了elastic中国社区首席布道师刘晓国老师,刘老师非常热情的直接电话过来,解释了kibana无法打开的原因以及解决办法,在这里对刘老师的帮助表达诚挚感谢,非常感谢刘老师。推荐大家看看刘老师的博客:Elastic:开发者上手指南-CSDN博客

接下来我们说kibana无法打开的原因,还是证书问题,kibana在启动时,对本机的ip做了校验,更换网络后,ip发生变更,因此kibana无法启动,kibana的配置文件中有这么一行代码:

我们只要这行代码更改为以下即可:

elasticsearch.hosts: ['https://localhost:9200']

es8的证书除了对本机的实际ip做了校验,也对localhost做了验证,因此,只要改成localhost问题就会解决,即使更换网络,localhost是不会改变的。

另外再更换网络的情况下,如果要通过未更换网络的机器连接更换网络的机器,只有一个办法,那就是在当前网络下更新证书,除此别无他法。

6、所有代码

package mainimport ("context""fmt""os""strings""time""github.com/elastic/go-elasticsearch/v7/esapi""github.com/elastic/go-elasticsearch/v8"jsoniter "github.com/json-iterator/go""github.com/liupengh3c/esbuilder"
)// 最外层数据结构
type Documents struct {Shards   Shards      `json:"_shards"`Hits     HitOutLayer `json:"hits"`TimedOut bool        `json:"timed_out"`Took     int         `json:"took"`
}
type Shards struct {Failed     int `json:"failed"`Skipped    int `json:"skipped"`Successful int `json:"successful"`Total      int `json:"total"`
}
type HitOutLayer struct {Hits     []Hits  `json:"hits"`MaxScore float64 `json:"max_score"`Total    Total   `json:"total"`
}
type Hits struct {ID     string         `json:"_id"`Index  string         `json:"_index"`Score  float64        `json:"_score"`Source map[string]any `json:"_source"`Type   string         `json:"_type"`
}
type Total struct {Relation string `json:"relation"`Value    int    `json:"value"`
}func main() {SearchFromSize()
}func SearchFromSize() {st := time.Now()defer func() {fmt.Println("cost:", time.Since(st).Milliseconds(), "ms")}()var json = jsoniter.ConfigCompatibleWithStandardLibrarydocs := Documents{}cert, _ := os.ReadFile("/Users/liupeng/Documents/study/elasticsearch-8.17.0/config/certs/http_ca.crt")client, err := elasticsearch.NewClient(elasticsearch.Config{Username:  "elastic",Password:  "xpE4DQGWE9bCkoj7WXYE",Addresses: []string{"https://127.0.0.1:9200"},CACert:    cert,})if err != nil {fmt.Println("create client err:", err.Error())return}dslQuery := esbuilder.NewDsl()boolQuery := esbuilder.NewBoolQuery()boolQuery.Filter(esbuilder.NewRangeQuery("doc_id").Gte(1))dslQuery.SetQuery(boolQuery)dslQuery.SetFrom(9998)dslQuery.SetSize(3)dslQuery.SetOrder(esbuilder.NewSortQuery("doc_id", "asc"))dsl := dslQuery.BuildJson()search := esapi.SearchRequest{Index: []string{"new_tag_202411"},Body:  strings.NewReader(dsl),}resp, err := search.Do(context.Background(), client)if err != nil {fmt.Println("search err:", err.Error())return}json.NewDecoder(resp.Body).Decode(&docs)strDoc, _ := json.MarshalToString(docs)fmt.Println(strDoc)
}

 最后祝各位同学圣诞节快乐~~~~~~~~~~~~~


http://www.ppmy.cn/server/153795.html

相关文章

微服务分布式(二、注册中心Consul)

首先我们需要安装consul,到官网下载Consul Install | Consul | HashiCorp Developer 在解压的consul目录下 执行启动命令 consul agent -dev 启动服务 -dev表示开发模式 -server表示服务模式 启动后在浏览器访问8500端口http://localhost:8500/可以看到服务管理界面 项目…

YOLOv9-0.1部分代码阅读笔记-torch_utils.py

torch_utils.py utils\torch_utils.py 目录 torch_utils.py 1.所需的库和模块 2.def smart_inference_mode(torch_1_9check_version(torch.__version__, 1.9.0)): 3.def smartCrossEntropyLoss(label_smoothing0.0): 4.def smart_DDP(model): 5.def reshape_classif…

Charles安装证书过程(手机)

背景:使用模拟器抓包时,发现https请求无法抓取,需要安装相应证书。我自己是因为模拟器升级了安卓7,发现之前安装的证书无效了,需要重新安装。 参考博客:夜神模拟器12Charles进行Https抓包_模拟器抓包ssl-C…

十二月第22讲:巧用mask属性创建一个纯CSS图标库

(Scalable Vector Graphics,可缩放矢量图形)是一种基于 XML 的图像格式,用于定义二维图形。与传统的位图图像(如 PNG 和 JPG)不同,SVG 图像是矢量图形,可以在任何尺寸下保持清晰度&a…

C#关键字volatile

文章目录 一、 基本概念二、可见性问题没有 volatile 关键字的情况使用 volatile 关键字后的可见性保证 三、防止指令重排序指令重排序的概念volatile 防止指令重排序的原理 四、使用场景示例生产者 - 消费者模式示例 五、注意事项性能影响不能替代锁机制 一、 基本概念 在 C# …

2024年中最新!鸿蒙4.2成功开启无线调试

前言 鸿蒙4.2支持“开发人员选项”,但根本没有“无线调试”的按钮可以选,只有USB调试和ADB。 无法使用Shizuku,也无法安装VMOS。 是否能开启“无线调试” 用不了,但是可以用电脑连接手机,打开ADB调试,然…

C++程序设计例题——第三章程序控制结构

第三章 程序控制结构 第三章程序控制结构:3.1使用cin和cout输入输出数据3.2计算三角形面积3.3输入成绩,将成绩分类3.4四个整数排序3.5输入某天日期,自动输出第二天日期3.6输入月份和日期,得到星座3.7求和:1……1003.9判…

Unity 战斗系统中角色UI血条设计

1:如何选取技术方案 Unity战斗系统中,每个角色经常会有血条与昵称。如何架构设计才高效,我们列举一些常用的做法: onGUI来做昵称与血条;3D世界中创建一个3D物体来做血条与昵称,然后让血条与昵称对着摄像机;基于UGUI/NGUI单独做血条与昵称的UI节点&#…