ElasticSearch | Elasticsearch与Kibana页面查询语句实践

news/2025/1/11 14:39:01/

关注：CodingTechWork

引言

  在当今大数据应用中，Elasticsearch（简称 ES）以其高效的全文检索、分布式处理能力和灵活的查询语法，广泛应用于各类日志分析、用户行为分析以及实时数据查询等场景。通过 ES，用户可以轻松地查询大量数据、进行复杂的数据筛选、聚合分析等操作。
  本文将结合实际应用场景，深入讲解 Elasticsearch 基础和高级查询语句的使用原理与技巧，帮助读者通过实践掌握 ES 查询的核心概念和技术。

索引

索引设计与数据模型

  首先，我们假设demo_operate_log_data_m202501_read索引存储了用户的基本信息。每个文档表示一个用户，字段包括：

user_id：用户唯一标识符（例如：user_123）
name：用户姓名
age：用户年龄
gender：用户性别（如：male 或 female）
email：用户邮箱
phone_number：用户电话号码
register_date：用户注册时间（日期类型）
last_login：用户最后登录时间（日期类型）
location：用户所在地理位置（如：Beijing、Shanghai）

  这些字段将在我们接下来的查询中作为查询条件，以获取用户的详细信息。下面将根据不同的查询需求展示 Elasticsearch 查询的基础和高级用法。

创建索引

  在 Elasticsearch 中，创建索引时，通常会定义索引的映射（mapping），指定字段类型、分析器等属性。下面是一个示例索引创建语句，针对 demo_operate_log_data_m202501_read索引，我们假设它包含了与用户相关的字段。

示例：demo_operate_log_data_m202501_read索引创建语句

PUT /demo_operate_log_data_m202501_read
{"mappings": {"properties": {"user_id": {"type": "keyword"  // 用户唯一标识符，通常用 keyword 类型以便精确匹配},"name": {"type": "text"  // 用户姓名，使用 text 类型以支持全文搜索},"age": {"type": "integer"  // 用户年龄，使用整数类型},"gender": {"type": "keyword"  // 用户性别，通常是固定值，使用 keyword 类型},"email": {"type": "keyword"  // 用户邮箱，使用 keyword 类型},"phone_number": {"type": "keyword"  // 用户电话号码，使用 keyword 类型},"register_date": {"type": "date"  // 注册时间，使用日期类型},"last_login": {"type": "date"  // 最后登录时间，使用日期类型},"location": {"type": "text"  // 用户所在位置，使用 text 类型以支持全文搜索}}}
}

解释：

  • user_id：使用 keyword 类型，这样可以确保查询时进行精确匹配，因为 keyword 不会被分词。
  • name：使用 text 类型，支持全文搜索，可以在姓名中进行模糊搜索。
  • age：使用 integer 类型，用于存储年龄的整数值。
  • gender、email 和 phone_number：使用 keyword 类型，这些字段通常会是固定值或标识符，适合精确查询。
  • register_date 和 last_login：使用 date 类型，适合存储日期时间格式数据。
  • location：使用 text 类型，以便对用户的地理位置信息进行全文搜索。

插入数据

  接下来我们将根据刚才定义的demo_operate_log_data_m202501_read索引，插入一些示例数据。这些数据将包括用户的user_id、name、age、gender、email、phone_number、register_date、last_login 和 location字段。

POST /demo_operate_log_data_m202501_read/_doc/1
{"user_id": "U001","name": "Alice Wang","age": 29,"gender": "female","email": "alice.wang@example.com","phone_number": "+86-13800000001","register_date": "2023-01-15T10:30:00","last_login": "2025-01-05T15:45:00","location": "Beijing, China"
}POST /demo_operate_log_data_m202501_read/_doc/2
{"user_id": "U002","name": "Bob Zhang","age": 34,"gender": "male","email": "bob.zhang@example.com","phone_number": "+86-13800000002","register_date": "2022-06-10T08:20:00","last_login": "2025-01-06T09:00:00","location": "Shanghai, China"
}POST /demo_operate_log_data_m202501_read/_doc/3
{"user_id": "U003","name": "Charlie Li","age": 25,"gender": "male","email": "charlie.li@example.com","phone_number": "+86-13800000003","register_date": "2024-03-22T14:10:00","last_login": "2025-01-07T18:30:00","location": "Guangzhou, China"
}POST /demo_operate_log_data_m202501_read/_doc/4
{"user_id": "U004","name": "David Liu","age": 40,"gender": "male","email": "david.liu@example.com","phone_number": "+86-13800000004","register_date": "2020-11-18T16:50:00","last_login": "2025-01-04T12:00:00","location": "Shenzhen, China"
}POST /demo_operate_log_data_m202501_read/_doc/5
{"user_id": "U005","name": "Eva Zhang","age": 31,"gender": "female","email": "eva.zhang@example.com","phone_number": "+86-13800000005","register_date": "2021-09-30T11:00:00","last_login": "2025-01-06T16:10:00","location": "Chengdu, China"
}

在这里插入图片描述
在这里插入图片描述

解释：

  • 每条数据通过 POST 请求插入到 Elasticsearch 索引demo_operate_log_data_m202501_read 中。
  • 数据中的 user_id 为每个用户的唯一标识符。
  • name、age、gender、email、phone_number、register_date、last_login 和 location 都是与用户相关的属性，按需求填充相应的信息。
  • 日期格式为yyyy-MM-dd'T'HH:mm:ss，符合 Elasticsearch 的日期格式。

插入成功后的输出：

  插入数据成功后，Elasticsearch 会返回类似下面的响应（每个请求的响应可能有所不同，以下是一个例子）：

{"_index": "demo_operate_log_data_m202501_read","_id": "1","_version": 1,"result": "created","_shards": {"total": 1,"successful": 1,"failed": 0},"_seq_no": 0,"_primary_term": 1
}

  每个用户的文档都会被成功插入到索引中，并可以通过 ID 或查询来访问。

基础查询

精确匹配查询 (term 查询)

在 Elasticsearch 中，精确匹配查询通常使用 term 查询。假设我们要查询 user_id 为 U001 的用户基本信息，可以使用如下的 term 查询：

GET /demo_operate_log_data_m202501_read/_search
{"query": {"term": {"user_id": "U001"}}
}

在这里插入图片描述

解释：

  • term 查询用于精确匹配字段的值。
  • 如果 user_id 在映射中被定义为 keyword 类型，那么它会按照原样进行精确匹配。

匹配查询 (match 查询)

对于文本类型的字段，match 查询能够实现更灵活的搜索。例如，我们要查询所有名字包含 “John” 的用户：

GET /demo_operate_log_data_m202501_read/_search
{"query": {"match": {"name": "Charlie Li"}}
}

在这里插入图片描述

解释：

  • match 查询适用于全文搜索，ES 会对文本字段进行分词后进行搜索。
  • 对于如 name 这样的文本字段，match 查询可以匹配到所有包含 “Charlie Li” 的用户，无论是名字中间、开始或结束部分。

范围查询 (range 查询)

如果我们想查询年龄在 20 到 30 岁之间的用户，可以使用 range 查询：

GET /demo_operate_log_data_m202501_read/_search
{"query": {"range": {"age": {"gte": 20,"lte": 30}}}
}

在这里插入图片描述

解释：

  • range 查询适用于数字或日期类型字段。通过设置 gte（大于或等于）和 lte（小于或等于）来定义一个范围。
  • 该查询返回所有年龄在 20 到 30 岁之间的用户。

布尔查询 (bool 查询)

布尔查询可以将多个查询条件组合起来。假设我们要查询年龄在 20 到 30 岁之间，且性别为 “female” 的用户，可以使用 bool 查询：

GET /demo_operate_log_data_m202501_read/_search
{"query": {"bool": {"must": [{"range": {"age": {"gte": 20,"lte": 30}}},{"term": {"gender": "female"}}]}}
}

在这里插入图片描述

解释：

  • bool 查询结合了多个查询条件，其中must 表示条件必须满足。
  • range 查询筛选年龄，term 查询筛选性别。
  • must 可以包含任意多个查询子句，适用于复杂的多条件组合查询。

高级查询

聚合查询 (aggregations)

聚合查询允许我们对数据进行统计、分组和汇总分析。假设我们需要统计每个年龄段内的用户数量，可以使用 range 聚合查询：

GET /demo_operate_log_data_m202501_read/_search
{"size": 0,"aggs": {"age_groups": {"range": {"field": "age","ranges": [{"to": 18},{"from": 18,"to": 30},{"from": 30,"to": 50},{"from": 50}]}}}
}

在这里插入图片描述

解释：

  • 该查询使用range聚合将用户的年龄划分为不同的区间，并统计每个区间内的用户数量。
  • size: 0 表示不返回文档内容，只返回聚合结果。
    若size不为0，则返回文档内容。
    在这里插入图片描述

多字段匹配查询 (multi_match 查询)

如果我们需要在多个字段上进行搜索，例如查询包含 “Charlie Li” 的用户，并且可以在 name、email 和 phone_number 等字段中匹配，我们可以使用 multi_match 查询：

GET /demo_operate_log_data_m202501_read/_search
{"query": {"multi_match": {"query": "Charlie","fields": ["name","email","phone_number"]}}
}

在这里插入图片描述

解释：

  • multi_match 查询可以在多个字段中查找与查询词匹配的文档，适用于需要在多个字段中执行类似的查询。
  • fields参数指定要查询的字段列表，query 是我们要搜索的关键词。
  • 默认情况下，multi_match 查询会在所有指定的字段中查找，只要其中一个字段包含查询词中的任意词，文档就会匹配并返回。例如，在你的查询中，如果 name 字段匹配 “Charlie”，或者 email 字段匹配 “Li”（或者两者都有），文档都会被返回。

分页查询 (from 和 size 参数)

在面对大量数据时，通常会进行分页查询，以分批次返回查询结果。假设我们要查询第 2 页的用户，每页显示 2 条记录：

GET /demo_operate_log_data_m202501_read/_search
{"query": {"match_all": {}}
}GET /demo_operate_log_data_m202501_read/_search
{"query": {"match_all": {}},"from": 1,"size": 2
}

先验证查看全部的
在这里插入图片描述
再分页查
在这里插入图片描述

解释：

  • query -> match_all:match_all 查询会返回该索引中的所有文档。这是一种无条件匹配所有文档的查询，通常用于检索整个索引的数据。
  • from: 1:这是分页的参数之一，表示从第 2 条记录开始（从 0 开始计数）。所以会跳过第 1 条文档，返回从第 2 条文档开始的结果。
  • size: 2:这个参数控制每次查询返回的文档数量。设置为 2 表示查询会返回 2 条结果。

字段排序查询 (sort 参数)

在某些情况下，我们需要对查询结果进行排序。例如，查询最新注册的 2 个用户，可以按 register_date字段进行排序：

GET /demo_operate_log_data_m202501_read/_search
{"query": {"match_all": {}},"sort": [{"register_date": {"order": "desc"}}],"_source": ["user_id", "name", "register_date"]
}GET /demo_operate_log_data_m202501_read/_search
{"query": {"match_all": {}},"sort": [{"register_date": {"order": "desc"}}],"size": 2
}

先验证看所有的排序
在这里插入图片描述
排序筛选前两个
在这里插入图片描述

解释：

  • sort 参数用于指定排序规则，register_date 字段按降序排列，表示返回最新注册的用户。
  • size 限制每次返回的记录数量。

模糊查询 (fuzzy 查询)

如果用户输入的查询条件可能包含拼写错误，fuzzy 查询可以帮助我们进行模糊匹配。例如，我们要查询姓氏为 “Charlie Li” 的用户，但用户可能输入 “Charlie Lixxx”：

GET /demo_operate_log_data_m202501_read/_search
{"query": {"bool": {"should": [{"fuzzy": {"name": {"value": "Zhang","fuzziness": "AUTO"}}}]}}
}

在这里插入图片描述

解释：

  • bool查询:bool 查询的 should 子句意味着至少满足其中一个条件。当前查询中，只有一个模糊查询条件。
  • fuzzy 查询:fuzzy查询是用于模糊匹配的。在这里，查询目标是 name 字段，查询的关键词是 “Zhang”，模糊度为 "AUTO"，即自动选择最佳的模糊度。
  • fuzziness: "AUTO":"AUTO" 表示根据字符串的长度自动选择合适的模糊度。例如，短字符串可能只会有一个字符的差异（fuzziness: 1），而较长的字符串可能允许更多的字符差异（fuzziness: 2 或更多）。

总结

  通过本篇博客，我们详细介绍了 Elasticsearch 的基础和高级查询语法。我们展示了如何使用精确匹配查询（term）、全文搜索（match）、范围查询（range）、布尔查询（bool）等技术，帮助开发者快速检索用户基础信息。同时，我们还探讨了如何进行数据统计、聚合查询、多字段匹配等。


http://www.ppmy.cn/news/1561919.html

相关文章

C# 对象和类型(结构)

C# 对象和类型(结构)

❝ 类和结构的区别 字段、属性和方法 按值和引用传送参数 方法重载 构造函数和静态构造函数 只读字段 Object类，其他类型都从该类派生而来 结构 如何将类保持在堆中，通过这种方式可以在数据的生存期上获得很大的灵活性，但性能会有一定的损失。…
阅读更多...
maven的中国镜像有哪些

maven的中国镜像有哪些

根据您的请求&#xff0c;以下是一些可用的 Maven 中国镜像&#xff1a; 阿里云 官网&#xff1a;阿里云 Maven 镜像配置&#xff1a;<mirror><id>aliyunmaven</id><mirrorOf>*</mirrorOf><name>阿里云公共仓库</name><url>…
阅读更多...
大麦抢票科技狠活

大麦抢票科技狠活

仅供学习参考&#xff0c;切勿再令您所爱的人耗费高昂的价格去购置黄牛票 ⚠️核心内容参考: 据悉&#xff0c;于购票环节&#xff0c;大麦凭借恶意流量清洗技术&#xff0c;于网络层实时甄别并阻拦凭借自动化手段发起下单请求的流量&#xff0c;强化对刷票脚本、刷票软件以及…
阅读更多...
NRF24L01模块STM32通信-通信初始化

NRF24L01模块STM32通信-通信初始化

目录 前言 一、IO口初始化 二、模拟SPI的基础代码 1.一些代码的宏定义 2.起始信号 3.CS,SCK,MOSI操作 4.MISO,IRQ操作 三.中间层代码 1.字节的输入和读取 2.写操作 3.读操作 四.应用层代码 1.24L01的检测 2.在main函数进行简单验证 3.24L01宏定义的代码 总结 前…
阅读更多...
蓝桥杯训练

蓝桥杯训练

1对于一个字母矩阵&#xff0c;我们称矩阵中的一个递增序列是指在矩阵中找到两个字母&#xff0c;它们在同一行&#xff0c;同一列&#xff0c;或者在同一 45 度的斜线上&#xff0c;这两个字母从左向右看、或者从上向下看是递增的。 例如&#xff0c;如下矩阵中 LANN QIAO有…
阅读更多...
【计算机网络】课程 实验五 静态路由配置

【计算机网络】课程 实验五 静态路由配置

实验五 静态路由配置 一、实验目的 理解静态路由的工作原理&#xff0c;掌握如何配置静态路由。 二、实验分析与设计 【背景描述】 假设校园网分为 2 个区域&#xff0c;每个区域内使用 1 台路由器连接 2 个子网&#xff0c; 现要在路由器上 做适当配置&#xff0c;实现校…
阅读更多...
前端如何处理后端传入的复杂数据格式

前端如何处理后端传入的复杂数据格式

在前后端联调过程中不难发现&#xff0c;有时候从后端获取到的数据格式并不是我们所想要的格式&#xff0c;这时候就需要我们自己动手去处理了。最近在开发项目过程中也是遇到了很多传入的数据格式和自己所想要展示的有所区别&#xff0c;这里就先记录一下吧&#xff0c;总结总…
阅读更多...
AutoSar架构学习笔记

AutoSar架构学习笔记

1.AUTOSAR&#xff08;Automotive Open System Architecture&#xff0c;汽车开放系统架构&#xff09;是一个针对汽车行业的软件架构标准&#xff0c;旨在提升汽车电子系统的模块化、可扩展性、可重用性和互操作性。AUTOSAR的目标是为汽车电子控制单元&#xff08;ECU&#xf…
阅读更多...
最新文章

Copyright @ 2022~2023