ES查询 too_many_clauses,maxClauseCount is set to 5000

news/2024/11/8 2:59:11/

一:语法执行背景


ES boo查询中过多的拼接bool导致报maxClauseCount is set to 5000

{

  • "caused_by": {
    • "type": "too_many_clauses",
    • "reason": "maxClauseCount is set to 5000"
    }

}

查询DSL语句:

 {
  "from": 0,
  "size": 20,
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "name": {
              "query": "普通硅酸盐水泥(P·O)",
              "boost": 5
            }
          }
        }
      ],
      "adjust_pure_negative": true,
      "boost": 1
    }
  },
  "min_score": 5,
  "sort": [
    {
      "_score": {
        "order": "desc"
      }
    }
  ]
}

二:分析原因

报错原因:是Search限制一个bool查询中最多只能有5000个值或子查询,当超过5000时,会抛出异常。

实际原因:name字段使用的分词器使用了同义词,导致“普通硅酸盐水泥(P·O) 42.5级”,被识别成了“水泥,复合硅酸盐水泥(P·O) 42.5级,普通硅酸盐水泥(P·O) 42.5级”,再经过分词器分词之后,会出现很多个term,导致查询bool超过限制。

 三:解决办法

方案一:当超过5000时可以将一个bool查询拆成两个子bool查询,使用must关键字,使得两个子bool查询是与的关系。【拆分要去优化的查询语法,本次未实验

方案二:编辑elasticsearch.yml,添加如下配置 index.query.bool.max_clause_count: 10240 注意:必须在最前面添加一个空格,即和其他配置首字母对齐,不然es启动报错。 

【随着数据量的增大,其实这个值会不断的需要改大,我就是从0改到1000改到5000又触发了】

 方案三:由于索引分词使用了同义词,可以将查询分词和索引分词分开,单独设置查询分词。因为如果我们查询时不传入分词器,则默认会用索引词的分词器,同义词的分词器一般都很大,如下图:

 

 {
  "from": 0,
  "size": 20,
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "name": {
              "query": "普通硅酸盐水泥(P·O)",
              "analyzer": "ik_max_word",
              "boost": 5
            }
          }
        }
      ],
      "adjust_pure_negative": true,
      "boost": 1
    }
  },
  "min_score": 5,
  "sort": [
    {
      "_score": {
        "order": "desc"
      }
    }
  ]
}

 这种方式是治本模式,发现哪几个词出现了子查询超出,就对这几个词单独处理,当然这几个词也会丢失同义词的匹配算法,但是我们可以加入完整匹配权重。


http://www.ppmy.cn/news/172555.html

相关文章

【备战秋招】每日一题:4月1日美团春招(二批)第五题:题面+题目思路 + C++/python/js/Go/java带注释

2023大厂笔试模拟练习网站(含题解) www.codefun2000.com 最近我们一直在将收集到的各种大厂笔试的解题思路还原成题目并制作数据,挂载到我们的OJ上,供大家学习交流,体会笔试难度。现已录入200道互联网大厂模拟练习题&…

联想微型计算机boot,联想电脑boot设置图解

联想电脑boot设置图解 不管是台式机还是笔记本如果安装的主板不同,其主板BISO程序也略有不同。联想笔记本的里面的主板BIOS设置就跟别的笔记本的BIOS设置有少许的差异,下面就小编在联想笔记本维修过程中吸取一些关于主板BIOS设置经验,来向各位…

联想电脑 linux BIOS,联想电脑bios怎么设置

BIOS是英文“Basic Input Output System”的缩略语,直译过来就是“基本输入输出系统”。其实,它是一组固化到计算机内主板上一个ROM芯片上的程序,那么联想电脑bios怎么设置?下面大家跟着学习啦小编一起来学习一下吧。 联想电脑bios设置方法 1、开机时,按F2&#xf…

联想台式计算机编号怎么查,联想电脑怎么查看主机编号_联想电脑编号在哪里...

联想电脑怎么查看主机编号呢?下面介绍几种方法供你使用 1、主机背面的黑白标识牌 主机编号由主机型号TYPE xxxx-xxx和序列号 S/N xx-xxxxx 14位数字和字母组合而成。 2、电池槽位查看主机编号 如果机器处于开机状态,建议关机后拿掉电池,查看主…

联想电脑 linux bios设置,韩博士分享关于联想电脑bios的基本设置

BIOS设置是很多用户在重装系统时都需要用到的,而关于BIOS品牌的主板也有很多,所以在设置上也会存在一定的差异。一般电脑的开机启动快捷键为F12,有些电脑开机的时候在电脑屏幕下方会显示哪个键可以用来设置启动选项,有些电脑不显示…

联想如何打开计算机配置,联想电脑如何进入bios设置

联想电脑进入BIOS的快捷键有“F2、F1、Del/Delete、NOVO开机” 部分机型按F2、F1时需要FN键配合 注:使用Win8/8.1操作系统的电脑,需要在系统下选择重启,在“开机自检界面”连续点击对应快捷键进入BIOS界面,详细方法见如下解决方案 联想笔记本产品进入BIOS的操作方法 适用范…

联想的锋行计算机,联想电脑锋行系列都有哪些型号

尊敬用户您好,根据您的提出问题,应该是联想锋行 X5520这款电脑 ,以下是它的详细介绍 联想锋行 X5520CPU规格 CPU类型 Intel 奔腾双核 CPU频率 2200MHz 二级缓存 1MB 前端总线 800MHz CPU说明 Intel 奔腾双核 E2200 2.2GHz 联想锋行 X5520显示…

联想计算机boss设置,联想电脑如何进行bios设置 联想电脑bios设置教程

联想电脑如何进行bios设置? 计算机用户在使用计算机的过程中,都会从一开始接触到BIOS,它在计算机系统中起着非常重要的作用。一块主板性能优越与否,很大程度上取决于主板上的BIOS管理功能是否先进。下面,我们就来看看 bios设置图…