ES查询 too_many_clauses,maxClauseCount is set to 5000

不管现实多么惨不忍睹,都要持之以恒地相信,这只是黎明前短暂的黑暗而已。不要惶恐眼前的难关迈不过去,不要担心此刻的付出没有回报,别再花时间等待天降好运。真诚做人,努力做事!你想要的,岁月都会给你。ES查询 too_many_clauses,maxClauseCount is set to 5000,希望对大家有帮助,欢迎收藏,转发!站点地址:www.bmabk.com,来源:原文

一:语法执行背景


ES boo查询中过多的拼接bool导致报maxClauseCount is set to 5000

{

  • “caused_by”: {
    • “type”: “too_many_clauses”,
    • “reason”: “maxClauseCount is set to 5000”

    }

}

查询DSL语句:

 {
  “from”: 0,
  “size”: 20,
  “query”: {
    “bool”: {
      “must”: [
        {
          “match”: {
            “name”: {
              “query”: “普通硅酸盐水泥(P·O)”,
              “boost”: 5
            }
          }
        }
      ],
      “adjust_pure_negative”: true,
      “boost”: 1
    }
  },
  “min_score”: 5,
  “sort”: [
    {
      “_score”: {
        “order”: “desc”
      }
    }
  ]
}

二:分析原因

报错原因:是Search限制一个bool查询中最多只能有5000个值或子查询,当超过5000时,会抛出异常。

实际原因:name字段使用的分词器使用了同义词,导致“普通硅酸盐水泥(P·O) 42.5级”,被识别成了“水泥,复合硅酸盐水泥(P·O) 42.5级,普通硅酸盐水泥(P·O) 42.5级”,再经过分词器分词之后,会出现很多个term,导致查询bool超过限制。

 三:解决办法

方案一:当超过5000时可以将一个bool查询拆成两个子bool查询,使用must关键字,使得两个子bool查询是与的关系。【拆分要去优化的查询语法,本次未实验

方案二:编辑elasticsearch.yml,添加如下配置 index.query.bool.max_clause_count: 10240 注意:必须在最前面添加一个空格,即和其他配置首字母对齐,不然es启动报错。 

【随着数据量的增大,其实这个值会不断的需要改大,我就是从0改到1000改到5000又触发了】

 方案三:由于索引分词使用了同义词,可以将查询分词和索引分词分开,单独设置查询分词。因为如果我们查询时不传入分词器,则默认会用索引词的分词器,同义词的分词器一般都很大,如下图:

 ES查询 too_many_clauses,maxClauseCount is set to 5000

 {
  “from”: 0,
  “size”: 20,
  “query”: {
    “bool”: {
      “must”: [
        {
          “match”: {
            “name”: {
              “query”: “普通硅酸盐水泥(P·O)”,
              “analyzer”: “ik_max_word”,
              “boost”: 5
            }
          }
        }
      ],
      “adjust_pure_negative”: true,
      “boost”: 1
    }
  },
  “min_score”: 5,
  “sort”: [
    {
      “_score”: {
        “order”: “desc”
      }
    }
  ]
}

 这种方式是治本模式,发现哪几个词出现了子查询超出,就对这几个词单独处理,当然这几个词也会丢失同义词的匹配算法,但是我们可以加入完整匹配权重。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/160752.html

(0)
飞熊的头像飞熊bm

相关推荐

发表回复

登录后才能评论
极客之音——专业性很强的中文编程技术网站,欢迎收藏到浏览器,订阅我们!