elasticsearch 使用同义词

先说一下，为什么使用同义词。任何一种技术的实现，都需要为我们的使用场景服务：下面就是我将要实现功能的使用场景

需求一：要获取一个词汇的同义词。比如输入：美女获取结果：女性美女妇女女孩等…….

需求二：要获取一个词汇的同义汇总词。比如输入：美女，妇女，女性，女孩获取结果：女性

解析技术的信息
// 精确映射同义词，【阿迪】、【阿迪达斯】和【adidasi】的token将会转换为【Adidas】存入倒排索引中
阿迪, 阿迪达斯, adidasi => Adidas

// 对等同义词
// 当expand为true时，当出现以下任何一个token，三个token都会存入倒排索引中
// 当expand为false时，当出现以下任何一个token，第一个token也就是【Nike】会存入倒排索引中
Nike, 耐克, naike

部分信息参考：参考来源

实现技术

ElasticSearch 5.1.1 + IK + synonym

使用环境

elasticsearch5.1.1
kibana5.1.1
同义词synonym 插件5.1.1 点击下载

安装插件

下载对应的elasticsearch-analysis-dynamic-synonym-5.1.1.zip, 解压到本地的elasticsearch/plugins目录下, 重新启动es

第一种方式本地文件配置

说明：
对于本地文件：主要通过文件的修改时间戳(Modify time)来判断是否要重新加载
在elasticsearch/config目录下,建立analysis目录, 并在analysis目录下放入synonym.txt, 在文件首行加入下面一行同义词，来进行测试。加入的行信息：
```
 美女,女性,女孩,妇女
```
es设置索引和自定义解析器，用 kibana 执行哈

PUT /megacorp
{
  "mappings": {
    "customerset": {
      "properties": {
        "name":{
          "type": "text",
          "analyzer": "ik-index",  //指定索引时候用的解析器
          "search_analyzer": "ik-smart" //指定搜索时候用的解析器
        }
      }
    }
  }
  ,
  "settings": {
    "analysis": {
      "filter": {
        "local_synonym" : {
            "type" : "dynamic_synonym",
            "synonyms_path" : "analysis/synonym.txt"  
        }
      },
      "analyzer": {
        "ik-index": {
          "type": "custom",
          "tokenizer": "ik_max_word",
          "filter": [
              "local_synonym"   //对同义词进行了过滤
           ]
        },
        "ik-smart": {
          "type": "custom",
          "tokenizer": "ik_smart",
          "filter": [
              "local_synonym"
           ]
        }
      }
    }
  }
}

设置好后，可以用以下命令查看，同义词是否配置成功。本示例均使用Kibana测试，用Postman的各位自己加域名即可

GET /megacorp/_analyze
{
  "analyzer": "ik-index",
  "text": "美女"
}

正确分词以及同义词综合返回结果如下：截图

我们要实现搜索一个词汇只返回一个词汇，加入一行配置：

西红柿,番茄,土豆,马铃薯 => 土豆 ;

注意：词库内的词，必须在分词词库中存在，下一章我会告知怎么配置

搜索，使用如下命令：

GET /megacorp/_analyze
{
  "analyzer": "ik-index",
  "text": "马铃薯"
}

结果：图例

上面的结果有彩蛋：【；】这也是一个汇总，为什么呢：因为汇总可以是多个，且多个是以空格分割
上面的一种实现方式是使用写入文本的方式，但是我们程序实际运行的时候可会动态的新增同义词，比如说：我的机器学习，能自动归纳词汇然后汇总成同义词。这个时候我们需要使用接口实现。
还记得上面定义的时候我创建了一个 customerset 的mapping：这个时候我要用到了，需要大家有一定的ElasticSearch 的使用经验哈，我们开始：
———— 》》》》》》》》》》》

PUT /megacorp/mysynonym/10
{
    "name" : "Z型钢"
}

PUT /megacorp/mysynonym/11
{
    "name" : "S型钢"
}

PUT /megacorp/mysynonym/12
{
    "name" : "H型钢"
}

PUT /megacorp/mysynonym/13
{
    "name" : "钢轨"
}

查询语句：