投稿
  1. 极客之音首页
  2. 后端漫谈

elasticsearch、kibana、Ik分词器基于docker的单点部署

seven_ • • 后端漫谈 • 阅读 207

导读：本篇文章讲解 elasticsearch、kibana、Ik分词器基于docker的单点部署，希望对大家有帮助，欢迎收藏，转发！站点地址：www.bmabk.com

一、创建网络

由于需要让es和kibana容器互联，因此需要先创建一个网络。

但当也可以使用docker-compose的方式来完成一键互联，那样的话就不需要创建网络。

docker network create es-network

二、安装elasticsearch

2.1 dockerHub直接拉取镜像的方式

2.1.1 dockerHub上搜索elasticsearch官方镜像

在这里插入图片描述

2.1.2 执行拉取镜像命令

docker pull elasticsearch:7.12.1

2.1.3 查看镜像

docker images

2.1.4 创建并运行容器

docker run -d \
	--name es \
    -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
    -e "discovery.type=single-node" \
    -v es-data:/usr/share/elasticsearch/data \
    -v es-plugins:/usr/share/elasticsearch/plugins \
    --privileged \
    --network es-network \
    -p 9200:9200 \
    -p 9300:9300 \
elasticsearch:7.12.1

命令解析：

  • -d：后台运行

  • --name：设置容器名称

  • -e：设置环境变量

    • ES_JAVA_OPTS=-Xms512m -Xmx512m"：配置java虚拟机堆内存，也就是以后es将来运行时能用的内存空间。这个值默认是1G，学习时为了减轻电脑压力调成512M，但是不能够再低于这个值。
    • discovery.type=single-node：配置es运行模式为单点运行。实际生产环境会配置成集群运行。

  • -v：设置数据卷

    • es-data:/usr/share/elasticsearch/data：es的数据保存目录
    • es-plugins:/usr/share/elasticsearch/plugins：es拓展时的插件目录

  • --privileged：授予逻辑卷访问权

  • --network：把es加入到某个网络当中

    • es-network：docker创建的网络名称

  • -p：向外暴露的端口：

    • 9200:9200：给用户访问的http协议端口
    • 9300:9300：将来es各个节点进行互联时的端口，现在不暴露也可以

  • elasticsearch:7.12.1：容器名称

其它命令选项：

  • -e "cluster.name=es-docker-cluster"：设置集群名称
  • -e "http.host=0.0.0.0"：监听的地址，可以外网访问
  • -v es-logs:/usr/share/elasticsearch/logs：挂载逻辑卷，绑定es的日志目录

2.2 本地上传镜像的方式

由于elasticsearch的镜像非常大，有一个多G，直接从dockerHub中拉取可能等待的时间会有一些长。

此时也可以选择直接从本地上传一个es镜像。

2.2.1 先从华为云上拉取一个对应版本的镜像

https://repo.huaweicloud.com/elasticsearch/

在这里插入图片描述

选择一个想要版本的镜像，下载到本地。

2.2.2 使用finallshell把本地镜像上传到服务器/虚拟机

1）新建一个文件夹存放镜像

# 进入/usr/local文件夹
cd /usr/local
# 新建目录docker-images
mkdir docker-images

2）上传本地下载好的镜像文件
在这里插入图片描述

3）把镜像加载到docker中

docker load -i es.tar

4）按上面的命令创建并启动容器

只需要注意镜像名称的不同即可

2.3 访问elasticsearch

浏览器中输入：

# ip为自己浏览器或者服务器的ip地址
http://192.168.137.102:9200

如果看到下面elasticsearch的响应结果，则证明容器启动成功。
在这里插入图片描述

需要较为流畅的运行elasticsearch至少需要2G以上运行内存，否则会比较卡

三、安装kibana

属于elastic stack技术栈中的一个组件，不但提供了数据可视化的服务，还可以方便的编写DSL语句操作es。

但是不一定说用到elasticsearch的话，以后一定会用到kibana、如果不用则不需要安装。

注意点：

kibana和elasticsearch要在同一个网络当中

kibana和elasticsearch版本要保存一致

3.1 拉取kibana镜像

docker pull kibana:7.12.1

如果怕拉取过慢，也可以使用windows系统去华为云上下载镜像，再上传到服务器。

https://repo.huaweicloud.com/kibana/

3.2 创建并运行kibana容器

docker run -d \
	--name kibana \
	-e ELASTICSEARCH_HOSTS=http://es:9200 \
	--network=es-network \
	-p 5601:5601  \
kibana:7.12.1

命令解析：

  • -d：后台运行
  • --name：设置容器名称
  • -e：设置环境变量
    • ELASTICSEARCH_HOSTS=http://es:9200：设置elasticsearch主机地址
    • es是elasticsearch的容器名称
  • --network es-network ：加入一个名为es-network的网络中，与elasticsearch在同一个网络中
  • -p 5601:5601：端口映射配置

3.3 访问kibana

kibana启动一般比较慢，需要多等待一会。

可以通过看看日志命令，当日志出现时，即代表kibana启动成功！

docker logs -f kibana

当kibana启动成功后，浏览器访问如下地址：

# ip为自己浏览器或者服务器的ip地址
http://192.168.137.102:5601

在这里插入图片描述

上面界面正常显示则kibana部署正常！

3.4 使用DevTools工具

kibana中提供了一个DevTools工具。它可以很容易的发送一个elasticsearch请求。

1）点击Explore on my own

第一次使用，并没有数据需要添加，所以选择它。

2）点击右上角的devtools
在这里插入图片描述

3）devtools主页
在这里插入图片描述

这个界面中可以编写DSL来操作elasticsearch。并且对DSL语句有自动补全功能

四、安装IK分词器插件

elasticsearch自带的分词器，只对英语的分词效果好，而对中文的分词却效果不佳。

比如在kibana的devtools工具中用默认分词器对中文进行分词：

# 模拟分词请求
POST /_analyze                            
{
  "analyzer": "standard", 	                     
  "text": "你好，李银河。今天天气真不错！"
}
  • analyzer：分词规则
    • standard表示标准默认的分词规则
    • english表示英文分词规则
    • chinese表示英文分词规则
  • text：需要分词的内容
    在这里插入图片描述

无论使用哪一种分词规则，中文都是逐字分词，因为elasticsearch是没有办法理解中文含义的。

IK分词器就可以帮我们更好的进行中文分词。

4.1 在线安装ik插件（较慢）

1）进入容器内部

docker exec -it es /bin/bash

es是elasticsearch容器的容器名称

2）在线下载并安装

./bin/elasticsearch-plugin  install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip

3）退出容器

exit

4）重启容器

docker restart es

4.2.离线安装ik插件（推荐）

1）查看elasticsearch的数据卷目录

安装插件需要知道elasticsearch的plugins目录位置，可以通过以下命令些查看：

docker volume inspect es-plugins

在这里插入图片描述

说明plugins目录被挂载到了：/var/lib/docker/volumes/es-plugins/_data 这个目录中。

2）下载和之前es版本一直的ik分词器

https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v7.12.1

在这里插入图片描述

3）把下载并且好的文件上传到插件目录下
在这里插入图片描述

4）重启容器

docker restart es

5）查看日志

docker logs -f es

4.3 测试IK分词器

IK分词器包含两种模式：

  • ik_smart：最少粒度切分
  • ik_max_word：最细粒度切分

ik_smart 分出的词比较少，搜索到的概率小一些，但是占用的内存空间也会更小

ik_max_word 可以分出更多的词，让搜索到的概率变大，但是也会占用更多的空间

1）ik_smart

GET /_analyze
{
  "analyzer": "ik_smart",
  "text": "你好，李银河。今天天气真不错！"
}

在这里插入图片描述

2）ik_max_word

GET /_analyze
{
  "analyzer": "ik_max_word",
  "text": "你好，李银河。今天天气真不错！"
}

在这里插入图片描述

4.4 扩展ik分词器词典

随着互联网的发展，在原有的词汇列表中并不存在的新的词语。所以IK分词器提供了扩展词汇的功能。

1）打开IK分词器config目录下的分词配置文件

在这里插入图片描述

打开后发现配置文件中已经有了默认的几种配置情况：
在这里插入图片描述

这里选择第一种，在ext_dict文件中配置拓展词典。要注意标签中间的文件名是还没有写的，需要自己补上。

在这里插入图片描述

这里就用ext_dict来作为文件名即可

2）新建一个拓展词典文件，并书写内容

# 进入ik分词器目录
cd /var/lib/docker/volumes/es-plugins/_data/elasticsearch-analysis-ik-7.12.1/config

# 新建ext_dict文件
touch ext_dict

在这里插入图片描述

所有出现的新词都可以写在里面，一个只能写一个词

当前文件的编码必须是 UTF-8 格式，严禁使用Windows记事本编辑

4.5 停用词词典

在互联网项目中，在网络间传输的速度很快，但是很多语言是不允许在网络上传递的。

如：关于宗教、政治等敏感词语，那么在搜索时也应该忽略当前词汇。

1）配置停用词词典

在这里插入图片描述

默认目录下就有一个停用词词典，我们可以使用它，然后在stopword.dic文件中进行拓展。

2）拓展默认的停用词词典

在这里插入图片描述

默认的停用词词典配置了一些英文，我们在文件末尾继续添加想要停用的中文词汇即可。

当前文件的编码必须是 UTF-8 格式，严禁使用Windows记事本编辑

3）重启elasticsearch让修改的分词器配置生效

# 重启服务(es是容器名称)
docker restart es
docker restart kibana

# 查看 日志
docker logs -f es

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。

文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/116467.html

赞 (0)
seven_的头像seven_bm
0 0

相关推荐

发表回复

登录后才能评论
极客之音——专业性很强的中文编程技术网站，欢迎收藏到浏览器，订阅我们！