EKL-日志收集系统安装

ELK其实就是Elasticsearch，Logstash，Kibana三个开源软件的首字母的简写，Logstash是日志收集引擎，Elasticsearch存储日志和快速搜索，Kibana展示日志信息。

一、下载：Releases · elastic/elasticsearch · GitHub

注意三个要相同的版本号，选择自己中意的版本，我比较喜欢7.17.3版本。

二、安装

下载完毕，把三个zip文件放到 /opt/elk目录下

1、Elasticsearch 安装

切到 /opt/elk 目录下解压

tar -zxvf elasticsearch-7.17.3-linux-x86_64.tar.gz

增加用户

groupadd elastic

useradd -g elastic elastic

chown -R elastic:elastic /opt/elk

启动( 切换至 elastic 用户进行启动)

cd /opt/elk/elasticsearch

./bin/elasticsearch

启动报错处理（切回rootyong）

[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]

[2]: max number of threads [3800] for user [esuser] is too low, increase to at least [4096]

[3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least

# 切换root用户

[root@localhost config]# vi /etc/security/limits.conf

# 添加如下4行内容

*        soft    nofile      65536

*        hard    nofile      65536

*        soft    nproc       4096

*        hard    nproc       4096

[root@localhost config]# vi /etc/sysctl.conf

# 添加下面这行

vm.max_map_count=655360

重新加载/etc/sysctl.conf配置

# sysctl -p

Elasticsearch 设置密码

******加密方式需要预先设置：在es根目录下

# bin/elasticsearch-certutil ca

# bin/elasticsearch-certutil cert –ca elastic-stack-ca.p12

# config下创建certs目录

# mv elastic-stack-ca.p12 ./config/certs/elastic-stack-ca.p12

修改配置文件

#密码设置
xpack.security.enabled: true
## 加密方式
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: certs/elastic-stack-ca.p12
xpack.security.transport.ssl.truststore.path: certs/elastic-stack-ca.p12

network.host: 0.0.0.0
http.port: 9200

#允许跨域
http.cors.enabled: true
http.cors.allow-origin: "*"

#集群配置
cluster.name: elasticsearch

cluster.initial_master_nodes: ["node-1"]

再次启动（后台启动，切换 elastic 用户）

./bin/elasticsearch -d

设置密码

# ./bin/elasticsearch-setup-passwords interactive

安装插件（分词器，管道） **** 最后在 plugins文件夹下解压之后，删除zip文件。

安装分词器插件

解压插件

# unzip elasticsearch-analysis-ik-7.17.3.zip -d elasticsearch-analysis-ik

# unzip elasticsearch-analysis-pinyin-7.17.3.zip -d elasticsearch-analysis-pinyin

安装管道插件

# unzip ingest-attachment-7.17.3.zip -d ingest-attachment

浏览器输入 ip:9200 ，输入用户名和密码，可以看到如此界面，表示安装成功

如果机器内存小可以修改config下的jvm.options配置文件

-Xms512m
-Xmx512m

2、Kibana安装

解压

tar -zxvf kibana-7.17.3-linux-x86_64.tar.gz

在/config目录下的kibana.yml文件，修改配置

# Kibana 端口号
server.port: 5601
server.host: "0.0.0.0"
# elasticsearch的地址
elasticsearch.hosts: ["http://XX.XX.XX.XX:9200"]

后台启动

cd /opt/elk/kibana-7.17.3-linux-x86_64

nohup ./bin/kibana &

浏览器输入 ip:5601

3、Logstash安装

解压

tar -zxvf logstash-7.17.3-linux-x86_64.tar.gz

复制一份 logstash-sample.conf 成 logstash.conf，然后进行修改配置

input {
  file{
    path => ['/opt/elk/elasticsearch-7.17.3/logs/*.log']
    type => 'es_log'
    start_position => "beginning"
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "elasticsearch_log-%{+YYYY.MM.dd}"
    user => "elastic"
    password => "elastic"
  }
}

用户赋权