filebeat同时采集多个日志时,logstash和filebeat的文件配置

导读:本篇文章讲解 filebeat同时采集多个日志时,logstash和filebeat的文件配置,希望对大家有帮助,欢迎收藏,转发!站点地址:www.bmabk.com

1.filebeat配置文件:

filebeat.inputs:
– type: log
  enabled: true
  paths:
  – /usr/local/nginx/logs/access-json.log
  fields:
    filetype: logjson #加这个两个文件就是区分的
    fields_under_root: true
– type: log
  enabled: true 
  paths:
  – /var/log/messages
  fields:
    filetype: logsystem
    fields_under_root: true

output.logstash:
  enabled: true
  hosts: [“localhost:5044”]   #如果ip不通把localhost换成你的ip

【fields:自定义字段
fields_under_root:为true,则自定义字段将为文档中的顶级字段。】

2.logstash配置

input {
  beats {
  host => “0.0.0.0”
  port => 5044
  }
}

filter {                                                        //filter主要是用来过滤和重组,使输出达到自己的预期

  if [fields][filetype] == “logjson” {
    json {
     source => “message”
     remove_field => [“beat”,”offset”,”tags”,”prospector”]
   }
  date {
    match => [“timestamp”, “dd/MMM/yyyy:HH:mm:ss Z”]
    target => “@timestamp”
  }
 }
}

output {
  if [fields][filetype]== “logjson” {
    elasticsearch {
    hosts => [“127.0.0.1:9200”]
    index => “json-%{+YYYY.MM.dd}”
  }
} else if [fields][filetype] == “logsystem” {
  elasticsearch {
  hosts => [“127.0.0.1:9200”]
  index => “msg-%{+YYYY.MM.dd}”
  }
}
}

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由极客之音整理,本文链接:https://www.bmabk.com/index.php/post/106864.html

(0)
小半的头像小半

相关推荐

极客之音——专业性很强的中文编程技术网站,欢迎收藏到浏览器,订阅我们!