Kafka接入到Graylog5.1
(图片点击放大查看)
一、Kafka单节点部署
1、安装JDK+kafka
yum install -y java-1.8.0-openjdk.x86_64 java-1.8.0-openjdk-devel.x86_64 java-1.8.0-openjdk-headless.x86_64
java -version
(图片点击放大查看)
(图片点击放大查看)
tar -zvxf kafka_2.13-3.5.1.tgz -C /opt
cd /opt
mv kafka_2.13-3.5.1 kafka
echo "export KAFKA_HOME=/opt/kafka" >> /etc/profile
echo 'export PATH=$PATH:$KAFKA_HOME/bin' >> /etc/profile
source /etc/profile
2、启动kafka
zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties &
kafka-server-start.sh -daemon /opt/kafka/config/server.properties
(图片点击放大查看)
如果有开启防火墙，需要放通2181 9092端口
firewall-cmd –permanent –zone=public –add-port=2181/tcp
firewall-cmd –permanent –zone=public –add-port=9092/tcp
firewall-cmd –reload
(图片点击放大查看)
3、创建测试的topic并测试生产消费topic
kafka-console-producer.sh --topic security-events --bootstrap-server 192.168.31.222:9092
kafka-console-consumer.sh --topic security-events --from-beginning --bootstrap-server 192.168.31.222:9092
(图片点击放大查看)
二、Kafka接入到Graylog
1、新建Raw/Plaintext Kafka类型的Input
填入Bootstrap Servers、Zookeeper的IP地址与端口、Topic的正则表达式
(图片点击放大查看)
(图片点击放大查看)
Consumer group id根据实际情况填写
(图片点击放大查看)
(图片点击放大查看)
2、创建Stream用于单独获取Kafka Input的日志数据
(图片点击放大查看)
(图片点击放大查看)
3、最后的效果：查看Kafka接入的日志
(图片点击放大查看)
(图片点击放大查看)
原文始发于微信公众号（WalkingCloud）：Kafka接入到Graylog5.1
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/243414.html
