【Kafka】Kafka概述

飞熊 • 2023年4月22日下午8:37 • 后端笔记 • 阅读 176

一、闲话

这是2023年的第一篇博客，祝大家在新的一年里一帆风顺，身体健康

二、基本要点

1、Kafka概述
Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue)，主要用于大数据实时处理领域

2、消息队列的好处

解耦：利用消息队列，可以将相应的消息发送到消息队列，这样的话，如果调用的接口出了问题，将不会影响到当前的功能
流量削峰：高流量的时候，使用消息队列作为中间件可以将流量的高峰保存在消息队列中，从而防止了系统的高请求，减轻服务器的请求处理压力
异步处理：不需要让流程走完就返回结果，可以将消息发送到消息队列中，然后返回结果，剩下让其他业务处理接口从消息队列中拉取消费处理即可，减少了客户的等待时间

3、消息队列的两种模式

点对点(一对一模式，消费者主动拉取消息，收到消息后清除消息)
生产者生产消息发送到队列Queue中，然后消费者从Queue中取出消息并消费，消息被消费后，Queue不再存储此消息。一条消息只能被一个消费者消费
发布/订阅模式(一对多模式，消费者消费消息后不会清除消息)
消息生产者将消息发布到topic中，同时有多个消息订阅者来消费该消息。与点对点模式不同的是，发布到topic的消息可以被所有消费者消费
此模式的消息消费有2种场景：一种是队列推送消息给消费者，另外一种是消费者主动去拉取(Kafka属于后者，此模式的优势在于可以由消费者自己去决定消息消费的速度，但是消费者要一直维持一个消息轮询任务，确认是否有新消息推送)

4、Kafka的基本架构

Producer：消息生产者，向Kafka中发布消息的角色
Consumer：消息消费者，即从Kafka中拉取消息消费的客户端
Broker：就是一台Kafka服务器，集群由多个broker组成，一个Broker可以容纳多个Topic
Topic：主题，可以理解为一个队列，生产者和消费者进行消息传递都是面向同一个Topic
Partition：分区，为了实现扩展性，一个非常大的Topic可以分布到多个Broker上，一个Topic可以分为多个Partition，每个Partition是一个有序的队列(分区有序，不能保证全局有序)
Consumer Group：消费者组，一个消费者组中可以存在多个消费者，消费者消费Broker中当前Topic的不同分区中的消息，消费者组之间互不影响，所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。某一个分区中的消息只能够一个消费者组中的一个消费者所消费
Replica：副本Replication，为保证集群中某个节点发生故障，节点上的Partition数据不丢失，Kafka可以正常的工作，Kafka提供了副本机制，一个Topic的每个分区有若干个副本，一个Leader和多个Follower（可以结合前面redis的集群进行理解）
Leader：每个分区多个副本的主角色，生产者发送数据的对象，以及消费者消费数据的对象都是Leader
Follower：每个分区多个副本的从角色，实时的从Leader中同步数据，保持和Leader数据的同步，Leader发生故障的时候，某个Follower会成为新的Leader
Zookeeper的作用
- 存储Kafka集群的信息，当作注册中心使用
- 存储消费者消费到的位置信息，即offset偏移量(0.9版本之前存在zk上，后面的版本都存在Kafka上)