kafka
-
抽丝剥茧：线上突发多次Full GC，终于解决了…..
今天分享一个项目jvm多次fgc的整个排查流程 上班后不久运维突然通知我们组，有一个应用在短时间内多次fgc，即将处于挂掉的状态。我登录skywalking，观察应用整体状况 交代…
-
大数据技术栈之-离线数仓构建
前言 上一篇说了实时数仓并写了一个简单的例子，这些主要来说离线数仓，数据到达kafka后，走了实时和离线两条路，离线条路线的主要流程是采集kafka的数据HDFS中，然后使用Hiv…
-
Kafka主题，分区，副本介绍
介绍 今天分享一下kafka的主题(topic)，分区(partition)和副本(replication)，主题是Kafka中很重要的部分，消息的生产和消费都要以主题为基础，一个…
-
聊一下kafka的消费组
介绍 消费组是kafka中很重的概念，只有弄清楚消费组的概念，才能在项目中把它运用好，在kafka中，每个消费者都对应一个消费组，消费者可以是一个线程，一个进程，一个服务实例，如果…
-
kafka序列化器和拦截器
介绍 本篇主要介绍kafka的拦截器和序列化器，序列化器和数据在网络中的传输有关，数据在网络中的传输格式为字节流，所以生产者在发送时需要将其序列化为字节流，消费者收到消息时，需要将…
-
一文说清楚kafka消息丢失问题和解决方案
前言 kafka的消息丢失是一个很值得关注的问题，根据消息的重要性，消息丢失的严重性也会进行放大，如何从最大程度上保证消息不丢失，要从生产者，消费者，broker几个端来说。 消息…
-
kafka rebalance你真的了解吗
介绍 今天主要分享一下 kafka 的 rebalance，在 kafka 中，rebalance 是一个十分重要的概念，很多时候引发的一些问题可能都是由于 rebalance 引…
-
kafka高性能设计篇-消息批量发送
介绍 今天分享kafka的批量发送，在kafka中，生产者发送消息时可以批量发送的，我们知道，消息的发送需要经过网络，网络传输需要消耗时间的，所以如果我们每生产一条消息就发送，那么…
-
kafka高性能设计篇-内存池
前言 Kafka的内存池是一个用于管理内存分配的缓存区域。它通过在内存上保留一块固定大小的内存池，用于分配消息缓存、批处理缓存等对象，以减少频繁调用内存分配函数的开销。 Kafka…
-
聊一下软件设计中防腐层模式
你好，我们刘牌，热爱技术，更热爱生活！ 前言 今天分享一下防腐层模式，当两个系统或者服务之间进行交互时，难免会涉及到两个系统接口代码的修改，特别是两个老系统之间进行交互时，如果处理…
-
关于K8S Operator的那点“破”事
Kubernetes Operator是什么 K8S Operator这个东西不好解释，这么说吧，比如有一个应用程序，并且想要将其部署到 k8s 上，并且希望能够实现自动化运维和可…
-
OTA实现设备升级方案
引言 空中下载技术（Over-the-Air Technology， OTA）是通过移动通信的空中接口实现对移动终端设备进行远程管理的技术。 该技术在IOT行业非常的重要，当随着市…
-
flink读取kafka数据
命运对每个人都是一样的，不一样的是各自的努力和付出不同，付出的越多，努力的越多，得到的回报也越多，在你累的时候请看一下身边比你成功却还比你更努力的人，这样，你就会更有动力。
导读：本篇文章讲解 flink读取kafka数据，希望对大家有帮助，欢迎收藏，转发！站点地址：www.bmabk.com，来源：原文
-
java使用kafka消费topic数据
命运对每个人都是一样的，不一样的是各自的努力和付出不同，付出的越多，努力的越多，得到的回报也越多，在你累的时候请看一下身边比你成功却还比你更努力的人，这样，你就会更有动力。
导读：本篇文章讲解 java使用kafka消费topic数据，希望对大家有帮助，欢迎收藏，转发！站点地址：www.bmabk.com，来源：原文
-
实战干货｜自研数据存储迁移MySQL实战
背景 最近公司内部在做某自研数据存储的下线工作，这里我们暂且化名其为DistributeSQL，由于DistributeSQL不再进行服务支持，需要迁移项目中使用到该存储到其他…
-
一个开源的大数据分布式任务调度系统
《开源精选》是我们分享 Github、Gitee 等开源社区中优质项目的栏目，包括技术、学习、实用与各种有趣的内容。本期推荐的是一个开源的大数据分布式任务调度系统——Taier。 …
