kafka

导读：《架构设计》系列为极客时间李运华老师《从0开始学架构》课程笔记。本文为第十二部分。主要介绍了技术演进的动力和演进模式，如不同时期所面临的问题以及该如何处理。 关注公众号 回复…

安装 librdkafka git clone https://github.com/edenhill/librdkafka.git ./librdk…

本文大概记录了笔者在使用 Redis 过程中踩过的坑，以及相应的建议。 历史踩坑 笔者参与搭建、使用过百T的 Reids 集群以及数百T的磁盘存储集群，这些集群，有的支持异地容灾，…

点击关注公众号，利用碎片时间学习 众所周知，大数据产品作为底层平台，其运维监控一直是生产实践的痛点难点，且在稳定运行的基础之上往往还需要对性能进行评估优化，所以其监控系统的建设显得…

Spark作为一种通用的大数据分析引擎，集成了批处理、流式查询以及交互式查询于一体，其技术体系相当复杂，本文简要介绍了Spark中的基本架构和基本概念RDD和执行流程，以及Spar…

何谓数据异构，上周交易部门商品的同事过来做分享，又看到这个词，他的PPT里面是 数据库异构。其实我们以前做的事情，也是可以称之为数据异构。比如我们将DB里面的数据持久化到Redis…

点击关注公众号，实用技术文章及时了解 结论：Caffeine 是目前性能最好的本地缓存，因此，在考虑使用本地缓存时，直接选择 Caffeine 即可。 先看一个小例子，明白如何创建…

都说Java 8 是YYDS，那你注意到 Java 17 也是长期支持版本吗？目前按计划 JDK 19 将于今年 9 月发布 SpringBoot 正式支持Java 17，Kafk…

前言 Dubbo源码阅读分享系列文章，欢迎大家关注点赞 SPI实现部分 Dubbo-SPI机制 Dubbo-Adaptive实现原理 Dubbo-Activate实现原理 Dubb…

这些天手头有好几件事情都是和国产数据库选型相关的，因此这几天考虑国产数据库的事情比较多一些。昨天我讲了国产数据库的文档与服务知识网站的事情，后来和一位在软件行业协会干了一辈子的老朋…

让我们来到微观世界重新认识 Netty 在前面 Netty 源码解析系列 《聊聊 Netty 那些事儿》中，笔者带领大家从宏观世界详细剖析了 Netty 的整个运转流程。从一个网络…

点击加入： 后端技术内卷群，一起学习！ 背景 saas服务未来会面临数据安全、合规等问题。公司的业务需要沉淀一套私有化部署能力，帮助业务提升行业竞争力。为了完善平台系统能力、我们需…

Kafka 特性 高吞吐，低延迟；kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个主题可以分为多个分区，消费组对分区进行消费操作 可扩展性：kafka支持热扩展 持…

一、介绍 Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机…

一、偏移量 1.1 取消kafka偏移量 默认是使用kafka来管理偏移量，下面我们来取消他的管理机制，使用flink来管理偏移量，开启flink的容错重启机制，还有中间数据sta…

一、需求分析 1.KafkaSource根据经纬度查询高德API关联位置信息2.查询一条数据及时没有及时的返回，也可以异步Flink IO 1.1 数据样式 user001,A1,…