目录一、简介二、环境搭建1、Kafka部署2、Kafka测试3、可视化工具三、工程搭建1、工程结构2、依赖管理3、配置文件四、基础用法1、消息生产2、消息消费五、参考源码 标签：Kafka3.Kafka-eagle3；...

消息队列 消息队列模式 点对点 生产者生产消息发送到Queue，消费者从Queue取出数据，并消费数据，数据被消费，Queue不再存储，Queue支持多个消费者，一条消息只能被消费一次（只有一个消费者可...

前言 最近我总是在做大胆的事情，莫不是少年也需要冲冲冲，明明我不是这样的人啊，难不成这就是命运，来自命运石之门的选择！废话不多说，本次是Kafka的实战篇，为什么这篇这么快呢？看了开头部...

第一次接触 Kafka，想要写个 Demo 测试一下，就用 Docker 直接在本地部署了一个，测试的时候踩了个坑：默认配置下从容器外没法连接到容器内部。记录一下解决过程。 部署和配置 使用的是镜像是 b...

概述 Kafka架构如下，主要由 Producer、Broker、Consumer 三部分组成。一条消息从生产到消费完成这个过程，可以划分三个阶段，生产阶段、存储阶段、消费阶段。 生产阶段: 在这个阶段，从消息在 ...

消费者位移 每个 consumer 实例都会为它消费的分区维护属于自己的位置信息来记录当前消费了多少条消息。这在 Kafka 中有一个特有的术语：位移(offset)。 相比较将offset保存在服务器端(broker)...

? 作者：谢先生。 2014年入行的程序猿。多年开发和架构经验。专注于Java、云原生、大数据等技术。从CRUD入行，负责过亿级流量架构的设计和落地，解决了千万级数据治理问题。 ? 微信公众号、B站...

1、消息丢失问题 RabbitMQ解决消息丢失的问题： RabbitMQ通过消息持久化和消息确认机制来确保消息的可靠传递。生产者可以选择将消息标记为持久化，使得即使在消息队列服务器故障后，消息也能被...

日志分段切分条件 日志分段文件切分包含以下4个条件，满足其一即可： 当前日志分段文件的大小超过了broker端参数 log.segment.bytes 配置的值。log.segment.bytes参数的默认值为 1073741824，即...

? 作者：谢先生。 2014年入行的程序猿。多年开发和架构经验。专注于Java、云原生、大数据等技术。从CRUD入行，负责过亿级流量架构的设计和落地，解决了千万级数据治理问题。 ? 微信公众号、B站...

继续上一篇 盘一盘高性能设计的那些点（一） 文章，继续探讨高性能设计的一些点！ 一、顺序访问 磁盘内容读取或写入操作都会涉及到一个【寻址过程】，首先找到需要读取或写入的位置，然后去操作...

前言 本文是基于Kafka 2.7版本，参考《Apache Kafka源码剖析》这本书做的学习笔记 什么情况下会触发Rebalance操作 有新的消费者加入Consumer Group 有消费者主动退出Consumer Group 消费者宕机...

导语 本文主要介绍了 CKafka 在跨洋场景中遇到的一个地域间数据同步延时大的问题，跨地域延时问题比较典型，所以详细记录下来做个总结。 一. 背景 为了满足客户跨地域容灾、冷备的诉求，消息队...

背景介绍 随着 IT 技术与大数据的不断发展，越来越多的企业开始意识到数据的价值，通过大数据分析，可以帮助企业更深入地了解用户需求、更好地洞察市场趋势。目前大数据分析在每个业务运营中都...

Kafka是一个能够支持高并发以及流式消息处理的消息中间件，并且Kafka天生就是支持集群的，今天就主要来介绍一下如何搭建Kafka集群。 Kafka目前支持使用Zookeeper模式搭建集群以及KRaft模式（即...

你好，我是肖恩。相信大家在工作中都用过消息队列，特别是 Kafka 使用得更是普遍，业务工程师在使用 Kafka 的时候除了担忧 Kafka 服务端宕机外，其实最怕如下这样两件事。 消息丢失。 下游系统...

1 前言 相信各位小伙伴之前或多或少接触过消息队列，比较知名的包含Rocket MQ和Kafka，在京东内部使用的是自研的消息中间件JMQ，从JMQ2升级到JMQ4的也是带来了性能上的明显提升，并且JMQ4的底层...