1 前言 相信各位小伙伴之前或多或少接触过消息队列，比较知名的包含Rocket MQ和Kafka，在京东内部使用的是自研的消息中间件JMQ，从JMQ2升级到JMQ4的也是带来了性能上的明显提升，并且JMQ4的底层...

背景介绍 随着 IT 技术与大数据的不断发展，越来越多的企业开始意识到数据的价值，通过大数据分析，可以帮助企业更深入地了解用户需求、更好地洞察市场趋势。目前大数据分析在每个业务运营中都...

1 前言 相信各位小伙伴之前或多或少接触过消息队列，比较知名的包含Rocket MQ和Kafka，在京东内部使用的是自研的消息中间件JMQ，从JMQ2升级到JMQ4的也是带来了性能上的明显提升，并且JMQ4的底层...

Kafka 和 RabbitMQ 都是流行的开源消息系统，它们可以在分布式系统中实现数据的可靠传输和处理。Kafka 和 RabbitMQ 有各自的优势和特点，它们适用于不同的场景和需求。本文将比较 Kafka 和 Rabb...

? 作者：谢先生。 2014年入行的程序猿。多年开发和架构经验。专注于Java、云原生、大数据等技术。从CRUD入行，负责过亿级流量架构的设计和落地，解决了千万级数据治理问题。 ? 微信公众号、B站...

前言 本文是基于Kafka 2.7版本，参考《Apache Kafka源码剖析》这本书做的学习笔记 什么情况下会触发Rebalance操作 有新的消费者加入Consumer Group 有消费者主动退出Consumer Group 消费者宕机...

1、介绍 Apache Avro 是一种高效的数据序列化系统，用于在不同的应用程序和平台之间传输和存储数据。它提供了一种紧凑且高效的二进制数据编码格式，相比其他常见的序列化方式，Avro能够实现更快...

前言 继上篇《kafka Topic not present in metadata after 200 ms 引发的思考（上）》，我们尝试下重试方案是否可行。 尝试自己重试方案 package com.onepiece.kafka.listener; import com.onep...

前言 有天有位同学跟我说，一直没收到我的“消息”，然后看了眼日志： 发现线上居然有几十个kafka异常，其中就有我的topic send时的异常: throwable :[org.apache.kafka.common.errors.TimeoutE...

Kafka是一个能够支持高并发以及流式消息处理的消息中间件，并且Kafka天生就是支持集群的，今天就主要来介绍一下如何搭建Kafka集群。 Kafka目前支持使用Zookeeper模式搭建集群以及KRaft模式（即...

? 作者：谢先生。 2014年入行的程序猿。多年开发和架构经验。专注于Java、云原生、大数据等技术。从CRUD入行，负责过亿级流量架构的设计和落地，解决了千万级数据治理问题。 ? 微信公众号、B站...

日志分段切分条件 日志分段文件切分包含以下4个条件，满足其一即可： 当前日志分段文件的大小超过了broker端参数 log.segment.bytes 配置的值。log.segment.bytes参数的默认值为 1073741824，即...

前言 本篇文章主要介绍的关于本人从刚工作到现在使用kafka的经验，内容非常多，包含了kafka的常用命令，在生产环境中遇到的一些场景处理，kafka的一些web工具推荐等等。由于kafka这块的记录以及...

系统架构 主题topic和分区partition topic Kafka中存储数据的逻辑分类；你可以理解为数据库中“表”的概念；比如，将app端日志、微信小程序端日志、业务库订单表数据分别放入不同的topic partit...

前言 kafka集群是由多个broker节点组成，这里面包含了许多的知识点，以下的这些问题你都知道吗? 你知道topic的分区leader是怎么选举的吗？ 你知道zookeeper中存储了kafka的什么信息吗？起到什么...

前言 消息的消费一般有两种模式，推模式和拉模式。推模式是服务端主动将消息推送给消费者，而拉模式是消费者主动向服务端发起请求来拉取消息。kakfa采用的是拉模式，这样可以很好的控制消费速率...

前言 天下武功，唯快不破。同样的，kafka在消息队列领域，也是非常快的，这里的块指的是kafka在单位时间搬运的数据量大小，也就是吞吐量，下图是搬运网上的一个性能测试结果，在同步发送场景下...

前言 现在假定这么一个业务场景，从kafka中的topic获取消息数据，经过一定加工处理后，发送到另外一个topic中，要求整个过程消息不能丢失，也不能重复发送，即实现端到端的Exactly-Once精确一次...

项目背景 分享之前，先来简单介绍下该项目在流式日志处理链路中所处的位置。 流式日志网关的主要功能是提供 HTTP 接口，接收 CDN 边缘节点上报的各类日志（访问日志/报错日志/计费日志等），将...