你好，我是肖恩。相信大家在工作中都用过消息队列，特别是 Kafka 使用得更是普遍，业务工程师在使用 Kafka 的时候除了担忧 Kafka 服务端宕机外，其实最怕如下这样两件事。 消息丢失。 下游系统...

1 前言 相信各位小伙伴之前或多或少接触过消息队列，比较知名的包含Rocket MQ和Kafka，在京东内部使用的是自研的消息中间件JMQ，从JMQ2升级到JMQ4的也是带来了性能上的明显提升，并且JMQ4的底层...

Kafka 一个特点就是吞吐量大，而且是大数据场景的首选消息队列。根据真实生产环境数据，Kafka 单机能达到同时生产和消费百万级量级的数据量。 这到底是怎样的一个概念呢？我们结合生产环境中对...

前言 继上篇《kafka Topic not present in metadata after 200 ms 引发的思考（上）》，我们尝试下重试方案是否可行。 尝试自己重试方案 package com.onepiece.kafka.listener; import com.onep...

项目背景 分享之前，先来简单介绍下该项目在流式日志处理链路中所处的位置。 流式日志网关的主要功能是提供 HTTP 接口，接收 CDN 边缘节点上报的各类日志（访问日志/报错日志/计费日志等），将...

前言 消息的消费一般有两种模式，推模式和拉模式。推模式是服务端主动将消息推送给消费者，而拉模式是消费者主动向服务端发起请求来拉取消息。kakfa采用的是拉模式，这样可以很好的控制消费速率...

前言 kafka集群是由多个broker节点组成，这里面包含了许多的知识点，以下的这些问题你都知道吗? 你知道topic的分区leader是怎么选举的吗？ 你知道zookeeper中存储了kafka的什么信息吗？起到什么...

1. 系统介绍 浏览记录系统主要用来记录京东用户的实时浏览记录，并提供实时查询浏览数据的功能。在线用户访问一次商品详情页，浏览记录系统就会记录用户的一条浏览数据，并针对该浏览数据进行商...

前言 本篇文章主要介绍的关于本人从刚工作到现在使用kafka的经验，内容非常多，包含了kafka的常用命令，在生产环境中遇到的一些场景处理，kafka的一些web工具推荐等等。由于kafka这块的记录以及...

1. 简介 Kafka（Apache Kafka） 是一种分布式流数据平台，最初由LinkedIn开发，并于后来捐赠给Apache软件基金会，成为了一个Apache顶级项目。它被设计用于处理大规模、实时的数据流，并为构建高...

Kafka系统架构 Kafka是一个分布式流处理平台，具有高性能和可伸缩性的特点。它使用了一些关键的设计原则和技术，以实现其高性能。 上图是Kafka的架构图，Producer生产消息，以Partition的维度，...

Kafka 的核心功能是高性能的消息发送与高性能的消息消费。以下是 Kafka 的快速入门教程。 下载并解压缩 Kafka 二进制代码压缩文件 打开 Kafka 官网的下载地址，可以看到不同版本的 Kafka 二进制...

基本概念 简介 Kafka 最初是由 LinkedIn 即领英公司基于 Scala 和 Java 语言开发的分布式消息发布-订阅系统，现已捐献给Apache 软件基金会。其具有高吞吐、低延迟的特性，许多大数据实时流式处...

前言 天下武功，唯快不破。同样的，kafka在消息队列领域，也是非常快的，这里的块指的是kafka在单位时间搬运的数据量大小，也就是吞吐量，下图是搬运网上的一个性能测试结果，在同步发送场景下...

? 作者：谢先生。 2014年入行的程序猿。多年开发和架构经验。专注于Java、云原生、大数据等技术。从CRUD入行，负责过亿级流量架构的设计和落地，解决了千万级数据治理问题。 ? 微信公众号、B站...

1、引言 在大数据时代，实时数据处理和流式数据分析变得越来越重要。为了应对大规模数据的高吞吐量和低延迟处理需求，出现了各种分布式流处理平台。其中，Apache Kafka作为一种高性能、可扩展的...

系统架构 主题topic和分区partition topic Kafka中存储数据的逻辑分类；你可以理解为数据库中“表”的概念；比如，将app端日志、微信小程序端日志、业务库订单表数据分别放入不同的topic partit...

Kafka 再平衡 1  何为 Kafka 再平衡 再平衡就是一个协议，它规定了如何让消费组下的所有消费者来分配 Topic 中的每一个分区。例如：一个 Topic 有 100 个分区，一个消费者组内有有 20 个消费者...