1. 简介 Kafka（Apache Kafka） 是一种分布式流数据平台，最初由LinkedIn开发，并于后来捐赠给Apache软件基金会，成为了一个Apache顶级项目。它被设计用于处理大规模、实时的数据流，并为构建高...

目录一、简介二、环境搭建1、Kafka部署2、Kafka测试3、可视化工具三、工程搭建1、工程结构2、依赖管理3、配置文件四、基础用法1、消息生产2、消息消费五、参考源码 标签：Kafka3.Kafka-eagle3；...

第一次接触 Kafka，想要写个 Demo 测试一下，就用 Docker 直接在本地部署了一个，测试的时候踩了个坑：默认配置下从容器外没法连接到容器内部。记录一下解决过程。 部署和配置 使用的是镜像是 b...

? 作者：谢先生。 2014年入行的程序猿。多年开发和架构经验。专注于Java、云原生、大数据等技术。从CRUD入行，负责过亿级流量架构的设计和落地，解决了千万级数据治理问题。 ? 微信公众号、B站...

前言 最近我总是在做大胆的事情，莫不是少年也需要冲冲冲，明明我不是这样的人啊，难不成这就是命运，来自命运石之门的选择！废话不多说，本次是Kafka的实战篇，为什么这篇这么快呢？看了开头部...

消息队列 消息队列模式 点对点 生产者生产消息发送到Queue，消费者从Queue取出数据，并消费数据，数据被消费，Queue不再存储，Queue支持多个消费者，一条消息只能被消费一次（只有一个消费者可...

概述 Kafka架构如下，主要由 Producer、Broker、Consumer 三部分组成。一条消息从生产到消费完成这个过程，可以划分三个阶段，生产阶段、存储阶段、消费阶段。 生产阶段: 在这个阶段，从消息在 ...

Kafka 一个特点就是吞吐量大，而且是大数据场景的首选消息队列。根据真实生产环境数据，Kafka 单机能达到同时生产和消费百万级量级的数据量。 这到底是怎样的一个概念呢？我们结合生产环境中对...

你好，我是肖恩。相信大家在工作中都用过消息队列，特别是 Kafka 使用得更是普遍，业务工程师在使用 Kafka 的时候除了担忧 Kafka 服务端宕机外，其实最怕如下这样两件事。 消息丢失。 下游系统...

导语 本文主要介绍了 CKafka 在跨洋场景中遇到的一个地域间数据同步延时大的问题，跨地域延时问题比较典型，所以详细记录下来做个总结。 一. 背景 为了满足客户跨地域容灾、冷备的诉求，消息队...

1. 系统介绍 浏览记录系统主要用来记录京东用户的实时浏览记录，并提供实时查询浏览数据的功能。在线用户访问一次商品详情页，浏览记录系统就会记录用户的一条浏览数据，并针对该浏览数据进行商...

1、引言 在大数据时代，实时数据处理和流式数据分析变得越来越重要。为了应对大规模数据的高吞吐量和低延迟处理需求，出现了各种分布式流处理平台。其中，Apache Kafka作为一种高性能、可扩展的...

1、消息丢失问题 RabbitMQ解决消息丢失的问题： RabbitMQ通过消息持久化和消息确认机制来确保消息的可靠传递。生产者可以选择将消息标记为持久化，使得即使在消息队列服务器故障后，消息也能被...

继续上一篇 盘一盘高性能设计的那些点（一） 文章，继续探讨高性能设计的一些点！ 一、顺序访问 磁盘内容读取或写入操作都会涉及到一个【寻址过程】，首先找到需要读取或写入的位置，然后去操作...

消费者位移 每个 consumer 实例都会为它消费的分区维护属于自己的位置信息来记录当前消费了多少条消息。这在 Kafka 中有一个特有的术语：位移(offset)。 相比较将offset保存在服务器端(broker)...

Kafka 的核心功能是高性能的消息发送与高性能的消息消费。以下是 Kafka 的快速入门教程。 下载并解压缩 Kafka 二进制代码压缩文件 打开 Kafka 官网的下载地址，可以看到不同版本的 Kafka 二进制...

Kafka 再平衡 1  何为 Kafka 再平衡 再平衡就是一个协议，它规定了如何让消费组下的所有消费者来分配 Topic 中的每一个分区。例如：一个 Topic 有 100 个分区，一个消费者组内有有 20 个消费者...