Kafka共0篇
Kafka
排序
消息队列 CKafka 跨洋数据同步性能优化
导语 本文主要介绍了 CKafka 在跨洋场景中遇到的一个地域间数据同步延时大的问题，跨地域延时问题比较典型，所以详细记录下来做个总结。 一. 背景 为了满足客户跨地域容灾、冷备的诉求，消息队...
2年前
手记系列之六 —– 分享个人使用kafka经验
前言 本篇文章主要介绍的关于本人从刚工作到现在使用kafka的经验，内容非常多，包含了kafka的常用命令，在生产环境中遇到的一些场景处理，kafka的一些web工具推荐等等。由于kafka这块的记录以及...
2年前
SpringBoot3集成Kafka
目录一、简介二、环境搭建1、Kafka部署2、Kafka测试3、可视化工具三、工程搭建1、工程结构2、依赖管理3、配置文件四、基础用法1、消息生产2、消息消费五、参考源码 标签：Kafka3.Kafka-eagle3；...
2年前
从Kafka中学习高性能系统如何设计 | 京东云技术团队
1 前言 相信各位小伙伴之前或多或少接触过消息队列，比较知名的包含Rocket MQ和Kafka，在京东内部使用的是自研的消息中间件JMQ，从JMQ2升级到JMQ4的也是带来了性能上的明显提升，并且JMQ4的底层...
2年前大碗宽面-Kafka一本道万事通
前言 时隔小一个月，博主又更新啦。本文以chatGPT总结为基础，各种博客或者大佬个人网站的分享为补充，最后推出自己的口语化总结，力求打造一本完善的，体系化的Kafka理论知识宝典。本文分为五...
2年前
Kafka关键原理
日志分段切分条件 日志分段文件切分包含以下4个条件，满足其一即可： 当前日志分段文件的大小超过了broker端参数 log.segment.bytes 配置的值。log.segment.bytes参数的默认值为 1073741824，即...
2年前
Kafka-基础
1. 简介 Kafka（Apache Kafka） 是一种分布式流数据平台，最初由LinkedIn开发，并于后来捐赠给Apache软件基金会，成为了一个Apache顶级项目。它被设计用于处理大规模、实时的数据流，并为构建高...
2年前
基于 DTS 同步 MySQL 全增量数据至 CKafka，构建实时数仓的最佳实践
背景介绍 随着 IT 技术与大数据的不断发展，越来越多的企业开始意识到数据的价值，通过大数据分析，可以帮助企业更深入地了解用户需求、更好地洞察市场趋势。目前大数据分析在每个业务运营中都...
2年前
【实战分享】使用 Go 重构流式日志网关
项目背景 分享之前，先来简单介绍下该项目在流式日志处理链路中所处的位置。 流式日志网关的主要功能是提供 HTTP 接口，接收 CDN 边缘节点上报的各类日志（访问日志/报错日志/计费日志等），将...
2年前
面试官提问： Kafka 是如何做到消息不丢或不重复的？
你好，我是肖恩。相信大家在工作中都用过消息队列，特别是 Kafka 使用得更是普遍，业务工程师在使用 Kafka 的时候除了担忧 Kafka 服务端宕机外，其实最怕如下这样两件事。 消息丢失。 下游系统...
2年前
分布式流处理组件-理论篇：Broker
? 作者：谢先生。 2014年入行的程序猿。多年开发和架构经验。专注于Java、云原生、大数据等技术。从CRUD入行，负责过亿级流量架构的设计和落地，解决了千万级数据治理问题。 ? 微信公众号、B站...
2年前
从Kafka中学习高性能系统如何设计
1 前言 相信各位小伙伴之前或多或少接触过消息队列，比较知名的包含Rocket MQ和Kafka，在京东内部使用的是自研的消息中间件JMQ，从JMQ2升级到JMQ4的也是带来了性能上的明显提升，并且JMQ4的底层...
2年前
kafka高性能设计原理
Kafka系统架构 Kafka是一个分布式流处理平台，具有高性能和可伸缩性的特点。它使用了一些关键的设计原则和技术，以实现其高性能。 上图是Kafka的架构图，Producer生产消息，以Partition的维度，...
2年前
面试官提问：Kafka 高吞吐架设计在生产端是如何体现的？
Kafka 一个特点就是吞吐量大，而且是大数据场景的首选消息队列。根据真实生产环境数据，Kafka 单机能达到同时生产和消费百万级量级的数据量。 这到底是怎样的一个概念呢？我们结合生产环境中对...
2年前
Kafka两种集群详解和搭建教程
Kafka是一个能够支持高并发以及流式消息处理的消息中间件，并且Kafka天生就是支持集群的，今天就主要来介绍一下如何搭建Kafka集群。 Kafka目前支持使用Zookeeper模式搭建集群以及KRaft模式（即...
2年前
Kafka再平衡
Kafka 再平衡 1 何为 Kafka 再平衡 再平衡就是一个协议，它规定了如何让消费组下的所有消费者来分配 Topic 中的每一个分区。例如：一个 Topic 有 100 个分区，一个消费者组内有有 20 个消费者...
2年前Spark消费Kafka数据多线程异常的解决方案
我正在参加「掘金·启航计划」 概述 KafkaConsumer is not safe for multi-threaded access的报错通常是因为KafkaConsumer被多个线程共享导致的。在Kafka 2.4版本的源码中我看到该特性仍然不被...
2年前
kafka如何保证消息不丢
概述 Kafka架构如下，主要由 Producer、Broker、Consumer 三部分组成。一条消息从生产到消费完成这个过程，可以划分三个阶段，生产阶段、存储阶段、消费阶段。 生产阶段: 在这个阶段，从消息在 ...
2年前
kafka Topic not present in metadata after 200 ms 引发的思考（上）
前言 有天有位同学跟我说，一直没收到我的“消息”，然后看了眼日志： 发现线上居然有几十个kafka异常，其中就有我的topic send时的异常: throwable :[org.apache.kafka.common.errors.TimeoutE...
2年前
macOS 系统 Kafka 快速入门
Kafka 的核心功能是高性能的消息发送与高性能的消息消费。以下是 Kafka 的快速入门教程。 下载并解压缩 Kafka 二进制代码压缩文件 打开 Kafka 官网的下载地址，可以看到不同版本的 Kafka 二进制...
2年前