更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 数据飞轮，正在为消费行业的数字化升级提供一套全新模式。 在刚刚结束的《全链路增长：数据飞轮转动消...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 Data Catalog公有云遇到的挑战 Data Catalog经历了一个从0到1在火山引擎公有云部署并逐步优化和迭代发...

序言 笔者从事流计算多年，真名叫李劲松，简写 LJS，Apache ID 也是 lzljs (泸州李劲松)，而流计算简写也是 LJS，算是一种缘分吧。 一直在分布式计算与存储的领域工作，也参与了多个开源项目，...

深度学习的模型规模越来越庞大，其训练数据量级也成倍增长，这对海量训练数据的存储方案也提出了更高的要求：怎样更高性能地读取训练样本、不使数据读取成为模型训练的瓶颈，怎样更高效地支持特...

一、前言 QUIC作为新生代的网络协议，其在设计之初就充分考虑了防止反射放大在内的安全风险。然而火山引擎Anti-DDoS团队经过研究发现：现网实际存在大量可被利用作反射放大的QUIC server，而且...

背景: MapReduce是谷歌于2004年提出的一种用于并行处理海量数据的算法模型。 MapReduce、 GFS、和Bigtable被成为谷歌分布式系统的'三驾马车', 共同开启了工业化的大数据时代,。虽然谷歌公开了Ma...

摘要：本文整理自腾讯专家级工程师李天旺，在 Flink Forward Asia 2022 AI 特征工程专场的分享。本篇内容主要分为四个部分： 背景介绍 平台架构的实践 线上运营的挑战 质量保障 点击查看原文视...

By AWS Team 前言 随着企业规模的扩大，业务数据的激增，我们会使用 Hadoop/Spark 框架来处理大量数据的 ETL/聚合分析作业，⽽这些作业将需要由统一的作业调度平台去定时调度。 在 Amazon EMR ...

作者：肖康，SelectDB 技术 副总裁 、Apache Doris Committer 日志数据是企业大数据体系中重要的组成部分之一，这些数据记录了网络设备、操作系统以及应用程序的详细历史行为，蕴含了丰富的信息...

本文介绍Flink的安装步骤，主要是Flink的独立部署模式，它不依赖其他平台。文中内容分为4块：前置准备、Flink本地模式搭建、Flink Standalone搭建、Flink Standalong HA搭建。 演示使用的Flink...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 前言 Data Catalog 通过汇总技术和业务元数据，解决大数据生产者组织梳理数据、数据消费者找数和理解数...

摘要：本文整理自货拉拉实时研发平台负责人王世涛，在Flink Forward Asia 2022 平台建设专场的分享。本篇内容主要分为六个部分： Flink 在货拉拉的使用现状 Flink 平台化 性能优化主题 数据准确...

在如今这个数据驱动的时代，Apache Doris 已经成为众多企业不可或缺的重要数据平台，帮助企业实现海量数据的实时查询分析，助力企业的业务决策更加高效实时。 作为广受认可的开源实时数据仓库，...

一、大数据双流建设 1.1 数据双流 大数据时代，越来越多的业务依赖实时数据用于决策，比如促销调整，点击率预估、广告分佣等。为了保障业务的顺利开展，也为了保证整体大数据链路的高可用性，越...

相信你读完上一节的《10分钟入门Flink--了解Flink》对Flink已经有初步了解了。这是继第一节之后的Flink入门系列的第二篇，本篇主要内容是是：了解Flink运行模式、Flink调度原理、Flink分区、Fli...

当人们说“调试器是无用的，使用日志和单元测试更好”时，我怀疑他们中的许多人认为调试器只能在某些行上设置断点，一步一步地通过代码，并检查变量值。虽然任何合理的调试器都可以做到这一切，...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 平台架构总结 火山引擎 DataLeap SLA平台整体主要分为基础组件、规划式治理服务、响应式治理服务三大块...

背景介绍 ByConity适合多种业务场景，在实时数据接入、大宽表聚合查询、海量数据下复杂分析计算、多表关联查询场景下有非常好的性能。我们用一个实际的业务场景来介绍下，这套行为分析系统是基...