编译说明 对于大多数用户来说，使用官方预编译版本的Spark已经足够满足日常需求。只有在特定的场景和需求下，重新编译Spark才是必需的。 编译Spark源代码的场景、原因如下： 1.定制需求： 如果...

本文已收录至Github，推荐阅读 ? Java随想录 微信公众号：Java随想录 HBase（Hadoop Database）是一个开源的、分布式的、面向列的NoSQL数据库，它是构建在Hadoop之上的。HBase旨在提供可靠的、...

当人们说“调试器是无用的，使用日志和单元测试更好”时，我怀疑他们中的许多人认为调试器只能在某些行上设置断点，一步一步地通过代码，并检查变量值。虽然任何合理的调试器都可以做到这一切，...

摘要：本文整理自联通数科实时计算团队负责人、Apache StreamPark Committer 穆纯进在 Flink Forward Asia 2022 平台建设专场的分享，本篇内容主要分为四个部分： 实时计算平台背景介绍 Flink ...

摘要：本文整理自 OceanBase 架构师周跃跃，在 Flink Forward Asia 2022 实时湖仓专场的分享。本篇内容主要分为四个部分： 分布式数据库 OceanBase 关键技术解读 生态对接以及典型应用场景 Ocea...

摘要：HyG图计算引擎采用CSR格式来存储图的拓扑信息，CSR格式可以将稀疏矩阵的存储空间压缩，进而大大降低图的存储开销，同时具备访问效率高、格式易转化等优点。 本文分享自华为云社区《CSR格...

摘要：用户决定价值 英国大文豪狄更斯曾在《双城记》中说：“这是最好的时代，也是最坏的时代”。大浪淘沙之下，汽车产业的故事正是当下制造业最恢宏和吸睛的叙事，恢宏在于增长速度，吸睛则在...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 摘要 火山引擎大数据研发治理套件 DataLeap的Data Catalog系统通过汇总和组织各种元数据，解决了数据生...

摘要：本文整理自 XTransfer 技术专家, Flink CDC Maintainer 孙家宝，在 Flink Forward Asia 2022 数据集成专场的分享。本篇内容主要分为四个部分： MongoDB 在实时数仓的探索 MongoDB CDC Con...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 引入 「收钱吧到账15元。」 从北京大栅栏的糖葫芦铺子，到南京夫子庙的鸭血粉丝汤馆，再到广州珠江畔的...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 Data Catalog是一种元数据管理的服务，会收集技术元数据，并在其基础上提供更丰富的业务上下文与语义，...

深度学习的模型规模越来越庞大，其训练数据量级也成倍增长，这对海量训练数据的存储方案也提出了更高的要求：怎样更高性能地读取训练样本、不使数据读取成为模型训练的瓶颈，怎样更高效地支持特...

在快速发展的数据分析领域里，真正能够简化复杂的分析流程，让更多人都能像专家一样去而分析数据的工具必然会在这个领域产生变革性的影响。 ChatGPT和Noteable结合就能产生这样的影响！它结合了...

你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题，关注一下'张飞的猪大数据分享'吧，公众号会不定时的分享相关的知识和资料。 目录1、...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 数据飞轮，正在为消费行业的数字化升级提供一套全新模式。 在刚刚结束的《全链路增长：数据飞轮转动消...

在云原生计算时代，云存储使得海量数据能以低成本进行存储，但是这也给如何访问、管理和使用这些云上的数据提出了挑战。而 Iceberg 作为一种云原生的表格式，可以很好地应对这些挑战。本文将介...

1 UData-解决数据使用的最后一公里 1.1 背景 在大数据的范畴，我们经历了数据产业化的历程，从各个生产系统将数据收集起来，经过实时和离线的数据处理最终汇集在一起，成为我们的主题域数据，下...