一面数据原有的技术架构是在线下机房中使用 CDH 构建的大数据集群。自公司成立以来，每年都保持着高速增长，业务的增长带来了数据量的剧增。 在过去几年中，我们按照每 1 到 2 年的规划扩容硬件...

“工业流水线”的鼻祖，福特 T 型汽车[1]的电机装配，将组装过程拆成 29 道工序，将装备时间由平均二十分钟降到五分钟，效率提升四倍 ，下图图源[2]。 T 型汽车装配流水线 这种流水线的思想在数...

一、概述 MinIO 是在 GNU Affero 通用公共许可证 v3.0 下发布的高性能对象存储。它与 Amazon S3 云存储服务 API 兼容。使用 MinIO 为机器学习、分析和应用程序数据工作负载构建高性能基础架构。...

前言 ChatGPT目前还完全无法替代程序员，尤其是在一些强上下文的编程场景下，比如一些重业务的编程场景，但是可以利用它来完成一些编程相关的事，把它当做一个工具来大幅度提升我们的工作效率 ...

从互联网发展伊始，搜索技术就绽放出了惊人的社会和经济价值。随着信息社会快速发展，数据呈爆炸式增长，搜索技术通过数据收集与处理，满足信息共享与快速检索的需求。 云搜索服务 ESCloud 是火...

摘要：本文整理自 StarRocks 社区技术布道师谢寅，在 Flink Forward Asia 2022 实时湖仓的分享。本篇内容主要分为五个部分： 极速数据分析 实时数据更新 StarRocks Connector For Apache Flink ...

摘要：本文整理自快手数据架构工程师张芒，阿里云工程师刘大龙，在 Flink Forward Asia 2022 生产实践专场的分享。本篇内容主要分为四个部分： Flink 流批一体引擎 Flink Batch 生产实践 核心优...

摘要：本文主要介绍flink常用的输出算子，和自定义输出算子；可以输出到其他系统、DB或者文件。 简介 Flink 作为数据处理框架，最终还是要把计算处理的结果写入外部存储，为外部应用提供 支持。...

本文导读： 腾梭科技是国内领先的零售金融数字化及安全服务提供商，是腾讯投资且在金融领域的战略合作伙伴，并与腾讯联合研发了“星云智慧信贷解决方案。在其信贷业务转型过程中，随着系统规模...

ClickHouse核心架构设计是怎么样的？ClickHouse核心架构模块分为两个部分：ClickHouse执行过程架构和ClickHouse数据存储架构，下面分别详细介绍。 ClickHouse执行过程架构 总的来说，结合目前搜...

Flink入门系列文章主要是为了给想学习Flink的你建立一个大体上的框架，助力快速上手Flink。学习Flink最有效的方式是先入门了解框架和概念，然后边写代码边实践，然后再把官网看一遍。 Flink入门...

一、概述 前面一篇文章已经很详细的介绍了Hadoop on k8s部署了，这里主要针对部署时可能会调整的地方和注意事项进行讲解，想详细了解详细部署过程可参考我上一篇文章：Hadoop on k8s 编排部署进...

你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。如果你需要更多的面试经验和面试题，关注一下'张飞的猪大数据分享'吧，公众号会不定时的分享相关的知识和资料。 目录1、...

一、概述 Hadoop 是一个开源的分布式计算框架，用于处理大规模数据集的存储和处理。它使用了 Hadoop 分布式文件系统（Hadoop Distributed File System，HDFS）来存储数据，并通过 MapReduce 编...

在数据仓库领域，有两位大师，一位是“数据仓库”之父 Bill Inmon，一位是数据仓库权威专家 Ralph Kimball，两位大师每人都有一本经典著作，Inmon大师著作《数据仓库》及Kimball大师的《数仓工...

最近遇到了hive metadata数据库的并发性能问题，厂商给的结论是可以调整mysql的事物隔离级别，达到了预期的效果，就当前事物隔离级别整理了相关资料。 1. 事务隔离级别 事务就是要保证一组数据...

【中国，东莞，2023年7月7日】华为开发者大会2023（Cloud）7月7日在中国东莞正式揭开帷幕，并同时在全球10余个国家、中国30多个城市设有分会场，邀请全球开发者共聚一堂，就AI浪潮之下的产业新...