本文导读： 同程数科是同程集团旗下的旅游产业金融科技服务平台，为上下游企业和个人消费者提供数字金融科技服务。近年来，随着同程数科业务的不断拓展和用户量的增加，高效可靠的一站式数据中...

在微软、百度、阿里、腾讯、小米纷纷宣布入局之后，ChatGPT 再次被送上科技头条。 图源：Financial Times 互联网公司们的争相表态，让大家似乎看到了 ChatGPT 落地应用的曙光。相比去年底，关于...

摘要：本文整理自中原银行数据信息部杜威科，在 Flink Forward Asia 2022 行业案例专场的分享。本篇内容主要分为四个部分： OLAP 实时化建设背景 OLAP 全链路实时化 OLAP 实时化探索 未来探索方...

一、概述 Apache DolphinScheduler（简称DolphinScheduler）是一种开源的、分布式的、易于使用的大数据工作流调度系统。它旨在为大数据处理提供一个可靠、高效和可扩展的调度解决方案。 这里只...

摘要：HyG图计算引擎采用CSR格式来存储图的拓扑信息，CSR格式可以将稀疏矩阵的存储空间压缩，进而大大降低图的存储开销，同时具备访问效率高、格式易转化等优点。 本文分享自华为云社区《CSR格...

在云原生计算时代，云存储使得海量数据能以低成本进行存储，但是这也给如何访问、管理和使用这些云上的数据提出了挑战。而 Iceberg 作为一种云原生的表格式，可以很好地应对这些挑战。本文将介...

摘要：本文整理自 Shopee 研发专家李明昆，在 Flink Forward Asia 2022 流批一体专场的分享。本篇内容主要分为四个部分： 流批一体在 Shopee 的应用场景 批处理能力的生产优化 与离线生态的完全...

一、概述 Apache DolphinScheduler（简称DolphinScheduler）是一种开源的、分布式的、易于使用的大数据工作流调度系统。它旨在为大数据处理提供一个可靠、高效和可扩展的调度解决方案。 Dolphin...

1 目标 不在现有查询代码逻辑上做任何改动，实现dao维度的数据源切换（即表维度） 2 使用场景 节约bdp的集群资源。接入新的宽表时，通常uat验证后就会停止集群释放资源，在对应的查询服务器uat...

一、概述 Apache Ambari 是 Hortonworks 贡献给Apache开源社区的顶级项目，它是一个基于web的工具，用于安装、配置、管理和监视 Hadoop 集群。 Ambari 目前已支持大多数 Hadoop 组件，包括 HDFS...

在数据处理和分析领域，我们经常需要根据用户的行为数据进行筛选和标签添加，以便更好地理解用户行为和偏好。在本篇博客中，我们将介绍两个示例，展示如何根据用户的收视行为数据和订单信息进行...

1.冷启动  1.1 什么是冷启动？ 冷启动是指内存中不包含该应用程序相关的数据，必须要从磁盘载入到内存中的启动过程。 注意：重新打开 APP， 不一定就是冷启动。 当内存不足，APP被系统自动杀死...

Hologres基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis）统一在一个大数据计算引擎中，并提供快速的...

今天，高性能计算结合人工智能技术正在推动科研创新。例如通过破解水稻基因密码推动作物育种从“试验选优”向“计算选优”发展，在医药领域快速分析分子与蛋白之间的相互作用，发现潜在的能够有...

一、前言 什么是数据血缘？数据血缘是数据产生、加工、转化，数据之间产生的关系。随着公司业务发展，通过数据血缘，能知道数据的流向，以便我们更好地进行数据治理。 二、为什么选择 Spline？ ...

摘要：本文主要描述flink在接收到上游数据后，使用转换算子，可以如何进行数据转换，得到我们想要的数据，章节主要分为基本转换算子、聚合算子、用户自定义函数、物理分区算子、分流、合流。 基...