Flink共0篇 第2页
Flink
排序
得物自建DTS平台的技术演进 | 精选
0 前言 DTS是数据传输平台(Data Transfer Platform的缩写) 随着得物App的用户流量增长，业务选择的数据库越来越多样化，异构数据源之间的数据同步需求也逐渐增多。为了控制成本并更好地支持业务...
2年前
HiveSQL 迁移 FlinkSQL 在快手的实践
摘要：本文整理自快手数据架构工程师张芒，阿里云工程师刘大龙，在 Flink Forward Asia 2022 生产实践专场的分享。本篇内容主要分为四个部分： Flink 流批一体引擎 Flink Batch 生产实践 核心优...
2年前
Flink 输出算子
摘要：本文主要介绍flink常用的输出算子，和自定义输出算子；可以输出到其他系统、DB或者文件。 简介 Flink 作为数据处理框架，最终还是要把计算处理的结果写入外部存储，为外部应用提供 支持。...
2年前
10分钟入门Flink–了解Flink
Flink入门系列文章主要是为了给想学习Flink的你建立一个大体上的框架，助力快速上手Flink。学习Flink最有效的方式是先入门了解框架和概念，然后边写代码边实践，然后再把官网看一遍。 Flink入门...
2年前卓越的流处理：Apache Flink 对 Data Lakehouse 架构的影响
Apache Flink独特的流式处理和容错特性使其成为高效数据湖实现的强有力选择。 在数据驱动决策的时代，数据湖仓库范式已经成为一种有前途的解决方案，将数据湖和数据仓库的优点结合起来。通过将...
2年前
中原银行 OLAP 架构实时化演进
摘要：本文整理自中原银行数据信息部杜威科，在 Flink Forward Asia 2022 行业案例专场的分享。本篇内容主要分为四个部分： OLAP 实时化建设背景 OLAP 全链路实时化 OLAP 实时化探索 未来探索方...
2年前
Flink 流批一体在 Shopee 的大规模实践
摘要：本文整理自 Shopee 研发专家李明昆，在 Flink Forward Asia 2022 流批一体专场的分享。本篇内容主要分为四个部分： 流批一体在 Shopee 的应用场景 批处理能力的生产优化 与离线生态的完全...
2年前
Flink 转换算子（转算数据）
摘要：本文主要描述flink在接收到上游数据后，使用转换算子，可以如何进行数据转换，得到我们想要的数据，章节主要分为基本转换算子、聚合算子、用户自定义函数、物理分区算子、分流、合流。 基...
2年前
【Apache-Flink零基础入门】「入门到精通系列」手把手+零基础带你玩转大数据流式处理引擎Flink（事件与时间维度分析）
总体内容 本文主要针对于Flink技术架构中的【事件与时间维度分析】的要点处理模式，包含：不同时间种类、Event-Time的处理、Watermarks水印以及状态保存和迁移。 不同时间种类 在Flink及其他流...
2年前
美团买菜基于 Flink 的实时数仓建设
摘要：本文整理自美团买菜实时数仓技术负责人严书，在 Flink Forward Asia 2022 实时湖仓专场的分享。本篇内容主要分为四个部分： 背景介绍 技术愿景和架构设计 典型场景、挑战与应对 未来规划 ...
2年前
聊聊Flink的必知必会(一)
概述 Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。使用官网的语句来介绍， Flink...
2年前
聊聊Flink必知必会(二)
Checkpoint与Barrier Flink是一个有状态的流处理框架，因此需要对状态做持久化，Flink定期保存状态数据到存储空间上，故障发生后从之前的备份中恢复，这个过程被称为Checkpoint机制。而Checkpoi...
2年前
【Apache-Flink零基础入门】「入门到精通系列」手把手+零基础带你玩转大数据流式处理引擎Flink（特点和优势分析）
总体介绍 本文介绍了Apache Flink的定义、架构、基本原理，并辨析了大数据流计算相关的基本概念。同时回顾了大数据处理方式的历史演进以及有状态的流式数据处理的原理。最后，分析了Apache Flin...
2年前
如何巧妙解决Flink数据倾斜问题
前言 前文砥砺前行-初学Flink的我如何快速定位并解决数据同步问题解决了数据同步的执行顺序问题后，接着去定位TIDB的问题，但是查了一阵之后发现Flink这块仍然存在问题，很明显的数据倾斜问题，...
2年前
揭秘阿里云 Flink 智能诊断利器——Flink Job Advisor
作者： 藏红 一、引言 阿里云实时计算 Flink 作为一款专业级别的高性能实时大数据处理系统，它在各种业务场景中都发挥了关键的作用。丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实...
2年前
实例讲解Flink 流处理程序编程模型
本文分享自华为云社区《Flink 实例：Flink 流处理程序编程模型》，作者：TiAmoZhang 。 在深入了解 Flink 实时数据处理程序的开发之前，先通过一个简单示例来了解使用 Flink 的 DataStream API ...
2年前Flink 源算子（数据源）
摘要：本文主要介绍flink源算子，为flink提供数据；介绍了他们如何使用。 什么是源算子 Flink 可以从各种来源获取数据，然后构建 DataStream 进行转换处理。一般将数据的输入来源称为数据源 (da...
2年前
Flink集群元空间内存溢出报错处理 java.lang.OutOfMemoryError: Metaspace
Flink集群元空间内存溢出报错处理 java.lang.OutOfMemoryError: Metaspace 一、环境以及背景故事说明 Flink standalone 分布式集群 Version: 1.13.1 在某天平淡的工作中发现flink集群的其中一个...
2年前