Flink共0篇
Flink
排序
中原银行 OLAP 架构实时化演进
摘要：本文整理自中原银行数据信息部杜威科，在 Flink Forward Asia 2022 行业案例专场的分享。本篇内容主要分为四个部分： OLAP 实时化建设背景 OLAP 全链路实时化 OLAP 实时化探索 未来探索方...
2年前
Flink 遇见 Apache Celeborn：统一的数据 Shuffle 服务
作者｜ 熊佳树（ 履霜） 我们非常高兴的宣布 Apache Celeborn（Inclubating）[1] 正式支持 Flink，Celeborn 于去年 12 月份正式进入 Apache 软件基金会 (ASF) 的孵化器，一直致力打造统一的中间...
2年前
实例讲解Flink 流处理程序编程模型
本文分享自华为云社区《Flink 实例：Flink 流处理程序编程模型》，作者：TiAmoZhang 。 在深入了解 Flink 实时数据处理程序的开发之前，先通过一个简单示例来了解使用 Flink 的 DataStream API ...
2年前
想在DataGrip里写SQL般丝滑的写FlinkSQL？安装它就完事儿了
版本日期备注1.02023.8.8文章首发本文首发于泊浮目的掘金:juejin.cn/user/146860… “FlinkSQL对于大数据开发者们来说是一个很常见的API，它的存在巨幅提升了开发效率，使开发者不用再面向底层...
2年前卓越的流处理：Apache Flink 对 Data Lakehouse 架构的影响
Apache Flink独特的流式处理和容错特性使其成为高效数据湖实现的强有力选择。 在数据驱动决策的时代，数据湖仓库范式已经成为一种有前途的解决方案，将数据湖和数据仓库的优点结合起来。通过将...
2年前
Flink CDC & MongoDB 联合实时数仓的探索实践
摘要：本文整理自 XTransfer 技术专家, Flink CDC Maintainer 孙家宝，在 Flink Forward Asia 2022 数据集成专场的分享。本篇内容主要分为四个部分： MongoDB 在实时数仓的探索 MongoDB CDC Con...
2年前
揭秘阿里云 Flink 智能诊断利器——Flink Job Advisor
作者： 藏红 一、引言 阿里云实时计算 Flink 作为一款专业级别的高性能实时大数据处理系统，它在各种业务场景中都发挥了关键的作用。丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实...
2年前
小米基于 Flink 的实时计算资源治理实践
摘要：本文整理自小米高级软件工程师张蛟，在 Flink Forward Asia 2022 生产实践专场的分享。本篇内容主要分为四个部分： 发展现状与规模 框架层治理实践 平台层治理实践 未来规划与展望 点击查...
2年前
10分钟入门Flink–了解Flink
Flink入门系列文章主要是为了给想学习Flink的你建立一个大体上的框架，助力快速上手Flink。学习Flink最有效的方式是先入门了解框架和概念，然后边写代码边实践，然后再把官网看一遍。 Flink入门...
2年前
顺丰基于 Flink CDC + Hudi 推进实时业务落地
摘要：本文整理自大数据研发高级工程师唐尚文，在 Flink Forward Asia 2022 数据集成专场的分享。本篇内容主要分为三个部分： 应用场景 实践与优化 未来规划 点击查看原文视频 & 演讲PPT 一...
2年前
如何巧妙解决Flink数据倾斜问题
前言 前文砥砺前行-初学Flink的我如何快速定位并解决数据同步问题解决了数据同步的执行顺序问题后，接着去定位TIDB的问题，但是查了一阵之后发现Flink这块仍然存在问题，很明显的数据倾斜问题，...
2年前
OceanBase X Flink 基于原生分布式数据库构建实时计算解决方案
摘要：本文整理自 OceanBase 架构师周跃跃，在 Flink Forward Asia 2022 实时湖仓专场的分享。本篇内容主要分为四个部分： 分布式数据库 OceanBase 关键技术解读 生态对接以及典型应用场景 Ocea...
2年前
Flink 输出算子
摘要：本文主要介绍flink常用的输出算子，和自定义输出算子；可以输出到其他系统、DB或者文件。 简介 Flink 作为数据处理框架，最终还是要把计算处理的结果写入外部存储，为外部应用提供 支持。...
2年前聊聊日志聚类算法及其应用场景
阅读《基于 Flink ML 搭建的智能运维算法服务及应用》一文后，对其中日志聚类算法有了些思考。 概述 日志聚类，简而言之是对海量日志的分析；其分析处理链路可以分为如下流程：日志采集 -> ...
2年前
【Apache-Flink零基础入门】「入门到精通系列」手把手+零基础带你玩转大数据流式处理引擎Flink（特点和优势分析）
总体介绍 本文介绍了Apache Flink的定义、架构、基本原理，并辨析了大数据流计算相关的基本概念。同时回顾了大数据处理方式的历史演进以及有状态的流式数据处理的原理。最后，分析了Apache Flin...
2年前
二、Flink使用异步算子请求高德地图获取位置信息
二、Flink使用异步算子请求高德地图获取位置信息 1、概述 1）Flink异步算子使用介绍 1.异步与同步概述 同步：向数据库发送一个请求然后一直等待，直到收到响应。在许多情况下，等待占据了函数运...
2年前
HiveSQL 迁移 FlinkSQL 在快手的实践
摘要：本文整理自快手数据架构工程师张芒，阿里云工程师刘大龙，在 Flink Forward Asia 2022 生产实践专场的分享。本篇内容主要分为四个部分： Flink 流批一体引擎 Flink Batch 生产实践 核心优...
2年前
10分钟入门Flink–架构和原理
相信你读完上一节的《10分钟入门Flink--了解Flink》对Flink已经有初步了解了。这是继第一节之后的Flink入门系列的第二篇，本篇主要内容是是：了解Flink运行模式、Flink调度原理、Flink分区、Fli...
2年前
聊聊Flink必知必会(二)
Checkpoint与Barrier Flink是一个有状态的流处理框架，因此需要对状态做持久化，Flink定期保存状态数据到存储空间上，故障发生后从之前的备份中恢复，这个过程被称为Checkpoint机制。而Checkpoi...
2年前
得物自建DTS平台的技术演进 | 精选
0 前言 DTS是数据传输平台(Data Transfer Platform的缩写) 随着得物App的用户流量增长，业务选择的数据库越来越多样化，异构数据源之间的数据同步需求也逐渐增多。为了控制成本并更好地支持业务...
2年前