Flink共0篇
Flink
排序
二、Flink使用异步算子请求高德地图获取位置信息
二、Flink使用异步算子请求高德地图获取位置信息 1、概述 1）Flink异步算子使用介绍 1.异步与同步概述 同步：向数据库发送一个请求然后一直等待，直到收到响应。在许多情况下，等待占据了函数运...
2年前
OceanBase X Flink 基于原生分布式数据库构建实时计算解决方案
摘要：本文整理自 OceanBase 架构师周跃跃，在 Flink Forward Asia 2022 实时湖仓专场的分享。本篇内容主要分为四个部分： 分布式数据库 OceanBase 关键技术解读 生态对接以及典型应用场景 Ocea...
2年前
小米基于 Flink 的实时计算资源治理实践
摘要：本文整理自小米高级软件工程师张蛟，在 Flink Forward Asia 2022 生产实践专场的分享。本篇内容主要分为四个部分： 发展现状与规模 框架层治理实践 平台层治理实践 未来规划与展望 点击查...
2年前
想在DataGrip里写SQL般丝滑的写FlinkSQL？安装它就完事儿了
版本日期备注1.02023.8.8文章首发本文首发于泊浮目的掘金:juejin.cn/user/146860… “FlinkSQL对于大数据开发者们来说是一个很常见的API，它的存在巨幅提升了开发效率，使开发者不用再面向底层...
2年前
基于 Flink & Paimon 实现 Streaming Warehouse 数据一致性管理
摘要：本文整理自字节跳动基础架构工程师李明，在 Apache Paimon Meetup 的分享。本篇内容主要分为四个部分： 背景 方案设计 当前进展 未来规划 点击查看原文视频 & 演讲PPT 一、背景 早...
2年前
当流计算邂逅数据湖：Paimon 的前生今世
序言 笔者从事流计算多年，真名叫李劲松，简写 LJS，Apache ID 也是 lzljs (泸州李劲松)，而流计算简写也是 LJS，算是一种缘分吧。 一直在分布式计算与存储的领域工作，也参与了多个开源项目，...
2年前
微信安全基于 Flink 实时特征开发平台实践
摘要：本文整理自腾讯专家级工程师李天旺，在 Flink Forward Asia 2022 AI 特征工程专场的分享。本篇内容主要分为四个部分： 背景介绍 平台架构的实践 线上运营的挑战 质量保障 点击查看原文视...
2年前
10分钟入门Flink–安装
本文介绍Flink的安装步骤，主要是Flink的独立部署模式，它不依赖其他平台。文中内容分为4块：前置准备、Flink本地模式搭建、Flink Standalone搭建、Flink Standalong HA搭建。 演示使用的Flink...
2年前
Flink FullGC 优化（jdk8）
优化办法 降低频率： 提高Young区的占比（占60%）、合理的Eden:From:To比例，保证对象被晋升老年代前回收掉。 env.java.opts.taskmanager: -XX:-UseAdaptiveSizePolicy -Xmn15000m 缩短时间： ...
2年前
货拉拉基于 Flink 计算引擎的应用与优化实践
摘要：本文整理自货拉拉实时研发平台负责人王世涛，在Flink Forward Asia 2022 平台建设专场的分享。本篇内容主要分为六个部分： Flink 在货拉拉的使用现状 Flink 平台化 性能优化主题 数据准确...
2年前
10分钟入门Flink–架构和原理
相信你读完上一节的《10分钟入门Flink--了解Flink》对Flink已经有初步了解了。这是继第一节之后的Flink入门系列的第二篇，本篇主要内容是是：了解Flink运行模式、Flink调度原理、Flink分区、Fli...
2年前聊聊日志聚类算法及其应用场景
阅读《基于 Flink ML 搭建的智能运维算法服务及应用》一文后，对其中日志聚类算法有了些思考。 概述 日志聚类，简而言之是对海量日志的分析；其分析处理链路可以分为如下流程：日志采集 -> ...
2年前
顺丰基于 Flink CDC + Hudi 推进实时业务落地
摘要：本文整理自大数据研发高级工程师唐尚文，在 Flink Forward Asia 2022 数据集成专场的分享。本篇内容主要分为三个部分： 应用场景 实践与优化 未来规划 点击查看原文视频 & 演讲PPT 一...
2年前
Flink CDC & MongoDB 联合实时数仓的探索实践
摘要：本文整理自 XTransfer 技术专家, Flink CDC Maintainer 孙家宝，在 Flink Forward Asia 2022 数据集成专场的分享。本篇内容主要分为四个部分： MongoDB 在实时数仓的探索 MongoDB CDC Con...
2年前
Flink 遇见 Apache Celeborn：统一的数据 Shuffle 服务
作者｜ 熊佳树（ 履霜） 我们非常高兴的宣布 Apache Celeborn（Inclubating）[1] 正式支持 Flink，Celeborn 于去年 12 月份正式进入 Apache 软件基金会 (ASF) 的孵化器，一直致力打造统一的中间...
2年前
【Flink】详解Flink任务提交流程
前言 大家好，我们的gzh是朝阳三只大明白，满满全是干货，分享近期的学习知识以及个人总结（包括读研和IT），跪求一波关注，希望和大家一起努力、进步！！ 启动一个任务 通常我们会使用 bin/fli...
2年前
Flink 在新能源场站运维的应用
摘要：本文整理自中南电力设计院工程师、注册测绘师姚远，在 Flink Forward Asia 2022 行业案例专场的分享。本篇内容主要分为四个部分： 建设背景 技术架构 应用落地 后续及其他 点击查看原文视...
2年前
联通 Flink 实时计算平台化运维实践
摘要：本文整理自联通数科实时计算团队负责人、Apache StreamPark Committer 穆纯进在 Flink Forward Asia 2022 平台建设专场的分享，本篇内容主要分为四个部分： 实时计算平台背景介绍 Flink ...
2年前
Doris写入数据异常提示actual column number in csv file is less than schema column number
版本信息： Flink 1.17.1 Doris 1.2.3 Flink Doris Connector 1.4.0 写入方式 采用 String 数据流，依照社区网站的样例代码，在sink之前将数据转换为DataStream，分隔符采用'\t'。 运行异常 通...
2年前
Flink SQL流处理中的表
Table API 和 SQL 是最上层的API，在Flink中这两种API被集成在一起，SQL执行的对象也是Flink中的表（Table），所以我们一般会认为它们是一体的。Flink是批流统一的处理框架，无论是批处理（Data...
2年前