Flink共0篇
Flink
排序
Doris写入数据异常提示actual column number in csv file is less than schema column number
版本信息： Flink 1.17.1 Doris 1.2.3 Flink Doris Connector 1.4.0 写入方式 采用 String 数据流，依照社区网站的样例代码，在sink之前将数据转换为DataStream，分隔符采用'\t'。 运行异常 通...
2年前
Flink FullGC 优化（jdk8）
优化办法 降低频率： 提高Young区的占比（占60%）、合理的Eden:From:To比例，保证对象被晋升老年代前回收掉。 env.java.opts.taskmanager: -XX:-UseAdaptiveSizePolicy -Xmn15000m 缩短时间： ...
2年前
基于 Flink & Paimon 实现 Streaming Warehouse 数据一致性管理
摘要：本文整理自字节跳动基础架构工程师李明，在 Apache Paimon Meetup 的分享。本篇内容主要分为四个部分： 背景 方案设计 当前进展 未来规划 点击查看原文视频 & 演讲PPT 一、背景 早...
2年前
【Flink】详解Flink任务提交流程
前言 大家好，我们的gzh是朝阳三只大明白，满满全是干货，分享近期的学习知识以及个人总结（包括读研和IT），跪求一波关注，希望和大家一起努力、进步！！ 启动一个任务 通常我们会使用 bin/fli...
2年前
10分钟入门Flink–了解Flink
Flink入门系列文章主要是为了给想学习Flink的你建立一个大体上的框架，助力快速上手Flink。学习Flink最有效的方式是先入门了解框架和概念，然后边写代码边实践，然后再把官网看一遍。 Flink入门...
2年前聊聊日志聚类算法及其应用场景
阅读《基于 Flink ML 搭建的智能运维算法服务及应用》一文后，对其中日志聚类算法有了些思考。 概述 日志聚类，简而言之是对海量日志的分析；其分析处理链路可以分为如下流程：日志采集 -> ...
2年前
微信安全基于 Flink 实时特征开发平台实践
摘要：本文整理自腾讯专家级工程师李天旺，在 Flink Forward Asia 2022 AI 特征工程专场的分享。本篇内容主要分为四个部分： 背景介绍 平台架构的实践 线上运营的挑战 质量保障 点击查看原文视...
2年前
顺丰基于 Flink CDC + Hudi 推进实时业务落地
摘要：本文整理自大数据研发高级工程师唐尚文，在 Flink Forward Asia 2022 数据集成专场的分享。本篇内容主要分为三个部分： 应用场景 实践与优化 未来规划 点击查看原文视频 & 演讲PPT 一...
2年前
Flink 遇见 Apache Celeborn：统一的数据 Shuffle 服务
作者｜ 熊佳树（ 履霜） 我们非常高兴的宣布 Apache Celeborn（Inclubating）[1] 正式支持 Flink，Celeborn 于去年 12 月份正式进入 Apache 软件基金会 (ASF) 的孵化器，一直致力打造统一的中间...
2年前
二、Flink使用异步算子请求高德地图获取位置信息
二、Flink使用异步算子请求高德地图获取位置信息 1、概述 1）Flink异步算子使用介绍 1.异步与同步概述 同步：向数据库发送一个请求然后一直等待，直到收到响应。在许多情况下，等待占据了函数运...
2年前
得物自建DTS平台的技术演进 | 精选
0 前言 DTS是数据传输平台(Data Transfer Platform的缩写) 随着得物App的用户流量增长，业务选择的数据库越来越多样化，异构数据源之间的数据同步需求也逐渐增多。为了控制成本并更好地支持业务...
2年前
想在DataGrip里写SQL般丝滑的写FlinkSQL？安装它就完事儿了
版本日期备注1.02023.8.8文章首发本文首发于泊浮目的掘金:juejin.cn/user/146860… “FlinkSQL对于大数据开发者们来说是一个很常见的API，它的存在巨幅提升了开发效率，使开发者不用再面向底层...
2年前
小米基于 Flink 的实时计算资源治理实践
摘要：本文整理自小米高级软件工程师张蛟，在 Flink Forward Asia 2022 生产实践专场的分享。本篇内容主要分为四个部分： 发展现状与规模 框架层治理实践 平台层治理实践 未来规划与展望 点击查...
2年前
OceanBase X Flink 基于原生分布式数据库构建实时计算解决方案
摘要：本文整理自 OceanBase 架构师周跃跃，在 Flink Forward Asia 2022 实时湖仓专场的分享。本篇内容主要分为四个部分： 分布式数据库 OceanBase 关键技术解读 生态对接以及典型应用场景 Ocea...
2年前
【Apache-Flink零基础入门】「入门到精通系列」手把手+零基础带你玩转大数据流式处理引擎Flink（特点和优势分析）
总体介绍 本文介绍了Apache Flink的定义、架构、基本原理，并辨析了大数据流计算相关的基本概念。同时回顾了大数据处理方式的历史演进以及有状态的流式数据处理的原理。最后，分析了Apache Flin...
2年前
Flink CDC & MongoDB 联合实时数仓的探索实践
摘要：本文整理自 XTransfer 技术专家, Flink CDC Maintainer 孙家宝，在 Flink Forward Asia 2022 数据集成专场的分享。本篇内容主要分为四个部分： MongoDB 在实时数仓的探索 MongoDB CDC Con...
2年前
联通 Flink 实时计算平台化运维实践
摘要：本文整理自联通数科实时计算团队负责人、Apache StreamPark Committer 穆纯进在 Flink Forward Asia 2022 平台建设专场的分享，本篇内容主要分为四个部分： 实时计算平台背景介绍 Flink ...
2年前
HiveSQL 迁移 FlinkSQL 在快手的实践
摘要：本文整理自快手数据架构工程师张芒，阿里云工程师刘大龙，在 Flink Forward Asia 2022 生产实践专场的分享。本篇内容主要分为四个部分： Flink 流批一体引擎 Flink Batch 生产实践 核心优...
2年前
10分钟入门Flink–安装
本文介绍Flink的安装步骤，主要是Flink的独立部署模式，它不依赖其他平台。文中内容分为4块：前置准备、Flink本地模式搭建、Flink Standalone搭建、Flink Standalong HA搭建。 演示使用的Flink...
2年前
Flink SQL流处理中的表
Table API 和 SQL 是最上层的API，在Flink中这两种API被集成在一起，SQL执行的对象也是Flink中的表（Table），所以我们一般会认为它们是一体的。Flink是批流统一的处理框架，无论是批处理（Data...
2年前