一、概述 Apache Ambari 是 Hortonworks 贡献给Apache开源社区的顶级项目，它是一个基于web的工具，用于安装、配置、管理和监视 Hadoop 集群。 Ambari 目前已支持大多数 Hadoop 组件，包括 HDFS...

前言 距离上一篇文章已经过去半个月了，中间这两周呢，上上周在解决项目的线上问题，一直在改BUG，这个比较要紧，因为我上周休假了，要保证假期的时候没啥问题。前两篇都是讲了Flink的遇到的线...

一、概述 Trino on Kubernetes（Trino在Kubernetes上的部署）是将Trino查询引擎与Kubernetes容器编排平台相结合，以实现在Kubernetes集群上部署、管理和运行Trino的解决方案。 Trino（之前称为P...

By AWS Team 前言 随着企业规模的扩大，业务数据的激增，我们会使用 Hadoop/Spark 框架来处理大量数据的 ETL/聚合分析作业，⽽这些作业将需要由统一的作业调度平台去定时调度。 在 Amazon EMR ...

数据作为数字经济时代核心的生产要素，已经成为经济增长的动力引擎。近几年，随着国家相关数据安全法规的陆续出台，数据安全被提升到了一个新的高度，甚至上升到国家战略层面。大数据作为企业数...

在数据处理和分析领域，我们经常需要根据用户的行为数据进行筛选和标签添加，以便更好地理解用户行为和偏好。在本篇博客中，我们将介绍两个示例，展示如何根据用户的收视行为数据和订单信息进行...

本文导读： 金融壹账通作为中国平安集团的联营公司，依托平安集团 30 多年金融行业的丰富经验及自主科研能力，向客户提供“横向一体化、纵向全覆盖”的整合产品，以“技术+业务”为独特竞争力，...

作者｜ 熊佳树（ 履霜） 我们非常高兴的宣布 Apache Celeborn（Inclubating）[1] 正式支持 Flink，Celeborn 于去年 12 月份正式进入 Apache 软件基金会 (ASF) 的孵化器，一直致力打造统一的中间...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近期，火山引擎AB测试DataTester上线了新版的广告AB实验，还推出了与巨量引擎深度打通的能力。用户可以...

编译说明 对于大多数用户来说，使用官方预编译版本的Spark已经足够满足日常需求。只有在特定的场景和需求下，重新编译Spark才是必需的。 编译Spark源代码的场景、原因如下： 1.定制需求： 如果...

前言 在当今的数据驱动时代，构建一个强大的大数据环境对于企业和组织来说至关重要。本文将介绍如何安装和配置Hadoop、MySQL、Hive、Scala和Spark，以搭建一个完整的大数据环境。 简介 安装Hado...

在微软、百度、阿里、腾讯、小米纷纷宣布入局之后，ChatGPT 再次被送上科技头条。 图源：Financial Times 互联网公司们的争相表态，让大家似乎看到了 ChatGPT 落地应用的曙光。相比去年底，关于...

本文导读： 腾梭科技是国内领先的零售金融数字化及安全服务提供商，是腾讯投资且在金融领域的战略合作伙伴，并与腾讯联合研发了“星云智慧信贷解决方案。在其信贷业务转型过程中，随着系统规模...

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 平台架构总结 火山引擎 DataLeap SLA平台整体主要分为基础组件、规划式治理服务、响应式治理服务三大块...

图文检索在生活中具有广泛的应用，常见的图片检索包括基于文本内容搜索和基于图片内容搜索。用户通过输入文字描述或上传图片就可以在海量的图片库中快速找到同款或者相似图片，这种搜索方式被广...

上进小菜猪，沈工大软件工程专业，爱好敲代码，持续输出干货。 大数据分析与机器学习已成为当今商业决策和科学研究中的关键组成部分。本文将深入探讨大数据技术的背景和原则，并结合实例介绍一...

作者： 喻奎 阿里云智能 高级技术专家 本文主要从四部分介绍，阿里云云原生大数据计算服务MaxCompute湖仓一体近实时增量处理技术架构的核心设计和应用场景。 一、MaxCompute 湖仓一体发展进程 M...

1 引子 因兼具跨平台兼容性优、资源消耗少、自动化程度高、运行稳定、环境隔离等优点，Docker大受欢迎，在应用打包、分发、部署、开源分享方面得到广泛应用。其实Docker在本地快速安装试用及学...

摘要：本文整理自腾讯专家级工程师李天旺，在 Flink Forward Asia 2022 AI 特征工程专场的分享。本篇内容主要分为四个部分： 背景介绍 平台架构的实践 线上运营的挑战 质量保障 点击查看原文视...