大数据共0篇 第9页
大数据
排序
PySpark实战指南：大数据处理与分析的终极指南【上进小菜猪大数据】
上进小菜猪，沈工大软件工程专业，爱好敲代码，持续输出干货。 大数据处理与分析是当今信息时代的核心任务之一。本文将介绍如何使用PySpark（Python的Spark API）进行大数据处理和分析的实战技...
2年前
百度离线资源治理
作者 | 百度MEG离线优化团队 导读 近些年移动互联网的高速发展驱动了数据爆发式的增长，各大公司之间都在通过竞争获得更大的增长空间，大数据计算的效果直接影响到公司的发展，而这背后其...
2年前
揭秘新一代云数仓技术架构与最佳实践
从传统数仓到湖仓一体，历经三十多年发展，技术的浪潮快速迭代，以云原生数仓为中心的现代数据栈时代已然到来。 背后的核心的原因在于，企业正在加速走向数字化、智能化，对数据的应用也提出了...
2年前火山引擎 DataLeap：从短视频 APP 实践来看，如何统一数据指标口径？
短视频正在成为越来越多人发现世界的窗口，其背后的创作者生态建设是各大短视频 APP 不可忽视的重要组成部分。 为了激励更多优质内容生产，某短视频 APP 经常面向创作者主办投稿活动，而在复盘...
2年前
快速上手kettle（三）壶中可以放些啥？
合集 - 快速上手kettle(3)1.快速上手kettle（一）壶之简介05-252.快速上手kettle(二)小试牛刀05-293.快速上手kettle（三）壶中可以放些啥？06-04收起 目录序言一 、kettle这壶能装些啥二、Acces...
2年前快速上手kettle（三）壶中可以放些啥？
合集 - 快速上手kettle(3)1.快速上手kettle（一）壶之简介05-252.快速上手kettle(二)小试牛刀05-293.快速上手kettle（三）壶中可以放些啥？06-04收起 目录序言一 、kettle这壶能装些啥二、Acces...
2年前
Hive执行计划之一文读懂Hive执行计划
合集 - Hive(2)1.Hive执行计划之一文读懂Hive执行计划06-062.Hive执行计划之hive依赖及权限查询和常见使用场景06-07收起目录概述1.hive执行计划的查看2.学会查看Hive执行计划的基本信息3.执行计...
2年前
大数据安全体系建设实践和思考
数据作为数字经济时代核心的生产要素，已经成为经济增长的动力引擎。近几年，随着国家相关数据安全法规的陆续出台，数据安全被提升到了一个新的高度，甚至上升到国家战略层面。大数据作为企业数...
2年前Spark消费Kafka数据多线程异常的解决方案
我正在参加「掘金·启航计划」 概述 KafkaConsumer is not safe for multi-threaded access的报错通常是因为KafkaConsumer被多个线程共享导致的。在Kafka 2.4版本的源码中我看到该特性仍然不被...
2年前
揭开神秘面纱，会stream流就会大数据
如果你会任意一门语言的stream流，没道理不会大数据开发。 俗话说男追女隔座山，女追男隔层纱。 如果说零基础学大数据，感觉前面是一座山，那么只要你会java或者任意一门语言的stream流，那大数...
2年前
揭秘阿里云Flink智能诊断利器——Fllink Job Advisor
引言 阿里云实时计算Flink作为一款专业级别的高性能实时大数据处理系统，它在各种业务场景中都发挥了关键的作用。丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化...
2年前
任务全链路诊断，助力云音乐大规模计算资源优化
计算资源vcore的优化不同于内存优化，vcore严重影响着任务的运行效率。如何在保证任务运行效率不变甚至提高的情况下，能进一步优化vcore的利用率？我们需要对任务做出全面的分析，给出不同的优...
2年前数据类型错误带来严重后果！一文读懂怎么正确选择数据类型
确保数据质量应该是IT专业人员最重要的目标之一。如今，这一点比以往任何时候都更为重要，因为组织依靠数据来驱动其人工智能和机器学习算法。如果你希望做出准确的决策，就需要准确、高质量的数...
2年前