大数据共0篇 第3页
大数据
排序
北京汽车：传统车厂向“用户服务”转型的新范本
摘要：用户决定价值 英国大文豪狄更斯曾在《双城记》中说：“这是最好的时代，也是最坏的时代”。大浪淘沙之下，汽车产业的故事正是当下制造业最恢宏和吸睛的叙事，恢宏在于增长速度，吸睛则在...
2年前
解决Zeppelin使用JdbcRealm角色查询与鉴权不生效问题
先说结论：可能因为角色SQL判断复杂，查询不通用的特性。导致没有将JDBC方式进行角色查询与校验的相关代码放入。 一、背景 最近在调研 zeppelin（0.10.1 版本），在测试鉴权这一块的时候发现了...
2年前
Apache Paimon 流式数据湖 V 0.4 与后续展望
摘要：本文整理自阿里云开源大数据表存储团队负责人、阿里巴巴高级技术专家，Apache Flink PMC，Paimon PPMC 李劲松（之信）在 Apache Paimon Meetup 的分享。本篇内容主要分为四个部分： 湖存...
2年前
大数据驱动的实时文本情感分析系统：构建高效准确的情感洞察【上进小菜猪大数据】
上进小菜猪，沈工大软件工程专业，爱好敲代码，持续输出干货。 随着互联网的快速发展和大数据技术的不断成熟，用户推荐系统在各个应用领域变得越来越重要。本文将介绍如何利用大数据技术构建一...
2年前
火山引擎 Iceberg 数据湖的应用与实践
在云原生计算时代，云存储使得海量数据能以低成本进行存储，但是这也给如何访问、管理和使用这些云上的数据提出了挑战。而 Iceberg 作为一种云原生的表格式，可以很好地应对这些挑战。本文将介...
2年前
10分钟入门Flink–了解Flink
Flink入门系列文章主要是为了给想学习Flink的你建立一个大体上的框架，助力快速上手Flink。学习Flink最有效的方式是先入门了解框架和概念，然后边写代码边实践，然后再把官网看一遍。 Flink入门...
2年前
火山引擎DataTester：三类AB实验，让企业营销拥有灵敏“网感”
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 作者：火山引擎AB测试 近日，火山引擎数智平台举办了“走进火山-全链路增长：数据飞轮转动消费新生力”...
2年前
演讲预告｜云原生大数据系列实践分享
随着行业的快速发展和业务的高速迭代，数据量也呈爆炸式增长，传统的大数据架构在资源利用、高效运维、可观测性等方面存在诸多不足，已经越来越无法适应当下的发展需求。云原生大数据方案，逐渐...
2年前
DataLeap的全链路智能监控报警实践（三）： 系统实现
系统实现 整体架构 基线 管理模块：负责基线创建、更新、删除等操作，管理基线元信息，包括保障任务，承诺时间，余量及报警配置等）； 基线 实例生成：系统每天定时触发生成基线实例，生成实例...
2年前
Cassandra 浅析
目前网络上关于 Cassandra 数据库的资料比较少，参考了 Cassandra 在 2010 年之前的论文和最新的文档，打算写关于 Cassandra 数据库的分析文章。我将会将原论文进行改写，补充更多的内容。本文...
2年前
万字长文 | Hadoop 上云： 存算分离架构设计与迁移实践
一面数据原有的技术架构是在线下机房中使用 CDH 构建的大数据集群。自公司成立以来，每年都保持着高速增长，业务的增长带来了数据量的剧增。 在过去几年中，我们按照每 1 到 2 年的规划扩容硬件...
2年前
10分钟入门Flink–安装
本文介绍Flink的安装步骤，主要是Flink的独立部署模式，它不依赖其他平台。文中内容分为4块：前置准备、Flink本地模式搭建、Flink Standalone搭建、Flink Standalong HA搭建。 演示使用的Flink...
2年前
收钱吧与火山引擎VeDI合作一年后 有了哪些新变化？
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 收钱吧正在和火山引擎数智平台（VeDI）跑出一条业务提效新通路。 相关数据显示，收钱吧的日服务人次就...
2年前Spark消费Kafka数据多线程异常的解决方案
我正在参加「掘金·启航计划」 概述 KafkaConsumer is not safe for multi-threaded access的报错通常是因为KafkaConsumer被多个线程共享导致的。在Kafka 2.4版本的源码中我看到该特性仍然不被...
2年前
数仓架构“瘦身”，Hologres 5000CU时免费试用
Hologres基于创新的HSAP架构，可以将您原先数仓架构中的OLAP系统（Greenplum、Presto、Impala、ClickHouse）、KV数据库/Serving系统（HBase、Redis）统一在一个大数据计算引擎中，并提供快速的...
2年前
离线保障链路分析及优化方法
1. 背景 货拉拉数据平台上有众多的任务，任务和任务之间有着复杂依赖关系，这些任务关系实际上构成了一个有向无环图（DAG），任务成百上千，我们很难用“一张图”就直观的画出整个链路的结构和...
2年前
【Flink】详解Flink任务提交流程
前言 大家好，我们的gzh是朝阳三只大明白，满满全是干货，分享近期的学习知识以及个人总结（包括读研和IT），跪求一波关注，希望和大家一起努力、进步！！ 启动一个任务 通常我们会使用 bin/fli...
2年前大数据通用组件故障处理
本文分享自天翼云开发者社区《大数据通用组件故障处理》，作者:f****n HDFS 1.HDFS 服务一直异常 检查HDFS是否处于安全模式。 检查ZooKeeper服务是否运行正常。 2.HDFS 维护客户端出现OutOfMemo...
2年前
从源代码编译构建Hive3.1.3
编译说明 使用Hive官方提供的预编译安装包是最常见和推荐的方式来使用Hive，适用于大多数用户。这些预编译的安装包经过了测试和验证，在许多不同的环境中都能正常运行。 在某些特定情况下，可能...
2年前
通过 docker-compose 快速部署 Azkaban 保姆级教程
一、概述 Apache Azkaban 是一个开源的批处理工作流调度系统，用于管理和调度Hadoop生态系统中的任务和作业。 Azkaban 提供了一个直观的Web界面，让用户能够轻松地定义、调度和监控作业流。它支...
2年前