大数据共0篇 第2页
大数据
排序
10亿数据、查询<10s，论基于OLAP搭建广告系统的正确姿势
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 由于流量红利逐渐消退，越来越多的广告企业和从业者开始探索精细化营销的新路径，取代以往的全流量、粗...
2年前
Apache Doris 助力中国联通万亿日志数据分析提速 10 倍
本文导读： 在数据安全管理体系的背后，离不开对安全日志数据的存储与分析。以终端设备为例，中国联通每天会产生百亿级别的日志数据，对于保障网络安全、提高系统稳定性和可靠性具有至关重要的...
2年前
JDV背后的技术-助力618 | 京东云技术团队
一、项目介绍 JDV（可视化大屏）是京东内部搭建可视化大屏的数据工具平台，内置10+种模版特效，40+种风格各异的图表、导航等组件。与集团其他数据工具打通，支持一站式、自助化、拖拽式搭建大屏...
2年前
数仓 Hive HA 介绍与实战操作
一、概述 在数据仓库中，Hive HA（High Availability） 是指为 Apache Hive 这个数据仓库查询和分析工具提供高可用性的架构和解决方案。Hive是建立在Hadoop生态系统之上的一种数据仓库解决方案...
2年前
开源免费用｜Apache Doris 2.0 推出跨集群数据复制功能
随着企业业务的发展，系统架构趋于复杂、数据规模不断增大，数据分布存储在不同的地域、数据中心或云平台上的现象越发普遍，如何保证数据的可靠性和在线服务的连续性成为人们关注的重点。在此基...
2年前
使用火山云搜索ESCloud服务构建图文检索应用（以文搜图/以图搜图）
图文检索在生活中具有广泛的应用，常见的图片检索包括基于文本内容搜索和基于图片内容搜索。用户通过输入文字描述或上传图片就可以在海量的图片库中快速找到同款或者相似图片，这种搜索方式被广...
2年前
基于 Flink & Paimon 实现 Streaming Warehouse 数据一致性管理
摘要：本文整理自字节跳动基础架构工程师李明，在 Apache Paimon Meetup 的分享。本篇内容主要分为四个部分： 背景 方案设计 当前进展 未来规划 点击查看原文视频 & 演讲PPT 一、背景 早...
2年前
火山引擎DataLeap的Data Catalog系统搜索实践 （上）
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 摘要 火山引擎大数据研发治理套件 DataLeap的Data Catalog系统通过汇总和组织各种元数据，解决了数据生...
2年前
演讲预告｜云原生大数据系列实践分享
随着行业的快速发展和业务的高速迭代，数据量也呈爆炸式增长，传统的大数据架构在资源利用、高效运维、可观测性等方面存在诸多不足，已经越来越无法适应当下的发展需求。云原生大数据方案，逐渐...
2年前
《基于Apache Airflow的数据流管道》第二章：Airflow DAG 解剖
本章涵盖内容： 在您自己的机器上运行Airflow 编写并运行您的第一个工作流 查看Airflow界面的第一个视图 处理Airflow中的任务失败 在前一章中，我们了解了为什么在处理数据及其众多工具时并不容...
2年前
《基于Apache Airflow的数据流管道》第三章：Airflow中的调度
本章涵盖的内容： 在固定时间间隔内运行DAG 构建动态DAG以逐步处理数据 使用回填加载和重新处理过去的数据集 应用可靠任务的最佳实践 在前一章中，我们探索了Airflow的用户界面，并向您展示了如...
2年前火山引擎ByteHouse：云原生数据库如何提升MySQL兼容性？
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 当前各类软件层出不穷，单独某一款软件往往难以满足企业应用需求，一般都需要与各类软件组合使用，这时...
2年前
火山引擎数智平台旗下DataWind升级半年报 6大功能助力企业数据消费
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 “以数据消费促数据生产”——是火山引擎提出的数据飞轮的核心理念，在这一理念的指导下，智能数据洞察...
2年前
企业诊断屋：服饰美妆电商如何用A/B测试赋能业务
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 随着社会经济复苏，服饰美妆的消费市场回暖，国潮品牌正强势崛起和海外品牌进军，让不断增长的美妆市场...
2年前【Java设计模式003】原型模式
概述 大家好，个人gzh是大猪和小猪的小家，我们的gzh是朝阳三只大明白，满满全是干货，分享近期的学习知识以及个人总结（包括读研和IT），跪求一波关注，希望和大家一起努力、进步！！ 原型模式...
2年前
治水？智水！天翼云用科技解码智慧水务新发展！
“七下八上”是我国主汛期的重要阶段之一 该时段内北方进入主雨季 南海和西太平洋进入台风活跃期 沿海地区更是深受台风降水和风暴潮等极端天气影响 全国正式进入防汛关键期 一直以来，作为与防...
2年前
火山引擎AB测试：广告实验深度打通巨量引擎，高效测试广告素材
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近期，火山引擎AB测试DataTester上线了新版的广告AB实验，还推出了与巨量引擎深度打通的能力。用户可以...
2年前
Apache Doris 巨大飞跃：存算分离新架构
作者：马如悦 Apache Doris 创始人 历史上，数据分析需求的不断提升（更大的数据规模、更快的处理速度、更低的使用成本）和计算基础设施的不断进化（从专用的高端硬件、到低成本的商用硬件、到...
2年前大数据通用组件故障处理
本文分享自天翼云开发者社区《大数据通用组件故障处理》，作者:f****n HDFS 1.HDFS 服务一直异常 检查HDFS是否处于安全模式。 检查ZooKeeper服务是否运行正常。 2.HDFS 维护客户端出现OutOfMemo...
2年前
解决Zeppelin使用JdbcRealm角色查询与鉴权不生效问题
先说结论：可能因为角色SQL判断复杂，查询不通用的特性。导致没有将JDBC方式进行角色查询与校验的相关代码放入。 一、背景 最近在调研 zeppelin（0.10.1 版本），在测试鉴权这一块的时候发现了...
2年前