Hadoop共0篇
Hadoop
排序
hdfs的透明加密记录
1、背景 我们知道，在hdfs中，我们的数据是以block块存储在我们的磁盘上的，那么默认情况下，它是以密文存储的，还是以明文存储的呢？如果是明文存储的，那么是否就不安全呢？那么在hdfs中是如...
2年前
简单整理AFNetworking架构知识点
一、AFNetworking整体框架是怎样的 1、UIKit集成模块 UIKit 2、请求序列化 Serialization 3、响应序列化 Serialization 4、会话 NSURLSession AFURLSessionManager最核心 子类:AFHTTPSessionMan...
2年前
安装Hadoop单节点伪分布式集群
目录安装Hadoop单节点伪分布式集群系统准备开启SSH安装JDK安装Hadoop下载准备启动伪分布式模式安装配置配饰SSH免密登录本机测试启动单节点安装YARN伪分布式集群启动与停止 安装Hadoop单节点伪分...
2年前
万字长文 | Hadoop 上云： 存算分离架构设计与迁移实践
一面数据原有的技术架构是在线下机房中使用 CDH 构建的大数据集群。自公司成立以来，每年都保持着高速增长，业务的增长带来了数据量的剧增。 在过去几年中，我们按照每 1 到 2 年的规划扩容硬件...
2年前
MapReduce实现TopN的效果
1、背景 最近在学习Hadoop的MapReduce，此处记录一下如何实现 TopN 的效果，以及在MapReduce中如何实现 自定义分组。 2、需求 我们有一份数据，数据中存在如下3个字段，订单编号,订单项和订单项...
2年前Hadoop-HDFS
概述 HDFS的产生背景和定义 背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的...
2年前Dockerfile 构建 hadoop 集群
Dockerfile 构建 hadoop 集群 这里构建 hadoop 最新版本的集群 hadoop-3.3.6，只用到 hdfs。 一、构建 Hadoop 基础镜像 1.1 编写 dockerfile FROM centos:centos7.9.2009 # 更新/安装需要的...
2年前
深入理解 HDFS（一）：Block
HDFS 使用类似 Linux 文件目录结构来抽象表示存储的数据结构，使用 inode 来表示目录或文件。 当你通过 hdfs dfs -copyFromLoacl my.log / 命令上传一份日志文件，还是使用计算引擎存储临时状态...
2年前
构建大数据环境：Hadoop、MySQL、Hive、Scala和Spark的安装与配置
前言 在当今的数据驱动时代，构建一个强大的大数据环境对于企业和组织来说至关重要。本文将介绍如何安装和配置Hadoop、MySQL、Hive、Scala和Spark，以搭建一个完整的大数据环境。 简介 安装Hado...
2年前