排序
确定性模拟的背景、原理、框架及应用实例
作者:王润基 RisingWave Labs 内核开发工程师 确定性模拟(Deterministic Simulation)是一种独特的系统测试技术,它可以将整个分布式系统的各个组件运行在一个单线程模拟器上,从而实现系统的...
【Redis深度专题】「核心技术提升」探究Redis服务启动的过程机制的技术原理和流程分析的指南(集群指令分析—实战篇)
Cluster XX的集群指令(扩展) 下面是对Redis集群扩展的指令: cluster myid:用于获取当前节点的ID。 该指令返回节点的ID。在Redis集群中,每个节点都有一个唯一的ID,通过该指令可以获取当前...
【Redis深度专题】「核心技术提升」探究Redis服务启动的过程机制的技术原理和流程分析的指南(集群指令分析—上篇)
@TOC Redis集群管理 Redis Cluster提供了一套完整的功能技术,使得Redis能够以分布式的方式运行,并具备高可用性、容错性和扩展性。通过自动发现、主从选举、在线分片等机制,Redis Cluster能够...
由浅入深的介绍扣减业务中的一些高并发构建方案(中)
前言 大家好,我是路由器没有路。 在上一讲的实现方案里,我们讨论采用数据库的扣减实现方案,如果以常规的机器或者 Docker 来进行评估,此方案将来实现单机级的 TPS。 之所以介绍,是要告诉你...
Java分布式事务及seata框架的使用
基本概念 什么是事务? 事务从本质上讲就是:逻辑上的一组操作,组成这组操作的各个逻辑单元在不同的服务甚至服务器上,保证它们要成功就都成功,要失败就都失败。 事务的四大特性 提到事务就不...
【分布式技术专题】「架构设计方案」盘点和总结RBAC服务体系的功能设计及注意事项技术体系
前言介绍 权限管理是后台系统的重要组成部分,主要目的是控制不同人对资源的访问权限,以避免操作错误和隐私数据泄露等风险问题。我在公司负责权限管理,对该领域的设计很熟悉。公司采用微服务...
lab4A_The_Shard_controller
MIT6.824_2021_lab4A_The_Shard_controller lab4 系列除了构建一个 键值存储系统,还需要将系统按键 分片(shard) 或对一组副本进行分区; 分片的策略有很多,比如:所有以 'a' 开头的键是一个分...
Raft 论文梳理
Raft梳理 此文第一部分是对 schedule 中 Question 的自己的解答,第二部分是自己对 Raft 的梳理,如有不对,欢迎指正! Questions Lecture 5 Suppose we have the scenario shown in the Raft p...
lab2A_leader_election
MIT6.824_2021_lab2A_leader_election 做完 lab2 之后回来写系列文章总结 如果说 lab1 的 mapreduce 是用来入门分布式系统课程的,那么 lab2 开始就是课程设计的真正开始 lab2 系列为 raft 分布...
MapReuce 详解与复现, 完成 MIT 6.824(6.5840) Lab1
背景: MapReduce是谷歌于2004年提出的一种用于并行处理海量数据的算法模型。 MapReduce、 GFS、和Bigtable被成为谷歌分布式系统的'三驾马车', 共同开启了工业化的大数据时代,。虽然谷歌公开了Ma...
Trino 插件开发入门
前言 根据官网描述,Trino 是一个快速的、分布式的大数据查询引擎,支持单数据源查询及多数据源的联邦查询,且内置支持多种数据源,如 Hive、MySQL、Kafka、Clickhouse、Elasti...
微服务13:云基础场景下流量策略实现原理
★微服务系列 微服务1:微服务及其演进史微服务2:微服务全景架构 微服务3:微服务拆分策略微服务4:服务注册与发现微服务5:服务注册与发现(实践篇)微服务6:通信之网关微服务7:通信之RPC微...
【Redis深度专题】「核心技术提升」探究Redis服务启动的过程机制的技术原理和流程分析的指南(持久化功能分析)
Redis提供的持久化机制 Redis是一种面向'key-value'类型数据的分布式NoSQL数据库系统,具有高性能、持久存储和适应高并发应用场景等诸多优势。尽管Redis的发展起步较晚,但它的发展速度迅猛。 ...
【Redis深度专题】「核心技术提升」探究Redis服务启动的过程机制的技术原理和流程分析的指南(集群功能分析)
Redis集群的出现背景 Redis是单线程的,但通常作为缓存使用足够了,因为它具有非常快的读写速度。根据官方的简单测试,使用50个并发执行100,000个请求。每个请求设置和获取一个256字节的字符串...
30分钟了解Raft算法
Raft算法是什么 当存储系统单点部署时,单个节点出故障就会导致数据丢失、系统不可用等问题,因此各大公司用于生产的存储系统一般都会部署多个节点。分布式系统最大的挑战是数据一致性问题,即...
拆解雪花算法生成规则 | 京东物流技术团队
1 介绍 雪花算法(Snowflake)是一种生成分布式全局唯一ID的算法,生成的ID称为Snowflake IDs或snowflakes。这种算法由Twitter创建,并用于推文的ID。目前仓储平台生成ID是用的雪花算法修改后的...
Ceph社区上游正式合入openEuler原生支持,并通过CI持续验证
作为覆盖全场景应用、支持多样性算力的面向数字基础设施的开源操作系统,openEuler始终遵循“上游优先”的策略,帮助上游开源软件原生支持openEuler,让openEuler系操作系统的用户可以在开发、...
拜占庭将军问题详解
拜占庭将军问题 拜占庭将军问题描述的是最困难的,也是最复杂的一种分布式故障场景,除了存在故障行为,还存在恶意行为的一个场景。 问题背景:拜占庭将军问题 拜占庭将军问题本质上就是一个共...
耗时一周,我做了一个仿 "掘金" 微服务编程学习网站!
前言 大家好,我是「周三不Coding」。 今天给大家介绍一下我两个多月前做的一个微服务容器化项目 —— Kill Bug 编程学习 & 问答 & 接单网站!界面参照 “掘金” 设计而成~ 开发这个项...
Java手写分布式锁的实现
前言 随着互联网业务的发展,原本单机部署的系统演化成如今的分布式集群系统后,由于分布式系统多线程,多进程并且分布在不同的机器上,这会使原本的单机锁失效,而且单纯的Java API并不能提供...