分布式共0篇
分布式
由浅入深的介绍扣减业务中的一些高并发构建方案(中)-五八三

由浅入深的介绍扣减业务中的一些高并发构建方案(中)

前言 大家好,我是路由器没有路。 在上一讲的实现方案里,我们讨论采用数据库的扣减实现方案,如果以常规的机器或者 Docker 来进行评估,此方案将来实现单机级的 TPS。 之所以介绍,是要告诉你...
admin的头像-五八三admin2年前
0440
用“分区”来面对超大数据集和超大吞吐量-五八三

用“分区”来面对超大数据集和超大吞吐量

大家好,我是 方圆。本文的内容参考《数据密集型应用系统设计》的第六章,原文收录在我的 Github: enthusiasm 中,欢迎Star和获取原文。 1. 为什么要分区? 分区(partitions) 也被称为 分片(...
admin的头像-五八三admin2年前
0420
redis雪崩问题解决-五八三

redis雪崩问题解决

缓存雪崩 出现的场景 缓存服务器宕机,没有设置持久化 介绍:缓存服务器宕机,没有设置持久化,导致缓存数据全部丢失,请求全部转发到数据库,造成数据库短时间内承受大量请求而崩掉。 缓存集中...
admin的头像-五八三admin2年前
0360
确定性模拟的背景、原理、框架及应用实例-五八三

确定性模拟的背景、原理、框架及应用实例

作者:王润基 RisingWave Labs 内核开发工程师 确定性模拟(Deterministic Simulation)是一种独特的系统测试技术,它可以将整个分布式系统的各个组件运行在一个单线程模拟器上,从而实现系统的...
admin的头像-五八三admin2年前
0310
Java手写分布式锁的实现-五八三

Java手写分布式锁的实现

前言 随着互联网业务的发展,原本单机部署的系统演化成如今的分布式集群系统后,由于分布式系统多线程,多进程并且分布在不同的机器上,这会使原本的单机锁失效,而且单纯的Java API并不能提供...
admin的头像-五八三admin2年前
0300
【分布式技术专题】「缓存解决方案」一文带领你好好认识一下企业级别的缓存技术解决方案的运作原理和开发实战(存穿透、缓存击穿和缓存雪崩)-五八三

【分布式技术专题】「缓存解决方案」一文带领你好好认识一下企业级别的缓存技术解决方案的运作原理和开发实战(存穿透、缓存击穿和缓存雪崩)

常见概念 在使用缓存之前,了解缓存领域中的常用术语很重要: 1)缓存命中:表示可以从缓存获取数据,无需再次请求源数据; 2)缓存未命中:表示无法从缓存中获取数据,如果缓存有空间,将会将...
admin的头像-五八三admin2年前
0270
常见分布式ID解决方案总结:数据库、算法、开源组件-五八三

常见分布式ID解决方案总结:数据库、算法、开源组件

分布式ID 分布式 ID(Distributed ID)是指在分布式系统中生成全局唯一的标识符,用于标识不同实体或数据对象。在分布式系统中,由于数据存储、计算和处理都分散在不同的节点上,因此需要一个可...
admin的头像-五八三admin2年前
0250
拜占庭将军问题详解-五八三

拜占庭将军问题详解

拜占庭将军问题 拜占庭将军问题描述的是最困难的,也是最复杂的一种分布式故障场景,除了存在故障行为,还存在恶意行为的一个场景。 问题背景:拜占庭将军问题 拜占庭将军问题本质上就是一个共...
admin的头像-五八三admin2年前
0250
Kurator v0.4.0版本更新4大内容,满足多云环境的复杂需求-五八三

Kurator v0.4.0版本更新4大内容,满足多云环境的复杂需求

本文分享自华为云社区《Kurator v0.4.0:引领分布式云原生管理的全新篇章》,作者:华为云云原生团队。 Kurator 是一款开源的分布式云原生平台,融合了众多主流的云原生软件栈,如Kubernetes、I...
admin的头像-五八三admin2年前
0230

架构师必备之性能测试–数据库压测工具sysbench的安装及使用

sysbench是一款开源的多线程性能测试工具,可以执行CPU/内存/线程/IO/数据库等方面的性能测试。 作为开发人员,需要对服务的性能有所了解,qps、tps、rt等是检验一个服务的基本性能指标,本文重...
admin的头像-五八三admin2年前
0230
一文搞懂分布式事务原理-五八三

一文搞懂分布式事务原理

前言 如无必要,请在设计中规避分布式事务 简介 严格意义上的事务实现应该是具备原子性、一致性、隔离性和持久性,简称 ACID。 原子性(Atomicity),可以理解为一个事务内的所有操作要么都执行...
admin的头像-五八三admin2年前
0220
分布式基础:CAP理论详解-五八三

分布式基础:CAP理论详解

对于任何一个分布式系统而言,数据同步永远都是重中之重。因为一个集群当中会有很多节点,那么客户端每次写数据的时候,是只向一个节点写入,还是向所有节点写入就成了一个问题。 如果向所有节...
admin的头像-五八三admin2年前
0220
一张图读懂TuGraph Analytics开源技术架构-五八三

一张图读懂TuGraph Analytics开源技术架构

TuGraph Analytics(内部项目名GeaFlow)是蚂蚁集团开源的分布式实时图计算引擎,即流式图计算。通过SQL+GQL融合分析语言对表模型和图模型进行统一处理,实现了流、批、图一体化计算,并支持了E...
admin的头像-五八三admin2年前
0220
Redis 之分布式锁的实现-五八三

Redis 之分布式锁的实现

引言 分布式锁大家应该不陌生,在很多大厂面试的时候,面试官们都很喜欢问这个问题。 我们在系统中修改已有数据时,需要先读取,然后进行修改保存,此时很容易遇到并发问题。由于修改和保存不是...
admin的头像-五八三admin2年前
0210
基于 Ray 的大规模离线推理-五八三

基于 Ray 的大规模离线推理

本文整理自字节跳动基础架构资深研发工程师王万兴在火山引擎开发者社区 Meetup 中的分享。大模型离线推理,是指在具有数十亿或数千亿参数的大规模模型上进行分布式推理的过程。相较于常规模型推...
admin的头像-五八三admin2年前
0210
分布式服务高可用实现:复制 | 京东物流技术团队-五八三

分布式服务高可用实现:复制 | 京东物流技术团队

1. 为什么需要复制 我们可以考虑如下问题: 当数据量、读取或写入负载已经超过了当前服务器的处理能力,如何实现负载均衡? 希望在单台服务器出现故障时仍能继续工作,这该如何实现? 当服务的...
admin的头像-五八三admin2年前
0200
Raft 论文梳理-五八三

Raft 论文梳理

Raft梳理 此文第一部分是对 schedule 中 Question 的自己的解答,第二部分是自己对 Raft 的梳理,如有不对,欢迎指正! Questions Lecture 5 Suppose we have the scenario shown in the Raft p...
admin的头像-五八三admin2年前
0200
分布式系统常见问题-五八三

分布式系统常见问题

一.概述 分布式系统存在网络,时钟,以及许多不可预测的故障。分布式事务,一致性与共识问题,迄今为止仍没有得到很好的解决方案。要想完美地解决分布式系统中的问题不太可能,但是实践中应对特...
admin的头像-五八三admin2年前
0200
分布式事务的华丽进化 | 京东物流技术团队-五八三

分布式事务的华丽进化 | 京东物流技术团队

说到分布式事务,大家并不陌生。在实际工作中,用得比较多的还是柔性分布式事务,今天主要把在工作中运用到的几种柔性分布式事务的场景及实现方式做一个简单介绍,也可以看做是柔性分布式事务的...
admin的头像-五八三admin2年前
0190
Java分布式事务及seata框架的使用-五八三

Java分布式事务及seata框架的使用

基本概念 什么是事务? 事务从本质上讲就是:逻辑上的一组操作,组成这组操作的各个逻辑单元在不同的服务甚至服务器上,保证它们要成功就都成功,要失败就都失败。 事务的四大特性 提到事务就不...
admin的头像-五八三admin2年前
0190