一、前言 共识是一致性分布式系统的基础。为了在不可避免的崩溃事件中保证系统可用性，系统需要一种方法来确保集群中的每个节点保持一致，以便在发生故障的情况下，工作可以在节点之间无缝切换...

专栏目录 从根儿上学习微服务01：微服务的“前世今生” 从根儿上学习微服务02：如何划分微服务？ 耗时一晚上，我梳理出了 2023 年微服务技术架构必会知识点！ 前言 大家好，我是「周三不Coding...

1 事务概述 事务具有 4 个特性：这四个特性通常称为ACID 特性。 网上对四个词的解析文章包括后续扩展的比如分布式事务的二阶段提交，三阶段提交，TCC等方式都有详细的说明，这里就不重复解释了...

大家好，我是 方圆。本文的内容参考《数据密集型应用系统设计》的第六章，原文收录在我的 Github: enthusiasm 中，欢迎Star和获取原文。 1. 为什么要分区？ 分区（partitions） 也被称为 分片（...

一.概述 分布式系统存在网络，时钟，以及许多不可预测的故障。分布式事务，一致性与共识问题，迄今为止仍没有得到很好的解决方案。要想完美地解决分布式系统中的问题不太可能，但是实践中应对特...

专栏目录 从根儿上学习微服务01：微服务的“前世今生” 从根儿上学习微服务02：如何划分微服务？ 前言 大家好，我是「周三不Coding」。 在上一篇文章中我详细讲解了为什么需要微服务以及如何划...

一：场景 20w的QPS的场景下，服务端架构应如何设计？ 二：常规解决方案 可使用分布式缓存来抗，比如redis集群，6主6从，主提供读写，从作为备，不提供读写服务。1台平均抗3w并发，还可以抗住，...

大家好，我是老三，最近公司在搞年终大促，随着各种营销活动“组合拳”打出，进站流量时不时会有一个小波峰，一般情况下，当然是流量越多越好，前提是系统能杠地住。大家都知道，一个分布式系统...

机器学习能够基于数据发现一般化规律的优势日益突显，我们看到有越来越多的开发者关注如何训练出更快速、更准确的机器学习模型，而分布式训练 (Distributed Training) 则能够大幅加速这一进程。...

作者： 张凯@阿里云、陳韋廷@Intel、周渊@Intel 简介 Apache Celeborn(Incubating) 是阿里云捐赠给 Apache 的通用 Remote Shuffle Service，旨在提升大数据计算引擎的性能/稳定性/弹性，目前已...

缓存雪崩 出现的场景 缓存服务器宕机，没有设置持久化 介绍：缓存服务器宕机，没有设置持久化，导致缓存数据全部丢失，请求全部转发到数据库，造成数据库短时间内承受大量请求而崩掉。 缓存集中...

Raft是分布式环境下的一致性算法，它通过少数服从多数的选举来维持集群内数据的一致性。它与RBFT算法名称有点像，然而Raft算法里不能存在拜占庭节点，而RBFT则能容忍BFT节点的存在。Raft非常类...

多级缓存设计案例 从用户发出请求到最底层的数据库，实际上会经过多个节点。因此，在整个链路上都可以设置缓存。根据缓存最近原则，将缓存放置在离用户最近的位置可以最大限度地提高系统响应效...

本文分享自华为云社区《Kurator v0.4.0：引领分布式云原生管理的全新篇章》，作者：华为云云原生团队。 Kurator 是一款开源的分布式云原生平台，融合了众多主流的云原生软件栈，如Kubernetes、I...

常见的几个场景问题 在仔细分析数据更新策略后，我们发现正确地使用缓存并不是一件容易的事情。而在实际应用中，还存在许多引人入胜的情景（或称为'坑'），在此我将对它们进行总结和归纳。 问题...

数据不一致的原因 在引入缓存后，数据就会分散在两个不同的数据源中。由于数据的更新是实时的，因此很难保持数据的一致性，除非采用强一致性方案。在探索适当的解决方案之前，我们需要分析导致...

数据更新场景 在引入缓存后，数据会同时存放在缓存和数据库两个地方。因此，当需要更新数据时，需要确保这两个地方都能够得到更新，并且不同的更新时序可能会产生不同的结果。在业界，已经形成...

基础理论 CAP理论 一致性（Consistency） ：在分布式系统中所有的数据备份，在同一时刻都保持一致状态，如无法保证状态一致，直接返回错误； 可用性（Availability）：在集群中一部分节点故障，...

前言 如无必要，请在设计中规避分布式事务 简介 严格意义上的事务实现应该是具备原子性、一致性、隔离性和持久性，简称 ACID。 原子性（Atomicity），可以理解为一个事务内的所有操作要么都执行...