分布式共0篇
分布式
排序
一张图读懂TuGraph Analytics开源技术架构
TuGraph Analytics（内部项目名GeaFlow）是蚂蚁集团开源的分布式实时图计算引擎，即流式图计算。通过SQL+GQL融合分析语言对表模型和图模型进行统一处理，实现了流、批、图一体化计算，并支持了E...
2年前
深入了解Elasticsearch搜索引擎篇：倒排索引、架构设计与优化策略
合集 - 面试种子题目(9)1.Java并发篇：6个必备的Java并发面试种子题目07-262.探索Java通信面试的奥秘：揭秘IO模型、选择器和网络协议，了解面试中的必备知识点！07-273.JVM调优篇：探索Java性能...
2年前
实战：工作中对并发问题的处理
1. 问题背景 问题发生在快递分拣的流程中，我尽可能将业务背景简化，让大家只关注并发问题本身。 分拣业务针对每个快递包裹都会生成一个任务，我们称它为 task。task 中有两个字段需要关注，一...
2年前
分布式事务的华丽进化 | 京东物流技术团队
说到分布式事务，大家并不陌生。在实际工作中，用得比较多的还是柔性分布式事务，今天主要把在工作中运用到的几种柔性分布式事务的场景及实现方式做一个简单介绍，也可以看做是柔性分布式事务的...
2年前
实战：工作中对并发问题的处理 | 京东物流技术团队
1. 问题背景 问题发生在快递分拣的流程中，我尽可能将业务背景简化，让大家只关注并发问题本身。 分拣业务针对每个快递包裹都会生成一个任务，我们称它为 task。task 中有两个字段需要关注，一...
2年前
详解很多公司都在用的国产分布式任务调度框架：XXL-JOB
1.简介 1.1 Quartz的不足 之前我们讲述了分布式任务调度任务框架老大哥：Quartz，但是Quartz 使用起来也比较麻烦，不尽人意。个人总结其使用缺点如下： Quzrtz 并没有内置 UI 管理控制台，导致...
2年前
Rocketmq 5.0 任意时间定时消息（RIP-43） 原理详解 & 源码解析
1. 背景 1.1 概念和应用场景 延迟消息（定时消息）即消息到达消息队列服务端后不会马上投递，而是到达某个时间才投递给消费者。它在在当前的互联网环境中有非常大的需求。 例如电商/网约车等业...
2年前
常见分布式ID解决方案总结：数据库、算法、开源组件
分布式ID 分布式 ID（Distributed ID）是指在分布式系统中生成全局唯一的标识符，用于标识不同实体或数据对象。在分布式系统中，由于数据存储、计算和处理都分散在不同的节点上，因此需要一个可...
2年前
混合精度Mixed Precision Training
神经网络的参数是用浮点精度表示的， 浮点精度的标准是IEEE 754 - Wikipedia，以下是一个FP16数值在内存中存储格式。 随着神经网络模型规模越来越大，如何减少模型占用的内存并且缩短训练时间成...
2年前
Rocketmq Filter 消息过滤（TAGS、SQL92）原理详解 & 源码解析
1. 背景 1.1 Rocketmq 支持的过滤方式 Rocketmq 作为金融级的业务消息中间件，拥有强大的消息过滤能力。其支持多种消息过滤方式： 表达式过滤：通过设置过滤表达式的方式进行过滤 TAG：根据消息...
2年前架构师必备之性能测试–数据库压测工具sysbench的安装及使用
sysbench是一款开源的多线程性能测试工具，可以执行CPU/内存/线程/IO/数据库等方面的性能测试。 作为开发人员，需要对服务的性能有所了解，qps、tps、rt等是检验一个服务的基本性能指标，本文重...
2年前
事务，不只ACID | 京东物流技术团队
1. 什么是事务？ 应用在运行时可能会发生数据库、硬件的故障，应用与数据库的网络连接断开或多个客户端端并发修改数据导致预期之外的数据覆盖问题，为了提高应用的可靠性和数据的一致性，事务 ...
2年前
Redis 之分布式锁的实现
引言 分布式锁大家应该不陌生，在很多大厂面试的时候，面试官们都很喜欢问这个问题。 我们在系统中修改已有数据时，需要先读取，然后进行修改保存，此时很容易遇到并发问题。由于修改和保存不是...
2年前分布式锁(1)–PyRedis分布式锁的简单实现
前记 随着业务的增长，后端技术架构会慢慢的从单体服务转向多服务或者微服务的分布式架构，此时语言级别的锁无法管理所有资源的竞争，只能采用分布式锁。而分布式锁的主体思想虽然与语言级别的...
2年前
分布式基础：CAP理论详解
对于任何一个分布式系统而言，数据同步永远都是重中之重。因为一个集群当中会有很多节点，那么客户端每次写数据的时候，是只向一个节点写入，还是向所有节点写入就成了一个问题。 如果向所有节...
2年前聊聊分片技术
今天来聊一聊开发中一个比较常见的概念“分片”技术。这个概念听起来好像是在讲切西瓜，但其实不是！它是指将大型数据或者任务分成小块处理的技术。 就像吃面条一样，太长了不好吃，我们要把它...
2年前
一种轻量级定时任务实现 | 京东云技术团队
现在市面上有各式各样的分布式定时任务，每个都有其独特的特点，我们这边的项目因为一开始使用的是分布式开源调度框架TBSchedule，但是这个框架依赖ZK，由于ZK的不稳定性和项目老旧无人维护，导...
2年前
分布式服务高可用实现：复制 | 京东物流技术团队
1. 为什么需要复制 我们可以考虑如下问题： 当数据量、读取或写入负载已经超过了当前服务器的处理能力，如何实现负载均衡？ 希望在单台服务器出现故障时仍能继续工作，这该如何实现？ 当服务的...
2年前
分布式服务高可用实现：复制
1. 为什么需要复制 我们可以考虑如下问题： 当数据量、读取或写入负载已经超过了当前服务器的处理能力，如何实现负载均衡？ 希望在单台服务器出现故障时仍能继续工作，这该如何实现？ 当服务的...
2年前
分布式系统常见理论讲解
分布式系统是指由多个节点通过网络进行通信和协作的系统，它具有高可用性、高扩展性、高性能等优点，但也面临着一些挑战，如数据一致性、容错性、负载均衡等。为了解决这些问题，分布式系统设计...
2年前