【思维导图】study-分布式架构
各类架构类构图整理分享
Rest API
微服务模块
Rest API
微服务模块
Rest API
微服务模块
该图为常用的咨询规划方法论构图方式,实际上后续的内容基本可以按构图中的五个阶段展开逐步描述和分解,体现完整的金字 塔结构。该图一般用于PPT首页介绍说明。
阶段 1 :现状分析
阶段 2 :发展愿景
阶段 3:蓝图设计
阶段 4:标准体系
超时
警
规
则
引
资 源
内存
CPU
擎
连接池 可用线程
层
集群节点自动重启
该图为在思考云原生解决方案时候第一次构图,中间是核心的PaaS技术能力平台,底层是研发过程管理和DevOps支撑平台, 上层是API网关和能力能力开放平台。横向体现明显分层,但是中间PaaS层对开发生命周期体现不足。
微服务开发框架 和开发平台
暂收订单冲销
供应商认证信 息
供应商评级
供应商 供应商绩效
潜在供应商
供应商基本信 息
暂收订单
提前到货订单
评标专家信息
合同审批信息 合同法律审核 合同财务审核 合同立项审核
合同解除
合同违约与纠 纷
合同变更
合同域
合同跟踪信息
无订单采购信 息
合同
合同模板
中标信息 投标信息
采购订单
采购目录
采购订单采购进度
评标信息 寻源方式 寻源进度
该图为在进行产品规划设计时候构图,其核心是基于传统的ESB总线引擎和API引擎,如何整合构建一个统一的SOA治理管控平 台和OpenAPI能力开放平台。既底层两个引擎可适配,但是服务治理和能力开放共享。
OpenAPI能力开放平台+运营服务平台(两套引擎共用)
一文看懂分布式存储架构,这篇分析值得收藏
⼀⽂看懂分布式存储架构,这篇分析值得收藏【摘要】本⽂介绍了分布式存储的架构类型、分布式理论、不同的分布式⽂件系统和分布式键值系统等,较为系统详尽,可阅读收藏。
【作者】Rock,⽬前担任某国内著名餐饮连锁企业运维负责⼈,从事过数据库、⼤数据和容器集群的⼯作,对DevOps流程和⼯具⽅⾯有⽐较深刻的理解。
⼀、集中存储结构说到分布式存储,我们先来看⼀下传统的存储是怎么个样⼦。
传统的存储也称为集中式存储,从概念上可以看出来是具有集中性的,也就是整个存储是集中在⼀个系统中的,但集中式存储并不是⼀个单独的设备,是集中在⼀套系统当中的多个设备,⽐如下图中的 EMC 存储就需要⼏个机柜来存放。
在这个存储系统中包含很多组件,除了核⼼的机头(控制器)、磁盘阵列( JBOD )和交换机等设备外,还有管理设备等辅助设备。
结构中包含⼀个机头,这个是存储系统中最为核⼼的部件。
通常在机头中有包含两个控制器,互为备⽤,避免硬件故障导致整个存储系统的不可⽤。
机头中通常包含前端端⼝和后端端⼝,前端端⼝⽤户为服务器提供存储服务,⽽后端端⼝⽤于扩充存储系统的容量。
通过后端端⼝机头可以连接更多的存储设备,从⽽形成⼀个⾮常⼤的存储资源池。
在整个结构中,机头中是整个存储系统的核⼼部件,整个存储系统的⾼级功能都在其中实现。
控制器中的软件实现对磁盘的管理,将磁盘抽象化为存储资源池,然后划分为 LUN 提供给服务器使⽤。
这⾥的 LUN 其实就是在服务器上看到的磁盘。
当然,⼀些集中式存储本⾝也是⽂件服务器,可以提供共享⽂件服务。
⽆论如何,从上⾯我们可以看出集中式存储最⼤的特点是有⼀个统⼀的⼊⼝,所有数据都要经过这个⼊⼝,这个⼊⼝就是存储系统的机头。
这也就是集中式存储区别于分布式存储最显著的特点。
如下图所⽰:⼆、分布式存储分布式存储最早是由⾕歌提出的,其⽬的是通过廉价的服务器来提供使⽤与⼤规模,⾼并发场景下的 Web 访问问题。
它采⽤可扩展的系统结构,利⽤多台存储服务器分担存储负荷,利⽤位置服务器定位存储信息,它不但提⾼了系统的可靠性、可⽤性和存取效率,还易于扩展。
分布式云计算平台架构详解
分布式云计算平台架构详解分布式云计算平台架构详解1.引言1.1 目的1.2 背景2.云计算概述2.1 云计算的定义2.2 云计算的优势2.3 云计算的应用场景3.分布式系统概述3.1 分布式系统的定义3.2 分布式系统的架构模型3.3 分布式系统的通信机制4.分布式云计算平台的架构设计4.1 分布式云计算平台的目标和需求4.2 分布式云计算平台的主要组件4.2.1 计算资源管理组件4.2.2 存储资源管理组件4.2.3 网络资源管理组件4.2.4 数据传输与安全组件4.3 分布式云计算平台的关键技术4.3.1 虚拟化技术4.3.2 容器技术4.3.3 分布式存储技术4.3.4 分布式调度和负载均衡技术4.3.5 数据安全和隐私保护技术5.分布式云计算平台的部署和维护5.1 分布式云计算平台的部署策略5.1.1 硬件选型和配置5.1.2 软件安装和配置5.2 分布式云计算平台的监控和性能优化 5.2.1 监控指标和工具5.2.2 性能优化方法和技巧6.分布式云计算平台的安全性6.1 分布式云计算平台的安全威胁6.2 分布式云计算平台的安全措施6.2.1 身份认证和访问控制6.2.2 数据加密和隔离6.2.3 安全审计和日志管理6.3 分布式云计算平台的法律合规要求7.结束语本文档涉及附件:附件A ●分布式云计算平台架构图本文所涉及的法律名词及注释:●虚拟化技术:指将物理资源(如服务器、存储和网络)通过软件进行抽象和隔离,使其能够被多个应用程序或用户共享利用。
●容器技术:一种操作系统级别的虚拟化技术,通过将应用程序及其依赖性封装在一个独立的容器中,实现快速部署、可移植和可扩展的应用程序集成。
●分布式存储技术:一种将数据分散存储在多个节点上的技术,提高数据的可靠性和可扩展性。
●分布式调度和负载均衡技术:用于将任务动态分配给分布式系统中的节点,并均衡负载,确保系统资源的充分利用和高效利用。
●数据安全和隐私保护技术:包括数据加密、权限控制、数据备份和灾难恢复等技术,用于保护数据的机密性、完整性和可用性。
《RocketMQ分布式消息中间件 核心原理与最佳实践》读书笔记思维导图
内容简介
第1章 RoketMQ综述
1.1 什么是消息 队列
1.2 为什么需要 消息队列
1.3 常见消息队 列
1.4 RocketMQ的 发展史与未来
第2章 RocketMQ的生产者原理 和最...
2.1 生产者 1
原理
2
2.2 生产者 启动流程
3 2.3 消息发
送流程
4 2.4 发送消
息最佳实践
8.1 RocketMQ源 代码结构概述
8.2 RocketMQ源 代码编译
8.3 如何阅读源 代码
8.4 源代码阅读 范例:通过消息 id查询...
第9章 RocketMQ企业最佳实践
01
9.1 RocketM Q落地概 述
02
9.2 RocketM Q集群管 理
03
9.3 RocketM Q集群监 控和报警
04
9.4 RocketM Q集群迁 移
05
9.5 RocketM Q测试环 境实践
06
9.6 RocketM Q接入实 践
附录
反侵权盗版声明
社区介绍
读书笔记
谢谢观看
5 2.5 生产者
最佳实践总结
第3章 RocketMQ的消费流程和 最佳...
3.1 消费者概述
3.2 消费者启动 机制
3.3 消费者的 Rebalance机制
3.4 消费进度保 存机制
3.6 消息过滤
3.5 消费方式
3.7 消费者最佳 实践总结
第4章 RocketMQ架构和部署最 佳实...
04 第3章 RocketMQ 的消费流程和最佳...
05 第4章 RocketMQ 架构和部署最佳实...
DAMABOOK(DAMA)- 第12章 元数据管理-思维导图
ETL作业详细信息。
文件格式模式定义。
源到目标的映射文档。
数据血缘文档,包括上游和下游变更影响的信 息。
程序和应用的名称和描述。
周期作业(内容更新)的调度计划和依赖。
恢复和备份规则。
数据访问的权限、组、角色。
批处理程序的作业执行日志。
抽取历史和结果。
调度异常处理。
基本概念
审计、平衡、控制度量的结果。 错误日志。
目标和原则
推换广。或强制使用技术元数据标准,以实现数据交 组织承诺
战略
企业视角
潜移默化 原则
访问
质量
审计
改进
元数据与数据
数据集、表和字段的定义和描述。
业务规则、转换规则、计算公式和推导公式。
数据模型。
数据质量规则和检核结果。
数据的更新计划。
引言
数据溯源和数据血缘。
业务元数据
数据标准。
特定的数据元素记录系统。
过程控制
元数据解决方案的文档
元数据标准和指南
元数据存储库完整性
元数据管理成熟度
专职人员配备
元数据使用情况 业务术语活动
度量指标
主数据服务数据遵从性
元数据文档质量
元数据存储库可用性
元数据治理
缺失高质量元数据影响
因容不的正知确识、导不致完错整误和判不断合。理的假设或缺乏数据内 暴业露信敏誉感和数导据致,法使律客纠户纷或。员工面临风险,影响商 如们果了了解解的数知据识的也那随些之领被域带专走家了们。离开了,那么他
集中式元数据架构
抽系取统元中数的据元时数可据进进行行转补换充、,自提定高义了或元使数用据其的他质源 量。 必须使用复杂的流程确保元数据源头中的更改能 够快速同步到存储库中。
分布式系统架构原理
分布式系统架构原理今天来聊聊分布式系统架构原理。
你有没有见过那种大型的物流中心呀?里面有好多的仓库、好多的工人还有各种各样的运输车辆。
这就有点像分布式系统呢。
在一个大的电商购物节的时候,海量的订单涌来,如果只靠一个小仓库能处理得过来吗?根本不可能嘛。
这时候就需要很多个仓库联动起来,各自承担一部分任务,来确保所有订单能尽快处理,这个就是分布式系统解决问题的一个生活场景写照啦。
分布式系统架构呢,简单来讲就是把一个大的任务分解成好多小任务,让分布在不同地方的许多小系统(就像那些小仓库)一起执行。
打个比方,这就像盖房子,一个人盖一栋房子可能要花好长时间,那要是找好多人呢,每个人负责一块地方,砖头砌墙的砌墙,房子很快就盖好啦。
这里头有个重要的原理就是数据的分布与一致性。
比如说,我们把东西存到不同的仓库(不同的存储节点),要是我在一个仓库存了些新货物,别的仓库要能很快知道有这么个情况,不然就乱套了。
这时候就引出了像分布式锁、一致性哈希这样的技术。
这些东西可不好理解哦,老实说,我一开始也不明白为啥要有这么复杂的概念。
以分布式锁为例来解释下。
好比我们在图书馆只有一本特受欢迎的书(资源),好多人都想借阅,那这时候就得给这本书上把锁,一次就让一个人借,其他人就得等着。
在分布式系统里,如果很多节点都要访问修改同一条数据,就得用这个分布式锁来避免冲突。
分布式系统架构在实际应用里超级广泛,像大型互联网公司的搜索引擎服务,面对全球海量的用户搜索请求,就是靠分布式系统把这些任务分散到世界各地的服务器上处理。
不过呢,在做分布式系统架构的时候也有注意事项,像网络延迟、节点故障这些因素都会影响整体系统的性能,我们得小心应对。
说到这里,你可能会问了:那如果在处理过程中节点不断增加或者减少怎么办呢?这就涉及到了系统的扩展性原理了。
分布式系统要能轻松应对节点的动态变化,就得做好架构设计,比如采用一些动态分配任务的算法之类的。
我自己在学习这些内容的时候,真的是觉得既有趣又充满挑战。
计算机--思维导图
计算机组成原理
操作系统
计算机网络
数据结构
数据库原理
信息新技术
计算机组成原理
计算机系统概述
计算机组成
计算机性能指标
计算机工作过程
数据的机器表示
机器数、非数值编码的表示
存储系统和结构
存储系统的两个层次
Cache
存储容量的计算
中央处理器
CPU的组成
微程序设计
总线系统
总线的分类、结构、控制方式
无线网络和移动网络
基本概念
数据结构
线性表
概念、特点、表示、存储
栈和队列
栈
队列
串
概念、操作、存储
数组和广义表
概念、存储
树和二叉树
二叉树的遍历
图
概念、存储、遍历方法
动态存储管理
动态存储管理方法
查找
查找算法
排序
内部排序
外部排序
文件
分类、结构、操作
数据库原理
数据库概述
数据库系统概述
数据模型
关系数据库
关系代数
Goolgle云计算原理和应用
主流开源云架构
虚拟化技术
虚拟化技术分类
物联网
概念、核心技术、特点
自动识别技术与RFID
无线传感网
其他网络
无线宽带网络
移动通信网络
关系数据库标准语言SQL
SQL概述
数据定义
数据查询
视图
关系数据理论
范式
数据库设计
数据库设计过程
关系查询处理和查询优化
查询处理步骤、查询优化步骤
数据库恢复技术
事务
恢复的实现技术
并发控制
Java 技术栈(思维导图)
Spark:Core、SQL、Streaming、MLib、GraphX……
大数据
Flink、ELK、Ansible……
Jenkins、JIRA、GitlabCI、TravisCI……
DevOps
JWT、SSO、ELK、秒杀……
解决方案
进阶
Java 技术栈
初级
Java 平台
发行版;面向对象;类加载、运行机制;编译、解释、JIT……
微服务
MySQL:B树、B+树、Hash表、隔离性、一致性、原子性、分布式事务、锁、 binlog、redolog、主从同步……
Redis:线程模型、缓存穿透/雪崩、集群和哨兵、分布式锁……
消息队列:RabbitMQ、Kafka、RocketMQ……
Nginx:反向代理、负载均衡…… Elasticsearch、MongoDB、图数据库……
TCP、UDP、HTTP(s)、RPC、WebSocket……
常用协议
内存分配、线程模型…… GC日志、诊断工具、问题定位、调优策略……
JVM
锁:自旋锁、偏向锁、锁粗化/锁消除、分段锁、读写锁、公平锁、非公平锁、乐 观锁、悲观锁……
同步器:CAS、AQS、自旋…… 并发模型:并行、响应式、函数式、Actor、Channel……
Redis
缓存、持久化……
算法 & 数据结构
树、堆、链表、数组…… 查找、排序、递归……
设计模式
单例、工厂、构建器、装饰器、迭代器、观察者……
开发框架
Spring MyBatis
基础:Context、IOC、AOP、Bean、MVC…… SpringBoot:自动装配、嵌入式容器……
SqlSession、Executor……
简述分布式框架的实现原理
简述分布式框架的实现原理
分布式框架的实现原理涉及以下几个方面:
1. 集群管理:分布式框架需要管理大规模的集群,包括节点的加入和离开、状态检测、心跳机制等。
通常会使用集群管理工具如Zookeeper来实现。
2. 任务调度:分布式框架需要将任务分配给不同的节点进行并行处理,通常使用调度器来实现任务分配,如Hadoop的YARN和Google的Borg。
3. 数据分片:对于需要处理海量数据的应用,分布式框架需要将数据切分成多个小片段,并分配给不同的节点进行处理。
通常使用数据分片算法如哈希分片、范围分片等。
4. 数据通信:节点之间需要进行数据通信,包括任务提交、结果返回等。
通常使用消息队列或RPC框架进行通信,如Kafka、RabbitMQ、gRPC等。
5. 容错和故障恢复:分布式框架需要具备容错能力,即当某个节点发生故障时,能够自动将任务重新分配给其他节点进行处理,保证整个系统的可靠性。
通常使用备份机制、故障检测和恢复等手段来实现。
6. 数据一致性:分布式系统中的节点需要保持数据一致性,即对同一份数据的操作需要保证所有节点的数据状态一致。
通常使用分布式一致性协议如Paxos、
Raft来保证数据一致性。
综上所述,分布式框架的实现原理是通过集群管理、任务调度、数据分片、数据通信、容错和故障恢复以及数据一致性等方法来实现分布式计算的功能。
分布式存储系统架构
分布式存储系统架构数据节点是分布式存储系统的核心组件,负责实际存储数据。
每个数据节点都包含一部分物理存储设备,可以是硬盘、闪存或ARM等。
数据节点之间相互独立,彼此之间没有任何硬件或软件的依赖关系。
数据节点通常通过网络连接到其他节点,并通过一个分布式文件系统来管理和访问存储的数据。
元数据节点是分布式存储系统中负责管理元数据的组件。
元数据是描述存储数据的信息,比如文件名、文件大小、创建时间等。
元数据节点负责存储和管理元数据,以及处理与之相关的操作,如文件的创建、读取和删除。
元数据节点通常使用分布式数据库或分布式文件系统来存储和管理元数据。
数据管理节点是负责管理数据节点和元数据节点的组件。
数据管理节点会根据数据的访问需求将数据复制到多个数据节点上,从而提供高可靠性和高可用性的数据服务。
数据管理节点还负责监控节点的状态,并在节点发生故障时进行故障转移。
与数据节点和元数据节点不同,数据管理节点通常不存储实际的数据,但它可以对数据进行操作和管理。
客户端节点是分布式存储系统中与用户进行交互的组件。
客户端节点可以是运行在终端设备上的应用程序、网站或是其他系统。
客户端节点通过与数据管理节点通信来读取和写入数据。
分布式存储系统通常提供一些客户端接口和协议,如文件系统接口、块设备接口或对象存储接口,以方便用户使用和访问存储的数据。
在分布式存储系统架构中,数据通常会被分成多个块,并分布存储在不同的数据节点上。
这样可以提高系统的可扩展性和容错性。
当需要访问数据时,客户端节点会向数据管理节点发送请求,并根据元数据定位所需的数据块。
数据管理节点会将请求转发给包含所需数据块的数据节点,并将数据块返回给客户端节点。
分布式存储系统的架构还可以包括一些其他的组件,如负载均衡器、缓存服务器或安全认证服务器。
负载均衡器可以根据节点的负载情况将客户端请求分发给合适的节点,以提高系统的性能和可扩展性。
缓存服务器可以缓存热门的数据块,以减少对数据节点的访问。
Java工程师学习之路思维导图
Java⼯程师学习之路思维导图前⾯看Hollis的微信公众号更新了Java⼯程师成神之路的⽂档,感觉⾥⾯的内容清晰、齐全,可以⽤来审视⾃⼰,也能够知道⾃⼰在那些⽅⾯可以继续前⾏,想着有时间分享出来。
⼀、基础篇JVMJVM内存结构堆、栈、⽅法区、直接内存、堆和栈区别Ja va内存模型内存可见性、重排序、顺序⼀致性、volatile、锁、final垃圾回收内存分配策略、垃圾收集器(G1)、GC算法、GC参数、对象存活的判定JVM参数及调优Ja va对象模型oop-klass、对象头H o tSpo t即时编译器、编译优化类加载机制classLoader、类加载过程、双亲委派(破坏双亲委派)、模块化(jboss modules、osgi、jigsaw)虚拟机性能监控与故障处理⼯具jps, jstack, jmap、jstat, jconsole, jinfo, jhat, javap, btrace、TProfiler编译与反编译javac 、javap 、jad 、CRFJava基础知识阅读源代码String、Integer、Long、Enum、BigDecimal、ThreadLocal、ClassLoader & URLClassLoader、ArrayList & LinkedList、 HashMap & LinkedHashMap & TreeMap & CouncurrentHashMap、HashSet & LinkedHashSet & TreeSetJa va中各种变量类型熟悉Ja va Str ing的使⽤,熟悉String的各种函数JDK 6和JDK 7中substring的原理及区别、replaceFirst、replaceAll、replace区别、String对“+”的重载、String.valueOf和Integer.toString的区别、字符串的不可变性⾃动拆装箱Integer的缓存机制熟悉Ja va中各种关键字transient、instanceof、volatile、synchronized、final、static、const 原理及⽤法。
分布式架构知识点
分布式架构知识点《说说分布式架构知识点那些事儿》嘿,家人们!今天咱来聊聊这分布式架构知识点。
这可不是一般的玩意儿,就好像是一把神奇的钥匙,能打开高效处理大规模数据和任务的大门。
你想啊,一个系统要是像个大家庭一样,什么事儿都交给一个人干,那不得累垮了呀。
但分布式架构就不一样了,它把任务拆散了分给好多好多“人”,大家一起干,那效率得多高啊!这感觉就像是一群蚂蚁共同搬食物,力量大得很呢。
就比如说,一个网站同时有成千上万的人访问,如果只有一台服务器,那不得卡得跟蜗牛似的。
但是有了分布式架构,那就可以把访问压力分散到不同的服务器上,大家各自处理一部分,速度立马就提上去了。
而且啊,分布式架构还让系统变得超级坚韧。
要是有那么一两台服务器出了问题,没关系,其他服务器还在正常工作呢,就像是掉了一两颗牙,不影响咱正常吃饭。
再者呢,就像咱过日子,不能所有鸡蛋都放在一个篮子里吧。
有了分布式架构,数据也可以分散存储在不同的地方,这样就算某个地方的数据出现问题,咱还有备份呢,不用担心数据一下子全没了。
但是呢,就像生活中总会有些小麻烦一样,分布式架构也不是完美的。
比如说,这么多服务器之间得协调好工作呀,不然不就乱套了。
还有数据一致性也是个头疼的问题,要保证这么多地方的数据都是一致的,可不是件容易的事儿。
不过没关系,咱们聪明的技术人员们总是有办法解决这些问题滴!他们就像一群勤劳的小蜜蜂,不断地改进和优化,让分布式架构越来越厉害。
总之呢,分布式架构知识点就像是一个宝藏,里面充满了各种奇妙的东西。
它能让我们的系统变得更强大、更可靠、更高效。
虽然有点小挑战,但是一想到它能带来的好处,咱就动力十足啊!家人们,让我们一起好好研究这些知识点,在技术的海洋里畅游吧!。
分布式任务调度框架架构
分布式任务调度框架架构分布式任务调度框架的架构主要包括以下几个核心组件:1. 任务调度中心(Task Scheduler):任务调度中心是整个分布式任务调度框架的核心组件,负责接收任务的注册和调度请求。
它会维护一个任务队列,根据任务的调度策略将任务分发给可执行的工作节点。
2. 任务调度器(Task Executor):任务调度器是具体执行任务的组件,负责接收任务调度中心分发的任务,并进行执行。
它可以运行在多个节点上,通过任务的分配策略实现任务的负载均衡和高可用性。
3. 任务注册接口(Task Registration API):任务注册接口用于将需要执行的任务注册到任务调度中心。
任务注册接口可以提供多种方式,例如通过命令行工具、API接口或者图形界面等。
4. 任务调度策略(Task Scheduling Policy):任务调度策略定义了任务如何被调度和分配给执行节点。
它可以根据任务的优先级、执行节点的负载情况、任务的依赖关系等因素进行调度决策。
5. 执行节点管理(Node Management):执行节点管理负责管理任务调度器运行的节点。
它可以监控节点的状态和负载情况,并告知任务调度中心当前节点的可用性和可执行任务的能力。
6. 任务状态管理(Task Status Management):任务状态管理用于追踪和记录任务的执行状态。
它会记录任务的开始时间、结束时间、执行结果等信息,并提供查询接口用于查看任务的执行情况和统计分析。
7. 故障恢复和容错机制(Fault Recovery and Fault Tolerance):分布式任务调度框架需要具备故障恢复和容错机制,以应对节点宕机、网络故障等异常情况。
常见的机制包括任务重试、任务迁移、任务失败报警等。
总体而言,分布式任务调度框架的架构设计需要考虑任务的调度和执行过程、任务的注册和管理、节点的监控和管理、任务的状态追踪和管理等方面,以实现任务的高效调度和可靠执行。
《分布式中间件技术实战 Java版》读书笔记思维导图PPT模板下载
前言 为什么要写这本书
第1篇 开发工具准备
第1章 走进 分布式中间
件
第2章 搭建 微服务项目
1.1 分布式系统 概述
1.2 分布式中间 件概述
1.3 本书核心知 识要点
1.4 本书实战要 求与建议
2.2 搭建规范与 搭建流程
2.1 Spring Boot概述
2.3 总结
第2篇 开发实战
第3章 缓存中间 件Redis
3 3.3 Redis常
见数据结构实 战
4 3.4 Redis实
战场景之缓存 穿透
5
3.5 总结
4.1 整体业务流 程介绍
4.2 数据库表设 计与环境搭建
4.3 “红包金额” 随机生成算法实 战
4.4 “发红包” 模块实战
4.5 “抢红包” 模块实战
4.6 Jmeter压力 测试高并发抢红 包
4.7 问题分析与 优化方案
第4章 Redis典 型应用场景实战
之抢红...
第5章 消息中间 件RabbitMQ
第6章 死信队列/ 延迟队列实战
第8章 综合中间 件Redisson
第7章 分布式锁 实战
第9章 Redisson典型 应用场景实战...
3.1 Redis概 1
述与典型应用 场景介绍
3.2 Redis的 2
使用
6.3 典型应用场 景实战之商城平 台订单支...
6.4 总结
01
7.1 分布 式锁概述
02
7.2 基于 数据库实 现分布式 锁
03
7.3 基于 Redis实 现分布式 锁
04
7.4 基于 ZooKee per实现 分布式...
05
7.5 典型 应用场景 之书籍抢 购模块设 计与...
分布式架构设计概述_52012
分布式架构设计概述整体来看,分布式架构设计就是把一个大的系统拆分成多个小的部分,这些小部分相互协作来完成整个系统的功能。
大致分这几个部分呢。
首先是数据的分布,这是很核心的内容。
就像你有一个超级大的数据库,如果都放在一台服务器上,一来存储可能不够,二来访问压力太大。
那怎么办呢?就把数据分散到多台服务器上。
比如说,一个电商网站有海量的商品信息、用户信息和订单信息。
把商品信息按照类别或者别的规则分散存到不同的数据库服务器中。
这样的话,如果有用户查询某类商品,就可以直接到相应的服务器去查,减轻了单一服务器的压力。
然后是处理的分布,主要包括业务逻辑的分散处理。
拿一个在线视频平台来说,上传视频、转码、用户登录验证、视频推荐这些逻辑可以分别由不同的组件或者服务来处理。
如果上传视频的人很多,那负责上传视频处理的服务就可以多搞几台服务器专门处理这个事儿,而不会影响到其他业务逻辑的处理,像转码服务该转码就继续转码,各干各的活儿,但是又相互联系。
再有就是通信这一块,各个分布的部分之间要能有效地通信。
还说回电商网站,订单处理服务和库存管理服务得随时交流吧。
订单服务收到订单,得告诉库存服务库存要减少,这就需要可靠的通信机制,比如消息队列之类的东西。
消息队列就像一个中间人,订单服务把消息丢进去,库存服务从里面把消息取出来处理。
框架上是这么理解,分布式架构从硬件资源、软件逻辑到数据存储,都是分散开的,但又巧妙地组合起来实现整体功能。
这其中容易忽视的联系就是各部分之间的依赖性管理,如果依赖关系搞乱了,那就可能一处出错到处出错。
比如所有服务都依赖的一个核心服务出问题了,那其他相关业务都会瘫掉。
还有就是数据一致性问题,数据分布到各处,怎么保证不同地方的数据是一致的,像银行转账业务,不同的数据库里钱的数字得是准确一致的。
分布式架构设计还有资源管理的问题,我就不是特别确定咋管理才最合理。
我感觉每个部分资源应该根据负载情况动态分配吧,但具体怎么操作,可能还得根据具体系统情况深入研究。
《发布 设计与部署稳定的分布式系统 第2版 》读书笔记思维导图
组织
3 16.பைடு நூலகம் 系统架
构
4 16.4 信息架
构
5
16.5 小结
01
17.1 不 可能构建 第二个 Faceboo ...
02
17.2 混 沌工程的 先驱
03
17.3 猴 子军团
04
17.4 使 用自己的 混沌猴
06
17.6 小 结
05
17.5 从 人的方面 模拟灾难
书评
谢谢观看
01
3.1 定 义稳定性
02
3.2 延 长系统寿 命
03
3.3 系 统失效方 式
04
3.4 阻 止裂纹蔓 延
06
3.6 小 结
05
3.5 系 统失效链
01
4.1 集 成点
02
4.2 同 层连累反 应
03
4.3 层 叠失效
04
4.4 用 户
06
4.6 自 黑式攻击
05
4.5 线 程阻塞
4.7 放大效应
9.3 负载均衡
9.4 控制请求数 量
9.5 网络路由 9.6 发现服务
9.7 迁移虚拟IP 地址
9.8 小结
01
10.1 适 合的控制 层工具
02
10.2 机 械效益
03
10.3 平 台和生态 系统
04
10.4 开 发环境就 是生产环 境
05
10.5 整 个系统的 明晰性
06
10.6 配 置服务
6.4 黑 色星期五
06
6.6 进 行诊断
05
6.5 生 命体征
6.7 求助专家 6.8 如何应对