聊聊分布式系统一致性问题，你懂几分？

2020-05-07 11:58:07作为后端从业人员，我们在找工作写简历的时候除了高并发经验，一般还会写上自己熟悉|了解|掌握|精通分布式系统，所以高并发和分布式大多是成对出现的。

0.写在前面

前几天在pyq发起了约稿，分布式一致性问题的选题呼声最高，分布式系统的内容是非常庞杂的，所以我们从其中几个重点的部分切入，慢慢展开。

今天重点来一起学习分布式系统一致性问题，不过内容比较多需要分几次写完。

1.为什么要学分布式

作为后端从业人员，我们在找工作写简历的时候除了高并发经验，一般还会写上自己熟悉|了解|掌握|精通分布式系统，所以高并发和分布式大多是成对出现的。

在拉勾上搜了个后端岗位：

分布式系统是个多金的知识点，那还不抓紧行动!

2. 熵增的分布式系统

关于什么是分布式系统，有很多文章介绍，其实这个并不难理解，大白话讲就是：工厂活多了一个人撑不住，那就多找些工人一起干，要让这么多人为了一个目标干得快干得好，就需要一些规矩和套路，否则就乱了。

从实践来看分布式系统属于重要的架构模式，对于互联网工程架构的演进，简单提一下为什么会出现分布式系统以及什么是分布式系统：

业务量的迅速增大，普通的单机系统无法满足要求，要么垂直扩展升级机器硬件，要么水平扩展堆廉价 服务器 ，这也是主流可以想到的解决方法，目前来看互联网领域选择了后者-水平扩展。

水平扩展机器多机房部署升级服务集群规模来应对业务的增长，也就出现了分布式系统，这些分布式系统中的物理节点可能是多机房多网络场景部署的，相互之间通过网络进行通信和协作。

分布式系统就是为了解决巨大业务量和数据量而生的，但是庞大数量的节点来一起正确有序的完成共同的目标是需要理论和实践来锤打的，这也是分布式系统的重点内容。

一般我们常接触的分布式系统包括两大类：分布式存储和分布式计算。

分布式系统那么多机器要一起协调去完成任务也不是一件容易的事情，所以我们通常认为分布式系统是个熵增过程。

熵是描述一个系统内在混乱程度的物理量，对于一个宏观熵看孤立的系统来说，在没有外力干预做功的前提下，系统内在混乱程度是会不断增加的，也就是熵是增加的。

为了让系统保持有序就必须对其进行外力干涉，对于分布式系统而言，我们必须使用相应的策略和算法使整个系统保持有序和正确，所以认为分布式系统是个熵增过程。

这个并不难理解，就像我们为了保持房屋整洁，定期必须打扫，要不然就乱成一锅粥了。

如果对于系统不加以控制和干预，系统将自主走向混乱和无序。

3.分布式一致性问题的理解

分布式一致性到底是什么一致?

分布式的一致性可以表现在很多方面，这些都是个性问题，然而无论这些个性问题有多少，任何行为和状态的展示必然是以数据为基础的，所以这些个性的一致性问题最终都会映射到一个共性问题–分布式数据的一致性。

分布式系统中拥有很多独立的节点，这些节点一般来说可以独立进行存储和计算任务，这两项是最主要的任务类型，本质上计算和存储的过程仍然是围绕数据展开的，所以最终还是数据一致性。

在中心化结构中，存在管理节点和任务节点的区别，也就是每个节点的权利和义务是不一样的，管理节点可能负责分配任务给下属节点和收集计算结果等，总体承担协调者的角色，任务节点主要是承接任务，这样容易出现管理节点的单点问题。

在去中心化的结构中，各个节点的权利和义务是相同的，尽管没有单独指定领导者，在实际的运行中仍然会选举出领导者和failover动态更新领导者的问题，完全的去中心化系统并不多，相比中心化系统来说，去中心系统更加扁平也更加稳定，像Redis官方集群就是去中心化的实现，任何一个节点的故障都不会带来特别大的问题，因为节点是平等的。

无论在中心化还是去中心化的分布式系统中，任何一个节点的计算和存储结果都会对其他节点产生影响，这些独立的节点通过基础和特定的网络协议进行协作，从而形成一个整体。

4. 严格意义的数据一致性

经过前面的一些铺垫，我们开始重点部分的学习-分布式系统数据一致性问题。

我们必须要有个共识：严格意义上的分布式数据一致性是不存在的。

为啥不存在呢?

在分布式系统中数据存储是多节点主从备份的，一般做成读写分离，当客户端将数据通过主库的代理写入之后，在极其短暂的瞬间，主节点的数据是无法复制到从节点的，这个瞬间其他客户端读取到的从库数据都是旧数据。

聪明的读者盆友们可以体会一下瞬间这个词，当然你可以认为这是相对论的范畴，从物理角度去看可能更能体会。

我们以redis主从节点之间的数据复制来看同步复制和异步复制场景下的数据一致性问题：

一般来说，为了保证服务的高可用，主从节点的数据复制是异步的，因为同步复制延时无法保证，当然有的场景也是同步复制的，这样整体延时是无法保证的，假如是一主多从就更无法保证了同步复制的延时了。

所以我们不讨论严苛意义上的数据一致性，而是研究在我们认为可以接受的时间长度下的数据一致性问题，也就是在自身环境约束下的数据一致性。

单机系统的一致性和事务都是比较容易达到的，在分布式系统中由于所有节点的交互都要通过网络来实现，网络必然存在不稳定并且庞大系统中的单节点稳定性也是需要考虑的。

前面这段话，读起来云里雾里，我想表达的意思是：不要过分把对单机系统中的数据一致性要求照搬到分布式系统中，因为两者的约束不一样，我们要合理分析从而让分布式系统的一致性尽量接近单机系统。

solo和团战毕竟是不一样的，典型的《倚天屠龙记》中张无忌要去少林寺救谢逊，但是遇上的少林三位神僧渡厄、渡难、渡劫已经坐禅几十年，三人合一登峰造极，实在太难了，这也是优秀分布式系统的顶峰吧…

5.CAP理论和PACELC理论

我们知道cap理论描述了一致性、可用性、分区容忍性的关系。

在分布式系统中，由于节点物理分布和网络稳定性等原因，分区容忍性P是必然存在的，因此分布式系统必然要建立在分布式网络存在分区P的前提下。

在P的基础上我们对于C和A进行选择，当然并不是说在任何时刻我们都必须C和A二选一，在网络正常的情况下C和A我们也是可以都有的，并且每个系统设计目标也不一样，需要更加实际要求来进行选择。

分布式系统中P是必然存在的，我们在设计系统之初就要对C和A做平衡和选择，在正常的情况下跑出正确的结果是基本要求，在异常情况下仍然可以正常运行是设计重点。

在分布式系统中，我们使用PACELC理论比CAP理论更加合适，因为PACELC理论是CAP理论的扩展，简单来说PACELC理论的表述是这样的：

如果分区partition (P)存在，分布式系统就必须在availability (A) 和consistency (C)之间取得平衡作出选择，否则else (E) 当系统运行在无分区P情况下,系统需要在 latency (L) 和 consistency (C)之间取得平衡。

PACELC理论比CAP理论更适合分布式系统，它完全展现了出现网络分区和正常情况下的取舍平衡问题，特别地引入了L时延因素，来对一致性C进行说明，也就是我们常说的强一致性和弱一致性。

强一致性不必多说，对主从数据的一致性要求很高，一般会牺牲可用性来保证，弱一致性又可以分为最终一致性/会话一致性/单调读一致性/单调写一致性等情况，从实用的角度来说我们重点关注弱一致性的最终一致性情况即可。

6.分布式和BASE理论

我们知道由于网络稳定性原因，分布式系统出现网络分区是必须要考虑的问题，在一般的互联网场景中我们选择最终一致性来保证服务的高可用，也就是允许一段时间L的数据不一致，经过数据复制和同步后最终达到一致。

我们看下BASE理论，这是我们理解分布式系统一致性的重要理论基础:

BASE是基本可用(Basically Available)、软状态(Soft state)和最终一致性(Eventually consistent)三个短语的缩写。

BA基本可用是指:系统在绝大部分时间应处于可用状态,允许出现故障损失部分可用性,但保证核心可用。

S软状态是指:数据状态不要求在任何时刻都保持一致,允许存在中间状态,而该状态不影响系统可用性。

E最终一致性是指:软状态前提下，经过一定时间后,这些数据最终能达到一致性状态。

7.CAP&BASE&ACID的关系

CAP理论说明了分布式系统中一致性C 、可用性A、分区容错性P之间的制约关系。

BASE理论和ACID理论可以看做是对CAP理论中三要素进行取舍后的某种情况，也是在单机系统和分布式系统中适用的情况，三者的关系如图：

无线网络访问点是什么意思?

应该是电脑对电脑的无线连接

sql2005和sql2000有什么区别？

数据库管理10个最重要的特点 特点 描述 数据库镜像 通过新数据库镜像方法，将记录档案传送性能进行延伸。 您将可以使用数据库镜像，通过将自动失效转移建立到一个待用服务器上，增强您SQL服务器系统的可用性。 在线恢复 使用SQL2005版服务器，数据库管理人员将可以在SQL服务器运行的情况下，执行恢复操作。 在线恢复改进了SQL服务器的可用性，因为只有正在被恢复的数据是无法使用的，而数据库的其他部分依然在线、可供使用。 在线检索操作 在线检索选项可以在指数数据定义语言（DDL）执行期间，允许对基底表格、或集簇索引数据和任何有关的检索，进行同步修正。 例如，当一个集簇索引正在重建的时候，您可以对基底数据继续进行更新、并且对数据进行查询。 快速恢复 新的、速度更快的恢复选项可以改进SQL服务器数据库的可用性。 管理人员将能够在事务日志向前滚动之后，重新连接到正在恢复的数据库。 安全性能的提高 SQL Server 2005包括了一些在安全性能上的改进，例如数据库加密、设置安全默认值、增强密码政策、缜密的许可控制、以及一个增强型的安全模式。 新的SQL Server Management Studio SQL Server 2005引入了SQL Server Management Studio，这是一个新型的统一的管理工具组。 这个工具组将包括一些新的功能，以开发、配置SQL Server数据库，发现并修理其中的故障，同时这个工具组还对从前的功能进行了一些改进。 专门的管理员连接 SQL Server 2005将引进一个专门的管理员连接，即使在一个服务器被锁住，或者因为其他原因不能使用的时候，管理员可以通过这个连接，接通这个正在运行的服务器。 这一功能将能让管理员，通过操作诊断功能、或Transact—SQL指令，找到并解决发现的问题。 快照隔离 我们将在数据库层面上提供一个新的快照隔离（SI）标准。 通过快照隔离，使用者将能够使用与传统一致的视野观看数据库，存取最后执行的一行数据。 这一功能将为服务器提供更大的可升级性。 数据分割 数据分割 将加强本地表检索分割，这使得大型表和索引可以得到高效的管理。 增强复制功能 对于分布式数据库而言，SQL Server 2005提供了全面的方案修改（DDL）复制、下一代监控性能、从甲骨文（Oracle）到SQL Server的内置复制功能、对多个超文本传输协议（http）进行合并复制，以及就合并复制的可升级性和运行，进行了重大的改良。 另外，新的对等交易式复制性能，通过使用复制，改进了其对数据向外扩展的支持。 有关开发的10个最重要的特点 特点 描述 框架主机 使用SQL Server 2005，开发人员通过使用相似的语言，例如微软的Visual C# 和微软的Visual Basic，将能够创立数据库对象。 开发人员还将能够建立两个新的对象——用户定义的类和集合。 XML 技术 在使用本地网络和互联网的情况下，在不同应用软件之间散步数据的时候，可扩展标记语言（XML）是一个重要的标准。 SQL Server 2005将会自身支持存储和查询可扩展标记语言文件。 2.0 版本 从对SQL类的新的支持，到多活动结果集（MARS），SQL Server 2005中的将推动数据集的存取和操纵，实现更大的可升级性和灵活性。 增强的安全性 SQL Server 2005中的新安全模式将用户和对象分开，提供fine-grain access存取、并允许对数据存取进行更大的控制。 另外，所有系统表格将作为视图得到实施，对数据库系统对象进行了更大程度的控制。 Transact-SQL 的增强性能 SQL Server 2005为开发可升级的数据库应用软件，提供了新的语言功能。 这些增强的性能包括处理错误、递归查询功能、关系运算符PIVOT, APPLY, ROW_NUMBER和其他数据列排行功能，等等。 SQL 服务中介 SQL服务中介将为大型、营业范围内的应用软件，提供一个分布式的、异步应用框架。 通告服务 通告服务使得业务可以建立丰富的通知应用软件，向任何设备，提供个人化的和及时的信息，

java架构师主要是干什么的？

想成为java架构师，首先你自身得是一个高级java攻城狮，会使用各种框架并且很熟练，且知晓框架实现的原理。比如，你要知道，jvm虚拟机原理、调优；懂得jvm能让你写出的代码性能更优化；还有池技术：什么对象池、连接池、线程池等等。还有java反射技术，虽然是写框架必备的技术，但有严重的性能问题，替代方案java字节码技术，nio 这说不说无所谓，需要注意的是直接内存的特点，使用场景；java多线程同步异步；java各种集合对象的实现原理，了解这些可以让你在解决问题时选择合适的数据结构，高效的解决问题，比如hashmap的实现原理，甚至许多五年以上经验的人都弄不清楚！还有很多，比如，为什扩容时有性能问题？不弄清楚这些原理，不知道问题根本，你就就写不出高效的代码！还会很傻很天真的认为自己是对的，殊不知是孤芳自赏，自命不凡而已；总而验资，言而总之，越基础的东西越重要！许多工作了很多年的程序猿认为自己会用它们写代码了，其实仅仅是知其实仅仅是知道如何调用api而已，知其然不知其所以然，离会用还差的远。关于技能的提升给一些建议1.提升自己的英语水平，此重要性是不言而喻的，现在很多的新技术中文档少之又少，作为一名架构师总不能去看翻译文吧。2.多看一些沟通方面的数据，流畅的沟通利用你成为一名成功的架构师。3.有机会参加PMP考试并取得证书，拥有项目管理方向的优势就是你作为一名架构师的优势。架构师其实从某种意义上就是一种角色，而不是一种职位。一定要时时刻刻保持空杯心态。一定要有一颗保持饥渴学习和耐得住寂寞的赤子之心。4.我们知道当前的技术节奏非常的快，一定要好好的利用自己的碎片时间去学习，去了解新技术，千万不要让自己技术落伍。5.多锻炼自己在大众环境下的演讲和PTT的能力。6.与不同的技术、编程语言、设计模式和结构等（甚至是它并没有在日常中给予你直接的帮助）打交道。你永远都不知道这些知识是否会在未来派上用场，但是对你绝对是有益无害。7.有机会多做知识分享，因为你一旦分享了知识，你就会对这门技术有深刻的印象，同时也能树立在同事中的良好的技术形象，从而赢得更多的专家影响力而不是职位影响力。规划了几张体系图，可以了解一下。一：工程协作专题二、源码分析专题三、分布式专题四、微服务专题五、性能优化专题六、并发编程专题七、项目实战！java架构师课程体系完整页面架构师常用技术：