基于Zookeeper的分布式锁

2017-10-24 11:28:23实现分布式锁目前有三种流行方案，分别为基于数据库、Redis、Zookeeper的方案，其中前两种方案网络上有很多资料可以参考，本文不做展开。我们来看下使用Zookeeper如何实现分布式锁。

这篇文章只需要你10分钟的时间。

实现分布式锁目前有三种流行方案，分别为基于数据库、Redis、Zookeeper的方案，其中前两种方案网络上有很多资料可以参考，本文不做展开。我们来看下使用Zookeeper如何实现分布式锁。

什么是Zookeeper?

Zookeeper(业界简称zk)是一种提供配置管理、分布式协同以及命名的中心化服务，这些提供的功能都是分布式系统中非常底层且必不可少的基本功能，但是如果自己实现这些功能而且要达到高吞吐、低延迟同时还要保持一致性和可用性，实际上非常困难。因此zookeeper提供了这些功能，开发者在zookeeper之上构建自己的各种分布式系统。

虽然zookeeper的实现比较复杂，但是它提供的模型抽象却是非常简单的。Zookeeper提供一个多层级的节点命名空间(节点称为znode)，每个节点都用一个以斜杠(/)分隔的路径表示，而且每个节点都有父节点(根节点除外)，非常类似于文件系统。例如，/foo/doo这个表示一个znode，它的父节点为/foo，父父节点为/，而/为根节点没有父节点。与文件系统不同的是，这些节点都可以设置关联的数据，而文件系统中只有文件节点可以存放数据而目录节点不行。Zookeeper为了保证高吞吐和低延迟，在内存中维护了这个树状的目录结构，这种特性使得Zookeeper不能用于存放大量的数据，每个节点的存放数据上限为1M。

而为了保证高可用，zookeeper需要以集群形态来部署，这样只要集群中大部分机器是可用的(能够容忍一定的机器故障)，那么zookeeper本身仍然是可用的。客户端在使用zookeeper时，需要知道集群机器列表，通过与集群中的某一台机器建立TCP连接来使用服务，客户端使用这个TCP链接来发送请求、获取结果、获取监听事件以及发送心跳包。如果这个连接异常断开了，客户端可以连接到另外的机器上。

架构简图如下所示：

客户端的读请求可以被集群中的任意一台机器处理，如果读请求在节点上注册了监听器，这个监听器也是由所连接的zookeeper机器来处理。对于写请求，这些请求会同时发给其他zookeeper机器并且达成一致后，请求才会返回成功。因此，随着zookeeper的集群机器增多，读请求的吞吐会提高但是写请求的吞吐会下降。

有序性是zookeeper中非常重要的一个特性，所有的更新都是全局有序的，每个更新都有一个唯一的时间戳，这个时间戳称为zxid(Zookeeper Transaction Id)。而读请求只会相对于更新有序，也就是读请求的返回结果中会带有这个zookeeper***的zxid。

如何使用zookeeper实现分布式锁?

在描述算法流程之前，先看下zookeeper中几个关于节点的有趣的性质：

下面描述使用zookeeper实现分布式锁的算法流程，假设锁空间的根节点为/lock：

步骤1中创建的临时节点能够保证在故障的情况下锁也能被释放，考虑这么个场景：假如客户端a当前创建的子节点为序号最小的节点，获得锁之后客户端所在机器宕机了，客户端没有主动删除子节点;如果创建的是***的节点，那么这个锁永远不会释放，导致死锁;由于创建的是临时节点，客户端宕机后，过了一定时间zookeeper没有收到客户端的心跳包判断会话失效，将临时节点删除从而释放锁。

另外细心的朋友可能会想到，在步骤2中获取子节点列表与设置监听这两步操作的原子性问题，考虑这么个场景：客户端a对应子节点为/lock/lock-0000000000，客户端b对应子节点为/lock/lock-0000000001，客户端b获取子节点列表时发现自己不是序号最小的，但是在设置监听器前客户端a完成业务流程删除了子节点/lock/lock-0000000000，客户端b设置的监听器岂不是丢失了这个事件从而导致永远等待了?这个问题不存在的。因为zookeeper提供的API中设置监听器的操作与读操作是 原子执行 的，也就是说在读子节点列表时同时设置监听器，保证不会丢失事件。

***，对于这个算法有个极大的优化点：假如当前有1000个节点在等待锁，如果获得锁的客户端释放锁时，这1000个客户端都会被唤醒，这种情况称为“羊群效应”;在这种羊群效应中，zookeeper需要通知1000个客户端，这会阻塞其他的操作，***的情况应该只唤醒新的最小节点对应的客户端。应该怎么做呢?在设置事件监听时，每个客户端应该对刚好在它之前的子节点设置事件监听，例如子节点列表为/lock/lock-0000000000、/lock/lock-0000000001、/lock/lock-0000000002，序号为1的客户端监听序号为0的子节点删除消息，序号为2的监听序号为1的子节点删除消息。

所以调整后的分布式锁算法流程如下：

Curator的源码分析

虽然zookeeper原生客户端暴露的API已经非常简洁了，但是实现一个分布式锁还是比较麻烦的…我们可以直接使用 curator 这个开源项目提供的zookeeper分布式锁实现。

我们只需要引入下面这个包(基于Maven)：

然后就可以用啦!代码如下：

可以看到关键的核心操作就只有mutex.acquire()和mutex.release()，简直太方便了!

下面来分析下获取锁的源码实现。acquire的方法如下：

这里有个地方需要注意，当与zookeeper通信存在异常时，acquire会直接抛出异常，需要使用者自身做重试策略。代码中调用了internalLock(-1, null)，参数表明在锁被占用时***阻塞等待。internalLock的代码如下：

代码中增加了具体注释，不做展开。看下zookeeper获取锁的具体实现：

上面代码中主要有两步操作：

看下internalLockLoop是怎么判断锁以及阻塞等待的，这里删除了一些无关代码，只保留主流程：

具体逻辑见注释，不再赘述。代码中设置的事件监听器，在事件发生回调时只是简单的notifyAll唤醒当前线程以重新自旋判断，比较简单不再展开。

以上。

网游《倚天屠龙记》的AX系统是什么？

完美时空的《倚天屠龙记》首创了“AX”系统，可提高数据库的并发访问速度，均衡服务器负载动态调整，使程序对指令的反应更迅速；同时修改游戏的分布式设计，使数据库形成动态交互模式。 “AX”以记录锁替代传统编程，在提高速度的同时兼顾DatabaseTransaction，令用户数据信息更为安全地在多进程之间进行传递，真正实现服务器无障碍沟通，为用户带来能够媲美现实交流的游戏感受。

完美世家为你解答，希望您满意！

Hadoop和MapReduce究竟分别是做什么用的

1、hadoop是一种分布式系统的平台，通过它可以很轻松的搭建一个高效、高质量的分布系统，而且它还有许多其它的相关子项目，也就是对它的功能的极大扩充，包括Zookeeper,Hive,Hbase等。 2、MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是分布式计算框，就是mapreduce,缺一不可，也就是说，可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。 再详细的话，你得多看些文档。

LED电子显示屏系统的分类

LED是发光二极管Light Emitting Diode 的英文缩写。 LED显示屏是由发光二极管排列组成的一显示器件。 它采用低电压扫描驱动，具有如下优点：1、耗电省、2、使用寿命长、3、成本低、4、亮度高、5、视角大、6、可视距离远、7、规格品种多。 LED显示产品系列：A、单色、彩色条形显示屏、B、计算机控制数码显示屏、C、单色图文显示屏、D、三色（红、绿、黄）图文显示屏、E、点阵和数码混合显示屏（证券屏）、F、双基色（红、绿）多媒体视频同步显示屏、G、三基色（红、绿、蓝）多媒体视频同步显示屏LED显示屏分类：按显示颜色分为：单红色、单绿色、红绿双基色、 红绿蓝三色按使用功能分为：图文显示屏、多媒体视频显示屏、行情显示屏、条形显示屏按使用环境分为：室内显示屏、室外显示屏、半户外显示屏按发光点直径分为：φ3.0、φ3.7、φ4.8、φ5.0、φ8.0、ph8、ph10、ph16、ph20等。 基本发光点非行情类LED显示屏中，室内LED显示屏按采用的LED单点直径可分为Φ3mm、Φ3.75mm、Φ5mm、Φ8mm、和Φ10mm等显示屏；室外LED显示屏按采用的象素直径可分为Φ16mm、Φ19mm、Φ22mm和Φ26mm等LED显示屏。 行情类LED显示屏中按采用的数码管尺寸可分2.0cm(0.8inch)、2.5cm(1.0inch)、3.0cm(1.2inch)、4.6cmm(1.8inch)、5.8cm(2.3inch)、7.6cm(3inch)等LED显示屏。

显示颜色：LED显示屏按显示颜色分为单基色LED显示屏（含伪彩色LED显示屏），双基色LED显示屏和全彩色（三基色）LED显示屏。 按灰度级又可分为16、32、64、128、256级灰度LED显示屏等。 显示性能：LED显示屏按显示性能分为文本LED显示屏、图文LED显示屏，计算机视频LED显示屏，电视视频LED显示屏和行情LED显示屏等。 行情LED显示屏一般包括证券、利率、期货等用途的LED显示屏。