看大数据大佬手把手带你实现基于Zookeeper、Redis的分布式锁

2019-11-18 14:16:10在分布式系统中，分布式锁是为了解决多实例之间的同步问题。例如master选举，能够获取分布式锁的就是master，获取失败的就是slave。又或者能够获取锁的实例能够完成特定的操作。

在分布式系统中，分布式锁是为了解决多实例之间的同步问题。例如master选举，能够获取分布式锁的就是master，获取失败的就是slave。又或者能够获取锁的实例能够完成特定的操作。

目前比较常用的分布式锁实现有两种，基于zookeeper实现和基于redis实现。zookeeper和redis也是生产环境中经常用到的第三方组件。下面我会分析它们的实现原理。

分布式锁实现要求

实现一个分布式锁至少要满足下面三点要求：

zookeeper分布式锁

在讲解zookeeper的分布式锁之前有两个概念需要明确：

zookeeper的分布式锁实现原理就是利用临时顺序节点，大概流程为：

例如，对于加锁过程，所有的客户端都在/lock目录下面创建临时节点，如果发现自己创建的临时节点是/lock目录中最小的节点，那么就获取锁成功，否则就watch比自己小的节点中的最大节点。

监控比自己小的节点中的最大节点是为了避免“惊群”效应，避免一个锁释放把所有等待的客户端唤醒，但是只有一个客户端能获取锁。

对于释放锁，只需要把自己创建的临时顺序节点删除即可。整个过程流程图如下：

优点：锁安全性高，zookeeper数据不易丢失。用户使用简单。

缺点：性能消耗比较高。因为需要动态产生和删除临时节点，当集群负载比较高时临时节点消失会有时间差(一般在一分钟范围内)。

redis分布式锁

redis的分布式锁实现比zookeeper分布式锁实现复杂，也分为redis单实例和多实例(master-master)实现方式。

需要特别指出的是redis如果是master-slave这种结构部署时，获取和释放锁都只能向master请求，和单实例的实现原理基本一样，否则主从切换时会出现多人拿到同一把锁的情况。

例如：

客户端A在master拿到了锁。

master节点在把A创建的key写入slave之前宕机了。(主从同步是异步操作)

slave变成了master节点。

B也得到了和A还持有的相同的锁，因为slave还没有A持有锁的信息。

redis单实例实现方案

通过下面命令获得锁：

SET resource_name my_random_value NX PX 30000

这个命令的作用是只有这个key不存在时才会设置这个key的值(NX的作用，即not exist)，超时时间设置为30000毫秒(PX的作用)，这个key的值设置为my_random_value。这个值必须在所有获取锁请求的客户端里面保持唯一。

key值的超时时间，也叫做“锁有效时间”。这是锁的自动释放时间。

这套实现方案在非分布式的、单点的、保证永不宕机的环境是适用的。

redis集群实现方案(Redlock算法)

在分布式版本的算法里我们假设有N个redis master节点，这些节点完全独立，不用任何的复制或者分布式协调算法来同步数据。

这里假设N=5，一个客户端获取锁的过程如下：

获取锁成功的节点数需要超过master节点数量的一半才认为是获取锁成功的思路应该是借鉴了zookeeper的paxos算法。

还有一个需要指出的点是，当一个客户端获取失败时应该随时延时后再进行重试，避免多个客户端同时重试又同时失败。

优点：性能高

缺点：单实例会有单点问题，多实例主从切换会导致数据丢失，master-master集群模式实现复杂。

看大佬给你讲解基于Zookeeper、Redis的分布式锁

数据写入redis并返回怎么处理

1、 快照的方式持久化到磁盘自动持久化规则配置save 900 1save 300 10save 60 上面的配置规则意思如下:# In the example below the behaviour will be to save:# after 900 sec (15 min) if at least 1 key changed# after 300 sec (5 min) if at least 10 keys changed# after 60 sec if at least keys changedredis也可以关闭自动持久化，注释掉这些save配置，或者save “”如果后台保存到磁盘发生错误,将停止写操作-writes-on-bgsave-error yes使用LZF压缩rdb文件,这会耗CPU, 但是可以减少磁盘占用 yes保存rdb和加载rdb文件的时候检验，可以防止错误，但是要付出约10%的性能，可以关闭他，提高性能。 rdbchecksum yes导出的rdb文件名dbfilename 设置工作目录, rdb文件会写到该目录, append only file也会存储在该目录下 ./Redis自动快照保存到磁盘或者调用bgsave，是后台进程完成的，其他客户端仍然和可以读写redis服务器，后台保存快照到磁盘会占用大量内存。 调用save保存内存中的数据到磁盘，将阻塞客户端请求，直到保存完毕。 调用shutdown命令，Redis服务器会先调用save，所有数据持久化到磁盘之后才会真正退出。 对于数据丢失的问题：如果服务器crash，从上一次快照之后的数据将全部丢失。 所以在设置保存规则的时候，要根据实际业务设置允许的范围。 如果对于数据敏感的业务，在程序中要使用恰当的日志，在服务器crash之后，通过日志恢复数据。 2、 Append-only file 的方式持久化另外一种方式为递增的方式,将会引起数据变化的操作, 持久化到文件中, 重启redis的时候,通过操作命令,恢复数据.每次执行写操作命令之后,都会将数据写到中。 # appendfsync alwaysappendfsync everysec# appendfsync no当配置为always的时候，每次中的数据写入到文件之后,才会返回给客户端，这样可以保证数据不丢，但是频繁的IO操作，会降低性能。 everysec每秒写一次，这可能会丢失一秒内的操作。 aof最大的问题就是随着时间append file会变的很大，所以我们需要bgrewriteaof命令重新整理文件，只保留最新的kv数据。

如何学习Python爬虫

其实网络爬虫就是模拟浏览器获取web页面的内容的过程，然后解析页面获取内容的过程。 首先要熟悉web页面的结构，就是要有前端的基础，不一定要精通，但是一定要了解。 然后熟悉python基础语法，相关库函数（比如beautifulSoup），以及相关框架比如pyspider等。 建议刚开始不要使用框架，自己从零开始写，这样你能理解爬虫整个过程。 推荐书籍：python网络数据采集 这本书，比较基础。

什么是redis呢，求通俗解释

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。 从2010年3月15日起，Redis的开发工作由VMware主持。 redis是一个key-value存储系统。 和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。 这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。 在此基础上，redis支持各种不同方式的排序。 与memcached一样，为了保证效率，数据都是缓存在内存中。 区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。 Redis 是一个高性能的key-value数据库。 redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部 分场合可以对关系数据库起到很好的补充作用。 它提供了Python，Ruby，Erlang，PHP客户端，使用很方便。 [1]Redis支持主从同步。 数据可以从主服务器向任意数量的从服务器上同步，从服务器可以是关联其他从服务器的主服务器。 这使得Redis可执行单层树复制。 从盘可以有意无意的对数据进行写操作。 由于完全实现了发布/订阅机制，使得从数据库在任何地方同步树时，可订阅一个频道并接收主服务器完整的消息发布记录。 同步对读取操作的可扩展性和数据冗余很有帮助。