分布式系统之Redis主从架构

2019-12-26 08:59:20对于缓存来说，一般都是用来支撑读高并发的。因此架构做成主从(master-slave)架构，一主多从，主负责写，并且将数据复制到其它的 slave 节点，从节点负责读。

单机的 redis，能够承载的 QPS 大概就在上万到几万不等。对于缓存来说，一般都是用来支撑读高并发的。因此架构做成主从(master-slave)架构，一主多从，主负责写，并且将数据复制到其它的 slave 节点，从节点负责读。所有的读请求全部走从节点。这样也可以很轻松实现水平扩容，支撑读高并发。

redis replication -> 主从架构 -> 读写分离 -> 水平扩容支撑读高并发

redis replication 的核心机制

slave node 主要用来进行横向扩容，做读写分离，扩容的 slave node 可以提高读的吞吐量。

注意，如果采用了主从架构，那么建议必须开启 master node 的持久化，不建议用 slave node 作为 master node 的数据热备，因为那样的话，如果你关掉 master 的持久化，可能在 master 宕机重启的时候数据是空的，然后可能一经过复制， slave node 的数据也丢了。

另外，master 的各种备份方案，也需要做。万一本地的所有文件丢失了，从备份中挑选一份 rdb 去恢复 master，这样才能确保启动的时候，是有数据的，即使采用了后续讲解的高可用机制，slave node 可以自动接管 master node，但也可能 sentinel 还没检测到 master failure，master node 就自动重启了，还是可能导致上面所有的 slave node 数据被清空。

redis 主从复制的核心原理

当启动一个 slave node 的时候，它会发送一个 PSYNC 命令给 master node。

如果这是 slave node 初次连接到 master node，那么会触发一次 full resynchronization 全量复制。此时 master 会启动一个后台线程，开始生成一份 RDB 快照文件，同时还会将从客户端 client 新收到的所有写命令缓存在内存中。RDB 文件生成完毕后， master 会将这个 RDB 发送给 slave，slave 会先写入本地磁盘，然后再从本地磁盘加载到内存中，接着 master 会将内存中缓存的写命令发送到 slave，slave 也会同步这些数据。slave node 如果跟 master node 有网络故障，断开了连接，会自动重连，连接之后 master node 仅会复制给 slave 部分缺少的数据。

主从复制的断点续传

从 redis2.8 开始，就支持主从复制的断点续传，如果主从复制过程中，网络连接断掉了，那么可以接着上次复制的地方，继续复制下去，而不是从头开始复制一份。

master node 会在内存中维护一个 backlog，master 和 slave 都会保存一个 replica offset 还有一个 master run id，offset 就是保存在 backlog 中的。如果 master 和 slave 网络连接断掉了，slave 会让 master 从上次 replica offset 开始继续复制，如果没有找到对应的 offset，那么就会执行一次 resynchronization。

如果根据 host+ip 定位 master node，是不靠谱的，如果 master node 重启或者数据出现了变化，那么 slave node 应该根据不同的 run id 区分。

无磁盘化复制

master 在内存中直接创建 RDB，然后发送给 slave，不会在自己本地落地磁盘了。只需要在配置文件中开启 repl-diskless-sync yes 即可。

过期 key 处理

slave 不会过期 key，只会等待 master 过期 key。如果 master 过期了一个 key，或者通过 LRU 淘汰了一个 key，那么会模拟一条 del 命令发送给 slave。

复制的完整流程

slave node 启动时，会在自己本地保存 master node 的信息，包括 master node 的host和ip，但是复制流程没开始。

slave node 内部有个定时任务，每秒检查是否有新的 master node 要连接和复制，如果发现，就跟 master node 建立 socket 网络连接。然后 slave node 发送 ping 命令给 master node。如果 master 设置了 requirepass，那么 slave node 必须发送 masterauth 的口令过去进行认证。master node 第一次执行全量复制，将所有数据发给 slave node。而在后续，master node 持续将写命令，异步复制给 slave node。

全量复制

增量复制

主从节点互相都会发送 heartbeat 信息。

master 默认每隔 10秒 发送一次 heartbeat，slave node 每隔 1秒 发送一个 heartbeat。

异步复制

master 每次接收到写命令之后，先在内部写入数据，然后异步发送给 slave node。

redis 如何才能做到高可用

如果系统在 365 天内，有 99.99% 的时间，都是可以哗哗对外提供服务的，那么就说系统是高可用的。

一个 slave 挂掉了，是不会影响可用性的，还有其它的 slave 在提供相同数据下的相同的对外的查询服务。

但是，如果 master node 死掉了，会怎么样?没法写数据了，写缓存的时候，全部失效了。slave node 还有什么用呢，没有 master 给它们复制数据了，系统相当于不可用了。

redis 的高可用架构，叫做 failover 故障转移，也可以叫做主备切换。

master node 在故障时，自动检测，并且将某个 slave node 自动切换为 master node 的过程，叫做主备切换。这个过程，实现了 redis 的主从架构下的高可用。

对称加密和非对称加密的区别是什么?

l 对称加密算法对称加密算法是应用较早的加密算法，技术成熟。 在对称加密算法中，数据发信方将明文（原始数据）和加密密钥一起经过特殊加密算法处理后，使其变成复杂的加密密文发送出去。 收信方收到密文后，若想解读原文，则需要使用加密用过的密钥及相同算法的逆算法对密文进行解密，才能使其恢复成可读明文。 在对称加密算法中，使用的密钥只有一个，发收信双方都使用这个密钥对数据进行加密和解密，这就要求解密方事先必须知道加密密钥。 对称加密算法的特点是算法公开、计算量小、加密速度快、加密效率高。 不足之处是，交易双方都使用同样钥匙，安全性得不到保证。 此外，每对用户每次使用对称加密算法时，都需要使用其他人不知道的惟一钥匙，这会使得发收信双方所拥有的钥匙数量成几何级数增长，密钥管理成为用户的负担。 对称加密算法在分布式网络系统上使用较为困难，主要是因为密钥管理困难，使用成本较高。 在计算机专网系统中广泛使用的对称加密算法有DES、IDEA和AES。 传统的DES由于只有56位的密钥，因此已经不适应当今分布式开放网络对数据加密安全性的要求。 1997年RSA数据安全公司发起了一项“DES挑战赛”的活动，志愿者四次分别用四个月、41天、56个小时和22个小时破解了其用56位密钥DES算法加密的密文。 即DES加密算法在计算机速度提升后的今天被认为是不安全的。 AES是美国联邦政府采用的商业及政府数据加密标准，预计将在未来几十年里代替DES在各个领域中得到广泛应用。 AES提供128位密钥，因此，128位AES的加密强度是56位DES加密强度的1021倍还多。 假设可以制造一部可以在1秒内破解DES密码的机器，那么使用这台机器破解一个128位AES密码需要大约149亿万年的时间。 （更深一步比较而言，宇宙一般被认为存在了还不到200亿年）因此可以预计，美国国家标准局倡导的AES即将作为新标准取代DES。 l 不对称加密算法不对称加密算法使用两把完全不同但又是完全匹配的一对钥匙—公钥和私钥。 在使用不对称加密算法加密文件时，只有使用匹配的一对公钥和私钥，才能完成对明文的加密和解密过程。 加密明文时采用公钥加密，解密密文时使用私钥才能完成，而且发信方（加密者）知道收信方的公钥，只有收信方（解密者）才是唯一知道自己私钥的人。 不对称加密算法的基本原理是，如果发信方想发送只有收信方才能解读的加密信息，发信方必须首先知道收信方的公钥，然后利用收信方的公钥来加密原文；收信方收到加密密文后，使用自己的私钥才能解密密文。 显然，采用不对称加密算法，收发信双方在通信之前，收信方必须将自己早已随机生成的公钥送给发信方，而自己保留私钥。 由于不对称算法拥有两个密钥，因而特别适用于分布式系统中的数据加密。 广泛应用的不对称加密算法有RSA算法和美国国家标准局提出的DSA。 以不对称加密算法为基础的加密技术应用非常广泛。

金山快盘有什么用？

金山快盘的产品特点：　1、实时数据备份，保障文档安全　文件高强度加密传输，金山独有分布式的密钥存储系统，连续、实时备份数据，时刻保障您的文档安全。 服务器多重，多地点备份，以防系统崩溃带来的数据丢失。 2、快速同步数据　您经常使用U盘、Email或IM工具同步数据吗？这种方式速度慢、操作又繁琐。 使用快盘，您可以将需要同步的任何电脑或移动设备填加到同一个账户上。 只要一台电脑上文档进行了修改将立刻同步到其他电脑或移动设备。 3、随时随地和你的团队分享文档　在团队工作中，大家集思广益可以收获更好的解决方案。 只要您连接网络或拥有一台智能手机，您便拥有了一个移动Office。 所有的文档触手可得，一键轻松分享，与其他同事编辑处理同一个文件，即使在不同的地方。 4、移动设备直接获取资料　可以在ipad、Android、ipone平台下的免费快盘应用，让您在移动平台上也可以方便的获取文件并分享给您的朋友。 5、共享文件夹，协作更高效　快盘通过共享文件夹使您与团队的协作更简单。 您可以允许对方访问多个文档或子文件夹，设置文档的编辑权限。 同时快盘将自动保存、同步且备份您任意文件的前1个最新版本，以解决您因误操作进行的文档保存。

DDoS防火墙是怎么样来进行防御的呢

防火墙只是起一个访问控制的作用。 也就是允许某某访问某某，不允许某某访问某某，所谓的防攻击之类的功能其实是无法实现的，现在的防火墙所宣称的能够防护什么什么攻击，完全是忽悠。 就算防火墙中有这样的功能。 那也只是另外一种防火墙了，俗称UTM。 但是在UTM上如果使用这样的功能的话。 一旦遇到了DDOS攻击。 。 UTM由于自身的芯片处理能力不够（功能太多），一般都会死机。 现在真正能做到防御DDOS流量攻击的，有黑洞等硬件设备，它起一个引导作用，会识别那些流量是DDOS流量还是正常的访问流量，从而达到允许正常流量访问。 引导DDOS流量进入黑洞。 DDOS流量攻击怎么解释呢？回答：DDOS流量攻击也就是分布式拒绝服务攻击，由多台机器多个IP对某个IP进行TCP连接。 TCP连接分三步：访问者发出指令；被访问者回应该指令；访问者确认指令。 DDOS就是利用这个原理，不断的向被攻击者发出访问请求，被攻击者由于攻击者的访问请求过多，一直在处理这些无用的请求，导致其他的正常请求无法被处理。 也就是无法回应正常的请求，这样就造成正常访问被主机拒绝服务。