Oceanbase列传 | 分布式与存储技术 - www.oceanbase.org.cn - 酷数据-Linux运维技术社区_Linux教程_云计算学习平台

网站URL： http://www.oceanbase.org.cn
最后点入：2025-08-15 08:40:09 · 加入时间：2025-08-15 08:40:08
关键词标签
Oceanbase列传介绍：
Oceanbase列传 | 分布式与存储技术
Oceanbase列传的SEO收录情况：
《Oceanbase列传》由网友主动性提交被酷数据-Linux运维技术社区_Linux教程_云计算学习平台_服务器安全整理收录的，酷数据-Linux运维技术社区_Linux教程_云计算学习平台_服务器安全仅提供Oceanbase列传 - www.oceanbase.org.cn的基础信息并免费向大众网友展示。
Oceanbase列传 - www.oceanbase.org.cn的是IP地址：101.43.139.8 地址：北京市腾讯云数据中心，www.oceanbase.org.cn的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、www.oceanbase.org.cn的备案号是-、备案人叫-、被百度收录的关键词有0个、手机端关键词有0个、迄今为止已经创建11年8月16日。
下载地址：txt下载、docx下载、pdf下载、rar下载、zip下载
本页地址：https://www.kuidc.com/dianyingdh/108115.html
Oceanbase列传的SEO综合查询
SEO信息	百度来访IP：- \| 移动端来访IP：- \| 出站链接：2 \| 站内链接：111
IP网速：	IP地址：101.43.139.8 地址：北京市腾讯云数据中心 \| 网速：517毫秒
ALEXA排名	世界排名：- \| 预估IP：- \| 预估PV：-
备案信息	- \| 名称：- \| 已创建：11年8月16日
收录	百度	360	搜狗	谷歌
查询	0	0	0	0
电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
0	0	电脑端优秀	-	0	0
服务器信息协议类型 HTTP/1.1 200 OK 页面类型 text/html; charset=UTF-8 服务器类型 nginx/1.20.1 程序支持 PHP/7.4.33 连接标识消息发送 2025年7月10日 13时28分56秒 GZIP检测未启用GZIP压缩源文件大小 199.59KB 压缩后大小启用GZIP估计可达到60.19KB 压缩率估计为69.85%
网站快照
                  O c e a n b a s e 列 传 | 分 布 式 与 存 储 技 术 O c e a n b a s e 列 传 分 布 式 与 存 储 技 术 菜 单 跳 至 正 文 首 页 关 于 郁 白 推 荐 阅 读 摩 拜 开 源 技 术 文 章 列 表 [ 蹭 热 度 ] 关 于 O c e a n B a s e 在 2 0 2 0 年 第 二 次 上 榜 T P C C 的 解 读 O c e a n B a s e 在 2 0 2 0 年 打 破 自 己 在 2 0 1 9 年 创 造 的 记 录 ， 第 二 次 问 鼎 ， 在 最 近 又 引 起 一 波 讨 论 ， 作 为 利 益 相 关 方 （ 前 o b 初 创 团 队 员 工 、 目 前 正 在 现 东 家 做 着 类 似 的 事 情 ） ， 也 想 蹭 一 波 热 度 ， 来 从 数 据 层 面 分 析 解 读 下 。 
   关 于 t p c c 的 背 景 知 识 ， 请 大 家 上 t p c c 官 网 了 解 ， 不 要 轻 信 各 种 公 众 号 文 章 ， 顺 便 贴 一 下 t p c c 排 名 页 面 （ T P C C 排 名 页 面 ： h t t p : / / w w w . t p c . o r g / t p c c / r e s u l t s / t p c c _ r e s u l t s . a s p ） ， 这 里 我 也 顺 便 列 一 些 关 于 t p c c 几 个 关 键 的 背 景 考 点 ： T P C C 测 试 结 果 是 需 要 委 员 会 认 证 的 ， 未 经 官 方 认 证 的 测 试 结 果 并 不 具 备 可 信 性 ， 委 员 会 要 在 宕 机 恢 复 、 R T O 、 R P O 、 性 能 波 动 、 软 硬 件 成 本 等 方 面 进 行 评 审 。 
 比 如 很 多 国 内 项 目 自 己 公 布 的 T P C C 测 试 结 果 ， 并 不 具 备 可 信 性 。 
 根 据 T P C C 测 试 标 准 ， 每 个 w a r e h o u s e 所 能 获 得 的 t p m C 上 限 是 1 2 . 8 6 ， 行 业 里 如 果 某 家 厂 商 自 己 公 布 的 测 试 结 果 算 下 来 平 均 每 个 w a r e h o u s e 的 t p m C 超 过 1 2 . 8 6 ， 说 明 它 很 可 能 在 通 过 缩 减 w a r e h o u s e 数 量 来 利 用 内 存 优 势 跑 分 ， 这 是 不 符 合 标 准 规 范 的 。 
 T P C C 只 有 测 试 标 准 文 档 ， 没 有 官 方 的 测 试 软 件 ， 参 与 评 测 的 各 家 厂 商 需 要 根 据 标 准 文 档 自 行 开 发 测 试 软 件 。 
 截 至 2 0 2 0 年 ， 我 还 没 有 搜 到 之 前 参 与 过 T P C C 测 试 的 厂 商 开 源 出 来 的 测 试 工 具 。 
 事 务 一 致 性 ： T P C C 测 试 要 求 1 0 % N e w O r d e r 跨 w a r e h o u s e ， 以 及 1 5 % P a y m e n t 跨 w a r e h o u s e ， 除 库 存 分 析 类 的 查 询 外 禁 止 A N S I I s o l a t i o n L e v e l s 中 的 的 P 3 / P 2 / P 1 / P 0 ， 即 达 到 S e r i a l i z a b l e 级 别 ， 基 于 中 间 件 的 分 库 分 表 的 系 统 比 较 难 达 到 这 种 事 务 一 致 性 要 求 。 
 下 面 对 比 下 O c e a n B a s e 在 2 0 1 9 年 和 2 0 2 0 年 两 次 t p c c 测 试 结 果 的 数 据 ， 列 几 个 值 得 关 注 的 点 ： 性 价 比 ： 总 的 t p m c 上 涨 1 0 倍 多 ， 平 均 成 本 缺 降 低 3 6 . 3 2 % ， 主 要 应 该 是 得 益 于 单 个 节 点 算 力 密 度 的 增 加 ， C P U 超 线 程 数 由 6 4 增 加 到 8 4 ， 内 存 由 5 1 2 G 增 加 到 7 1 2 G ， N V M E 盘 有 1 . 7 T 增 加 到 3 . 5 T ， 一 般 来 说 单 个 主 机 算 力 密 度 越 高 ， 综 合 成 本 越 低 。 
 S c a l e O u t 能 力 ： 节 点 数 量 由 2 0 7 台 增 加 到 1 5 5 7 台 ， 节 点 数 增 加 6 5 2 . 1 7 % ， 超 线 程 数 增 加 8 8 7 . 2 3 % ， 而 t p m c 增 加 1 0 6 1 . 8 6 % ， 证 明 了 系 统 在 1 6 0 0 这 个 规 模 上 的 线 性 s c a l e o u t 能 力 。 
 而 且 由 于 叠 加 了 软 件 层 面 的 优 化 ， 甚 至 达 到 超 线 性 的 效 果 。 
 数 据 规 模 ： 数 据 量 由 0 . 4 9 P B 增 加 到 5 . 5 1 P B ， 从 T B 级 迈 入 P B 级 ； 内 存 容 量 在 总 数 据 量 中 占 比 为 1 9 . 1 9 % ， 系 统 一 定 会 有 读 盘 的 请 求 。 
 不 过 从 t p c c 的 测 试 场 景 来 看 ， 对 于 O B 这 种 L S M 引 擎 还 是 更 加 友 好 的 ， 毕 竟 占 比 最 大 的 N e w O r d e r 与 P a y O r d e r ， 都 有 很 强 的 时 效 性 ， 这 两 个 操 作 产 生 的 数 据 应 该 可 以 几 乎 全 部 命 中 在 内 存 中 ， 内 存 使 用 效 率 远 大 于 B t r e e 类 引 擎 。 
 单 点 能 力 ： 单 个 节 点 的 处 理 能 力 被 优 化 到 极 致 ， S Q L 语 句 处 理 能 力 达 到 4 6 . 4 9 万 / s ， 这 得 益 于 O B 事 务 引 擎 大 量 使 用 无 锁 结 构 、 完 全 的 池 化 的 内 存 管 理 和 l i b e a s y 框 架 的 高 并 发 处 理 能 力 等 。 
 考 虑 到 这 还 是 带 上 了 P a x o s 强 同 步 r e d o l o g 的 场 景 ， 已 经 能 把 市 面 上 的 几 个 开 源 数 据 库 按 到 地 上 摩 擦 的 抠 不 出 来 了 。 
 分 布 式 事 务 ： 百 万 级 的 分 布 式 事 务 处 理 能 力 ， 从 2 4 . 7 万 / s ， 增 加 到 2 8 6 . 9 5 万 / s ， 前 几 天 好 像 看 到 有 文 章 说 O B 的 t p c c 测 试 没 有 分 布 式 事 务 ， 是 没 有 仔 细 学 习 t p c c 的 F R D 文 档 的 。 
 分 布 式 事 务 的 优 化 应 该 是 得 益 于 对 J i m G r a y 和 L a m p o r t 的 合 作 的 一 篇 文 章 的 工 业 实 现 。 
 持 久 又 稳 定 的 输 出 ： 持 续 8 个 小 时 测 试 ， 吞 吐 抖 动 不 超 过 2 % ， 这 一 点 看 F D R 中 的 图 就 行 了 取 巧 ： 既 然 是 跑 分 ， O B 也 在 某 种 程 度 上 利 用 了 规 则 ， 以 降 低 硬 件 成 本 ， 不 过 这 是 在 F D R 中 明 确 披 露 的 “ A l l o t h e r t a b l e s a r e r e p l i c a t e d i n t o 3 r e p l i c a s : o n e f u l l r e p l i c a , o n e d a t a r e p l i c a a n d o n e l o g r e p l i c a t h a t a r e d i s t r i b u t e d a m o n g d a t a b a s e n o d e s . A f u l l r e p l i c a c o n t a i n s c a r d i n a l i t y , i n m e m o r y i n c r e m e n t s ( m u t a t i o n s ) t h a t c o u l d b e c h e c k p o i n t e d t o d i s k a n d r e d o l o g o f t h e c o r r e s p o n d i n g t a b l e . A d a t a r e p l i c a c o n t a i n s c a r d i n a l i t y , c h e c k p o i n t s o f i n m e m o r y i n c r e m e n t s ( m u t a t i o n s ) a n d r e d o l o g ( b o t h f r o m t h e f u l l r e p l i c a ) . A l o g r e p l i c a c o n t a i n s r e d o l o g o n l y . ”   与 正 常 的 应 用 在 网 站 核 心 业 务 上 3 副 本 5 副 本 的 部 署 方 式 不 同 ， O B 在 t p c c 的 性 能 测 试 中 ， 3 个 副 本 不 是 对 等 的 ， 其 中 1 个 完 整 副 本 包 含 r e d o l o g ， L S M 内 存 表 ， S S T 数 据 ， 这 里 隐 含 的 意 思 是 这 个 副 本 会 做 c o m p a c t i o n ； 第 2 个 副 本 只 包 含 r e d o l o g ， S S T 数 据 ， 它 应 该 是 在 主 副 本 完 成 c o m p a c t i o n 之 后 从 主 副 本 直 接 c o p y s s t ； 第 三 副 本 只 包 含 r e d o l o g 。 
 因 此 这 里 可 以 分 析 出 来 ： 整 个 1 5 5 7 台 节 点 的 内 存 基 本 都 可 以 用 于 事 务 读 写 ， 两 个 副 本 基 本 没 有 内 存 开 销 ； 整 个 1 5 5 7 台 节 点 的 硬 盘 ， 用 于 存 储 2 份 数 据 文 件 而 不 是 3 份 。 
 之 所 以 可 以 这 样 ， 是 因 为 t p c c 并 没 有 规 定 或 者 考 察 R T O 时 间 ， 所 以 只 要 保 证 R P O 为 零 就 行 了 。 
   最 后 ， O c e a n B a s e 问 鼎 t p c c ， 证 明 了 s h a r e n o t h i n g 架 构 是 分 布 式 数 据 库 在 性 能 、 可 用 行 、 扩 展 性 、 强 一 致 性 上 的 正 确 路 线 方 向 ， 也 打 破 了 美 帝 在 数 据 库 行 业 的 垄 断 地 位 ， 作 为 从 业 者 我 对 这 个 方 向 充 满 信 心 ， 也 希 望 其 他 正 在 做 这 个 事 的 小 伙 伴 继 续 努 力 ， 老 板 和 投 资 人 们 保 持 长 期 有 耐 心 继 续 投 入 。 
   本 条 目 发 布 于 2 0 2 0 年 6 月 2 日 。 
 属 于 未 分 类 分 类 。 
 作 者 是 y u b a i 。 
 [ 转 载 ] 谷 歌 F 1 O n l i n e D D L 的 关 键 点 ： 状 态 间 兼 容 性 这 篇 文 章 是 我 读 到 的 对 于 F 1 O n l i n e s c h e m a c h a n g e 最 透 彻 的 解 读 ， 作 者 是 我 的 同 事 董 欢 庆 ， 他 曾 在 I B M 、 中 科 院 、 华 为 长 期 从 事 存 储 领 域 工 作 ， 现 在 是 美 团 分 布 式 数 据 库 团 队 核 心 专 家 。 
 原 文 地 址 ： h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 1 2 0 7 1 9 4 9 9 摘 要 ： O n l i n e D D L 是 分 布 式 数 据 库 领 域 的 重 要 基 础 ， 可 以 说 与 事 务 模 型 、 共 识 协 议 一 样 重 要 。 
 最 近 重 读 F 1 的 O n l i n e S c h e m a C h a n g e 这 篇 p a p e r ， 也 希 望 能 用 通 俗 易 懂 的 方 式 帮 助 更 多 人 理 解 它 。 
 因 此 有 了 这 篇 短 文 ， 实 际 上 是 个 人 的 P a p e r 阅 读 笔 记 。 
 理 解 这 篇 文 章 的 原 理 的 关 键 点 ： 每 个 状 态 能 正 确 运 行 的 前 提 条 件 是 什 么 ； 每 个 状 态 的 D M L 能 保 证 什 么 。 
 然 后 就 能 理 解 状 态 之 间 的 兼 容 性 ： 所 谓 不 兼 容 ， 就 是 违 背 了 某 个 状 态 的 前 提 条 件 。 
 这 里 没 有 覆 盖 文 章 中 所 有 章 节 ， 着 重 在 于 说 明 上 述 的 关 键 点 。 
 如 果 想 知 道 所 有 细 节 ， 还 需 要 读 原 文 。 
 C h 1 大 致 介 绍 了 下 问 题 的 背 景 以 及 状 态 间 兼 容 性 的 概 念 ； C h 2 以 添 加 一 个 二 级 索 引 为 例 ， 介 绍 F 1 的 O n l i n e D D L 的 一 些 关 键 点 和 流 程 ； C h 3 简 述 了 删 除 一 个 二 级 索 引 的 过 程 ； C h 4 简 略 描 述 了 下 O p t i o n a l 对 象 的 操 作 简 化 。 
   本 条 目 发 布 于 2 0 2 0 年 4 月 5 日 。 
 属 于 未 分 类 分 类 。 
 作 者 是 y u b a i 。 
 数 据 库 事 务 隔 离 标 准 分 析 1 概 述 与 背 景 这 是 数 据 库 事 务 原 理 和 工 程 实 践 系 列 文 章 的 第 一 篇 ， 本 文 主 要 在 J i m G r a y 的 论 文 基 础 上 分 析 关 系 数 据 库 的 事 务 隔 离 级 别 标 准 和 不 同 隔 离 级 别 情 况 下 的 行 为 。 
 第 2 节 主 要 讨 论 A N S I 标 准 的 下 的 隔 离 级 别 ， 第 3 节 主 要 讨 论 基 于 悲 观 锁 实 现 的 事 务 隔 离 级 别 ， 第 4 节 主 要 讨 论 基 于 多 版 本 技 术 的 事 务 隔 离 ， 最 后 总 结 排 序 本 文 讨 论 到 的 各 个 隔 离 级 别 。 
 A C I D 是 关 系 数 据 库 的 一 组 重 要 特 性 ， 其 中 I s o l a t i o n （ 隔 离 性 ） 描 述 了 数 据 库 允 许 多 个 并 发 事 务 同 时 对 其 数 据 进 行 读 写 和 修 改 的 能 力 ， 隔 离 性 可 以 防 止 多 个 事 务 并 发 时 由 于 交 错 执 行 而 导 致 数 据 的 不 一 致 。 
 在 最 极 端 的 情 况 下 ， 数 据 库 完 全 串 行 化 执 行 每 一 个 事 务 ， 所 有 事 务 之 间 遵 守 全 序 关 系 ， 在 这 种 情 况 下 ， 不 存 在 并 发 事 务 间 的 隔 离 问 题 ， 但 是 在 实 际 工 程 实 践 中 ， 处 于 对 数 据 库 性 能 吞 吐 量 的 考 虑 ， 允 许 多 个 事 务 之 间 按 照 一 定 的 规 则 ， 打 破 串 行 话 的 全 序 关 系 ， A N S I S Q L I s o l a t i o n L e v e l s 即 规 定 了 这 种 “ 规 则 ” ， 通 过 将 隔 离 性 划 分 为 4 个 级 别 ， 来 换 取 多 层 级 的 事 务 间 并 发 能 力 （ 即 数 据 库 的 吞 吐 能 力 ） 。 
 注 ， 本 文 内 容 融 入 了 作 者 个 人 的 理 解 ， 并 没 有 严 格 遵 守 原 文 的 内 容 ； 其 中 c u r s o r s t a b i l i t y 隔 离 级 别 将 在 后 续 文 章 中 讨 论 ， 快 照 隔 离 级 别 与 A N S I 标 准 异 象 的 比 较 也 有 所 不 同 。 
 2 A N S I 事 务 隔 离 级 别 A N S I S Q L 9 2 标 准 ( h t t p : / / w w w . c o n t r i b . a n d r e w . c m u . e d u / ~ s h a d o w / s q l / s q l 1 9 9 2 . t x t ) 将 数 据 库 并 发 事 务 间 的 隔 离 性 行 为 划 分 为 3 种 ” 异 象 ( p h e n o m e n a ) ” ， 从 低 到 高 的 自 然 语 言 定 义 依 次 为 ： P 1   脏 读 ( “ D i r t y r e a d ” ) : S Q L t r a n s a c t i o n T 1 m o d i f i e s a r o w . S Q L t r a n s a c t i o n T 2 t h e n r e a d s t h a t r o w b e f o r e T 1 p e r f o r m s a C O M M I T . I f T 1 t h e n p e r f o r m s a R O L L B A C K , T 2 w i l l h a v e r e a d a r o w t h a t w a s n e v e r c o m m i t t e d a n d t h a t m a y t h u s b e c o n s i d e r e d t o h a v e n e v e r e x i s t e d . P 2 不 可 重 复 读 ( “ N o n r e p e a t a b l e r e a d ” ) : S Q L t r a n s a c t i o n T 1 r e a d s a r o w . S Q L t r a n s a c t i o n T 2 t h e n m o d i f i e s o r d e l e t e s t h a t r o w a n d p e r f o r m s a C O M M I T . I f T 1 t h e n a t t e m p t s t o r e r e a d t h e r o w , i t m a y r e c e i v e t h e m o d i f i e d v a l u e o r d i s c o v e r t h a t t h e r o w h a s b e e n d e l e t e d . P 3 幻 读 ( “ P h a n t o m ” ) : S Q L t r a n s a c t i o n T 1 r e a d s t h e s e t o f r o w s N t h a t s a t i s f y s o m e . S Q L t r a n s a c t i o n T 2 t h e n e x e c u t e s S Q L s t a t e m e n t s t h a t g e n e r a t e o n e o r m o r e r o w s t h a t s a t i s f y t h e u s e d b y S Q L t r a n s a c t i o n T 1 . I f S Q L t r a n s a c t i o n T 1 t h e n r e p e a t s t h e i n i t i a l r e a d w i t h t h e s a m e , i t o b t a i n s a d i f f e r e n t c o l l e c t i o n o f r o w s . 通 过 依 次 禁 止 这 三 种 异 象 ， A N S I 确 定 了 4 种 标 准 隔 离 级 别 ， 如 下 表 所 示 ： 级 别 P 1 ( 脏 读 ) P 2 ( 不 可 重 复 读 ) P 3 ( 幻 读 ) R e a d U n c o m m i t t e d 允 许 允 许 允 许 R e a d C o m m i t t e d 禁 止 允 许 允 许 R e p e a t a b l e R e a d 禁 止 禁 止 允 许 ( A n o m a l y ) S e r i a l i z a b l e 禁 止 禁 止 禁 止 N o t e : T h e e x c l u s i o n o f t h e s e p e n o m e n a o r S Q L t r a n s a c t i o n s e x e c u t i n g a t i s o l a t i o n l e v e l S E R I A L I Z A B L E i s a c o n s e q u e n c e o f t h e r e q u i r e m e n t t h a t s u c h t r a n s a c t i o n s b e s e r i a l i z a b l e . 如 标 准 文 档 所 述 ， 禁 止 了 P 1 / P 2 / P 3 异 象 的 事 务 即 满 足 S e r i a l i z a b l e 级 别 ， 但 矛 盾 的 是 ， 标 准 文 档 中 对 S e r i a l i z a b l e 又 做 了 如 下 说 明 ： T h e e x e c u t i o n o f c o n c u r r e n t S Q L t r a n s a c t i o n s a t i s o l a t i o n l e v e l S E R I A L I Z A B L E i s g u a r a n t e e d t o b e s e r i a l i z a b l e . A s e r i a l i z a b l e e x e c u t i o n i s d e f i n e d t o b e a n e x e c u t i o n o f t h e o p e r a t i o n s o f c o n c u r r e n t l y e x e c u t i n g S Q L t r a n s a c t i o n s t h a t p r o d u c e s t h e s a m e e f f e c t a s s o m e s e r i a l e x e c u t i o n o f t h o s e s a m e S Q L t r a n s a c t i o n s 它 要 求 多 个 并 发 事 务 执 行 的 效 果 与 某 种 串 行 化 执 行 的 效 果 一 致 ， 但 是 仅 仅 禁 止 P 1 / P 2 / P 3 异 象 ， 并 不 一 定 能 够 保 证 “ s e r i a l e x e c u t i o n ” 的 效 果 ， 因 此 论 文 中 将 A N S I S e r i a l i z a b l e 称 为 A n o m a l y S e r i a l i z a b l e 。 
 P 1 / P 2 / P 3 的 形 式 化 描 述 根 据 标 准 文 档 的 定 义 ， 可 以 将 这 三 种 异 象 使 用 形 式 化 语 言 描 述 如 下 ， 称 为 A 1 / A 2 / A 3 （ 其 中 w 1 [ x ] 表 示 事 务 1 写 入 记 录 x ， r 1 表 示 事 务 1 读 取 记 录 x ， c 1 表 示 事 务 1 提 交 ， a 1 表 示 事 务 1 回 滚 ， r 1 [ P ] 表 示 事 务 1 按 照 谓 词 P 的 条 件 读 取 若 干 条 记 录 ， w 1 [ y i n P ] 表 示 事 务 1 写 入 记 录 y 满 足 谓 词 P 的 条 件 ） ： A 1 脏 读 ： w 1 [ x ] … r 2 [ x ] … ( a 1 a n d c 2 i n a n y o r d e r ) A 2 不 可 重 复 读 ： r 1 [ x ] … w 2 [ x ] … c 2 … r 1 [ x ] … c 1 A 3 幻 读 ： r 1 [ P ] … w 2 [ y i n P ] … c 2 … r 1 [ P ] … c 1 上 述 A 1 / A 2 / A 3 形 式 化 描 述 ， 根 据 标 准 定 义 的 P 1 / P 2 / P 3 异 象 的 自 然 语 言 描 述 转 化 而 来 ， 但 是 A N S I 标 准 定 义 的 异 象 只 针 对 了 单 个 记 录 或 谓 词 描 述 ， 对 于 多 条 记 录 需 满 足 业 务 一 致 性 的 场 景 并 未 能 覆 盖 （ 比 如 两 个 账 户 间 转 账 要 求 余 额 总 和 不 变 ） ， 举 例 如 下 ： H 1 ： r 1 [ x = 5 0 ] w 1 [ x = 1 0 ]   r 2 [ x = 1 0 ] r 2 [ y = 5 0 ]   c 2 r 1 [ y = 5 0 ] w 1 [ y = 9 0 ] c 1 事 务 1 执 行 账 户 x 向 账 户 y 转 账 4 0 ， 事 务 2 读 取 到 了 进 行 到 了 一 半 的 事 务 1 （ R e a d U n c o m m i t t e d ） ， 破 坏 了 余 额 总 和 的 一 致 性 因 为 事 务 1 并 未 回 滚 ， H 1 的 行 为 并 不 符 合 A 1 的 形 式 化 定 义 H 2 ： r 1 [ x = 5 0 ] r 2 [ x = 5 0 ] w 2 [ x = 1 0 ] r 2 [ y = 5 0 ] w 2 [ y = 9 0 ] c 2 r 1 [ y = 9 0 ] c 1 事 务 2 执 行 账 户 x 向 账 户 y 转 账 4 0 ， 事 务 1 在 事 务 2 提 交 前 后 读 取 到 了 破 坏 余 额 总 和 一 致 性 的 数 据 （ U n r e p e a t a b l e R e a d ） 因 为 事 务 1 并 未 重 复 读 取 记 录 x ， H 2 的 行 为 并 不 符 合 A 2 的 形 式 化 定 义 H 3 ： r 1 [ P ] w 2 [ i n s e r t y t o P ] r 2 [ z ] w 2 [ z ] c 2 r 1 [ z ] c 1 事 务 2 增 加 新 雇 员 并 更 新 雇 员 总 数 z ， 事 务 1 在 事 务 2 提 交 前 后 读 取 到 了 破 坏 雇 员 列 表 与 雇 员 总 数 的 一 致 性 的 数 据 （ P h a n t o m ） 因 为 事 务 1 并 未 重 复 读 取 谓 词 P 指 定 的 数 据 集 合 ， H 3 的 行 为 并 不 符 合 A 3 的 形 式 化 定 义 因 为 要 增 强 对 上 述 H 1 / H 2 / H 3 异 象 的 约 束 ， 论 文 将 A 1 / A 2 / A 3 的 形 式 化 描 述 称 为 “ 狭 义 的 描 述 ( s t r i c t i n t e r p r e t a t i o n s ) ” ， 然 后 增 加 了 “ 广 义 的 描 述 ( b r o a d i n t e r p r e t a t i o n ) ” ， 去 除 了 s t r i c t i n t e r p r e t a t i o n s 中 对 事 务 提 交 、 回 滚 和 数 据 读 取 范 围 的 约 束 ， 只 保 留 事 务 之 间 读 写 的 时 序 关 系 ， 即 事 务 之 间 只 要 包 含 如 下 时 序 的 操 作 ， 即 可 能 产 生 包 含 H 1 / H 2 / H 3 在 内 的 异 象 ， 如 下 ： P 1 脏 读 ： w 1 [ x ] … r 2 [ x ] … ( ( c 1 o r a 1 ) a n d ( c 2 o r a 2 ) i n a n y o r d e r ) P 2 不 可 重 复 读 ： r 1 [ x ] … w 2 [ x ] …   ( ( c 1 o r a 1 ) a n d ( c 2 o r a 2 ) i n a n y o r d e r ) P 3 幻 读 ： r 1 [ P ] … w 2 [ y i n P ]   …   ( ( c 1 o r a 1 ) a n d ( c 2 o r a 2 ) i n a n y o r d e r ) 在 上 述 形 式 化 描 述 下 ， 禁 止 P 1 即 可 禁 止 H 1 ， 禁 止 P 1 / P 2 即 可 禁 止 H 2 ， 禁 止 P 1 / P 2 / P 3 即 可 禁 止 H 3 。 
 至 此 ， A N S I 标 准 隔 离 级 别 定 义 的 三 种 异 象 ， 可 以 被 扩 展 为 适 用 范 围 更 广 的 的 P 1 / P 2 / P 3 的 形 式 化 定 义 ， 这 种 隔 离 级 别 定 义 被 论 文 称 之 为 “ p h e n o m e n a b a s e d ” ， 即 基 于 “ 异 象 ” 的 隔 离 级 别 定 义 。 
 3 基 于 锁 的 事 务 隔 离 在 上 一 节 的 讨 论 中 ， P 1 / P 2 / P 3 这 三 种 形 式 化 定 义 指 出 了 三 个 不 同 级 别 的 异 象 ， 但 是 并 没 有 与 实 际 的 工 程 实 践 相 关 联 ， 在 本 小 节 中 ， 我 们 将 介 绍 基 于 锁 ( l o c k b a s e ) 的 事 务 隔 离 实 现 ， 并 且 将 不 同 的 加 锁 行 为 与 上 述 三 种 异 象 关 联 起 来 讨 论 。 
 在 讨 论 加 锁 行 为 之 前 ， 需 要 定 义 如 下 几 种 读 写 和 锁 的 操 作 ： P r e d i c a t e l o c k 谓 词 锁 ( g a p 锁 ) ： L o c k s o n a l l d a t a i t e m s s a t i s f y i n g t h e s e a r c h c o n d i t i o n W e l l f o r m e d W r i t e s 合 法 w r i t e ： R e q u e s t s a W r i t e ( E x c l u s i v e ) l o c k o n e a c h d a t a i t e m o r p r e d i c a t e b e f o r e w r i t i n g W e l l f o r m e d R e a d s 合 法 r e a d ： R e q u e s t s a R e a d ( s h a r e ) l o c k o n e a c h d a t a i t e m o r p r e d i c a t e b e f o r e r e a d i n g L o n g d u r a t i o n l o c k s 长 周 期 锁 ： L o c k s a r e h e l d u n t i l a f t e r t h e t r a n s a c t i o n c o m m i t s o r a b o r t s S h o r d d u r a t i o n l o c k s 短 周 期 锁 ： L o c k s a r e r e l e a s e d i m m e d i a t e l y a f t e r t h e a c t i o n c o m p l e t e s 通 过 组 合 上 述 读 写 锁 操 作 ， 我 们 能 够 构 建 不 同 级 别 的 事 务 隔 离 标 准 。 
 因 为 “ N o W e l l f o r m e d W r i t e s ” 或 “ S h o r t d u r a t i o n w r i t e l o c k s ” 的 保 护 等 级 可 能 造 成 d i r t y w r i t e ， 它 的 约 束 已 经 低 到 难 以 找 到 实 际 应 用 场 景 ， 我 们 将 其 忽 略 ， 因 此 所 有 写 入 操 作 都 使 用 “ W e l l f o r m e d W r i t e s ,   L o n g d u r a t i o n W r i t e l o c k s ” ， 通 过 对 读 取 操 作 应 用 不 同 的 保 护 等 级 ， 得 到 4 种 隔 离 级 别 ， 使 用 l o c k i n g 前 缀 与 A N S I 隔 离 级 别 区 分 ， 如 下 表 所 示 ： R e a d L o c k W r i t e L o c k L o c k i n g R e a d U n c o m m i t e d n o n e r e q u i r e d W e l l f o r m e d W r i t e s , L o n g d u r a t i o n W r i t e l o c k s L o c k i n g R e a d C o m m i t e d W e l l f o r m e d R e a d s , S h o r t d u r a t i o n r e a d l o c k W e l l f o r m e d W r i t e s , L o n g d u r a t i o n W r i t e l o c k s L o c k i n g R e p e a t a b l e R e a d W e l l f o r m e d R e a d s , L o n g d u r a t i o n d a t a i t e m R e a d l o c k s , S h o r t d u r a t i o n R e a d P r e d i c a t e l o c k s W e l l f o r m e d W r i t e s L o n g d u r a t i o n W r i t e l o c k s L o c k i n g S e r i a l i z a b l e W e l l f o r m e d R e a d s , L o n g d u r a t i o n R e a d l o c k s W e l l f o r m e d W r i t e s L o n g d u r a t i o n W r i t e l o c k s 将 l o c k i n g 标 记 的 四 种 隔 离 级 别 与 A N S I 隔 离 级 别 对 比 ： W e l l f o r m e d R e a d s ,   S h o r t d u r a t i o n r e a d l o c k 禁 止 了 P 1 发 生 ， r 2 [ x ] 将 被 读 锁 阻 塞 ， 直 到 事 务 1 提 交 或 回 滚 W e l l f o r m e d R e a d s ,   L o n g d u r a t i o n d a t a i t e m R e a d l o c k s ,   S h o r t d u r a t i o n R e a d P r e d i c a t e l o c k s 禁 止 了 P 2 发 生 ， w 2 [ x ] 将 被 写 锁 阻 塞 ， 直 到 事 务 1 提 交 或 回 滚 其 中 S h o r t d u r a t i o n R e a d P r e d i c a t e l o c k s 的 作 用 论 文 中 并 没 有 说 明 ， 实 际 上 它 保 护 了 r [ P ] 的 一 致 性 ， 保 证 r [ P ] 读 取 到 的 多 行 数 据 是 一 个 “ w e l l f o r m e d h i s t o r y ” W e l l f o r m e d R e a d s ,   L o n g d u r a t i o n R e a d l o c k s 禁 止 了 P 3 发 生 ， w 2 [ y i n P ] 将 被 谓 词 写 锁 阻 塞 ， 直 到 事 务 1 提 交 或 回 滚 如 上 所 述 ， L o c k B a s e 的 隔 离 级 别 能 够 完 全 覆 盖 A N S I 基 于 异 象 的 隔 离 级 别 约 束 ， 论 文 中 也 称 “ p h e n o m e n a b a s e d ” 是 “ d i s g u i s e d v e r s i o n s o f l o c k i n g ” 。 
 4 基 于 快 照 的 事 务 隔 离 对 于 基 于 锁 实 现 事 务 隔 离 的 数 据 库 ， 读 写 、 写 写 事 务 之 间 也 可 能 因 为 锁 冲 突 而 被 阻 塞 ， 数 据 库 的 整 体 吞 吐 能 力 受 到 比 较 大 的 限 制 ， 特 别 是 在 目 前 多 核 的 C P U 条 件 下 ， 难 以 充 分 发 挥 计 算 能 力 。 
 因 此 现 代 关 系 型 数 据 库 和 N e w S Q L ， 比 如 M y S Q L / O r a c l e / P o s t g r e S Q L / O c e a n B a s e / T i D B 等 ， 都 使 用 多 版 本 并 发 控 制 ( m v c c ) 技 术 ， 来 实 现 事 务 隔 离 ， 它 的 核 心 设 计 思 想 是 ， 为 数 据 的 每 次 修 改 保 存 一 个 用 时 间 戳 标 记 的 版 本 ， 数 据 读 取 不 需 要 加 锁 ， 而 是 在 读 取 事 务 开 始 的 时 候 获 取 当 前 时 间 戳 ( s n a p s h o t ) ， 对 于 每 条 数 据 ， 将 版 本 号 小 于 s n a p s h o t 的 最 大 已 提 交 版 本 的 内 容 作 为 读 取 结 果 返 回 。 
 S n a p s h o t I s o l a t i o n 保 证 只 读 事 务 与 读 写 事 务 相 互 不 阻 塞 ， 只 读 事 务 通 过 读 取 合 法 的 历 史 快 照 ， 保 证 了 读 取 到 的 数 据 的 一 致 性 ， 我 们 在 快 照 隔 离 下 与 A 1 / A 2 / A 3 逐 个 对 比 分 析 ： P 1 描 述 的 w 1 [ x ] … r 2 [ x ] … 操 作 时 序 不 可 能 出 现 ， 因 为 在 快 照 隔 离 下 ， 实 际 的 操 作 时 序 为 w 1 [ x ] … r 2 [ l a s t v e r s i o n o f x ] … ， 因 此 可 知 快 照 隔 离 禁 止 P 1 P 2 描 述 的 r 1 [ x ] … w 2 [ x ] … 它 实 际 的 操 作 时 序 为 r 1 [ x ] … w 2 [ n e w v e r s i o n o f x ] … ， 可 以 知 道 快 照 隔 离 也 禁 止 了 P 2 。 
 至 此 ， 我 们 可 以 确 定 快 照 隔 离 的 效 果 至 少 大 于 R e a d C o m m i t t e d P 3 描 述 的 r 1 [ P ] … w 2 [ y i n P ] … 它 实 际 的 操 作 时 序 为 r 1 [ P ] … w 2 [ n e w v e r s i o n o f y i n P ] … ， 可 以 知 道 快 照 隔 离 也 禁 止 了 P 3 ， 达 到 了 第 2 小 节 中 A N S I 的 A n o m a l y   S e r i a l i z a b l e 级 别 但 是 ， 从 上 一 小 节 基 于 锁 的 隔 离 级 别 定 义 来 分 析 ， 快 照 隔 离 的 安 全 级 别 可 能 并 没 有 那 么 高 ， 我 们 来 看 如 下 两 种 异 象 的 形 式 化 描 述 ： A 5 A R e a d S k e w : r 1 [ x ] … w 2 [ x ] … w 2 [ y ] … c 2 … r 1 [ y ] … ( c 1 o r a 1 ) A 5 B W r i t e r S k e w : r 1 [ x ] … r 2 [ y ] … w 1 [ y ] … w 2 [ x ] … ( c 1 a n d c 2 o c c u r ) 扩 展 的 W r i t e S k e w （ 并 非 来 自 原 文 ） ： r 1 [ P ] … r 2 [ P ] … w 1 [ x ] … w 2 [ y ] … ( c 1 a n d c 2 o c c u r ) 快 照 隔 离 性 高 于 R e a d C o m m i t t e d ： 第 一 ， 考 虑 到 快 照 隔 离 读 已 提 交 的 数 据 版 本 的 特 性 ， 禁 止 了 P 1 ， 因 此 保 证 至 少 不 低 于 R e a d C o m m i t t e d 。 
 第 二 ， A 5 A 的 R e a d S k e w 异 象 符 合 P 2 的 定 义 ， 并 且 从 一 致 性 的 角 度 分 析 ， 事 务 1 对 x 和 y 的 读 取 的 两 个 值 不 在 线 性 的 历 史 中 ， 可 能 会 违 背 某 种 外 部 约 束 （ 比 如 保 证 x + y 的 和 为 一 个 常 量 ） ， 因 此 R e a d C o m m i t t e d 隔 离 级 别 下 允 许 A 5 A R e a d S k e w 异 象 。 
 总 和 以 上 两 点 ， 我 们 可 以 得 出 结 论 ， 快 照 隔 离 性 高 于 R e a d C o m m i t t e d 。 
 快 照 隔 离 性 与 R e p e a t a b l e R e a d 不 相 容 ： 考 虑 到 快 照 隔 离 能 够 保 证 读 取 到 的 数 据 在 一 个 一 致 的 历 史 快 照 上 ， 禁 止 了 P 1 / P 2 / P 3 ， 因 此 保 证 不 低 于 A N S I 的 A n o m a l y   S e r i a l i z a b l e 级 别 ； 但 是 ， 另 一 方 面 ， 经 典 的 快 照 隔 离 对 于 多 写 冲 突 是 基 于 F i r s t c o m m i t t e r w i n s 的 处 理 方 式 ， 依 赖 冲 突 的 事 务 间 至 少 修 改 同 一 条 记 录 （ 现 代 快 照 隔 离 有 更 优 的 S S I ， 我 们 将 在 后 续 的 文 章 中 介 绍 ） 无 法 避 免 上 述 A 5 B W r i t e S k e w 的 两 种 异 象 ， 而 基 于 锁 事 项 的 R e p e a t a b l e R e a d 级 别 却 可 以 禁 止 A 5 B 。 
 快 照 隔 离 与 R e p e a t a b l e R e a d 双 方 禁 止 的 异 象 ， 有 可 能 在 对 方 出 现 ， 因 此 他 们 的 隔 离 性 无 法 相 比 较 。 
 5 总 结 从 前 面 几 个 小 节 的 隔 离 性 分 析 来 看 ， 我 们 可 以 得 到 如 下 几 种 隔 离 级 别 的 关 系 ： R e a d U n c o m m i t t e d R e a d C o m m i t t e d ( R e p e a t a b l e R e a d > S n a p s h o t ) S e r i a l i z a b l e 本 文 首 先 介 绍 了 A N S I 基 于 “ 异 象 ” 的 隔 离 级 别 标 准 ， 并 分 析 了 其 狭 义 和 广 义 的 描 述 ； 然 后 介 绍 了 基 于 锁 的 隔 离 级 别 标 准 ， 与 A N S I 隔 离 级 别 进 行 了 比 较 ； 最 后 分 析 快 照 隔 离 级 别 ， 在 A N S I 隔 离 级 别 标 准 基 础 上 ， 提 出 了 两 种 新 的 “ 异 象 ” ， 得 出 快 照 隔 离 在 几 种 标 准 隔 离 级 别 特 性 中 的 位 置 。 
 本 条 目 发 布 于 2 0 1 8 年 6 月 1 8 日 。 
 属 于 未 分 类 分 类 。 
 作 者 是 y u b a i 。 
 两 阶 段 提 交 的 工 程 实 践 两 阶 段 提 交 （ 2 P h a s e C o m m i t 简 称 2 P C ） 协 议 是 用 于 在 多 个 节 点 之 间 达 成 一 致 的 通 信 协 议 ， 它 是 实 现 “ 有 状 态 的 ” 分 布 式 系 统 所 必 须 面 对 的 经 典 问 题 之 一 。 
 本 文 通 过 对 比 经 典 2 P C 协 议 ， 和 G o o g l e 工 程 实 践 的 基 础 上 ， 分 析 一 种 优 化 延 迟 的 2 P C 协 议 。 
 为 了 方 便 说 明 ， 本 文 主 要 针 对 分 布 式 数 据 库 中 ， 跨 域 s h a r d i n g 的 2 P C 方 案 的 讨 论 。 
 主 要 参 考 文 献 ： G r a y J , L a m p o r t L . C o n s e n s u s o n t r a n s a c t i o n c o m m i t [ J ] . A C M T r a n s a c t i o n s o n D a t a b a s e S y s t e m s ( T O D S ) , 2 0 0 6 , 3 1 ( 1 ) : 1 3 3 1 6 0 . 经 典 两 阶 段 提 交 概 述 先 来 回 顾 下 经 典 的 2 P C 协 议 ， 有 两 个 角 色 ： 一 个 协 调 者 （ c o o r d i n a t o r ） 和 若 干 参 与 者 （ p a r t i c i p a n t ） ， 协 议 执 行 可 以 分 为 如 下 几 个 阶 段 ： 预 处 理 阶 段 ： 严 格 来 说 ， 预 处 理 阶 段 并 不 是 2 P C 的 一 部 分 ， 在 实 际 的 分 布 式 数 据 库 中 ， 这 个 阶 段 由 协 调 者 向 若 干 参 与 者 发 送 S Q L 请 求 或 执 行 计 划 ， 包 括 获 取 行 锁 ， 生 成 r e d o 数 据 等 操 作 。 
 P r e p a r e 阶 段 ： 客 户 端 向 协 调 者 发 送 事 务 提 交 请 求 ， 协 调 者 开 始 执 行 两 阶 段 提 交 ， 向 所 有 的 事 务 参 与 者 发 送 p r e p a r e 命 令 ， 参 与 者 将 r e d o 数 据 持 久 化 成 功 后 ， 向 协 调 者 应 带 p r e p a r e 成 功 。 
 这 里 隐 含 的 意 思 是 ， 参 与 者 一 旦 应 答 p r e p a r e 成 功 ， 就 保 证 后 续 一 定 能 够 成 功 执 行 c o m m i t 命 令 （ r e d o l o g 持 久 化 成 功 自 然 保 证 了 后 续 能 够 成 功 c o m m i t ） 。 
 C o m m i t 阶 段 执 行 C o m m i t ： 协 调 者 收 到 所 有 参 与 者 应 答 p r e p a r e 成 功 的 消 息 后 ， 执 行 c o m m i t ， 先 在 本 地 持 久 化 事 务 状 态 ， 然 后 给 所 有 的 事 务 参 与 者 发 送 c o m m i t 命 令 。 
 参 与 者 收 到 c o m m i t 命 令 后 ， 释 放 事 务 过 程 中 持 有 的 锁 和 其 他 资 源 ， 将 事 务 在 本 地 提 交 （ 持 久 化 一 条 c o m m i t 日 志 ） ， 然 后 向 协 调 者 应 答 c o m m i t 成 功 。 
 协 调 者 收 到 所 有 参 与 者 应 答 c o m m i t 成 功 的 消 息 后 ， 向 客 户 端 返 回 成 功 。 
 执 行 A b o r t ： p r e p a r e 阶 段 中 如 果 有 参 与 者 返 回 p r e p a r e 失 败 或 者 超 时 未 应 答 ， 那 么 协 调 者 将 执 行 a b o r t ， 同 样 先 在 本 地 持 久 化 事 务 状 态 ， 然 后 给 所 有 参 与 者 发 送 a b o r t 命 令 。 
 参 与 者 收 到 a b o r t 命 令 后 ， 释 放 锁 和 其 他 资 源 ， 将 事 务 回 滚 （ 有 必 要 的 情 况 下 还 要 持 久 化 一 条 a b o r t 日 志 ） 。 
 经 典 2 P C 的 局 限 协 调 者 宕 机 ： 2 P C 是 一 个 阻 塞 式 的 协 议 ， 在 所 有 参 与 者 执 行 c o m m i t / a b o r t 之 前 的 任 何 时 间 内 协 调 者 宕 机 ， 都 将 阻 塞 事 务 进 程 ， 必 须 等 待 协 调 者 恢 复 后 ， 事 务 才 能 继 续 执 行 。 
 交 互 延 迟 ： 协 调 者 要 持 久 化 事 务 的 c o m m i t / a b o r t 状 态 后 才 能 发 送 c o m m i t / a b o r t 命 令 ， 因 此 全 程 至 少 2 次 R P C 延 迟 （ p r e p a r e + c o m m i t ） ， 和 3 次 持 久 化 数 据 延 迟 （ p r e p a r e 写 日 志 + 协 调 者 状 态 持 久 化 + c o m m i t 写 日 志 ） 。 
 P e r c o l a t o r 系 统 的 两 阶 段 提 交 概 述 ： p e r c o l a t o r 是 g o o g l e 基 于 b i g t a b l e 实 现 的 分 布 式 数 据 库 ， 在 b i g t a b l e 单 行 事 务 的 基 础 上 ， 它 使 用 全 局 的 T i m e s t a m p S e r v e r 来 实 现 分 布 式 的 m v c c （ 后 续 专 门 讨 论 ， 本 文 不 展 开 了 ） ； 还 有 2 P C 协 议 来 实 现 多 行 事 务 。 
 由 于 b i g t a b l e 屏 蔽 了 数 据 s h a r d i n g 的 细 节 ， 在 p e r c o l a t o r 看 来 事 务 修 改 的 每 一 行 记 录 ， 都 被 看 作 一 个 参 与 者 ， 事 务 没 有 区 分 预 处 理 和 p r e p a r e 阶 段 ， 可 以 认 为 事 务 开 始 后 ， 即 进 入 了 2 P C 的 p r e p a r e 阶 段 。 
 p e r c o l a t o r 的 2 P C 协 调 者 并 不 持 久 化 状 态 ， 而 是 引 入 p r i m a r y r e c o r d 的 概 念 ， 将 事 务 执 行 过 程 中 修 改 的 第 一 个 r e c o r d 作 为 p r i m a r y r e c o r d ， 在 这 个 r e c o r d 中 记 录 本 次 事 务 的 状 态 ， 而 在 事 务 执 行 过 程 中 其 他 被 修 改 的 r e c o r d 里 面 记 录 p r i m a r y r e c o r d 的 k e y （ 这 里 我 觉 得 p r i a m r y r e c o r d 保 存 单 独 的 表 中 更 优 雅 ， 否 则 p r i a m r y r e c o r d 被 用 户 删 除 的 话 ， 并 不 好 处 理 ） 。 
 在 c o m m i t 阶 段 ， 先 在 p r i m a r y r e c o r d 中 记 录 事 务 状 态 （ 包 括 事 务 I D ， m v c c 版 本 号 等 ） ， 成 功 后 ， 才 将 各 个 参 与 者 的 修 改 提 交 （ 包 括 持 久 化 m v c c 版 本 号 ， 释 放 行 锁 等 ） 。 
 在 事 务 执 行 过 程 中 ， 如 果 协 调 者 宕 机 ， 那 么 其 他 参 与 者 可 以 通 过 查 询 p r i m a r y r e c o r d 中 保 存 的 事 务 状 态 来 决 定 回 滚 或 提 交 本 地 的 修 改 。 
 创 新 与 局 限 ： 在 仅 提 供 行 级 事 务 的 b i g t a b l e 基 础 上 ， p e r c o l a t o r 创 新 的 实 现 了 多 行 事 务 和 m v c c ， p r i m a r y r e c o r d 的 设 计 简 化 了 2 P C 协 议 中 对 协 调 者 状 态 的 维 护 ， 是 一 套 比 较 优 雅 的 2 P C 工 程 实 现 。 
 但 是 直 接 构 建 在 K V 基 础 上 的 数 据 库 事 务 ， 也 存 在 着 诸 多 局 限 ： 底 层 K V 屏 蔽 了 s h a r d i n g 细 节 ， 且 不 提 供 交 户 型 的 事 务 上 下 文 机 制 ， 对 存 储 引 擎 的 读 写 只 能 在 一 次 R P C 提 交 ， 使 得 加 锁 、 修 改 、 提 交 都 必 须 是 一 次 b i g t a b l e 的 提 交 操 作 ， 延 迟 代 价 是 巨 大 的 。 
 尽 管 p r i m a r y r e c o r d 的 设 计 简 化 了 2 P C 的 协 调 者 状 态 维 护 ， 但 是 c o m m i t 时 仍 然 要 等 待 p r i m a r y r e c o r d 持 久 化 事 务 状 态 成 功 后 ， 参 与 者 才 能 进 行 c o m m i t ， 这 一 次 延 迟 不 可 避 免 。 
 2 P C 协 议 优 化 通 过 对 经 典 2 P C 和 p e r c o l a t o r 实 现 的 分 析 ， 可 以 得 到 如 下 几 个 对 2 P C 的 改 进 思 路 ： 底 存 存 储 需 要 暴 露 s h a r d i n g 细 节 ， 提 供 以 分 区 为 单 位 的 事 务 上 下 文 管 理 机 制 ， 使 得 在 预 处 理 过 程 中 ， 行 锁 和 数 据 修 改 为 内 存 操 作 ， 避 免 持 久 化 的 代 价 。 
 简 化 协 调 者 为 无 状 态 逻 辑 减 少 2 P C 执 行 关 键 路 径 上 的 持 久 化 和 R P C 次 数 优 化 的 2 P C 协 议 ： 预 处 理 阶 段 ： 协 调 者 向 若 干 参 与 者 发 送 S Q L 请 求 或 执 行 计 划 ， 一 个 s h a r d i n g 即 对 应 一 个 参 与 者 ， 针 对 这 个 事 务 ， 在 每 个 参 与 者 中 会 维 护 一 个 通 过 事 务 I D 索 引 的 事 务 上 下 文 ， 用 于 维 护 行 锁 、 r e d o 数 据 等 ， 有 必 要 的 情 况 （ r e d o l o g 过 多 ） 下 ， 这 个 阶 段 可 能 会 异 步 的 持 久 化 r e d o l o g 。 
 P r e p a r e 阶 段 ： 协 调 者 收 到 客 户 端 提 交 事 务 的 请 求 ， 向 各 个 参 与 者 发 送 p r e p a r e 命 令 ， 命 令 中 携 带 了 当 前 事 务 的 参 与 者 列 表 ， 参 与 者 收 到 p r e p a r e 命 令 后 ， 将 事 务 的 r e d o l o g 、 参 与 者 列 表 、 p r e p a r e 日 志 持 久 化 后 ， 向 协 调 者 和 其 他 参 与 者 发 送 p r e p a r e 成 功 的 消 息 。 
 C o m m i t 阶 段 ： 协 调 者 收 到 所 有 参 与 者 应 答 p r e p a r e 成 功 的 消 息 后 ， 即 向 客 户 端 返 回 事 务 提 交 成 功 ； 对 于 每 个 参 与 者 ， 当 它 确 认 所 有 参 与 者 都 p r e p a r e 成 功 后 ， 将 本 地 事 务 提 交 并 释 放 行 锁 等 资 源 ， 并 异 步 的 持 久 化 一 条 c o m m i t 日 志 ， 然 后 向 其 他 参 与 者 发 送 c o m m i t 成 功 的 消 息 。 
 F i n i s h 阶 段 ： 对 于 每 个 参 与 者 ， 当 它 确 认 所 有 参 与 者 都 c o m m i t 成 功 后 ， 将 本 地 事 务 上 下 文 释 放 ， 并 异 步 的 持 久 化 一 条 f i n i s h 日 志 。 
 参 与 者 与 协 调 者 状 态 转 移 图   宕 机 处 理 与 事 务 状 态 恢 复 要 点 预 处 理 阶 段 宕 机 ： 无 论 参 与 者 还 是 协 调 者 ， 在 这 个 阶 段 宕 机 ， 事 务 都 无 法 继 续 进 行 ， 可 依 靠 参 与 者 轮 询 协 调 者 状 态 来 尽 快 结 束 事 务 释 放 行 锁 。 
 P r e p a r e 阶 段 宕 机 ： 一 旦 所 有 参 与 者 完 成 p r e p a r e ， 无 论 协 调 者 是 否 宕 机 ， 事 务 最 终 都 会 被 提 交 。 
 对 于 参 与 者 来 说 ， 如 果 没 有 持 久 化 p r e p a r e 日 志 ， 那 么 在 回 放 日 志 时 这 个 事 务 会 被 丢 弃 ； 如 果 已 经 持 久 化 p r e p a r e 日 志 ， 在 日 志 回 放 完 成 后 ， 需 要 向 所 有 其 他 参 与 者 查 询 事 务 状 态 。 
 C o m m i t 阶 段 宕 机 ： 这 个 阶 段 已 经 没 有 协 调 者 的 事 了 ， 所 以 只 考 虑 参 与 者 即 可 ， 如 果 已 经 持 久 化 c o m m i t 日 志 ， 那 么 回 放 日 志 后 ， 它 要 在 内 存 中 保 存 这 个 事 务 状 态 ， 直 到 确 认 其 他 参 与 者 都 已 完 成 c o m m i t ； 如 果 未 持 久 化 c o m m i t 日 志 ， 那 么 在 日 志 回 放 完 成 后 ， 需 要 向 所 有 其 他 参 与 者 查 询 事 务 状 态 。 
 F i n i s h 阶 段 宕 机 ： 同 上 ， 这 个 阶 段 已 经 没 有 协 调 者 的 事 了 ， 所 以 只 考 虑 参 与 者 即 可 ， 如 果 已 经 持 久 化 f i n i s h 日 志 ， 那 么 在 回 放 过 程 中 自 然 的 释 放 事 务 上 下 文 即 可 ； 如 果 未 持 久 化 f i n i s h 日 志 ， 那 么 它 要 在 内 存 中 保 存 这 个 事 务 状 态 ， 直 到 确 认 其 他 参 与 者 都 已 完 成 c o m m i t 。 
 事 务 状 态 的 查 询 处 理 ： 如 状 态 转 移 图 所 示 ， 对 于 其 他 参 与 者 的 状 态 查 询 ， 在 检 查 s h a r d i n g 匹 配 后 ， 判 断 如 果 本 地 已 经 没 有 对 应 的 事 务 上 下 文 的 情 况 下 ， 按 如 下 逻 辑 处 理 ： 收 到 其 他 参 与 者 查 询 P r e p a r e 状 态 的 请 求 ： 说 明 对 方 处 于 p r e p a r e 阶 段 ， 自 己 没 有 这 个 上 下 文 ， 说 明 事 务 肯 定 已 经 a b o r t ， 所 以 直 接 回 复 事 务 a b o r t 。 
 收 到 其 他 参 与 者 查 询 C o m m i t 状 态 的 请 求 ： 说 明 对 方 处 理 c o m m i t 阶 段 ， 自 己 已 经 确 认 可 以 f i n i s h ， 说 明 事 务 肯 定 已 经 正 常 提 交 ， 所 以 直 接 回 复 c o m m i t 成 功 。 
 延 迟 分 析 与 协 议 局 限 预 处 理 阶 段 的 r e d o l o g 、 C o m m i t 日 志 、 F i n i s h 日 志 为 异 步 持 久 化 ， 不 影 响 事 务 延 迟 ； P r e p a r e 日 志 为 同 步 持 久 化 ， 需 要 等 待 持 久 化 成 功 才 能 发 送 应 答 。 
 参 与 者 之 间 的 P r e p a r e 状 态 与 C o m m i t 状 态 的 查 询 ， 不 影 响 事 务 延 迟 ， 而 协 调 者 只 需 要 等 待 所 有 参 与 者 的 P r e p a r e 应 答 后 即 可 向 客 户 端 返 回 ， 因 此 协 议 全 程 只 有 一 次 R P C 交 互 延 迟 + 一 次 日 志 持 久 化 延 迟 。 
 对 读 事 务 的 影 响 ： 各 个 参 与 者 上 的 事 务 ， 要 等 所 有 参 与 者 P r e p a r e 成 功 后 才 能 提 交 和 释 放 行 锁 ； 可 能 出 现 协 调 者 先 应 答 了 客 户 端 ， 客 户 端 再 来 读 取 时 ， 一 些 s h a r d i n g 上 的 行 锁 还 未 释 放 （ 即 事 务 还 未 提 交 ） ， 读 事 务 需 要 等 待 直 到 事 务 提 交 。 
 本 条 目 发 布 于 2 0 1 6 年 9 月 2 3 日 。 
 属 于 分 布 式 系 统 、 未 分 类 分 类 ， 被 贴 了 t w o p h a s e c o m m i t 标 签 。 
 作 者 是 y u b a i 。 
 [ L o c k F r e e 之 美 ] 使 用 H a z a r d V e r s i o n 实 现 的 无 锁 S t a c k 与 Q u e u e 概 述 这 篇 文 章 （ h t t p : / / o c e a n b a s e . o r g . c n / ? p = 8 2 ） 的 第 6 小 节 讲 述 了 H a z a r d V e r s i o n 的 实 现 原 理 ， 它 的 设 计 思 想 最 早 由 O B 团 队 的 席 华 锋 提 出 ， 本 文 不 再 赘 述 ， 本 文 主 要 分 享 H a z a r d V e r s i o n 的 实 现 要 点 ， 以 及 使 用 它 实 现 无 锁 S t a c k 与 Q u e u e 的 方 法 ， 已 经 在 多 核 系 统 上 的 性 能 测 试 ， 代 码 已 在 g i t h u b 共 享 。 
 A B A 问 题 如 《 共 享 变 量 的 并 发 读 写 》 一 文 所 述 ， H a z a r d V e r s i o n 主 要 解 决 的 是 无 锁 数 据 结 构 处 理 内 存 释 放 的 问 题 ， 为 此 我 们 先 来 回 顾 一 下 无 锁 编 程 领 域 最 经 典 的 “ A B A 问 题 ” ， 使 用 链 表 实 现 的 无 锁 S t a c k 来 举 例 ： 使 用 一 个 t o p 指 针 来 指 向 栈 顶 ， 使 用 C A S 原 子 操 作 对 t o p 进 行 修 改 ， 来 实 现 p u s h 和 p o p ， 一 个 常 见 但 错 误 的 实 现 可 能 是 这 样 的 ： v o i d p u s h ( N o d e * n o d e ) } N o d e * p o p ( ) r e t u r n c u r r } p u s h 的 逻 辑 没 问 题 ， 问 题 在 于 p o p ， 它 在 还 未 “ 锁 定 ” t o p 的 情 况 下 ， 就 引 用 了 t o p 的 n e x t 字 段 ， 而 此 时 的 t o p 指 向 的 内 存 空 间 可 能 已 经 被 释 放 甚 至 重 用 ， 一 方 面 可 能 直 接 引 起 非 法 地 址 访 问 使 得 程 序 直 接 崩 溃 ； 更 严 重 的 可 能 造 成 隐 蔽 的 “ A B A 问 题 ” ， 考 虑 如 下 时 序 ： S t a c k 状 态 为 A → B → C ， t o p 指 向 A 线 程 I 将 t o p （ 即 节 点 A 的 地 址 ） 赋 值 给 c u r r ， 并 取 得 c u r r → n e x t 指 针 （ 为 B ） 放 入 寄 存 器 线 程 I I 执 行 完 整 p o p 流 程 ， S t a c k 状 态 变 为 B → C ， t o p 指 向 B ， 节 点 A 被 弹 出 后 释 放 线 程 I I 执 行 完 整 p o p 流 程 ， S t a c k 状 态 变 为 C ， t o p 指 向 C ， 节 点 B 被 弹 出 后 释 放 线 程 I I 执 行 完 整 p u s h 流 程 ， 新 申 请 节 点 为 被 复 用 的 A ， S t a c k 状 态 变 为 A → C ， t o p 指 向 A 线 程 I 继 续 执 行 ， C A S 判 断 t o p 值 仍 为 A ， 则 原 子 替 换 t o p 为 B ， 链 表 被 改 坏 … 我 们 无 法 通 过 简 单 的 修 改 p o p 逻 辑 来 避 免 “ A B A 问 题 ” ， 因 为 这 里 的 纠 结 之 处 在 于 要 “ 锁 定 （ 取 出 ） ” t o p ， 就 要 使 用 C A S 原 子 的 将 t o p 改 为 它 的 n e x t 指 针 ， 但 是 要 安 全 的 引 用 t o p → n e x t 又 要 先 “ 锁 定 （ 取 出 ） ” t o p 。 
 因 此 解 决 “ A B A 问 题 ” 的 根 本 ， 在 于 保 证 p o p 逻 辑 引 用 t o p 指 针 时 ， 它 不 会 被 释 放 ， 而 在 释 放 节 点 内 存 空 间 时 ， 严 格 保 证 不 会 再 有 其 他 人 引 用 这 个 节 点 。 
 H a z a r d P o i n t e r （ M i c h a e l M M . H a z a r d p o i n t e r s : S a f e m e m o r y r e c l a m a t i o n f o r l o c k f r e e o b j e c t s [ J ] . I E E E T r a n s a c t i o n s o n P a r a l l e l a n d D i s t r i b u t e d S y s t e m s , 2 0 0 4 , 1 5 ( 6 ) : 4 9 1 5 0 4 . ） 技 术 是 一 个 里 程 碑 式 的 创 新 ， 真 正 在 实 际 工 程 中 解 决 “ A B A 问 题 ” （ m e m s q l / o c e a n b a s e 都 在 使 用 ） ， H a z a r d V e r s i o n 是 对 H a z a r d P o i n t e r 在 易 用 性 上 的 改 进 ， 原 理 一 致 ， 详 细 介 绍 请 参 考 《 共 享 变 量 的 并 发 读 写 》 一 文 。 
 H a z a r d V e r s i o n 实 现 要 点 和 局 限 H a z a r d V e r s i o n 设 计 概 要 如 上 图 所 示 ， H a z a r d V e r s i o n 数 据 结 构 主 要 由 三 部 分 组 成 全 局 的 C u r r e n t V e r s i o n 变 量 每 个 线 程 局 部 一 个 H a z a r d V e r s i o n 变 量 每 个 线 程 局 部 一 个 待 回 收 的 内 存 块 链 表 R e t i r e L i s t H a z a r d V e r s i o n 提 供 如 下 三 个 操 作 逻 辑 ： 每 个 线 程 要 开 始 访 问 “ 可 能 被 其 他 线 程 释 放 ” 的 内 存 块 前 ， 将 当 前 C u r r e n t V e r s i o n 的 值 保 存 在 线 程 局 部 的 H a z a r d V e r s i o n 中 ， 对 共 享 内 存 块 的 操 作 完 成 后 ， 再 清 除 线 程 局 部 的 H a z a r d V e r s i o n 值 。 
 要 释 放 一 个 共 享 内 存 块 时 ， 原 子 的 将 C u r r e n t V e r s i o n 加 1 后 ， 将 旧 值 保 存 在 内 存 块 中 ， 然 后 将 它 挂 在 线 程 局 部 的 R e t i r e L i s t 上 。 
 当 待 回 收 的 内 存 块 过 多 时 ， 遍 历 所 有 线 程 的 H a z a r d V e r s i o n ， 以 及 全 局 的 C u r r e n t V e r s i o n ， 获 得 最 小 值 （ M i n V e r s i o n ） ， 遍 历 待 回 收 的 内 存 块 ， 将 V e r s i o n 小 于 M i n V e r s i o n 的 内 存 块 回 收 掉 。 
 获 取 M i n V e r s i o n 的 原 子 性 问 题 如 上 所 述 ， 遍 历 所 有 线 程 ， 获 取 M i n V e r s i o n 的 操 作 并 不 保 证 原 子 性 ， 可 能 出 现 一 个 线 程 获 取 到 一 个 很 小 的 C u r r e n t V e r s i o n 后 ， 被 切 换 出 去 ， 而 错 过 了 同 时 进 行 的 遍 历 操 作 。 
 这 个 问 题 可 以 通 过 简 单 的 d o u b l e c h e c k 来 规 避 ， 线 程 拿 到 C u r r e n t V e r s i o n ， 保 存 到 线 程 局 部 的 H a z a r d V e r s i o n 后 ， 再 检 查 一 下 当 前 C u r r e n t V e r s i o n 是 否 发 生 变 化 ， 如 果 已 发 生 变 化 ， 则 重 试 直 到 C u r r e n t V e r s i o n 不 再 改 变 为 止 。 
 因 为 如 果 C u r r e n t V e r s i o n 未 发 生 变 化 ， 即 使 遍 历 被 错 过 ， C u r r e n t V e r s i o n 也 参 加 了 遍 历 ， 所 以 得 到 的 M i n V e r s i o n 就 是 真 正 的 H a z a r d V e r s i o n 最 小 值 。 
 无 锁 遍 历 R e t i r e L i s t 回 收 内 存 时 ， 每 个 线 程 优 先 回 收 自 己 本 地 的 R e t i r e L i s t ， 如 果 全 局 待 回 收 的 节 点 仍 然 比 较 多 ， 则 遍 历 其 他 线 程 的 R e t i r e L i s t 进 行 回 收 ， 这 里 会 涉 及 多 线 程 操 作 R e t i r e L i s t （ 即 它 的 o w n e r 线 程 挂 入 新 节 点 ， 而 其 他 线 程 要 进 行 遍 历 ） ， 一 个 简 单 的 做 法 是 要 遍 历 R e t i r e L i s t 时 ， 使 用 C A S 将 R e t i r e L i s t 替 换 为 N U L L ， 取 得 旧 值 后 ， 在 当 前 线 程 本 地 进 行 遍 历 ， 对 遍 历 剩 下 的 节 点 ， 就 挂 到 线 程 本 地 的 R e t i r e L i s t 上 去 。 
 C A S 小 技 巧 C A S 操 作 通 常 在 循 环 中 执 行 ， 一 次 C A S 执 行 失 败 后 ， 要 重 新 准 备 新 的 c o m p a r e 参 数 和 a s s i g n 参 数 。 
 比 如 原 子 修 改 栈 顶 ： N o d e * o l d _ v = t o p ; n o d e → n e x t = o l d _ v ; w h i l e ( o l d _ v ! = C A S ( N o d e * o l d _ v = c u r r _ v ; n o d e → n e x t = c u r r _ v ; w h i l e ( o l d _ v ! = ( c u r r _ v = C A S ( & t o p , o l d _ v , n o d e ) ) ) H a z a r d V e r s i o n 的 局 限 相 对 H a z a r d P o i n t e r 来 说 ， H a z a r d V e r s i o n 这 个 本 质 上 是 管 理 多 个 线 程 H a z a r d V e r s i o n 的 “ 滑 动 窗 口 ” ， 它 通 过 增 加 获 取 M i n V e r s i o n 的 代 价 ， 来 减 小 各 个 线 程 获 取 和 重 置 H a z a r d V e r s i o n 的 代 价 。 
 因 此 它 有 与 “ 滑 动 窗 口 ” 一 样 的 局 限 性 ， 太 久 不 释 放 的 H a z a r d V e r s i o n ， 会 阻 塞 内 存 回 收 。 
 在 使 用 时 需 要 注 意 ， 对 H a z a r d V e r s i o n 的 r e q u i r e 和 r e l e a s e 操 作 之 间 ， 不 能 有 耗 时 过 长 的 逻 辑 。 
 H a z a r d V e r s i o n 代 码 仓 库 ： h t t p s : / / g i t h u b . c o m / k a y a k l e e / l i b h a l o g / b l o b / m a s t e r / s r c / c l i b / h a l _ h a z a r d _ v e r s i o n . h 无 锁 S t a c k 使 用 H a z a r d V e r s i o n 实 现 无 锁 S t a c k 比 较 简 单 ， 因 为 p u s h 不 涉 及 “ A B A 问 题 ” ， 所 以 只 需 要 在 p o p 时 使 用 H a z a r d V e r s i o n 保 护 即 可 。 
 代 码 请 参 考 ： h t t p s : / / g i t h u b . c o m / k a y a k l e e / l i b h a l o g / b l o b / m a s t e r / t e s t / c l i b / h v _ s a m p l e _ l i f o . c p p 性 能 测 试 结 果 ： 如 下 图 所 示 ， 在 美 团 云 1 2 核 虚 拟 机 上 ， 6 个 线 程 p u s h ， 6 个 线 程 p o p ， 不 带 p o p 结 果 检 查 情 况 下 ， 最 快 接 近 7 8 0 万 / s 的 p u s h + p o p 次 数 。 
   无 锁 Q u e u e 与 S t a c k 不 同 ， 实 现 无 锁 Q u e u e 的 一 个 难 点 在 要 维 护 H e a d 和 T a i l 两 个 指 针 ， 在 Q u e u e 由 空 变 为 非 空 ， 和 非 空 变 为 空 的 时 候 ， 需 要 保 证 原 子 的 修 改 和 判 断 这 两 个 指 针 ， 这 几 乎 是 没 有 办 法 实 现 的 。 
 一 个 变 通 的 方 法 ， 是 受 到 H a z a r d P o i n t e r 论 文 的 启 发 ， 在 初 始 状 态 下 ， 引 入 一 个 D u m m y H e a d e r 节 点 ， 无 论 p u s h 还 是 p o p ， 都 始 终 保 证 h e a d 和 t a i l 不 会 变 为 N U L L 。 
 这 样 一 来 ， p u s h 操 作 不 需 要 管 h e a d 指 针 ， 每 次 都 只 修 改 t a i l 即 可 ； 而 p o p 操 作 ， 是 取 h e a d → n e x t 节 点 中 的 值 作 为 队 首 数 据 ， 确 认 h e a d → n e x t 不 为 空 ， 然 后 原 子 的 将 h e a d 改 为 h e a d → n e x t 。 
 因 为 p u s h 和 p o p 操 作 都 存 在 先 拿 t a i l 或 h e a d 指 针 ， 然 后 引 用 它 们 的 n e x t 成 员 的 操 作 ， 因 此 都 需 要 使 用 H a z a r d V e r s i o n 进 行 保 护 。 
 代 码 请 参 考 ： h t t p s : / / g i t h u b . c o m / k a y a k l e e / l i b h a l o g / b l o b / m a s t e r / t e s t / c l i b / h v _ s a m p l e _ f i f o . c p p 性 能 测 试 结 果 ： 如 下 图 所 示 ， 在 美 团 云 1 2 核 虚 拟 机 上 ， 6 个 线 程 p u s h ， 6 个 线 程 p o p ， 不 带 p o p 结 果 检 查 情 况 下 ， 最 快 超 过 1 3 0 0 万 / s 的 p u s h + p o p 次 数 。 
 S t a c k 与 Q u e u e 性 能 测 试 数 据 和 虚 拟 机 c p u 信 息 ： h t t p s : / / g i t h u b . c o m / k a y a k l e e / l i b h a l o g / t r e e / m a s t e r / t e s t / c l i b / h v _ p e r f o r m a n c e _ r e c o r d 本 条 目 发 布 于 2 0 1 6 年 9 月 2 1 日 。 
 属 于 l o c k f r e e 分 类 ， 被 贴 了 l o c k f r e e 标 签 。 
 作 者 是 y u b a i 。 
 [ P a x o s 三 部 曲 之 三 ] P a x o s 成 员 组 变 更 P a x o s 成 员 组 变 更 本 文 是 P a x o s 三 部 曲 的 第 三 篇 ， 在 前 一 篇 文 章 《 使 用 M u l t i P a x o s 协 议 的 日 志 同 步 与 恢 复 》 （ h t t p : / / o c e a n b a s e . o r g . c n / ? p = 1 1 1 ） 中 ， 我 们 讨 论 了 基 于 M u l t i P a x o s 协 议 的 日 志 同 步 方 案 ， 在 这 个 方 案 中 ， 我 们 有 一 个 隐 含 的 前 提 ， 就 是 P a x o s 成 员 组 是 确 定 的 ， 并 且 所 有 成 员 启 动 后 都 能 加 载 一 致 的 成 员 组 信 息 。 
 而 在 实 际 的 工 程 应 用 中 ， 往 往 需 要 在 不 停 服 务 的 情 况 下 修 改 成 员 组 ， 最 典 型 的 比 如 类 似 s p a n n e r 的 系 统 ， 对 子 表 的 迁 移 操 作 过 程 ， 就 包 含 了 对 其 P a x o s 成 员 组 的 变 更 操 作 。 
 本 文 将 基 于 R a f t 论 文 ， 讨 论 通 用 的 成 员 组 变 更 方 法 ， 和 简 化 的 一 阶 段 成 员 组 变 更 方 法 ， 以 及 成 员 组 变 更 与 日 志 同 步 操 作 的 关 系 。 
 请 注 意 ， 本 文 假 设 读 者 已 了 解 B a s i c P a x o s 和 M u l t i P a x o s 协 议 ， 并 且 本 文 假 设 集 群 工 作 在 上 一 篇 文 章 所 述 的 M u l t i P a x o s 协 议 之 下 。 
 在 线 成 员 组 变 更 的 难 点 P a x o s 执 行 两 阶 段 投 票 协 议 的 前 提 是 有 一 个 明 确 的 P a x o s 成 员 组 ， 而 对 于 完 全 无 中 心 化 的 P a o x s 协 议 来 说 ， 成 员 组 的 内 容 本 身 又 需 要 通 过 P a x o s 协 议 来 维 护 一 致 性 。 
 对 于 变 更 后 的 新 成 员 组 从 什 么 时 机 开 始 生 效 ， 存 在 “ 先 有 鸡 还 是 先 有 蛋 ” 的 问 题 ， 如 果 还 像 同 步 普 通 日 志 一 样 来 同 步 新 成 员 组 ， 那 么 在 新 旧 成 员 组 交 接 的 过 程 中 宕 机 ， 则 可 能 出 现 选 票 分 裂 的 情 况 ， 比 如 由 成 员 组 A B C 变 更 为 A B C D E 过 程 中 宕 机 ， A B 未 持 久 化 新 成 员 组 ， C E D 已 持 久 化 新 成 员 组 ， 那 么 在 宕 机 重 启 后 ， 会 出 现 A B 形 成 了 旧 成 员 组 的 多 数 派 ， 而 C D E 形 成 了 新 成 员 组 的 多 数 派 ， 会 出 现 两 个 l e a d e r 的 情 况 。 
 因 此 我 们 可 以 总 结 对 在 线 成 员 组 变 更 方 案 的 几 个 基 本 要 求 ： P 1 . 成 员 组 正 常 P a x o s 日 志 同 步 服 务 不 中 断 P 2 . 任 何 情 况 下 宕 机 都 能 够 保 证 存 活 的 多 数 派 成 员 间 能 够 选 举 l e a d e r P 3 . 不 会 出 现 1 个 以 上 的 多 数 派 选 出 大 于 1 个 l e a d e r 的 情 况 成 员 组 变 更 的 基 本 思 路 成 员 组 变 更 代 表 了 “ 旧 朝 代 ” 的 结 束 和 “ 新 朝 代 ” 的 开 启 ， 可 以 理 解 为 依 次 执 行 如 下 两 个 投 票 操 作 ： P a . “ 旧 朝 代 ” 的 多 数 派 成 员 对 “ 旧 朝 代 结 束 ” 这 件 事 达 成 一 致 ， 达 成 一 致 后 旧 成 员 组 不 再 投 票 P b . “ 新 朝 代 ” 的 多 数 派 成 员 对 “ 新 朝 代 开 启 ” 这 件 事 达 成 一 致 ， 达 成 一 致 后 新 成 员 组 开 始 投 票 但 是 简 单 的 按 照 这 种 两 阶 段 的 操 作 进 行 成 员 变 更 ， 虽 然 能 够 保 证 上 述 P 3 的 约 束 ， 但 是 无 法 满 足 P 1 和 P 2 ， 比 如 P a 执 行 成 功 后 ， 在 P b 执 行 成 功 之 前 ： 没 有 成 员 组 可 以 投 票 ， 服 务 会 中 断 ； 如 果 集 群 宕 机 重 启 ， 新 的 成 员 组 的 各 个 成 员 由 于 还 未 对 新 成 员 组 达 成 一 致 ， 而 无 法 选 出 l e a d e r 。 
 为 了 保 证 P 1 和 P 2 的 约 束 ， 我 们 在 上 述 基 本 成 员 变 更 的 基 础 上 ， 将 P a 和 P b 合 并 为 一 步 操 作 ， 即 新 旧 成 员 组 一 起 对 “ 旧 朝 代 结 束 + 新 朝 代 开 启 ” 这 件 事 达 成 一 致 后 ， 才 表 示 成 员 组 变 更 成 功 。 
 在 开 始 成 员 变 更 的 投 票 后 ， 集 群 就 进 入 了 一 个 “ 中 间 状 态 ” ， 在 这 个 过 程 中 宕 机 恢 复 后 可 能 退 回 “ 旧 朝 代 ” 也 可 能 进 入 “ 新 朝 代 ” ， 因 此 在 这 个 中 间 状 态 过 程 中 投 票 的 日 志 ， 要 求 在 新 旧 成 员 组 中 都 达 成 一 致 。 
 在 这 个 基 本 思 路 的 指 导 下 ， 可 以 抽 象 出 一 个 通 用 的 成 员 变 更 方 法 ： J o n i t C o n s e n s u s 。 
 通 用 成 员 组 变 更 方 法 – J o i n t C o n s e n s u s J o i n t C o n s e n s u s 是 R a f t 论 文 中 提 到 的 两 阶 段 成 员 变 更 方 案 ， 这 个 方 案 比 较 通 用 ， 甚 至 可 以 做 到 完 整 的 成 员 组 替 换 ， 但 是 两 阶 段 方 案 的 工 程 实 现 都 比 较 复 杂 ， 而 通 用 的 场 景 需 求 又 不 多 ， 因 此 在 他 博 士 论 文 最 终 版 的 成 员 变 更 一 章 中 ， 更 多 篇 幅 分 析 了 简 化 的 一 阶 段 方 案 （ 下 一 节 讨 论 ） ， 而 把 J o i n t C o n s e n s u s 的 篇 幅 省 略 了 很 多 。 
 但 是 作 为 成 员 变 更 方 案 的 基 础 ， 我 这 里 还 是 希 望 能 够 从 J o i n t C o n s e n s u s 开 始 ， 分 析 它 的 正 确 性 ， 并 且 尝 试 推 导 出 一 阶 段 的 成 员 变 更 方 法 。 
 J o i n t C o n s e n s u s 的 方 案 如 下 ， 设 成 员 变 更 前 的 成 员 组 为 C ( o l d ) ， 变 更 后 的 成 员 组 为 C ( n e w ) ， 成 员 组 内 容 中 包 含 单 调 增 长 的 V e r s i o n 。 
 变 更 操 作 成 员 变 更 操 作 前 ， C ( o l d ) 的 多 数 派 中 持 久 化 的 成 员 组 为 [ [ C ( o l d ) ] ] 成 员 变 更 操 作 由 l e a d e r 执 行 ， l e a d e r 收 到 命 令 后 ， 将 成 员 组 [ [ C ( o l d ) , C ( n e w ) ] ] 发 送 给 C ( o l d ) ∪ C ( n e w ) 的 所 有 成 员 ， 在 此 之 后 新 的 日 志 同 步 需 要 保 证 得 到 C ( o l d ) 和 C ( n e w ) 两 个 多 数 派 的 确 认 l e a d e r 收 到 C ( o l d ) 和 C ( n e w ) 两 个 多 数 派 确 认 后 ， 将 成 员 组 [ [ C ( n e w ) ] ] 发 送 给 C ( n e w ) 的 所 有 成 员 ， 收 到 C ( n e w ) 多 数 派 确 认 后 ， 表 示 成 员 变 更 成 功 ， 后 续 的 日 志 只 要 得 到 C ( n e w ) 多 数 派 确 认 即 可 协 议 约 束 V e r s i o n 投 票 约 束 ： 持 有 V e r s i o n 较 大 的 成 员 ， 不 能 给 持 有 V e r s i o n 较 小 的 候 选 人 投 票 最 大 c o m m i t 原 则 ： 持 有 [ [ C ( o l d ) , C ( n e w ) ] ] 的 成 员 当 选 l e a d e r 后 ， 要 重 新 对 [ [ C ( o l d ) , C ( n e w ) ] ] 分 别 在 C ( o l d ) 和 C ( n e w ) 内 投 票 达 成 多 数 派 ， 然 后 继 续 成 员 变 更 流 程 ， 对 [ [ C ( n e w ) ] ] 在 C ( n e w ) 内 投 票 达 成 多 数 派 。 
 然 后 才 能 开 始 l e a d e r 恢 复 流 程 和 l e a d e r 服 务 持 有 [ [ C ( o l d ) ] ] 的 成 员 当 选 l e a d e r 后 ， 要 重 新 对 [ [ C ( o l d ) ] ] 在 C ( o l d ) 内 投 票 达 成 多 数 派 ， 然 后 才 能 开 始 l e a d e r 恢 复 流 程 和 l e a d e r 服 务 持 有 [ [ C ( n e w ) ] ] 的 成 员 当 选 l e a d e r 后 ， 要 重 新 对 [ [ C ( n e w ) ] ] 在 C ( n e w ) 内 投 票 达 成 多 数 派 ， 然 后 才 能 开 始 l e a d e r 恢 复 流 程 和 l e a d e r 服 务 选 主 投 票 原 则 持 有 [ [ C ( o l d ) , C ( n e w ) ] ] 的 候 选 人 要 得 到 C ( o l d ) 和 C ( n e w ) 两 个 多 数 派 都 确 认 ， 才 能 当 选 l e a d e r 持 有 [ [ C ( o l d ) ] ] 的 候 选 人 要 得 到 C ( o l d ) 多 数 派 确 认 ， 才 能 当 选 l e a d e r 持 有 [ [ C ( n e w ) ] ] 的 候 选 人 要 得 到 C ( n e w ) 多 数 派 确 认 ， 才 能 当 选 l e a d e r J o i n t C o n s e n s u s 的 协 议 分 析 成 员 变 更 过 程 中 ， 对 [ [ C ( o l d ) , C ( n e w ) ] ] 的 投 票 要 求 在 C ( o l d ) 和 C ( n e w ) 中 都 得 到 多 数 派 的 确 认 ， 是 为 了 保 证 在 C ( o l d ) 投 票 “ 旧 朝 代 结 束 ” 成 功 的 同 时 ， “ 新 朝 代 开 启 ” 能 够 在 C ( n e w ) 生 效 ， 不 会 出 现 服 务 中 断 或 者 宕 机 重 启 后 无 法 选 出 l e a d e r 的 情 况 。 
 对 于 成 员 变 更 的 第 二 步 ， 在 [ [ C ( o l d ) , C ( n e w ) ] ] 形 成 两 个 多 数 派 确 认 后 ， 还 要 对 [ [ C ( n e w ) ] ] 在 C ( n e w ) 中 进 行 投 票 ， 是 为 了 结 束 需 要 向 C ( o l d ) 和 C ( n e w ) 都 同 步 数 据 的 “ 中 间 状 态 ” 。 
 [ [ C ( n e w ) ] ] 得 到 C ( n e w ) 的 多 数 派 确 认 后 ， 由 于 后 面 将 要 提 到 的 “ V e r s i o n 投 票 约 束 ” 原 则 的 保 证 ， 可 以 确 保 后 续 宕 机 重 启 只 有 C ( n e w ) 中 的 成 员 能 够 当 选 l e a d e r ， 因 此 无 需 再 向 C ( o l d ) 同 步 数 据 。 
 V e r s i o n 投 票 约 束 ， 实 际 上 是 P a x o s 协 议 P r e p a r e 阶 段 对 P r o p o s a l I D 的 约 束 ， 如 本 系 列 的 前 一 篇 M u l t i P a x o s 一 文 所 述 ， 选 主 过 程 本 质 上 是 P a o x s 的 P r e p a r e 过 程 ， 我 们 将 成 员 组 内 容 视 为 P a x o s 提 案 ， 那 么 V e r s i o n 就 是 P r o p o s a l I D ， P a x o s 不 允 许 P r e p a r e 阶 段 应 答 P r o p o s a l I D 更 低 的 提 案 ， 所 以 我 们 要 求 持 有 较 大 V e r s i o n 的 成 员 不 能 给 持 有 较 小 V e r s i o n 的 候 选 人 投 票 。 
 从 直 观 上 来 分 析 ， V e r s i o n 投 票 约 束 可 以 保 证 ， 在 [ [ C ( n e w ) ] ] 形 成 多 数 派 确 认 后 ， C ( o l d ) 中 那 些 错 过 了 成 员 变 更 日 志 的 成 员 ， 不 可 能 再 得 到 C ( o l d ) 多 数 派 的 选 票 。 
 最 大 c o m m i t 原 则 ， 是 P a x o s 最 重 要 的 隐 含 规 则 之 一 ， 在 成 员 变 更 过 程 中 的 宕 机 重 启 ， 持 有 [ [ C ( o l d ) , C ( n e w ) ] ] 的 成 员 可 能 当 选 l e a d e r ， 但 是 [ [ C ( o l d ) , C ( n e w ) ] ] 可 能 并 未 形 成 多 数 派 ， 根 据 成 员 变 更 协 议 ， 成 员 变 更 过 程 要 在 [ [ C ( o l d ) , C ( n e w ) ] ] 形 成 两 个 多 数 派 确 认 后 ， 才 能 对 [ [ C ( n e w ) ] ] 进 行 投 票 。 
 否 则 如 果 立 即 对 [ [ C ( n e w ) ] ] 进 行 投 票 ， 宕 机 重 启 后 ， 可 能 出 现 C ( o l d ) 和 C ( n e w ) 两 个 投 票 组 各 自 选 出 一 个 l e a d e r 。 
 因 此 ， 持 有 [ [ C ( o l d ) , C ( n e w ) ] ] 的 成 员 当 选 l e a d e r 后 ， 无 论 [ [ C ( o l d ) , C ( n e w ) ] ] 是 否 已 经 形 成 两 个 成 员 组 的 多 数 派 确 认 ， 我 们 都 按 照 最 大 c o m m i t 原 则 对 它 重 新 投 票 确 认 形 成 多 数 派 后 ， 才 能 继 续 l e a d e r 后 续 的 上 任 处 理 。 
 选 主 投 票 原 则 ， 持 有 [ [ C ( o l d ) , C ( n e w ) ] ] 的 成 员 当 选 l e a d e r ， 需 要 得 到 C ( o l d ) 和 C ( n e w ) 两 个 多 数 派 都 确 认 ， 是 为 了 避 免 C ( o l d ) 与 C ( n e w ) 各 自 形 成 多 数 派 选 出 两 个 l e a d e r 的 情 况 。 
 在 成 员 变 更 过 程 中 ， 可 以 归 结 为 如 下 两 种 情 况 ： 对 [ [ C ( o l d ) , C ( n e w ) ] ] 的 投 票 已 开 始 ， 但 未 形 成 两 个 多 数 派 确 认 ， 集 群 宕 机 。 
 那 么 重 启 选 主 时 ， 要 么 持 有 [ [ C ( o l d ) ] ] 的 成 员 当 选 l e a d e r ， 要 么 持 有 [ [ C ( o l d ) , C ( n e w ) ] ] 的 成 员 当 选 l e a d e r 。 
 对 [ [ C ( n e w ) ] ] 的 投 票 已 开 始 ， 但 未 形 成 多 数 派 确 认 ， 集 群 宕 机 。 
 那 么 重 启 选 主 时 ， 要 么 持 有 [ [ C ( n e w ) ] ] 的 成 员 当 选 l e a d e r ， 要 么 持 有 [ [ C ( o l d ) , C ( n e w ) ] ] 的 成 员 当 选 l e a d e r 。 
 如 上 文 所 述 ， 持 有 [ [ C ( o l d ) , C ( n e w ) ] ] 的 l e a d e r 要 先 完 成 成 员 变 更 流 程 。 
 之 后 再 执 行 M u l t i P a x o x 中 的 日 志 “ 重 确 认 ” ， 因 此 日 志 “ 重 确 认 ” 过 程 不 会 进 入 “ 要 得 到 两 个 成 员 组 确 认 ” 的 情 况 。 
 J o i n t C o n s e n s u s 允 许 C ( o l d ) 与 C ( n e w ) 交 集 为 空 ， 在 这 种 情 况 下 成 员 变 更 后 ， 旧 l e a d e r 要 卸 任 ， 并 且 将 l e a d e r 权 限 转 让 给 确 认 [ [ C ( n e w ) ] ] 的 一 个 多 数 派 成 员 。 
 J o i n t C o n s e n s u s 方 案 比 较 通 用 且 容 易 理 解 ， 但 是 实 现 比 较 复 杂 ， 同 时 两 阶 段 的 变 更 协 议 也 会 在 一 定 程 度 上 影 响 变 更 过 程 中 的 服 务 可 用 性 ， 因 此 我 们 期 望 增 强 成 员 变 更 的 限 制 ， 以 简 化 操 作 流 程 ， 考 虑 J o i n t C o n s e n s u s 成 员 变 更 ， 之 所 以 分 为 两 个 阶 段 ， 是 因 为 对 C ( o l d ) 与 C ( n e w ) 的 关 系 没 有 做 任 何 假 设 ， 为 了 避 免 C ( o l d ) 和 C ( n e w ) 各 自 形 成 多 数 派 选 出 两 个 l e a d e r ， 才 引 入 了 两 阶 段 方 案 。 
 因 此 如 果 增 强 成 员 组 变 更 的 限 制 ， 假 设 C ( o l d ) 与 C ( n e w ) 任 意 的 多 数 派 交 集 不 为 空 ， 这 两 个 成 员 组 就 无 法 各 自 形 成 多 数 派 ， 那 么 成 员 变 更 方 案 就 可 能 简 化 为 一 阶 段 。 
 一 阶 段 成 员 变 更 方 法 R a f t 作 者 在 他 博 士 论 文 最 终 版 的 成 员 变 更 一 章 中 ， 简 化 了 J o i n t C o n s e n s u s 的 篇 幅 ， 而 着 重 介 绍 了 一 阶 段 的 成 员 变 更 方 法 ， 在 工 程 上 一 阶 段 的 成 员 变 更 方 法 确 实 更 简 单 实 用 ， 下 面 是 我 对 一 阶 段 成 员 变 更 方 案 的 一 些 分 析 。 
 每 次 只 变 更 一 个 成 员 如 上 一 节 所 述 ， 如 果 做 到 C ( o l d ) 与 C ( n e w ) 任 意 的 多 数 派 交 集 都 不 为 空 ， 那 么 即 可 保 证 C ( o l d ) 与 C ( n e w ) 无 法 各 自 形 成 多 数 派 投 票 。 
 方 法 就 是 每 次 成 员 变 更 只 允 许 增 加 或 删 除 一 个 成 员 。 
 假 设 C ( o l d ) 的 成 员 数 为 N ， 分 析 如 下 ： C ( n e w ) 成 员 数 为 N + 1 假 设 选 出 的 l e a d e r 持 有 C ( n e w ) ， 那 么 一 定 是 C ( n e w ) 中 有 多 数 派 ， 即 ( N + 1 ) / 2 + 1 的 成 员 给 l e a d e r 投 票 ， 那 么 持 有 C ( o l d ) 且 未 给 l e a d e r 投 票 的 成 员 最 多 为 ( N + 1 ) ( ( N + 1 ) / 2 + 1 ) = ( N 1 ) / 2 ， 这 个 值 小 于 C ( o l d ) 的 多 数 派 值 N / 2 + 1 ， 无 法 选 出 l e a d e r 假 设 选 出 的 l e a d e r 持 有 C ( o l d ) ， 那 么 一 定 是 C ( o l d ) 中 有 多 数 派 ， 即 N / 2 + 1 的 成 员 给 l e a d e r 投 票 ， 那 么 持 有 C ( n e w ) 且 未 给 l e a d e r 投 票 的 成 员 最 多 为 ( N + 1 ) ( N / 2 + 1 ) = N / 2 ， 这 个 值 小 于 C ( n e w ) 的 多 数 派 值 ( N + 1 ) / 2 + 1 ， 无 法 选 出 l e a d e r C ( n e w ) 成 员 数 为 N 1 假 设 选 出 的 l e a d e r 持 有 C ( n e w ) ， 那 么 一 定 是 C ( n e w ) 中 有 多 数 派 ， 即 ( N 1 ) / 2 + 1 的 成 员 给 l e a d e r 投 票 ， 那 么 持 有 C ( o l d ) 且 未 给 l e a d e r 投 票 的 成 员 最 多 为 N ( ( N 1 ) / 2 + 1 ) = ( N 1 ) / 2 ， 这 个 值 小 于 C ( o l d ) 的 多 数 派 值 N / 2 + 1 ， 无 法 选 出 l e a d e r 假 设 选 出 的 l e a d e r 持 有 C ( o l d ) ， 那 么 一 定 是 C ( o l d ) 中 有 多 数 派 ， 即 N / 2 + 1 的 成 员 给 l e a d e r 投 票 ， 那 么 持 有 C ( n e w ) 且 未 给 l e a d e r 投 票 的 成 员 最 多 为 N ( N / 2 + 1 ) = ( N 2 ) / 2 ， 这 个 值 小 于 C ( n e w ) 的 多 数 派 值 ( N 1 ) / 2 + 1 ， 无 法 选 出 l e a d e r 启 用 新 成 员 组 的 时 机 启 用 新 成 员 组 的 时 机 是 指 从 何 时 开 始 ， 对 日 志 的 投 票 开 始 使 用 C ( n e w ) 进 行 ， 这 里 需 要 考 虑 的 问 题 是 成 员 变 更 过 程 中 宕 机 ， 重 启 选 主 后 ， 持 有 [ [ C ( o l d ) ] ] 的 成 员 被 选 为 l e a d e r ， 在 宕 机 前 使 用 C ( n e w ) 同 步 的 日 志 是 否 可 能 丢 失 。 
 分 析 如 下 几 种 情 况 ： 下 线 成 员 ， C ( n e w ) 与 C ( o l d ) 多 数 派 成 员 数 相 同 ， 比 如 A B C D E 变 更 为 A B C D ， C ( n e w ) 的 任 意 多 数 派 集 合 一 定 是 C ( o l d ) 的 某 个 多 数 派 ， 变 更 过 程 中 使 用 C ( n e w ) 同 步 的 日 志 ， 在 C ( o l d ) 中 依 然 能 够 保 持 多 数 派 。 
 下 线 成 员 ， C ( n e w ) 的 多 数 派 成 员 数 小 于 C ( o l d ) ， 比 如 A B C D 变 更 为 A B C ， 这 个 情 况 比 较 特 殊 ， 我 们 来 仔 细 分 析 ， 这 种 情 况 下 在 C ( n e w ) 中 形 成 的 多 数 派 成 员 只 能 达 到 C ( o l d ) 成 员 数 的 一 半 ， 从 严 格 的 B a s i c P a x o s 协 议 来 分 析 ， 只 做 到 N / 2 的 成 员 确 认 ， 是 不 能 保 证 决 议 持 久 化 的 。 
 但 是 我 们 放 在 M u l t i P a x o s 的 环 境 中 ， 使 用 l e a s e 机 制 保 证 l e a d e r 有 效 （ l e a d e r “ 有 效 ” 的 意 思 是 ： S t a r t W o r k i n g 日 志 已 形 成 多 数 派 ， 且 完 成 日 志 “ 重 确 认 ” ， 参 考 上 一 篇 《 使 用 M u l t i P a x o s 协 议 的 日 志 同 步 与 恢 复 》 ） 的 前 提 下 ， 因 为 不 会 有 1 个 以 上 的 成 员 并 发 提 出 议 案 ， 同 时 又 因 为 在 N 为 偶 数 时 ， N / 2 的 成 员 集 合 与 N / 2 + 1 的 成 员 集 合 的 交 集 一 定 不 为 空 ， 可 以 分 析 出 ： 在 l e a d e r   有 效   的 前 提 下 ， 只 要 N / 2 （ N 为 偶 数 ） 的 成 员 确 认 ， 即 可 保 证 数 据 持 久 化 。 
 因 此 ， 在 这 种 情 况 下 ， 在 C ( n e w ) 形 成 多 数 派 的 日 志 ， 宕 机 重 启 后 ， 在 C ( o l d ) 中 可 以 被 多 数 派 “ 重 确 认 ” ， 不 会 丢 失 。 
 上 线 成 员 ， C ( n e w ) 的 多 数 派 成 员 数 大 于 C ( o l d ) ， 比 如 A B C 变 更 为 A B C D ， C ( n e w ) 的 任 意 多 数 派 集 合 一 定 包 含 了 C ( o l d ) 的 某 个 多 数 派 ， 变 更 过 程 中 使 用 C ( n e w ) 同 步 的 日 志 ， 在 C ( o l d ) 中 依 然 能 够 保 持 多 数 派 。 
 上 线 成 员 ， C ( n e w ) 与 C ( o l d ) 多 数 派 成 员 数 相 同 ， 比 如 A B C D 变 更 为 A B C D E ， 某 些 情 况 下 可 能 产 生 C ( n e w ) 的 多 数 派 （ 如 A B E ） 与 C ( o l d ) 的 多 数 派 （ 如 A B ） 交 集 只 达 到 C ( o l d ) 的 一 半 ， 情 况 与 第 2 点 相 同 。 
 最 大 c o m m i t 原 则 这 里 的 最 大 c o m m i t 原 则 体 现 在 ， 同 步 [ [ C ( n e w ) ] ] 的 过 程 中 集 群 宕 机 ， 持 有 [ [ C ( n e w ) ] ] 的 成 员 当 选 l e a d e r ， 重 启 后 无 法 确 认 当 前 多 数 派 持 有 的 成 员 组 是 [ [ C ( n e w ) ] ] 还 是 [ [ C ( o l d ) ] ] ， 需 要 l e a d e r 将 当 前 持 有 的 成 员 组 重 新 投 票 形 成 多 数 派 确 认 后 ， 才 能 开 始 l e a d e r 后 续 的 上 任 处 理 。 
 否 则 可 能 出 现 连 续 变 更 情 况 下 ， 成 员 组 分 裂 选 出 2 个 l e a d e r 的 情 况 ， 如 R a f t 报 出 的 这 个 b u g ， h t t p s : / / g r o u p s . g o o g l e . c o m / f o r u m / # ! t o p i c / r a f t d e v / t 4 x j 6 d J T P 6 E ， 修 正 方 法 也 很 简 单 就 是 实 用 最 大 c o m m i t 原 则 ， 对 成 员 组 重 新 投 票 得 到 多 数 派 确 认 。 
 阶 段 成 员 变 更 方 案 总 结 成 员 变 更 限 制 每 次 只 能 增 加 或 删 除 一 个 成 员 成 员 变 更 由 有 效 的 l e a d e r 发 起 ， 确 认 新 的 成 员 组 得 到 多 数 派 确 认 后 ， 返 回 成 员 变 更 成 功 一 次 成 员 变 更 成 功 前 不 允 许 开 始 下 一 次 成 员 变 更 , 因 此 新 任 l e a d e r 在 开 始 提 供 服 务 前 要 将 自 己 本 地 保 存 的 最 新 成 员 组 重 新 投 票 形 成 多 数 派 确 认 l e a d e r 只 要 开 始 同 步 新 成 员 组 后 ， 即 可 开 始 使 用 新 的 成 员 组 进 行 日 志 同 步 成 员 组 实 用 V e r s i o n 标 记 ， 持 有 更 大 V e r s i o n 的 成 员 不 能 给 持 有 较 小 V e r s i o n 的 成 员 投 票 成 员 组 变 更 与 日 志 同 步 L o g B a r r i e r 对 于 下 线 成 员 的 场 景 ， 我 们 需 要 保 证 所 有 日 志 在 剩 余 在 线 的 机 器 上 能 够 形 成 多 数 派 备 份 ， 否 则 可 能 丢 失 日 志 。 
 比 如 下 面 的 场 景 ， l o g I D 为 2 的 日 志 ， 在 连 续 成 员 变 更 后 ， 仅 A 上 有 ， 无 法 在 A / B / C 上 形 成 多 数 派 : 因 此 我 们 要 求 l e a d e r 在 持 久 化 新 的 成 员 组 时 ， 要 像 普 通 日 志 一 样 为 它 分 配 l o g I D （ 称 为 成 员 变 更 日 志 ） ， 它 是 一 个 “ 单 向 b a r r i e r ” ， 即 要 求 所 有 成 员 保 证 l o g I D 小 于 它 的 日 志 都 持 久 化 本 地 后 ， 才 能 持 久 化 成 员 变 更 日 志 ， 而 l o g I D 大 于 它 的 日 志 则 不 受 此 约 束 。 
 在 上 面 的 例 子 中 , 要 求 B / C 保 证 在 持 久 化   C n e w 1 之 前 , 一 定 先 保 证 2 号 日 志 持 久 化 。 
 本 条 目 发 布 于 2 0 1 6 年 4 月 1 2 日 。 
 属 于 p a x o s 、 分 布 式 系 统 分 类 ， 被 贴 了 p a x o s 、 p a x o s m e m b e r c h a n g e 标 签 。 
 作 者 是 y u b a i 。 
 磁 盘 故 障 与 存 储 系 统 的 年 失 效 率 估 算 对 三 副 本 与 E r a s u r e C o d e 两 种 方 式 下 ， 数 据 丢 失 概 率 的 估 算 ， 组 合 数 学 和 概 率 论 知 识 早 就 还 给 老 师 了 ， 贴 到 博 客 给 大 家 看 看 计 算 方 法 是 否 正 确 。 
 对 于 R 个 副 本 的 情 况 ， 设 磁 盘 年 故 障 概 率 为 P ， 磁 盘 数 为 N ， 则 整 个 机 群 有 C ( N , R ) = N ! / ( R ! * ( N R ) ! ) 种 R 副 本 的 组 合 方 式 。 
 机 群 数 据 总 量 为 M ， 分 片 大 小 为 T ， 那 么 有 R 个 磁 盘 同 时 损 坏 造 成 数 据 丢 失 的 概 率 是 ： 对 于 由 E 个 块 组 成 的 E C 组 ， 假 设 最 多 允 许 R 1 个 块 丢 失 ， 整 个 机 群 有 C ( N , E ) 种 E C 组 的 组 合 方 式 ， 因 此 有 R 个 磁 盘 同 时 损 坏 造 成 数 据 丢 失 的 概 率 是 ： 其 中 P ( t , R ) 表 示 在 t 时 间 内 连 续 损 坏 R 块 磁 盘 的 概 率 ， 这 个 概 率 符 合 泊 松 分 布 即 ： 设 为 t 的 单 位 时 间 ( 设 为 1 小 时 ) 内 发 生 磁 盘 损 坏 的 平 均 次 数 ， 根 据 g o o g l e 的 统 计 ， 磁 盘 的 年 失 败 率 ( A F R : F n n u a l i z e d F a i l u r e R a t e ) 如 下 图 所 示 ， 我 们 取 一 个 平 均 值 4 来 进 行 计 算 。 
 那 么 就 是 0 . 0 0 0 4 5 6 6 。 
 年 故 障 率 ： 假 设 单 盘 容 量 为 6 T ， 使 用 率 为 7 0 % ， 数 据 分 片 大 小 为 1 G B ， 在 一 个 1 0 0 0 块 磁 盘 的 集 群 中 ， 不 同 恢 复 时 间 的 年 故 障 率 对 比 为 ： 恢 复 用 时 3 副 本 年 故 障 率 E C ( 8 + 4 ) 年 故 障 率 1 1 . 2 * 1 0 E 9 4 . 0 * 1 0 E 1 9 4 1 . 9 * 1 0 E 8 1 . 0 * 1 0 E 1 6 1 2 1 . 7 * 1 0 E 7 8 . 2 * 1 0 E 1 5 2 4 6 . 8 * 1 0 E 7 1 . 3 * 1 0 E 1 3 3 副 本 的 恢 复 代 价 较 小 ， 因 此 我 们 可 以 按 照 机 群 使 用 1 小 时 恢 复 单 盘 数 据 ， E C 恢 复 代 价 比 较 大 ， 因 此 我 们 按 照 机 群 使 用 2 4 小 时 恢 复 单 盘 数 据 ， 这 两 种 情 况 下 的 持 久 性 分 布 达 到 1 1 个 9 和 1 3 个 9 。 
 附 P y t h o n 计 算 代 码 ： # ! / u s r / b i n / p y t h o n # * c o d i n g : u t f 8 * i m p o r t d e c i m a l i m p o r t m a t h l a m d a = d e c i m a l . D e c i m a l ( s t r ( 4 . 0 / 2 4 / 3 6 5 ) ) e = d e c i m a l . D e c i m a l ( s t r ( m a t h . e ) ) p e r C = 6 . 0 * 0 . 7 * 1 0 2 4 # 单 盘 容 量 ( T ) * 使 用 率 # 级 数 d e f f a c t o r i a l ( n ) : S = d e c i m a l . D e c i m a l ( 1 ) f o r i i n r a n g e ( 1 , n + 1 ) : N = d e c i m a l . D e c i m a l ( s t r ( i ) ) S = S * N r e t u r n S # 组 合 运 算 d e f C ( n , m ) : r e t u r n f a c t o r i a l ( n ) / ( f a c t o r i a l ( m ) * f a c t o r i a l ( n m ) ) # 泊 松 分 布 d e f p o i s s o n ( t , R ) : r e t u r n ( ( l a m d a * t ) * * R ) * ( e * * ( l a m d a * t ) ) / f a c t o r i a l ( R ) # t 时 间 内 损 坏 R 块 磁 盘 的 概 率 d e f p r o b a b i l i t y ( t , R ) : r e t u r n p o i s s o n ( t , R ) # 多 副 本 年 失 效 概 率 , T = 分 片 大 小 ( G ) , N = 磁 盘 个 数 , t = 单 盘 故 障 的 复 制 时 间 , R = 副 本 数 d e f p r o b a b i l i t y _ 3 R ( T , N , t , R ) : M = d e c i m a l . D e c i m a l ( s t r ( N * p e r C / R ) ) p t = M / T / C ( N , R ) * p r o b a b i l i t y ( t , R ) r e t u r n ( 1 ( 1 p t ) * * ( d e c i m a l . D e c i m a l ( s t r ( 3 6 5 . 0 * 2 4 / t ) ) ) ) # E C 年 失 效 概 率 , T = 分 片 大 小 ( G ) , N = 磁 盘 个 数 , t = 单 盘 故 障 的 复 制 时 间 , R = 损 坏 超 过 R 块 磁 盘 则 可 能 丢 数 据 , E = E C 组 大 小 d e f p r o b a b i l i t y _ E C ( T , N , t , R , E ) : M = d e c i m a l . D e c i m a l ( s t r ( N * p e r C / ( 1 . 0 * E / ( E R + 1 ) ) ) ) p t = ( M / T ) * C ( E , R ) / C ( N , R ) * p r o b a b i l i t y ( t , R ) r e t u r n ( 1 ( 1 p t ) * * ( d e c i m a l . D e c i m a l ( s t r ( 3 6 5 . 0 * 2 4 / t ) ) ) )   本 条 目 发 布 于 2 0 1 6 年 3 月 2 5 日 。 
 属 于 分 布 式 系 统 分 类 。 
 作 者 是 y u b a i 。 
 架 构 师 需 要 了 解 的 P a x o s 原 理 、 历 程 及 实 战 发 表 评 论 受 T i m Y a n g 邀 请 撰 写 的 P a x o s 分 享 ， 已 发 在 T i m Y a n g 的 公 众 号 ， 我 就 不 全 文 转 了 。 
 A b s t r a c t ： “ 这 里 提 一 个 名 词 ： ‘ 最 大 C o m m i t 原 则 ’ ， 这 个 阳 振 坤 博 士 给 我 讲 授 P a x o s 时 提 出 的 名 词 ， 我 觉 得 它 是 P a x o s 协 议 的 最 重 要 隐 含 规 则 之 一 ， 一 条 超 时 未 形 成 多 数 派 应 答 的 提 案 ， 我 们 即 不 能 认 为 它 已 形 成 决 议 ， 也 不 能 认 为 它 未 形 成 决 议 ， 跟 ‘ 薛 定 谔 的 猫 ’ 差 不 多 ， 这 条 日 志 是 ‘ 又 死 又 活 ’ 的 ， 只 有 当 你 观 察 它 （ 执 行 P a x o s 协 议 ） 的 时 候 ， 你 才 能 得 到 确 定 的 结 果 。 
 ” 架 构 师 需 要 了 解 的 P a x o s 原 理 、 历 程 及 实 战 本 条 目 发 布 于 2 0 1 6 年 1 月 1 9 日 。 
 属 于 未 分 类 分 类 。 
 作 者 是 y u b a i 。 
 利 用 B a s h 脚 本 管 理 d i s t c c 集 群 2 条 回 复 利 用 B a s h 脚 本 管 理 d i s t c c 集 群 d i s t c c 介 绍 对 于 大 型 C / C + + 项 目 ， 编 译 时 间 往 往 长 到 无 法 忍 受 ， 而 冒 然 的 增 加 m a k e 并 发 度 则 有 可 能 由 于 g c c 吃 光 内 存 而 把 机 器 搞 死 ， 因 此 我 们 期 望 能 够 使 用 多 台 机 器 并 行 编 译 项 目 。 
 d i s t c c 是 一 个 分 布 式 编 译 程 序 ， 它 包 含 客 户 端 d i s t c c ， 和 服 务 器 端 d i s t c c d 两 个 程 序 ， d i s t c c d 是 一 个 守 护 进 程 ， 绑 定 在 由 命 令 行 参 数 指 定 的 端 口 上 ， 接 收 d i s t c c 的 编 译 请 求 ， 执 行 编 译 任 务 。 
 一 个 简 单 的 使 用 方 式 是 ， 在 多 台 编 译 机 上 启 动 d i s t c c d ， 在 客 户 端 通 过 环 境 变 量 指 定 多 个 编 译 机 的 i p 地 址 和 端 口 号 ， 然 后 使 用 d i s t c c 替 换 g c c 编 译 项 目 。 
 由 于 d i s t c c 自 身 实 现 的 问 题 ， 编 译 失 败 或 者 m a k e 过 程 中 途 终 止 ， 可 能 会 使 得 编 译 机 上 的 d i s t c c d 的 工 作 进 程 僵 死 ， 因 此 运 行 一 段 时 间 后 ， 可 能 出 现 大 部 分 编 译 机 上 的 d i s t c c d 进 程 都 变 得 不 可 用 。 
 并 且 编 译 机 出 现 异 常 后 也 不 能 被 d i s t c c 发 现 ， 而 往 往 是 网 络 连 接 超 时 后 ， 才 能 去 重 试 其 他 编 译 机 。 
 为 了 解 决 上 述 问 题 ， 我 开 发 了 一 套 简 单 的 b a s h 脚 本 （ d i s t c c M g r ） ， 通 过 单 点 监 控 所 有 编 译 机 的 健 康 状 态 ， 来 实 时 生 成 可 用 的 编 译 机 列 表 ， 并 可 以 通 过 下 发 命 令 来 定 时 或 立 即 重 启 编 译 机 上 的 d i s t c c d 进 程 。 
 d i s t c c M g r 本 身 不 需 要 启 动 任 何 守 护 进 程 ， 而 是 通 过 c r o n t a b 来 定 时 保 持 心 跳 ， 通 过 s s h 远 程 执 行 命 令 来 实 现 心 跳 通 信 。 
 使 用 d i s t c c M g r 集 中 化 管 理 d i s t c c 编 译 机 下 载 代 码 （ h t t p s : / / g i t h u b . c o m / k a y a k l e e / d i s t c c M g r ） g i t c l o n e g i t @ g i t h u b . c o m : k a y a k l e e / d i s t c c M g r . g i t 管 理 节 点 部 署 修 改 配 置 文 件 S U D O = s u d o # 执 行 s u d o 的 命 令 前 缀 ， 比 如 美 团 的 就 是 s u d o i u s a n k u a i s u d o M A S T E R _ A D D R = ` h o s t n a m e i ` # 管 理 节 点 的 i p 地 址 M A S T E R _ U S E R = $ U S E R # 管 理 节 点 的 运 行 账 户 ， 需 要 保 证 与 编 译 节 点 的 运 行 账 号 相 互 打 通 M A S T E R _ P O R T = 8 8 9 9 # 管 理 节 点 开 启 h t t p 服 务 的 端 口 号 D I S T C C D _ P O R T = 8 8 9 8 # 编 译 节 点 启 动 d i s t c c d 服 务 的 端 口 号 D I S T C C _ D I R = $ H O M E / s h a r e / d i s t c c # 管 理 节 点 监 控 脚 本 的 部 署 目 录 M A S T E R _ D I R = $ H O M E / s h a r e / d i s t c c / r e s o u r c e # 管 理 节 点 资 源 目 录 ， 用 于 给 编 译 节 点 提 供 h t t p 下 载 服 务 S L A V E _ D I R = $ H O M E / d i s t c c d # 编 译 节 点 部 署 d i s t c c d 的 目 录 运 行 部 署 命 令 . / d e p l o y . s h 部 署 成 功 后 1 . 会 在 c r o n t a b 中 建 立 两 个 定 时 任 务 2 . 会 在 本 地 生 成 c m d 目 录 ， 生 成 s l a v e _ d e p l o y . s h 和 d i s t c c _ i n s t a l l . s h ， 其 中 s l a v e _ d e p l o y . s h 中 是 编 译 机 的 部 署 命 令 ， d i s t c c _ i n s t a l l . s h 是 安 装 d i s t c c 的 命 令 编 译 节 点 部 署 1 . 在 每 台 编 译 机 上 执 行 s l a v e _ d e p l o y . s h 2 . 在 管 理 节 点 的 $ D I S T C C _ D I R 目 录 中 的 i p l i s t 中 增 加 编 译 节 点 的 i p 地 址 客 户 端 部 署 1 . 运 行 d i s t c c _ i n s t a l l . s h 安 装 d i s t c c ， 成 功 后 会 增 加 定 时 任 务 更 新 最 新 的 编 译 机 列 表 到 / t m p / u d i s t c c 2 . 每 次 m a k e 前 s o u r c e / t m p / u d i s t c c 命 令 所 有 编 译 机 重 启 d i s t c c d 进 程 在 管 理 节 点 上 t o u c h / t m p / r e s t a r t _ d i s t c c 本 条 目 发 布 于 2 0 1 6 年 1 月 1 日 。 
 属 于 C + + 分 类 ， 被 贴 了 d i s t c c 标 签 。 
 作 者 是 y u b a i 。 
 一 个 小 玩 具 发 表 评 论 用 g o l a n g 玩 的 图 片 编 辑 服 务 ， 就 跑 在 这 个 B l o g 的 主 机 上 其 实 不 小 ， 代 码 量 挺 大 ， 先 不 开 源 了 ， 先 部 署 在 自 己 的 B l o g 上 玩 玩 编 辑 参 数 比 较 像 阿 里 云 的   阿 里 云 图 片 服 务 文 档 u r l 规 则 ： h t t p : / / i m a g e . o c e a n b a s e . o r g . c n / ? x e s u r l = [ 图 片 u r l ] & x e s a c t i o n s = [ 编 辑 参 数 ] 示 例 u r l （ 缩 放 并 填 充 ） ：   h t t p : / / i m a g e . o c e a n b a s e . o r g . c n / ? x e s u r l = h t t p : / / 7 x k p g t . c o m 1 . z 0 . g l b . c l o u d d n . c o m / l e n a . j p g & x e s a c t i o n s = 4 0 0 h _ 5 0 0 w _ 4 e _ 1 5 0 5 0 1 0 0 b g c 示 例 u r l （ 文 字 水 印 ） ： h t t p : / / i m a g e . o c e a n b a s e . o r g . c n / ? x e s u r l = h t t p : / / 7 x k p g t . c o m 1 . z 0 . g l b . c l o u d d n . c o m / l e n a . j p g & x e s a c t i o n s = w a t e r m a r k % 3 D 2 % 2 6 t y p e % 3 D d 3 F 5 L W 1 p Y 3 J v a G V p % 2 6 t e x t % 3 D 5 L i L 5 Y 2 K 6 L q r 5 Z G i % 2 6 c o l o r % 3 D I 2 Z l M j R k Y w 本 条 目 发 布 于 2 0 1 5 年 1 2 月 2 4 日 。 
 属 于 未 分 类 分 类 。 
 作 者 是 y u b a i 。 
 文 章 导 航 ← 早 期 文 章 京 I C P 备 1 5 0 1 1 6 7 9 号 微 信 扫 一 扫 关 注 郁 白 的 “ 爱 订 阅 ” 公 众 号 搜 索 ： 近 期 文 章 [ 蹭 热 度 ] 关 于 O c e a n B a s e 在 2 0 2 0 年 第 二 次 上 榜 T P C C 的 解 读 [ 转 载 ] 谷 歌 F 1 O n l i n e D D L 的 关 键 点 ： 状 态 间 兼 容 性 数 据 库 事 务 隔 离 标 准 分 析 两 阶 段 提 交 的 工 程 实 践 [ L o c k F r e e 之 美 ] 使 用 H a z a r d V e r s i o n 实 现 的 无 锁 S t a c k 与 Q u e u e 归 档 2 0 2 0 年 6 月 2 0 2 0 年 4 月 2 0 1 8 年 6 月 2 0 1 6 年 9 月 2 0 1 6 年 4 月 2 0 1 6 年 3 月 2 0 1 6 年 1 月 2 0 1 5 年 1 2 月 2 0 1 5 年 3 月 2 0 1 5 年 2 月 2 0 1 5 年 1 月 2 0 1 4 年 1 1 月 2 0 1 4 年 8 月 2 0 1 3 年 1 2 月 2 0 1 3 年 1 1 月 分 类 C + + l e a s e l i n u x l o c k f r e e o c e a n b a s e o r a c l e p a x o s 分 布 式 系 统 未 分 类 职 场 自 豪 地 采 用 W o r d P r e s s 京 I C P 备 1 5 0 1 1 6 7 9 号 1
做上本站友情链接,在您站上点击一次,即可自动秒收录并自动排在本站第一位！ <a href="https://www.kuidc.com/" target="_blank">酷数据-Linux运维技术社区_Linux教程_云计算学习平台_服务器安全</a>