开发分布式SQL数据库的6种技术挑战

2019-04-28 09:58:12在这篇文章中，我们将概述在构建开源，云原生，高性能分布式SQL数据库的过程中我们必须解决的一些最难的架构问题。

我们在今年2月跨越了YugaByte DB三年开发阶段，到目前为止，这是一段惊心动魄的旅程，但并非没有公平的技术挑战。有时我们不得不回到绘图板，甚至筛选学术研究，以找到比我们手头的更好的解决方案，在这篇文章中，我们将概述在构建开源，云原生，高性能分布式SQL数据库的过程中我们必须解决的一些最难的架构问题。

好的，让我们开始探讨从最简单到***挑战性的问题：

1.架构：亚马逊Aurora还是谷歌Spanner？

我们早期做出的一个决定是找到一个我们可以用作YugaByte DB架构灵感的数据库。我们密切关注两个系统，Amazon Aurora和Google Spanner。

Amazon Aurora是一个提供高可用性的SQL数据库。它具有与流行的RDBMS数据库（如MySQL和PostgreSQL）的兼容性，使其易于入门并可运行各种应用程序。Amazon Aurora也是AWS历史上发展最快的服务之一。

Amazon Aurora具有可扩展的数据存储层，但查询层不是这样。以下是我们发现的Amazon Aurora的一些关键可扩展性限制：

另外，Google Spanner是一个可水平扩展的SQL数据库，专为大规模可扩展和地理分布式应用程序而构建。

这意味着Spanner可以无缝扩展读写，支持需要全局一致性的地理分布式应用程序，并在不牺牲正确性的情况下从多个节点执行读取。

但是，它放弃了RDBMS数据库提供给开发人员期望的许多熟悉功能集。例如，Google Spanner文档中突出显示了不支持外键约束或触发器的事实。

我们决定采用混合方法。

2. SQL协议：PostgreSQL还是MySQL？

我们想要对广泛采用的SQL方言进行标准化。我们还希望它是开源的，并且在数据库周围拥有成熟的生态系统。权衡的自然选择是PostgreSQL和MySQL？

我们之所以选择PostgreSQL（而不是MySQL），原因如下：

在目前排在DB-Engines排名网站前10位的五个SQL数据库中，自2014年以来，只有PostgreSQL的受欢迎程度越来越高，而其他数据库则趋于平稳或正在失去理智。

此外，对于许多应用程序，PostgreSQL是Oracle的***替代品。组织正在被PostgreSQL所吸引，因为它是开源的，供应商中立（MySQL由Oracle拥有），拥有一个参与的开发者社区，一个繁荣的供应商生态系统，一个强大的功能集，以及一个成熟的代码库，一直在战斗 – 经过20多年的严格使用而坚固。

3.分布式事务：Google Spanner或Percolator？

关于我们应该如何设计分布式事务，我们查看了Google Spanner和Percolator。

总而言之，Google Percolator提供高吞吐量但使用单个时间戳。这种方法本质上是不可扩展的，仅适用于单个数据中心，面向实时分析（称为HTAP）的应用程序，而不是OLTP应用程序。另一方面，Google Spanner的分散时间跟踪方法对于地理分布式OLTP和单数据中心HTAP应用程序来说都是一个很好的解决方案。

Google Spanner是在Google Percolator之后构建的，用于替换广告后端中手动分片的MySQL部署，以实现水平可扩展性和地理分布式用例。但是，考虑到其真正的分布式特性以及对时钟偏移跟踪的需求，Google Spanner的构建难度要高一个数量级。

有关此主题的更多详细信息，您可以详细了解Percolator与Spanner的权衡。

我们决定采用Google Spanner方法，因为它可以支持：

我们坚信，大多数现代云应用都需要上述两种功能。实际上，GDPR和总共提供100个地区的公共云等合规性要求已经使这成为现实。

4. Raft是否适用于地理分布式工作负载？

Raft和Paxos是众所周知的分布式共识算法，并且已被正式证明是安全的，Spanner使用Paxos，但是，我们选择了Raft，因为：

然而，为了确保可线性化的读取，Raft要求接收读取查询的每个***在实际提供读取查询之前首先将心跳消息传播到Raft组中的大多数节点。在某些情况下，这可能会严重降低读取性能。这种情况的一个示例是地理分布式部署，其中往返会显着增加延迟，并且在诸如临时网络分区之类的事件的情况下增加失败查询的数量。

为了避免Raft高延迟，我们实施了***的租赁机制，这将允许我们无需往返实现***服务，同时保留了Raft的线性化特性。此外，我们使用单调时钟而不是实时时钟，以容忍时钟偏差。

5.我们可以构建软件定义的原子钟吗？

作为分布式数据库，YugaByte DB支持跨多个节点的多键ACID事务（快照和可序列化隔离级别），即使存在故障也是如此。这需要一个可以跨节点同步时间的时钟。

Google Spanner使用TrueTime，这是一个具有严格错误界限的高可用性全局同步时钟的示例。但是，许多部署中都没有此类时钟。

物理时钟（或挂钟）不能在节点之间***同步。因此，他们无法跨节点排序事件（建立因果关系）。除非存在中央时间戳权限，否则诸如Lamport时钟和向量时钟之类的逻辑时钟不会跟踪物理时间，这成为可扩展性瓶颈。

我们的方案:混合逻辑时钟（HLC）通过将使用NTP粗略同步的物理时钟与跟踪因果关系的Lamport时钟相结合来解决该问题。

YugaByte DB使用HLC作为高可用性群集宽时钟，具有用户指定的***时钟偏差上限值。HLC值在Raft组中用作关联更新的方式，也用作MVCC读取点。结果是符合ACID的分布式数据库，如Jepsen测试所示。

6.重写或重用PostgreSQL查询层？​​​​​​​

***但同样重要的是，我们需要决定是否重写或重用PostgreSQL查询层。

我们的初步决定

YugaByte数据库查询层在设计时考虑了可扩展性。通过在C ++中重写API服务器，已经在这个查询层框架中构建了两个API（YCQL和YEDIS），首先重写PostgreSQL API似乎更容易和自然。

我们的最终决定

在我们意识到这不是一条理想的道路之前，我们沿着这条路走了大约5个月。与PostgreSQL成熟，完整的数据库相比，其他API要简单得多。然后我们重新完成整个工作，回到绘图板并重新开始重新使用PostgreSQL的查询层代码。虽然这在开始时很痛苦，但回顾起来它是一个更好的策略。

这种方法也有其自身的挑战。我们的计划是首先将PostgreSQL系统表移动到DocDB（YugaByte DB的存储层），最初支持一些数据类型和一些简单查询，并随着时间的推移添加更多数据类型和查询支持。

不幸的是，这个计划并没有完全解决。要从psql执行看似简单的最终用户命令，实际上需要支持大量SQL功能。例如，\d用于列出所有表的命令在内部执行以下查询：

WHERE支持操作符，例如IN，不等于，正则表达式匹配等。满足上述查询需要支持以下功能：

显然，这代表了各种各样的SQL功能，因此我们必须在创建单个用户表之前使所有这些功能都可用！我们在Google Spanner架构上发布分布式PostgreSQL – 查询层突出显示了查询层的详细工作方式。

结论

即使对于专家用户来说，不得不在市场上可用的许多数据库之间进行选择，一开始看起来似乎势不可挡。这是因为为给定类型的应用程序选择数据库取决于这些数据库在其体系结构中所做的权衡。

通过YugaByte DB，我们以一种新颖的方式组合了一组非常实用的架构决策，以创建一个独特的开源分布式SQL数据库。PostgreSQL强大的SQL功能现在可供您使用，零数据丢失，水平写入可扩展性，低读取延迟以及在公共云或Kubernetes中本机运行的能力。

什么是虚拟文件系统？windows常使用的文件系统有哪些？Linux使用的文件系统有哪些？

虚拟文件系统 Virtual File Systems 　虚拟文件系统(VFS)是由Sun icrosystems公司在定义网络文件系统(NFS)时创造的。 它是一种用于网络环境的分布式文件系统，是允许和操作系统使用不同的文件系统实现的接口。 虚拟文件系统（VFS）是物理文件系统与服务之间的一个接口层，它对Linux的每个文件系统的所有细节进行抽象，使得不同的文件系统在Linux核心以及系统中运行的其他进程看来，都是相同的。 严格说来，VFS并不是一种实际的文件系统。 它只存在于内存中，不存在于任何外存空间。 VFS在系统启动时建立，在系统关闭时消亡。 VFS使Linux同时安装、支持许多不同类型的文件系统成为可能。 VFS拥有关于各种特殊文件系统的公共界面，如超级块、inode、文件操作函数入口等。 实际文件系统的细节，统一由VFS的公共界面来索引，它们对系统核心和用户进程来说是透明的。 VFS的功能包括：纪录可用的文件系统的类型；将设备同对应的文件系统联系起来；处理一些面向文件的通用操作；涉及到针对文件系统的操作时，VFS把它们影射到与控制文件、目录以及inode相关的物理文件系统。 当某个进程发布了一个面向文件的系统调用时，核心将调用VFS中相应的函数，这个函数处理一些与物理结构无关的操作，并且把它重定向为真实文件系统中相应的函数调用，后者则用来处理那些与物理结构相关的操作

SQL Server 2000 和 2005有什么区别?

数据库管理10个最重要的特点特点 描述数据库镜像通过新数据库镜像方法，将记录档案传送性能进行延伸。 您将可以使用数据库镜像，通过将自动失效转移建立到一个待用服务器上，增强您SQL服务器系统的可用性。 在线恢复使用SQL2005版服务器，数据库管理人员将可以在SQL服务器运行的情况下，执行恢复操作。 在线恢复改进了SQL服务器的可用性，因为只有正在被恢复的数据是无法使用的，而数据库的其他部分依然在线、可供使用。 在线检索操作在线检索选项可以在指数数据定义语言（DDL）执行期间，允许对基底表格、或集簇索引数据和任何有关的检索，进行同步修正。 例如，当一个集簇索引正在重建的时候，您可以对基底数据继续进行更新、并且对数据进行查询。 快速恢复新的、速度更快的恢复选项可以改进SQL服务器数据库的可用性。 管理人员将能够在事务日志向前滚动之后，重新连接到正在恢复的数据库。 安全性能的提高SQL Server 2005包括了一些在安全性能上的改进，例如数据库加密、设置安全默认值、增强密码政策、缜密的许可控制、以及一个增强型的安全模式。 新的SQL Server Management StudioSQL Server 2005引入了SQL Server Management Studio，这是一个新型的统一的管理工具组。 这个工具组将包括一些新的功能，以开发、配置SQL Server数据库，发现并修理其中的故障，同时这个工具组还对从前的功能进行了一些改进。 专门的管理员连接SQL Server 2005将引进一个专门的管理员连接，即使在一个服务器被锁住，或者因为其他原因不能使用的时候，管理员可以通过这个连接，接通这个正在运行的服务器。 这一功能将能让管理员，通过操作诊断功能、或Transact—SQL指令，找到并解决发现的问题。 快照隔离我们将在数据库层面上提供一个新的快照隔离（SI）标准。 通过快照隔离，使用者将能够使用与传统一致的视野观看数据库，存取最后执行的一行数据。 这一功能将为服务器提供更大的可升级性。 数据分割数据分割 将加强本地表检索分割，这使得大型表和索引可以得到高效的管理。 增强复制功能对于分布式数据库而言，SQL Server 2005提供了全面的方案修改（DDL）复制、下一代监控性能、从甲骨文（Oracle）到SQL Server的内置复制功能、对多个超文本传输协议（http）进行合并复制，以及就合并复制的可升级性和运行，进行了重大的改良。 另外，新的对等交易式复制性能，通过使用复制，改进了其对数据向外扩展的支持。 有关开发的10个最重要的特点特点 描述 框架主机使用SQL Server 2005，开发人员通过使用相似的语言，例如微软的Visual C# 和微软的Visual Basic，将能够创立数据库对象。 开发人员还将能够建立两个新的对象——用户定义的类和集合。 XML 技术在使用本地网络和互联网的情况下，在不同应用软件之间散步数据的时候，可扩展标记语言（XML）是一个重要的标准。 SQL Server 2005将会自身支持存储和查询可扩展标记语言文件。 2.0 版本从对SQL类的新的支持，到多活动结果集（MARS），SQL Server 2005中的将推动数据集的存取和操纵，实现更大的可升级性和灵活性。 增强的安全性SQL Server 2005中的新安全模式将用户和对象分开，提供fine-grain access存取、并允许对数据存取进行更大的控制。 另外，所有系统表格将作为视图得到实施，对数据库系统对象进行了更大程度的控制。 Transact-SQL 的增强性能SQL Server 2005为开发可升级的数据库应用软件，提供了新的语言功能。 这些增强的性能包括处理错误、递归查询功能、关系运算符PIVOT, APPLY, ROW_NUMBER和其他数据列排行功能，等等。 SQL 服务中介SQL服务中介将为大型、营业范围内的应用软件，提供一个分布式的、异步应用框架。 通告服务通告服务使得业务可以建立丰富的通知应用软件，向任何设备，提供个人化的和及时的信息，例如股市警报、新闻订阅、包裹递送警报、航空公司票价等。 在SQL Server 2005中，通告服务和其他技术更加紧密地融合在了一起，这些技术包括分析服务、SQL Server Management Studio。 Web服务使用SQL Server 2005，开发人员将能够在数据库层开发Web服务，将SQL Server当作一个超文本传输协议（HTTP）侦听器，并且为网络服务中心应用软件提供一个新型的数据存取功能。 报表服务利用SQL Server 2005, 报表服务可以提供报表控制，可以通过Visual Studio 2005发行。 全文搜索功能的增强SQL SERVER 2005将支持丰富的全文应用软件。 服务器的编目功能将得到增强，对编目的对象提供更大的灵活性。 查询性能和可升级性将大幅得到改进，同时新的管理工具将为有关全文功能的运行，提供更深入的了解。 有关商业智能特征的10个最重要的特点特点 描述分析服务SQL SERVER 2005的分析服务迈入了实时分析的领域。 从对可升级性性能的增强、到与微软Office软件的深度融合，SQL SERVER 2005将帮助您，将商业智能扩展到您业务的每一个层次。 数据传输服务(DTS)DTS数据传输服务是一套绘图工具和可编程的对象，您可以用这些工具和对象，对从截然不同来源而来的数据进行摘录、传输和加载（ETL），同时将其转送到单独或多个目的地。 SQL SERVER 2005将引进一个完整的、数据传输服务的、重新设计方案，这一方案为用户提供了一个全面的摘录、传输和加载平台。 数据挖掘我们将引进四个新的数据挖掘运算法，改进的工具和精灵，它们会使数据挖掘，对于任何规模的企业来说，都变得简单起来。 报表服务在SQL SERVER 2005中，报表服务将为在线分析处理（OLAP）环境提供自我服务、创建最终用户特别报告、增强查询方面的开发水平，并为丰富和便于维护企业汇报环境，就允许升级方面，提供增进的性能。 集群支持通过支持容错技术移转丛集、增强对多重执行个体的支持、以及支持备份和恢复分析服务对象和数据，分析服务改进了其可用性。 主要运行指标主要运行指标(KPIs)为企业提供了新的功能，使其可以定义图表化的、和可定制化的商业衡量标准，以帮助公司制定和跟踪主要的业务基准。 可伸缩性和性能并行分割处理，创建远程关系在线分析处理(ROLAP)或混合在线分析处理(HOLAP)分割，分布式分割单元，持续计算，和预制缓存等特性，极大地提升了SQL Server 2005中分析服务的可伸缩性和性能。 单击单元当在一个数据仓库中创建一个单元时，单元向导将包括一个可以单击单元检测和建议的操作。 预制缓存预制缓存将MOLAP等级查询运行与实时数据分析合并到一起，排除了维护在线分析处理存储的需要。 显而易见，预制缓存将数据的一个更新备份进行同步操作，并对其进行维护，而这些数据是专门为高速查询而组织的、它们将最终用户从超载的相关数据库分离了出来。 与Microsoft Office System集成在报表服务中，由报表服务器提供的报表能够在Microsoft SharePoint门户服务器和Microsoft Office System应用软件的环境中运行，Office System应用软件其中包括Microsoft WORD和Microsoft Excel。 您可以使用SharePoint功能，订阅报表、建立新版本的报表，以及分发报表。 您还能够在Word或Excel软件中打开报表，观看超文本连接标示语言（HTML）版本的报表。

oracle字段类型NUMBER(38,3)，括号中两个数字分别表示什么？

38代表总位数 3代表小数点后面位数number(p,s)p:1~38s:-84~127p>0，对s分2种情况：1. s>0精确到小数点右边s位，并四舍五入。 然后检验有效数位是否<=p；如果s>p，小数点右边至少有s-p个0填充。 2. s<0精确到小数点左边s位，并四舍五入。 然后检验有效数位是否<=p+|s|123.2564 NUMBER 123..9876 NUMBER(6,2) 1234.. NUMBER(6,2) Error1234.9876 NUMBER(6) .345 NUMBER(5,-2) 7 NUMBER(5,-2) 5678 NUMBER(5,-2) Error NUMBER(5,-4) NUMBER(5,-4) Error.58 NUMBER(*, 1) .60.1 NUMBER(4,5) Error0. NUMBER(4,5) 0.. NUMBER(4,5) 0.