云原生数仓如何破解大规模集群的关联查询性能问题 (云原生数据仓库analyticdb)

教程大全 2025-07-14 14:35:12 浏览次

云原生数仓如何破解大规模集群的关联查询性能问题？

原创精选2022-05-11 09:34:15ADB PG基于开源项目Greenplum构建，在单机PostgreSQL的基础上进行扩展，将多个PG服务同时启动在单个或多个服务器上并组成集群，以分布式的形式提供数据库服务。

作者 | 宇毅

前言

近年来，数据库系统服务的数据量呈指数级增长，同时也面临处理的业务需求愈发复杂、实时性要求越来越高等挑战。单机数据库系统已经逐渐不能满足现代的数据库服务要求，因此分布式数据库/数据仓库得到了越来越广泛地运用。

在实时分析(OLAP)领域，分布式数据仓库可以充分发挥系统的分布式特点，将复杂的OLAP任务分解下发到系统中的所有节点进行计算提升分析性能;分布式数据仓库也可以比较方便地对系统节点进行扩容，应对用户业务数据量增加的需求。但是分布式数据仓库用户无法避免的一个问题是：随着数据仓库集群规模增大，扩容带来的性价比愈发降低。

造成这种现象的一个原因是，表连接(JOIN)作为数据库业务中最广泛使用的算子之一，在分布式计算中依赖系统节点间的数据交互;当分布式集群规模增大时，节点之间的数据交互代价会明显增加，这种情况下非常考验分布式系统的网络处理能力，并依赖用户的数据表设计和SQL编写能力以缓解数据交互压力。

针对这个问题，业界不同的分布式数据库系统提出了不同的Join运行时过滤(Runtime Filter)算法。AnalyticDB for PostgreSQL(以下简称ADB PG)是一款PB级的MPP架构云原生数据仓库，同样也面临着上述问题的挑战。本文从ADB PG架构设计的角度出发，探讨Runtime Filter在ADB PG中的实现方案，并介绍了基于Bloom Filter的ADB PG Dynamic Join Filter功能技术细节。

ADB PG架构简介

ADB PG基于开源项目Greenplum构建，在单机PostgreSQL的基础上进行扩展，将多个PG服务同时启动在单个或多个服务器上并组成集群，以分布式的形式提供数据库服务。ADB PG将每一个PG服务称为一个Segment，并引入了Slice的概念。Slice用于解决分布式系统中的网络结构，当数据库涉及到MPP多阶段计算时，例如Hash Join左右表的Join key不满足相同的Hash分布，那么就需要对Join Key通过网络传输进行重分布，ADB PG将网络传输的前后阶段切分为不同的Slices。以下是一个ADB PG集群示意图。

在这种架构下如何解决大规模集群下表连接Join的性能问题呢?业界解决这个问题的一个方案是引入网络代理节点，同一机器内的Segment将网络数据发送至本地代理节点，由代理节点与其它机器上的代理节点进行网络收发工作以减少网络拥塞。该方案对ADB PG架构的挑战较大，且没有从根本上减少Join的网络Shuffle开销。因此为了从Join根源上减少Join计算的数据量，ADB PG设计并实现了Join Runtime Filter方案。

Runtime Filter和Bloom Filter

Runtime FIlter的目的是在Join计算前筛选掉一部分数据，需要一个Filter的实现“载体”。在结合ADB PG的架构设计、存储层和网络层的特点后，我们选择使用Bloom Filter作为Runtime Filter的实现形式。

Bloom Filter是一种概率数据结构，通常被用于判断一个元素是否属于一个集合。Bloom Filter的优点是其空间效率非常高，计算性能通常也高;缺点是存在阳性误判率false positive，但是不存在false negative，即Bloom Filter判断一个元素是否属于集合的结果不是单纯的true or false，而是”possible true” or “false”。

上图是一个标准Bloom Filter的计算思路示意图，其中的0、1为Bloom Filter用于表示集合信息的bit array，即每一位用一个bit存储。上方x,y,z表示向Bloom Filter中插入的三个元素，分别使用3种hash算法计算hash值后在bit array中置位。而下方为判断元素w是否属于集合，由于3个hash值中的某一位没有在bit array中被置位，可以肯定的是w不属于集合。

Bloom Filter通常由以下几个参数描述：

我们省略推导过程，直接将各个参数的关系给出：

当Bloom Filter足够大时，可以简化为：

在设计Bloom Filter时，n和m我们可以根据实际计算场景提前确定，上述公式可以视为自变量为k，应变量为p的函数p(k)，此函数通常在k > 0时通常不是单调的(由n:m确定)。因此Bloom Filter在设计时要考虑如何确定hash函数k的个数以获得最小的误判率p。根据上式可以计算得到当p为极小值时，对应k的值为：

Bloom Filter的参数设计：

如何将Bloom Filter应用至ADB PG Join过滤优化，我们首先要设计选择Bloom Filter的参数。对于Bloom Filter插入元素的个数n，可以直接使用执行计划中获得的Join右表计划行数;而为了获得理想的过滤率，减少误判率p，ADB PG使用了PG高版本Bloom Filter的思路，设计Bloom FIlter大小Bytes为n的2倍，即总体n:m达到1:16。在这个设计下，可以计算得到最佳的k取值为11，p(k)函数如下图所示，当k = 11时可以取得最小的p = 0.046%

k = 11意味着对于每一个元素，都需要计算11个hash值以插入到Bloom Filter bit array中，这对于ADB PG是无法接受的，构建Bloom Filter的代价明显过大。在构建Bloom Filter时，ADB PG会综合误判率、hash计算等因素考虑，选择合适的k值。

在确定构建Bloom Filter的基本原则后，接下来就是工程实现问题。Bloom Filter的工程实现非常简单高效，通常我们可以直接使用bitset数组来建立Bloom Filter，通过位操作实现Bloom Filter的插入和查找。下图为向一个Bloom Filter bitset数组中插入元素的计算示意图。

Dynamic Join Filter in ADB PG

在完成ADB PG Hash Join的Bloom Filter设计后，接来下讨论如何将Bloom Filter应用至Join的Runtime Filter中。ADB PG将基于Bloom Filter的Runtime Filter命名为Dynamic Join Filter。

1.Dynamic Join Filter的实现方式

由于ADB PG优化器通常会选择将右表作为小表，左表作为大表，因此ADB PG将Dynamic Join Filter的设计特点为单向过滤的，即仅用于右表过滤左表，暂不考虑左表过滤右表的形式;同时我们也可以将Dynamic Join Filter灵活应用于Hash Join左表链路不同算子的过滤中。

由于Hash Join的形式不同，Dynamic Join Filter的实现形式可以总结为Local Join和MPP Join两种形式，并根据Runtime Filter是否具有下推算子的能力做进一步区分。

Local Join是指左右表的Join Key均满足相同Hash分布，无需再Shuffle数据。此时Hash、Hash Join和左表Scan处于同一个Slice内部，即同一个进程中，我们可以直接在进程空间内将Bloom Filter传递给左表Scan算子过滤输出。

MPP Join是指左右表的Join Key均不满足相同Hash分布，需要针对Join Key Shuffle数据。在前文介绍过，ADB PG的Hash Join和Hash算子一定处于同一个Slice内部，因此基于基本原则只需要考虑左表Shuffle的情况，即左表在Hash Join前存在Motion的场景。

MPP Join存在的另一种情况是，左表Motion下不是简单的Scan，也没有关联信息将Join Key的Bloom Filter下推至Scan。那么以减少网络传输数据量为最后准则，将Bloom Filter过滤放在Motion前，减少Motion Sender的数据。

2.Bloom Filter网络传输

Dynamic Join Filter在各个计算节点上建立了一个Local Bloom Filter，每个计算节点需要收集所有其它节点的Bloom Filter，并在本地组成完整的Bloom Filter后才能开始过滤计算。我们将Bloom Filter的收发分为两种模式：全量传输和位传输。在发送前我们可以判断两种模式的数据量大小，并自适应选择数据量小的模式。

Bloom Filter全量传输

Bloom Filter位传输

性能测试

接下来我们对ADB PG Dynamic Join Filter的性能表现测试。测试集群为ADB PG公有云搭建的实例，测试使用TPC-H 1TB测试集(scale = 10000)，测试通过开启\关闭Dynamic Join Filter功能对比执行性能。下图展示了TPC-H执行性能有差异的Query测试结果：

可以看到Dynamic Join Filter在Q5、Q8、Q9和Q17上均获得了较大的性能提升，其中Q17的优化性能最佳，执行时间137s优化至8s。而Q10存在略微的性能回退：10s回退至12s，原因在于Q10的Join Key是完全匹配的，Dynamic Join Filter无法做到动态提前过滤，而优化器未能准确估算代价导致计划仍然使用了Dynamic Join Filter。此外Q20也因为优化器下推规则的的原因没有选择Dynamic Join Filter，实际上经过分析Q20与Q17类似，比较适合使用Dynamic Join Filter。为了解决这些问题，ADB PG优化器相关功能仍在开发迭代中。

总结&未来规划

Dynamic Join Filter根据ADB PG架构设计、存储层和网络层特点，使用Bloom Filter作为Join Runtime Filter的实现形式，在TPC-H测试中取得了明显的性能提升成果。未来我们将从以下几个方面做进一步的开发和优化，提升客户使用体验：

完善Dynamic Join Filter功能，支持各种模式的Hash Join，并进一步推广到Merge Sort Join、NestedLoop Join的优化中;

提升优化器的代价估算模型精度，完善优化器下推规则;

Runtime Filter自适应调度。

欢迎访问云原生数据仓库ADB PG主页，了解更多：

和春天有关的成语有什么？

春冰虎尾踩着老虎尾巴，走在春天将解冻的冰上。比喻处境非常危险。春风得意旧时形容考中进士后的兴奋心情。后形容职位升迁顺利。春风风人风人：吹拂人。和煦的春风吹拂着人们。比喻及时给人教益和帮助。春风和气春天和煦的春风吹拂着人们。比喻对人态度和蔼可亲。春风化雨化：化生和养育。指适宜于草木生长的风雨。比喻良好的薰陶和教育。春风满面春风：指笑容。比喻人喜悦舒畅的表情。形容和霭愉快的面容。春风夏雨春风和煦，夏雨滋润，足以养育万物。常比喻及时给人以教益和帮助。春风一度度：次，回。比喻领略一番美妙的生活情趣。亦借指男女合欢。春风沂水原意是大人和儿童在沂水洗个澡，在舞雩台上吹吹风。指放情自然，旷达高尚的生活乐趣。春光漏泄原指柳枝泛绿，透露了春天将至的信息。比喻秘密或男女的私情被泄漏出来。春光明媚明媚：美好，可爱。形容春天的景物鲜明可爱。春寒料峭料峭：微寒。形容初春的寒冷。春和景明春光和煦，风景鲜明艳丽。春花秋月春天的花朵，秋天的月亮。泛指春秋美景。春华秋实华：花。春天开花，秋天结果。比喻人的文采和德行。现也比喻学习有成果。春晖寸草春晖：春天的阳光；比喻父母对儿女的慈爱抚养。寸草：一寸长的小草；比喻子女对父母的养育之恩的无限感戴心... 春回大地好象春天又回到大地。形容严寒已过，温暖和生机又来到人间。春兰秋菊春天的兰花，秋天的菊花。比喻各有值得称道的地方。春露秋霜比喻恩泽与威严。也用在怀念先人。春梦无痕比喻世事变幻，如春夜的梦境一样容易消逝，不留一点痕迹。春暖花开本指春天气候宜人，景物优美。现也比喻大好时机。春葩丽藻比喻美妙的言谈。春秋笔法指寓褒贬于曲折的文笔之中。春秋鼎盛春秋：指年龄；鼎盛：正当旺盛之时。比喻正当壮年。春秋无义战春秋时代没有正义的战争。也泛指非正义战争。春色撩人撩：撩拔，挑逗、招惹。春天的景色引起人们的兴致。春色满园园内到处都是春天美丽的景色。比喻欣欣向荣的景象。春山如笑形容春天的山色明媚。春深似海春天美丽的景色像大海一样深广。形容到处充满了明媚的春光。春生秋杀春天万物萌生，秋天万物凋零。春生夏长，秋收冬藏春天萌生，夏天滋长，秋天收获，冬天储藏。指农业生产的一般过程。亦比喻事物的发生、发展过程。春树暮云表示对远方友人的思念。春诵夏弦诵、弦：古代学校里读诗，只口诵的叫“诵”，用乐器配合的叫“弦”。原指应根据季节采取不同的学习方式。后... 春笋怒发春天的竹笋迅速茂盛地生长。比喻好事层出不穷地产生。春蛙秋蝉春天蛙叫，秋天蝉鸣。比喻喧闹夸张、空洞无物的言谈。春宵一刻欢娱难忘的美好时刻。春意盎然春意：春天的气象。盎然：丰满、浓厚的样子。形容春天的气氛很浓。春意阑珊阑珊：将尽，将衰。指春天就要过去了。春蚓秋蛇比喻字写得不好，弯弯曲曲，象蚯蚓和蛇爬行的痕迹。春雨如油春雨贵如油。形容春雨可贵。春蚕到死丝方尽丝：双关语，“思”的谐音。比喻情深谊长，至死不渝。春风野火比喻迅猛之势。春风雨露像春天的和风和雨滴露水那样滋润着万物的生长。旧常用以比喻恩泽。春花秋实春天开花，秋天结果。比喻人的文采和德行。现也比喻学习有成果。春满人间指生机勃勃的春意充满人间。春暖花香形容春天美丽的景色。春去秋来春天过去，秋天到来。形容时光流逝。春蛇秋蚓比喻字写得不好，弯弯曲曲，象蚯蚓和蛇爬行的痕迹。春生夏长，秋收冬藏春天萌生，夏天滋长，秋天收获，冬天储藏。指农业生产的一般过程。亦比喻事物的发生、发展过程。春树暮云表示对远方友人的思念。春诵夏弦诵、弦：古代学校里读诗，只口诵的叫“诵”，用乐器配合的叫“弦”。原指应根据季节采取不同的学习方式。后...春笋怒发春天的竹笋迅速茂盛地生长。比喻好事层出不穷地产生。春蛙秋蝉春天蛙叫，秋天蝉鸣。比喻喧闹夸张、空洞无物的言谈。春宵一刻欢娱难忘的美好时刻。春意盎然春意：春天的气象。盎然：丰满、浓厚的样子。形容春天的气氛很浓。春意阑珊阑珊：将尽，将衰。指春天就要过去了。春蚓秋蛇比喻字写得不好，弯弯曲曲，象蚯蚓和蛇爬行的痕迹。春雨如油春雨贵如油。形容春雨可贵。春蚕到死丝方尽丝：双关语，“思”的谐音。比喻情深谊长，至死不渝。春风野火比喻迅猛之势。春风雨露像春天的和风和雨滴露水那样滋润着万物的生长。旧常用以比喻恩泽。春花秋实春天开花，秋天结果。比喻人的文采和德行。现也比喻学习有成果。春满人间指生机勃勃的春意充满人间。春暖花香形容春天美丽的景色。春去秋来春天过去，秋天到来。形容时光流逝。春蛇秋蚓比喻字写得不好，弯弯曲曲，象蚯蚓和蛇爬行的痕迹。春冰虎尾踩着老虎尾巴，走在春天将解冻的冰上。比喻处境非常危险。春风得意旧时形容考中进士后的兴奋心情。后形容职位升迁顺利。春风风人风人：吹拂人。和煦的春风吹拂着人们。比喻及时给人教益和帮助。春风和气春天和煦的春风吹拂着人们。比喻对人态度和蔼可亲。春风化雨化：化生和养育。指适宜于草木生长的风雨。比喻良好的薰陶和教育。春风满面春风：指笑容。比喻人喜悦舒畅的表情。形容和霭愉快的面容。春风夏雨春风和煦，夏雨滋润，足以养育万物。常比喻及时给人以教益和帮助。春风一度度：次，回。比喻领略一番美妙的生活情趣。亦借指男女合欢。春风沂水原意是大人和儿童在沂水洗个澡，在舞雩台上吹吹风。指放情自然，旷达高尚的生活乐趣。春光漏泄原指柳枝泛绿，透露了春天将至的信息。比喻秘密或男女的私情被泄漏出来。春光明媚明媚：美好，可爱。形容春天的景物鲜明可爱。春寒料峭料峭：微寒。形容初春的寒冷。春和景明春光和煦，风景鲜明艳丽。春花秋月春天的花朵，秋天的月亮。泛指春秋美景。春华秋实华：花。春天开花，秋天结果。比喻人的文采和德行。现也比喻学习有成果。春晖寸草春晖：春天的阳光；比喻父母对儿女的慈爱抚养。寸草：一寸长的小草；比喻子女对父母的养育之恩的无限感戴心...春回大地好象春天又回到大地。形容严寒已过，温暖和生机又来到人间。春兰秋菊春天的兰花，秋天的菊花。比喻各有值得称道的地方。春露秋霜比喻恩泽与威严。也用在怀念先人。春梦无痕比喻世事变幻，如春夜的梦境一样容易消逝，不留一点痕迹。春暖花开本指春天气候宜人，景物优美。现也比喻大好时机。春葩丽藻比喻美妙的言谈。春秋笔法指寓褒贬于曲折的文笔之中。春秋鼎盛春秋：指年龄；鼎盛：正当旺盛之时。比喻正当壮年。春秋无义战春秋时代没有正义的战争。也泛指非正义战争。春色撩人撩：撩拔，挑逗、招惹。春天的景色引起人们的兴致。春色满园园内到处都是春天美丽的景色。比喻欣欣向荣的景象。春山如笑形容春天的山色明媚。春深似海春天美丽的景色像大海一样深广。形容到处充满了明媚的春光。春生秋杀春天万物萌生，秋天万物凋零。

SQL server 2000 和 2005有什么区别?

数据库管理10个最重要的特点特点描述数据库镜像通过新数据库镜像方法，将记录档案传送性能进行延伸。您将可以使用数据库镜像，通过将自动失效转移建立到一个待用服务器上，增强您SQL服务器系统的可用性。在线恢复使用SQL2005版服务器，数据库管理人员将可以在SQL服务器运行的情况下，执行恢复操作。在线恢复改进了SQL服务器的可用性，因为只有正在被恢复的数据是无法使用的，而数据库的其他部分依然在线、可供使用。在线检索操作在线检索选项可以在指数数据定义语言（DDL）执行期间，允许对基底表格、或集簇索引数据和任何有关的检索，进行同步修正。例如，当一个集簇索引正在重建的时候，您可以对基底数据继续进行更新、并且对数据进行查询。快速恢复新的、速度更快的恢复选项可以改进SQL服务器数据库的可用性。管理人员将能够在事务日志向前滚动之后，重新连接到正在恢复的数据库。安全性能的提高SQL Server 2005包括了一些在安全性能上的改进，例如数据库加密、设置安全默认值、增强密码政策、缜密的许可控制、以及一个增强型的安全模式。新的SQL Server Management StudioSQL Server 2005引入了SQL Server Management Studio，这是一个新型的统一的管理工具组。这个工具组将包括一些新的功能，以开发、配置SQL Server数据库，发现并修理其中的故障，同时这个工具组还对从前的功能进行了一些改进。专门的管理员连接SQL Server 2005将引进一个专门的管理员连接，即使在一个服务器被锁住，或者因为其他原因不能使用的时候，管理员可以通过这个连接，接通这个正在运行的服务器。这一功能将能让管理员，通过操作诊断功能、或Transact—SQL指令，找到并解决发现的问题。快照隔离我们将在数据库层面上提供一个新的快照隔离（SI）标准。通过快照隔离，使用者将能够使用与传统一致的视野观看数据库，存取最后执行的一行数据。这一功能将为服务器提供更大的可升级性。数据分割数据分割将加强本地表检索分割，这使得大型表和索引可以得到高效的管理。增强复制功能对于分布式数据库而言，SQL Server 2005提供了全面的方案修改（DDL）复制、下一代监控性能、从甲骨文（Oracle）到SQL Server的内置复制功能、对多个超文本传输协议（http）进行合并复制，以及就合并复制的可升级性和运行，进行了重大的改良。另外，新的对等交易式复制性能，通过使用复制，改进了其对数据向外扩展的支持。有关开发的10个最重要的特点特点描述框架主机使用SQL Server 2005，开发人员通过使用相似的语言，例如微软的Visual C# 和微软的Visual Basic，将能够创立数据库对象。开发人员还将能够建立两个新的对象——用户定义的类和集合。 xml 技术在使用本地网络和互联网的情况下，在不同应用软件之间散步数据的时候，可扩展标记语言（XML）是一个重要的标准。 SQL Server 2005将会自身支持存储和查询可扩展标记语言文件。 2.0 版本从对SQL类的新的支持，到多活动结果集（MARS），SQL Server 2005中的将推动数据集的存取和操纵，实现更大的可升级性和灵活性。增强的安全性SQL Server 2005中的新安全模式将用户和对象分开，提供fine-grain access存取、并允许对数据存取进行更大的控制。另外，所有系统表格将作为视图得到实施，对数据库系统对象进行了更大程度的控制。 Transact-SQL 的增强性能SQL Server 2005为开发可升级的数据库应用软件，提供了新的语言功能。这些增强的性能包括处理错误、递归查询功能、关系运算符PIVOT, APPLY, ROW_NUMBER和其他数据列排行功能，等等。 SQL 服务中介SQL服务中介将为大型、营业范围内的应用软件，提供一个分布式的、异步应用框架。通告服务通告服务使得业务可以建立丰富的通知应用软件，向任何设备，提供个人化的和及时的信息，例如股市警报、新闻订阅、包裹递送警报、航空公司票价等。在SQL Server 2005中，通告服务和其他技术更加紧密地融合在了一起，这些技术包括分析服务、SQL Server Management Studio。 Web服务使用SQL Server 2005，开发人员将能够在数据库层开发Web服务，将SQL Server当作一个超文本传输协议（HTTP）侦听器，并且为网络服务中心应用软件提供一个新型的数据存取功能。报表服务利用SQL Server 2005, 报表服务可以提供报表控制，可以通过Visual Studio 2005发行。全文搜索功能的增强SQL SERVER 2005将支持丰富的全文应用软件。服务器的编目功能将得到增强，对编目的对象提供更大的灵活性。查询性能和可升级性将大幅得到改进，同时新的管理工具将为有关全文功能的运行，提供更深入的了解。有关商业智能特征的10个最重要的特点特点描述分析服务SQL SERVER 2005的分析服务迈入了实时分析的领域。从对可升级性性能的增强、到与微软Office软件的深度融合，SQL SERVER 2005将帮助您，将商业智能扩展到您业务的每一个层次。数据传输服务(DTS)DTS数据传输服务是一套绘图工具和可编程的对象，您可以用这些工具和对象，对从截然不同来源而来的数据进行摘录、传输和加载（ETL），同时将其转送到单独或多个目的地。 SQL SERVER 2005将引进一个完整的、数据传输服务的、重新设计方案，这一方案为用户提供了一个全面的摘录、传输和加载平台。数据挖掘我们将引进四个新的数据挖掘运算法，改进的工具和精灵，它们会使数据挖掘，对于任何规模的企业来说，都变得简单起来。报表服务在SQL SERVER 2005中，报表服务将为在线分析处理（OLAP）环境提供自我服务、创建最终用户特别报告、增强查询方面的开发水平，并为丰富和便于维护企业汇报环境，就允许升级方面，提供增进的性能。集群支持通过支持容错技术移转丛集、增强对多重执行个体的支持、以及支持备份和恢复分析服务对象和数据，分析服务改进了其可用性。主要运行指标主要运行指标(KPIs)为企业提供了新的功能，使其可以定义图表化的、和可定制化的商业衡量标准，以帮助公司制定和跟踪主要的业务基准。可伸缩性和性能并行分割处理，创建远程关系在线分析处理(ROLAP)或混合在线分析处理(HOLAP)分割，分布式分割单元，持续计算，和预制缓存等特性，极大地提升了SQL Server 2005中分析服务的可伸缩性和性能。单击单元当在一个数据仓库中创建一个单元时，单元向导将包括一个可以单击单元检测和建议的操作。预制缓存预制缓存将MOLAP等级查询运行与实时数据分析合并到一起，排除了维护在线分析处理存储的需要。显而易见，预制缓存将数据的一个更新备份进行同步操作，并对其进行维护，而这些数据是专门为高速查询而组织的、它们将最终用户从超载的相关数据库分离了出来。与Microsoft Office System集成在报表服务中，由报表服务器提供的报表能够在Microsoft SharePoint门户服务器和Microsoft Office System应用软件的环境中运行，Office System应用软件其中包括Microsoft Word和Microsoft Excel。您可以使用SharePoint功能，订阅报表、建立新版本的报表，以及分发报表。您还能够在Word或Excel软件中打开报表，观看超文本连接标示语言（HTML）版本的报表。