在之前的Mongodb源码分析之Mongos分析中,介绍了mongos的启动流程,在那篇文章的结尾,介绍了mongos使用balancer来进行均衡,今天就继续讲其实现方式。
首先我们看一下Balancer及相关实现策略的类图:
可以看到Balancer类里包含一个BalancerPolicy,其指向一个均衡策略,该策略会实现查找并收集要迁移的chunk。
这里先看一下Balancer的类定义,如下:
可以看出balancer继承自BackgroundJob,所以它是以后台方式运行的。了解了该类的方法和属性之后,下面我们着手看一下mongos主函数中启动balancer.go()的调用流程。因为balancer继承自BackgroundJob,所以还要看一下BackgroundJob里go()方法的执行代码, 如下:
上面代码最终会将执行流程转到balancer类的run()方法,如下
上面方法中主要是先构造链接串,进而构造连接实例(注:这里使用了链接池的概念,我会在后续章节中专门介绍其实现机制)。之后刷新sharding中的相关信息(确保其有效性),之后调用_doBalanceRound()方法来收集可能要迁移的chunk(s)信息并最终完成迁移(使用_moveChunks方法)。
下面我们就着重看一下这两个方法的具体实现.
首先是_doBalanceRound方法:
上面的_doBalanceRound方法主要构造shardLimitsMap,shardToChunksMap这两个实例对象集合(map<>类型),其中:
shardLimitsMap:用于收集shard集合中一些“起数量限制”作用的参数,如maxsize,draining,hasOpsQueued等,因为这几个参数如果超出范围或为true时,相应shard 是不可以提供迁移服务的。shardToChunksMap:用于收集当前shard中的chunk信息,以便后面的遍历操作。
收集了这些信息之后,通过调用 _policy->balance()方法来找出可能需要迁移的chunk().

下面就看一下该均衡策略的具体实现(具体内容参见注释):
上面方法通过计算各个shard中的当前chunk数量来推算出那个shard相对较空,并将其放到to(目标shard),之后对可能要迁移的chunk进行校验,这里使用了pickChunk()方法,该方法具体实现如下:
完成了校验之后,得到的就是真正要迁移的chunk的启始地址,之后就可以进行迁移了。到这里,我们还要将执行流程跳回到Balancer::run()方法里,看一下最终完成迁移工作的方法movechunk()的实现流程:
上面代码就是依次遍历要迁移的chunk,分别根据其ns信息获取相应的ChunkManager(该类主要执行chunk的管理,比如CRUD等),之后就通过该ChunkManager找出当前chunk中最小的值(min:参见chunk.h文件,我这里把min,max理解为当前chunk中最小和最大记录对象信息)chunk信息,并开始迁移。
按照惯例,这里还是用一个时序列来大体回顾一下balancer的执行流程,如下:
好了,今天的内容就先到这里了。
原文链接:
【编辑推荐】
PHP开发工程师岗位工作经历怎么写
自我评价(案例一)· 拥有良好的代码习惯,结构清晰,命名规范,逻辑性强,代码冗余率低,注重用户体验开发;· 有很强的事业心和进取精神,热爱开发工作,能承受较大的工作压力;· 具备很好的学习钻研能力,思路清晰,优秀的分析问题和解决问题的能力;· 严谨细致,有责任心,诚实守信,有良好的团队合作能力,工作责任心强。 自我评价(案例二)1.熟练掌握oop的编程思想和mvc的开发模式;2.熟练HTML/CSS/JavaScript,熟练使用ajax,jquery等技术;3.熟练ThinkPHP,Ci,Yii,Laravel等开源框架;4.熟练各种业务项目开发流程及模式;5.熟悉ECShop,Iwebshop,discuz的二次开发;6.熟悉svn,git等版本控制工具的安装配置以及使用;7.熟练使用 memcache ,redis,mongoDB等缓存技术;8.熟悉对象存储(oss)的上传下载;9.熟练单点登录和第三方登录技术;10.熟练各种接口的开发使用,如支付宝支付、短信接口、网络地图等;11.熟练app接口的开发,有独立编写接口的能力;12.熟悉微信公众号的开发;13.熟悉网站静态化:页面静态化和伪静态;14.熟悉常用的数据库优化技巧:索引,缓存,分区分表,sql优化等;15.熟悉服务器架构设计:主从复制,读写分离,动静分离,负载均衡等;16. 具有较强的团队意识,高度的责任感,工作积极严谨,勇于承担压力自我评价(案例三)从小生活在农村家庭,比较能吃苦耐劳,对编程感兴趣,有新的知识或技术出现的时候,会及时学习。 之前工作主要是与客户,物流,业务员以及厂内生产工作的沟通,沟通和协调能力很强。 平时喜欢打打篮球,喜欢团队合作的娱乐项目。 自我评价(案例四)在工作中,自学能力强,能够很容易的解决技术上遇到的问题,当技术上遇到一些新的技术,通过上网或是利用手头资料,技术上的问题都能迎刃而解,对新的技术有很强的求知欲和自主学习能力。 生活上,有责任心,团队的任务一定按时完成,心胸豁达,可以和周围的人融洽的相处。
网站代码编写中,常用的排错技术有哪些?
如果是语法上的错误,一般编译工具,如Dreamweaver、FrontPage等都会自动检测的,但是如果是逻辑上的错误,通常就是通过手工检测——一般是试运行来查找漏洞!总的来说,排错主要是依靠逻辑分析和经验来进行,建议分模块编写,这样可以分模块来测试以及查找错误,会节省大量的时间和精力
硬件开发,ARM,相关的学习,需要哪些基础知识?
下面是我列出的书单: 嵌入式书籍推荐Linux基础1、《Linux与Unix Shell 编程指南》C语言基础1、《C Primer Plus,5th Edition》【美】Stephen Prata着2、《The C Programming Language, 2nd Edition》【美】Brian W. Kernighan David M. Rithie(K & R)着3、《Advanced Programming in the UNIX Environment,2nd Edition》(APUE)4、《嵌入式Linux应用程序开发详解》Linux内核1、《深入理解Linux内核》(第三版)2、《Linux内核源代码情景分析》毛德操 胡希明著研发方向1、《UNIX Network Programming》(UNP)2、《TCP/IP详解》3、《Linux内核编程》4、《Linux设备驱动开发》(LDD)5、《Linux高级程序设计》 杨宗德著硬件基础1、《ARM体系结构与编程》杜春雷着2、S3C2410 Datasheet英语基础1、《计算机与通信专业英语》系统教程1、《嵌入式系统――体系结构、编程与设计》2、《嵌入式系统――采用公开源代码和StrongARM/Xscale处理器》毛德操 胡希明着3、《Building Embedded Linux Systems》4、《嵌入式ARM系统原理与实例开发》 杨宗德著理论基础1、《算法导论》2、《数据结构(C语言版)》3、《计算机组织与体系结构?性能分析》4、《深入理解计算机系统》【美】Randal E. Bryant David OHallaron着5、《操作系统:精髓与设计原理》6、《编译原理》7、《数据通信与计算机网络》8、《数据压缩原理与应用》C语言书籍推荐1. The C programming language 《C程序设计语言》2. Pointers on C 《C和指针》3. C traps and pitfalls 《C陷阱与缺陷》4. Expert C Lanuage 《专家C编程》5. Writing Clean Code -----Microsoft Techiniques for Developing Bug-free C Programs《编程精粹--Microsoft 编写优质无错C程序秘诀》6. Programming Embedded Systems in C and C++ 《嵌入式系统编程》7.《C语言嵌入式系统编程修炼》8.《高质量C++/C编程指南》林锐 把这些书看完,基本就可以了
发表评论