前 言
各位读者朋友,大家好,这是分库分表实战的第一篇文章,首先介绍一下”基于ShardingSphere的分库分表实战“的设计思路及内容。
本实战的重点是分库分表实战,比较适合1~3年工作经验的程序员朋友。实战主要以外卖APP中的外卖订单来作为本次实战的核心业务。
基于外卖订单业务,儒猿技术团队开发了一个外卖订单项目,通过该项目逐步分析随着订单数据量逐步增加,系统将遇到什么问题。
并以这些问题为线索逐步分析,在分库分表之前,有没有一些方案可以初步解决这些问题,随着订单数据量的增加,为什么这些方案会失效,最后导致不得不分库分表。
而分库分表方案具体该如何设计?方案设计完成之后又该如何落地?分库分表方案引入之后又会带来什么新的问题?这些问题都可以在本实战中找到答案。
认识一下单库版本的订单系统
开始时,订单系统是用单库跑的,随着数据量的不断增大,系统将会采取各种措施逐步优化,比如索引和SQL的优化、加缓存、上读写分离、垂直分库等方案,最后实在抗不住了才会进行分库分表。
从单库版本到分库分表版本的整个优化过程的基础是一个单库版本的外卖订单系统。
儒猿技术团队已提前使用Spring+SpringMVC+MyBatis开发实现了外卖订单系统,该单库版本的订单系统,整体架构图如下所示:
上图是单库版本订单系统的逻辑架构图和技术架构图的一个对比。该订单系统共分三层,分别是访问层、服务层和数据层。
1. 访问层: 是调用后台服务的入口,这里直接使用postman来调用,因为重点是分库分表的方案落地,偏后端,所以直接使用postman来作为请求入口,非常的方便。
2. 服务层: 是整个订单系统的核心,它提供了外卖订单系统的核心功能,比如用户下单、用户查询订单列表、商家接单等核心功能;而为了实现这些功能,使用了一些技术,比如使用Tomcat作为 服务器 来对外提供服务、使用Spring Web MVC作为web的开发框架、使用Spring IOC来管理bean、使用MyBatis来操作数据库、使用logback来记录日志。
3. 数据层: 主要是用来存储外卖订单数据,这里使用的数据库是MySQL。
业务快速增长,驱动系统架构不断演进
这里设定一个背景,该外卖订单系统是位于一家初创型互联网公司的,目前积累的用户差不多10万的样子,每天活跃的用户大概就2万,每天相应的订单量也是2万的样子。
简单估算一下,一年的订单数据量也就七八百万的样子,单个数据库还是非常轻松抗住的。
但创业型公司的发展是比较迅猛的,如果踩对风口的话,用户会呈现爆发式的增长,这个时候外卖APP的用户量可能会迅速增长到了100万,日活用户20万,日订单20万,订单单表也从之前的几百万快速达到了2000万的级别,如下图:
令人担忧的是,随着时间的推移,订单单表的数据会继续快速增长,此时SQL查询的性能开始慢慢下降,这时就要着手优化sql了。
此时先从索引和sql着手优化,展示sql优化的一般流程,这里将会有2个case,
优化案例——高峰期大量请求打到MySQL,导致数据库资源占用率很高,从而降低了MySQL的查询性能,最终导致订单sql查询突增到2s。
为了解决这个问题,引入缓存,如下图:
说白了,就是使用缓存来承接大多数的查询请求,这样到达数据库的请求就非常少了,数据库的资源占用率就会稳定在一个正常范围,从而使得订单sql的查询效率,不至于受到很大影响。
引入读写分离方案
优化案例—— 由于促销活动的原因,大量下单的用户会不断刷新页面来查询订单信息,比如看一下订单是否开始配送,此时就会导致大量的请求打到MySQL上去。
此时单库又抗不了这么读请求,就导致了数据库负载很高,从而严重降低了订单sql的查询效率,最终导致在促销活动期间,订单sql的查询时间突增到2.5s。
促销活动期间对订单的操作,是典型的读多写少场景,为了解决这个问题,引入了读写分离的方案,如下图:
也就是写数据请求走主库,而读数据请求走从库,由于搞了2个从库,它们可以一起来抗住大量的读请求,订单sql的查询效率就可以得到显著的提升。
引入垂直分库方案
引入读写分离方案后可能又会遇到一个问题,那就是此时商品模块、订单模块、用户模块都部署在同一台物理数据库上,也就是主库上,此时这台物理数据库的CPU、内存和网络的负载能力,都是商品模块、订单模块、用户模块共用的。
如某天,商品模块做了一些活动,此时商品模块就会承接大量的读请求,尴尬的是商品模块并没有做读写分离,此时商品模块所处的这台物理数据库,它的CPU、内存和网络负载的占用都会很高。
关键是,数据库的资源是有限的,商品模块已经占用了大量的数据库资源,而订单模块能用的数据库资源就变得非常有限了,此时订单写数据的sql执行时间就可能突增到了2s,对于订单来说肯定是万万不能接受的。
所以,为了避免其他业务模块对订单模块的影响,将进行了垂直分库的改造,如下图:
垂直分库后,每个业务都有自己独立的一台物理服务器,之前资源相互占用的问题也就不存在了,最终完美的解决了订单写数据时间突增的问题。
因为随着时间的推移,订单单表的数据量势必会越来越大,而订单sql查询的时间也会越来越慢,为了提高sql的查询效率,同时也为了更好的扩展性,最终得要引入这套分库分表的方案。
来看一下分库分表版本的订单系统架构
引入分库分表的方案后,外卖订单系统的系统架构如下图:
整个分层没有变化,分库分表后还是分为了三层,分别是访问层、服务层和数据层,还是从上到下逐一介绍:
访问层:
访问层使用的还是postman,这一层没有任何变化。
2. 服务层:
3. 数据层: 还是使用MySQL,只不过会使用ShardingSphere来做sql改写和读写分离,然后在数据层还将引入缓存,缓存使用Redis来实现。
结束语
本节主要对整个外卖订单系统的背景、系统演进的过程、单库版本的系统架构和分库分表版本的系统架构,做了一个简单的介绍,后续就会围绕单库版本的订单系统来进行一步一步的优化,最终优化成分库分表版本的系统架构。
如何将库存数据导入速达里并进行分库
你所说和系统是指电脑系统还是速达账套?如果是电脑系统,则应先备份账套,并把备份拷到一个合适的位置,重做电脑操作系统后,再安装速达3000PRO,恢复账套即可;如果是速达账套,操作就要麻烦一些了。 提供两种办法供参考:一、初始数据导入法(如果你每个月都正常结账可选用此法):1、本会计期间结束后,对本期间进行结账(注意不要在账套中做下期间的任凭地何业务单据,否则,无法使用此方法);2、备份账套;3、关闭速达3000PRO客户端程序,打开速达3000PRO服务器;4、按停止按钮,再按账套维护按钮,系统打开一个新的窗口;5、在新窗口中,选中要处理的账套,再选择其它维护---初始数据导入,根据系统提示一步步走完,即可得到一个新的账套,库存与原账套中完全相同;6、说明:这种方法简单,但是货品编码和所有的账套选项,只能延用老账套的,不能修改。 二、手工导入法:1、打开要处理的账套;2、资料--货品-货品资料--编辑--显示加权价,加权价显示出来后,编辑--导出Excel,得到货品资料。 3、资料--仓库--分仓库存--编辑--导出Excel,得到分仓库存表;5、新建一个账套,录入货品类别和仓库资料;6、导入货品资料:打开新建的账套,文件--资料导入,打开资料导入窗口,要导入的资料名称选货品资料,Excel文件表路径选择你的货品资料文件,根据提示一步步走完,则货品资料被导入;7、库存数量表格式修改:打开库存数量文件,删除仓库、货品编码行以上的所有行,删除货品名称、规格、单位三列,保存文件;8、库存数量的导入:进销存初始化--库存商品初始化--编辑--Excel导入,选择库存数量的Excel文件,打开,再根据系统提示一步步进行,直至完成,导入成功;9、其它资料的导入与此相同。
我要科学电功的计算公式!(初中的)
P=UI是计算用电器消耗的电功率。比如电动机中电能不仅转换为了内能,大部分的电能还转换成了机械能P=I^2R 和 P=U^2/R是计算用电器中电阻部分消耗的电功率因为纯电阻电路中电能没有转换成其他形式的能量(磁能化学能)所以用焦耳定律和P=UI都可以,
求工厂“危险化学品管理程序”
工厂“危险化学品管理程序”很多,有原材料管理、生产管理、质量管理、产品库存管理、销售管理、运输管理等。 从生产过程来分:有原材料(及库存)的管理、中间体(中转库)的管理、产品(库存)管理,生产过程(生产工艺流程)的管理,包括管线管理、自动控制。 从运输来分,装卸管理、搬运管理、分类运输等;请明确具体的管理内容方可。
发表评论