大模型分布式并行技术–数据并行优化

2023-11-01 20:10:53通信和计算的重叠通常是将通信和计算算子调度到不同的流 (stream) 上实现的。通信算子调度到通信流， 计 算算子调度到计算流， 同一个流上的算子间是顺序执行的， 不同流上的算子可以并行执行， 从而实现反向中梯 度通信和计算的并行重叠。

从上文知道数据并行中需要同步每一个模型梯度， 这是通过进程间的 Allreduce 通信实现的。如果一个模型有非常多的参数，则数据并行训练的每一个 step 中会有非常多次的 Allreduce 通信，下图为融合梯度同步示例。

通信的耗时可以从通信延迟(lantency) 和数据传输时间消耗两方面考虑。单次通信延迟时间相对固定， 而传输时间由通信的数据量和带宽决定。减少总的通信消耗，可以通过减少通信频率来实现，通信融合是一个可行的手段，通过将N个梯度的Allreduce通信合并成一次Allreduce通信，可以减少N- 1次通信延迟时间。

常用的 Allreduce 融合实现方式是在通信前将多个梯度 tensors 拼接成一个内存地址连续的大 tensor，梯度同步时仅对拼接后的大 tensor 做一次 Allreduce 操作。参数更新时将大 tensor 切分还原回之前的多个小 tensors，完成每个梯度对应参数的更新。

除了降低绝对的通信耗时，还可以从降低整体训练耗时角度来优化，可以考虑通信和计算的异步流水实现。数据并行中的梯度同步 Allreduce 通信是在训练的反向过程中进行的， 而 Allreduce 后得到的同步梯度是在训练 的更新过程中才被使用， 在反向中并没有被使用。也就是说上一个梯度的通信和下一个梯度的计算间并没有依赖，通信和计算可以并行，让两者的耗时相互重叠掩盖，减少反向的耗时，下图为 通信计算并行相互重叠示例 。

通信计算并行相互重叠示例。

通信和计算的重叠通常是将通信和计算算子调度到不同的流 (stream) 上实现的。通信算子调度到通信流， 计算算子调度到计算流， 同一个流上的算子间是顺序执行的， 不同流上的算子可以并行执行， 从而实现反向中梯度通信和计算的并行重叠。需要注意的是， 当通信和计算被调度在不同的流上执行时， 需要考虑两个流之间依赖和同步关系。

在梯度同步的数据并行场景中，开发者需要需要通过 stream 间的同步功能保证：

以上两个方法是数据并行中常用的减少通信时间消耗， 提高并行加速比的优化策略。如果能做到通信和计算的重叠程度越高，那么数据并行的加速比越接近 100% ，多卡并行对训练吞吐提升的效率也就越高。

HID中CAN-BUS是什么意思？

HID氙气灯一般来说由灯头，电子镇流器（也叫做安定器，稳压器，等），，线组等组成：　1.灯头：您仔细观察就会发现，HID氙气灯头是没有灯丝的，不存在钨丝烧断的问题；　2.电子镇流器：利用蓄电池12V的直流电压，经过一系列的转换、控制、保护、升压、变频等动作后，产生一个瞬间V的点火高压对灯头进行点火，点亮后再维持85V的交流电压；　3.线组：一般采用阻燃材料做成，通过加大电源线的截面积，提高了电流通过能力，保证了HID氙气灯的正常工作。

1,CAN-BUS的起源

控制器局域网（controllerareaNETwork 简称CAN）最初是德国Bosch公司于１９８３年为汽车应用而开发的，一种能有效支持分布式控制和实时控制的串行通讯网络，属于现场总线（FieldBus）的范畴。 １９９３年１１月，ＩＳＯ正式颁布了控制器局域网ＣＡＮ国际标准（ISO），为控制器局域网标准化、规范化推广铺平了道路。 目前它已经成为国际上应用最广泛的开放式现场总线之一。

2，CAN-BUS的原理

CAN（Controller Area Network）即控制器局域网络。 是应用在现场、在微机化测量设备之间实现双向串行多节点数字通讯系统，是一种开放式、数字化、多点通信的底层控制网络。 CAN协议建立在ISO/OSI模型之上，其模型结构有三层。 协议分为Can2.0A, CAN2.0B,CANopen几种。

CAN-BUS即CAN总线技术，全称为“控制器局域网总线技术（ControllerAreaNetwork-BUS）”。 ＣＡＮ总线的通讯介质可采用双绞线，同轴电缆和光导纤维。 通讯距离与波持率有关，最大通讯距离可达１０ｋｍ，最大通讯波持率可达１Ｍｄｐｓ。 ＣＡＮ总线仲裁采用１１位标识和非破坏性位仲裁总线结构机制，可以确定数据块的优先级，保证在网络节点冲突时最高优先级节点不需要冲突等待。 ＣＡＮ总线采用了多主竞争式总线结构，具有多主站运行和分散仲裁的串行总线以及广播通信的特点。 ＣＡＮ总线上任意节点可在任意时刻主动地向网络上其它节点发送信息而不分主次，因此可在各节点之间实现自由通信。 ＣＡＮ总线协议已被国际标准化组织认证，技术比较成熟，控制的芯片已经商品化，性价比高，特别适用于分布式测控系统之间的数据通讯。

OSS网管主要是用来做什么的？

OSS网管全称是综合业务支撑平台(移动是BOSS，联通是UNICSS)。 目前主要采用爱立信的设备。 综合业务支撑平台主要是针对移动通讯行业开发的支撑平台，综合营运商各个方面的业务管理，整合各方面的资源，使资源得以充分共享。 1、平台总体介绍：综合业务支撑平台主要应用于电信行业，帮助运营商实现灵活多变的营销策略，支撑营运商“以客户为中心”的管理理念，是一个有机的企业核心级支撑系统。 2、系统介绍：综合业务支撑平台由专业计费、综合营业、综合帐务、综合结算、客户资料统一管理、统一支付、系统监控等子系统组成：1、各专业计费子系统完成各种业务数据的采集与计费；2、综合帐务子系统实现各业务优惠、出帐、多业务合帐、帐单级优惠、交叉优惠、实时信用度控制等多功能、多业务的“一单清”；3、综合营业子系统实现多业务统一的营业受理、帐务支付和综合查询等“一台清”业务受理功能；4、综合结算子系统实现各业务国内、国际结算及各业务间结算；5、客户资料统一管理子系统提供统一的客户数据管理接口，实现多业务的客户资料共享，综合营业子系统是客户信息的初始唯一入口；6、客户支付子系统实现多业务的统一收费，并基于多服务渠道的接入扩展用户支付途径和支付手段（现金、托收、预付款、语音交费、网上交费等）；7、监控子系统通过实时采集网络上各个监控节点的信息，实现对系统中运行的各个部分、各个层次的监控告警功能。 可基于J2EE架构并采用JAVA总线式结构开发，内部各子系统模块化、标准化设计，各个子系统和其他子系统间的接口实现规范化、统一化，为其他子系统提供标准的数据接口和通讯接口，增加系统的灵活性和易扩展性。 J2EE体系架构是当前成熟、稳定的企业级应用平台，可提供多层的分布式应用模型、组件重用、一致化的安全模型、连接管理、性能优化以及灵活的事务控制，平台独立的、基于组件的J2EE解决方案不依赖于任何一个厂商的产品和API，便于系统的移植与分布。 支撑平台总体特点如下：1、分布式技术，扩展能力强，根据实际情况，结合硬件实时进行负载均衡；2、数据实体封装技术；3、系统整体设计：表现层、应用层、数据管理层、数据层相对独立实现；4、业务数据支持大容量数据库并提供与第三方数据库互连接口；5、与现有通信网相接，提供开放的标准接口；

Storm Spark Hadoop 这三个流行并行计算框架有什么不同

Storm用于处理高速、大型数据流的分布式实时计算系统。 为Hadoop添加了可靠的实时数据处理功能 Spark采用了内存计算。 从多迭代批处理出发，允许将数据载入内存作反复查询，此外还融合数据仓库，流处理和图形计算等多种计算范式。 Spark构建在HDFS上，能与Hadoop很好的结合。 它的RDD是一个很大的特点。 Hadoop当前大数据管理标准之一，运用在当前很多商业应用系统。 可以轻松地集成结构化、半结构化甚至非结构化数据集。