新记录诞生，腾讯云2分31秒打破imageNet训练记录
2020-08-21 17:17:308月21日，腾讯云正式对外宣布成功创造了128卡训练ImageNet业界新记录，以2分31秒的成绩一举刷新了这个领域的世界记录。若改变跨机网络带宽，该成绩还可以进一步提升至2分2秒，将这一记录提升到一个全新的高度。
8月21日，腾讯云正式对外宣布成功创造了128卡训练ImageNet业界新记录，以2分31秒的成绩一举刷新了这个领域的世界记录。若改变跨机网络带宽，该成绩还可以进一步提升至2分2秒，将这一记录提升到一个全新的高度。
这次记录是基于公有云25Gbps的VPC网络环境，使用128块V100 GPU，借助最新研制的Light大规模分布式多机多卡训练框架创造的，最终成绩定格在2分31秒训练 ImageNet 28个epoch，TOP5精度达到93%，之前的业界最好成绩是2分38秒。据了解，这项记录的背后团队来自腾讯云智能钛团队、腾讯机智团队、腾讯优图实验室以及香港浸会大学计算机科学系褚晓文教授团队。
作为人工智能最重要的基础技术之一，深度学习的应用已经快速延伸到智慧城市、智能制造等众多场景。然而与需求同步衍生的是在深度学习训练中产生的诸多问题，比如数据量庞大且训练耗时长、计算模型/结构愈渐复杂、参数量大、超参数范围广泛等。这些问题已经阻碍了深度学习开发应用的进度。如何做高性能AI训练和计算，不仅关乎到AI生产研发效率，还对AI产品的迭代效率和成功上线产生重要影响，而高效训练的一个非常重要的基准是如何在更短时间内对大型可视化数据库ImageNet做一次训练。
正是在这样的背景下，腾讯云联合多个团队研发出了Light大规模分布式多机多卡训练框架，从深度学习训练的速度、多机多卡的扩展性、batch收敛等方面，为业界提供了一套全新的训练解决方案。
在单机训练速度方面，腾讯云首先利用GPU云 服务器 的内存和SSD云盘，在训练过程中为训练程序提供数据预取和缓存，加速了访问远程存储数据。而针对大量线程相互抢占导致CPU运行效率低下问题，腾讯云通过自动调整最优数据预处理线程数来降低CPU的切换负担，让数据预处理和GPU计算并行，提升了整体训练的速度。
在多机扩展训练方面，以往的TCP环境下，跨机通信的数据需要从显存拷到主存，再通过CPU去收发数据，计算时间短加上通信时间长，使多机多卡的扩展性受到了很大挑战。腾讯云则凭借Light高效扩展了多机训练，通过自适应梯度融合技术、层级通信+多流手段、层级topk压缩通信算法等，充分利用通信时的网络带宽，优化了跨机通信的时间。
此外，为充分利用大规模集群算力，目前业界主要通过不断提升训练的batch size来提升训练速度，但是batch size的增大会对精度带来影响和损失。为解决这一问题，腾讯云通过大batch调参策略、梯度压缩精度补偿、AutoML调参等方法，有效实现了在增大batch size的同时，最小化其对精度的影响。
通过 Light大规模分布式多机多卡训练框架及平台等一系列完整的解决方案，ImageNet的训练结果取得了新突破。并且在取得高效训练的同时，也将其能力集成到腾讯云智能钛机器学习平台，并广泛应用在腾讯内外部的业务。
接下来，联合项目团队还将进一步提升机器学习平台易用性，训练和推理性能，构建稳定、易用、好用、高效的平台和服务，为算法工程师提供有力的机器学习工具，助力各行各业用户业务的发展。
从宝山怎么去交大闵行校去昂
乘车方案水产路 到达时间 地铁3号线(24站) 淞滨路 2分钟 张华浜 4分钟 淞发路 7分钟 长江南路 10分钟 殷高西路 12分钟 江湾镇 15分钟 大柏树 18分钟 赤峰路 19分钟 虹口足球场 22分钟 东宝兴路 24分钟 宝山路 26分钟 上海火车站 29分钟 中潭路 32分钟 镇坪路 34分钟 曹杨路 36分钟 金沙江路 38分钟 中山公园 41分钟 延安西路 43分钟 虹桥路 45分钟 宜山路 48分钟 漕溪路 50分钟 龙漕路 52分钟 石龙路 54分钟 上海南站 56分钟 换乘距离450米 | 步行时间 5分钟 地铁1号线(4站) 锦江乐园 65分钟 莲花路 67分钟 外环路 69分钟 莘庄 71分钟 换乘距离90米 | 步行时间 1分钟 地铁5号线(3站) 春申路 74分钟 银都路 76分钟 颛桥 79分钟途径 31站|行驶时间 79分钟|票价 7元
出站西侧就是上海交通大学闵行校区~
祝你出行愉快~
谢谢采纳~
500年一遇的日全食广东有得看吗?
只能看到日偏食，此次日全食的观测地点包括印度、尼泊尔、中国的长江中下游地区，以及部分日本以东的一些小岛屿，而其余的日全食路径将会在太平洋上 日全食区域的主要区域是我国长江中下游地区，所经各城市的全日食阶段持续时间如下：宁波4分18秒、舟山5分07秒、余姚4分54秒、绍兴4分40秒、杭州5分13秒、海宁5分48秒、嘉兴5分52秒、上海4分58秒、苏州4分55秒、无锡3分50秒、马鞍山3分21秒、芜湖5分00秒、安庆5分27秒、合肥2分53秒、桐城5分31秒、黄冈5分10秒、武汉5分22秒、荆州5分02 秒、宜昌5分17秒、荆门5分19秒、重庆4分05秒、南充4分01秒、达州2分48秒、成都3分25秒、乐山4分42秒、康定4分05秒。
日食只可能发生在农历的什么日
日食一定发生在农历初一。 日食成因 日食是月球运动到太阳和地球中间，如果三者正好处在一条直线时，月球就会挡住太阳射向地球的光，月球身后的黑影正好落到地球上，这时发生日食现象。 在地球上月影里（月影：月亮投射到地球上产生的影子）的人们开始看到阳光逐渐减弱，太阳面被圆的黑影遮住，天色转暗，全部遮住时，天空中可以看到最亮的恒星和行星，几分钟后，从月球黑影边缘逐渐露出阳光，开始发光、复圆。 由于月球比地球小，只有在月影中的人们才能看到日食。 月球把太阳全部挡住时发生日全食，遮住一部分时发生日偏食，遮住太阳中央部分发生日环食。 发生日全食的延续时间不超过7分31秒。 日环食的最长时间是12分24秒。 法国的一位天文学家为了延长观测日全食的时间，他乘坐超音速飞机追赶月亮的影子，使观测时间延长到了74分钟。 我国有世界上最古老的日食记录，公元前一千多年已有确切的日食记录。 日食一定发生在农历初一。
发表评论