基于 MaxCompute 分布式 Python 能力的大规模数据科学分析

2021-09-24 11:34:44Python的趋势是呈现上涨趋势，特别是在数据分析和数据科学领域，几乎是top one的编程语言。这是Python生态的发展趋势。当然，在数据分析数据科学机器学习这个领域，不只是有编程语言这一个因素。

一、Python 生态的重要性

Python has grown to become the dominant language both in>

统计来自

数据科学技术栈

在数据科学领域编程语言只是一个方面，语言不止包含Python，也有数据分析人员用SQL，或者传统分析语言R，或者是函数式编程语言Scala。第二个方面需要有数据分析对应的库，比如NumPy、pandas等，或者是基于可视化的库会在里面。Python运行的集群还会有一些运维的技术栈在里面，比如可以运行在docker或者是kubernetes上。如果要做数据分析数据科学，前期需要对数据进行清洗，有一些ETL的过程。有一些清洗不只是一两步能完成的，需要用工作流去完成整体的ETL的过程。里面涉及到最流行的组件比如Spark，整个工作流调度Airflow，最终结果做一个呈现，就需要存储，一般用postgreSQL数据库或者内存数据库redis，对外再连接一个BI工具，做最终结果的展示。还有比如机器学习的一些组件或者平台，TensorFlow、PyTorch等。如果是设计到Web开发，快速搭建起一个前端平台，还会用的比如Flask等。最后包括一个商业智能的软件，比如有BI工具tableau、Power BI，或者是数据科学领域经常用到的软件SaaS。

这就是整个数据科学技术栈比较完整的一个视图。我们从编程语言切入，发现如果要实现大规模数据的数据科学是需要方方面面的考量。

二、MaxCompute 分布式 Python 能力介绍

MaxCompute 分布式 Python 技术 – PyODPS

MaxCompute是一款SaaS模式的云数据仓库，基于MaxCompute是有兼容Python的能力。

PyODPS 是 MaxCompute 的 Python 版本的 SDK， 它提供了对 MaxCompute 对象的基本操作；并提供了>服务器上不止一核，包括GPU、TPU、NPU等做深度学习的硬件。可以把Python移植到这些硬件上做一些加速。这里的技术包含比如Modin是做多核加速pandas。在右下，也有一些框架在做分布式Python，比如RAY是蚂蚁的一款框架服务，本质上Mars是可以运行在RAY上，相当于Python生态的一个调度，一个kubernetes。DASK也是在做分布式Python，包括Mars。当然，最佳的模式是 Scale up 和 Scale out 两种做一个组合。这样的好处是，可以做分布式，在单节点上也可以利用硬件能力。Mars当前只能在大规模集群上，单机配置在GPU集群。

分布 Python 的设计逻辑

Mars本质上设计思路是把数据科学库分布式化掉，比如Python，可以把Dataframe做一个拆分，包括Numpy，Scikit-Learn。

把大规模作业拆分成小作业来做分布式计算。本身框架就是拆成作业用的，首先客户端提交一个作业，Mars框架把作业拆分，做一个DAG图，最后汇总收集计算结果。

Mars 场景1 cpu和GPU混合计算

1、安全和金融领域，传统大数据平台挖掘周期长，资源紧张，等待周期长。

利用 Lightgbm 2分类算法的模型训练：

将模型以 Create resource 方式传到 MaxCompute 作为 resource 对象，准备测试集数据

使用测试测试集数据验证模型，得出分类：

哪位大哥有关于"珍惜地球资源的重要性"的资料

我国能源资源总量虽然较多，但人均占有量少。 人均淡水资源量仅为世界人均占有量的四分之一，人均耕地不到世界平均水平的40%，人均森林面积仅为世界人均占有量的五分之一；45种主要矿产资源人均占有量不到世界平均水平的一半。 近几年，随着经济快速增长，对煤电油运和重要资源的需求量明显增加，价格大幅度上涨，一些重要能源资源对外依存度大幅度上升，我国重要能源资源短缺对经济发展的制约进一步加剧。 今后，随着我国工业化和城镇化推进，能源资源需求总量还会增加，经济发展面临的资源约束矛盾将长期存在。 节约能源资源，大力促进能源资源的高效利用和循环利用，是缓解能源资源约束矛盾的根本出路。 我国能源生产和消费以煤为主，燃煤造成的二氧化硫和烟尘排放量均占其排放总量的80-90%。 目前我国环境形势严峻的状况仍然没有改变。 主要污染物排放量已经超过环境承载能力，流经城市的河段普遍受到污染，许多城市空气污染严重。 生态破坏呈加剧之势，水土流失量大面广，草原退化，生物多样性减少。 大力节约能源资源，减轻能源资源消费增长给生态环境保护带来的巨大压力，关系到国家民族的生存与发展。 经济全球化为我国广泛参与国际分工与合作创造了条件，但面临的竞争也更加激烈。 节约能源资源，加大环境保护力度，从源头上减少污染，使企业生产过程和产品的原料成分、能效、回收、废弃和处置等都能够符合环境标准，关系到增强企业国际竞争力和外贸可持续发展。 实践证明，传统的高投入、高消耗、高排放、低效率的粗放型增长方式难以为继，必须尽快加以扭转。 但上半年经济增长达到10.9%，而能源消费增长超过经济增长速度，与实现单位GDP能耗降低4%左右的目标有较大差距，形势十分严峻。 节约能源资源是落实科学发展观、转变经济增长方式、从根本上缓解资源约束、减轻环境压力、实现全面建设小康社会目标和经济可持续发展的必然选择。 ``````

为什么热水放在冰箱中冻的比冷水快？

一、从能量扩散来说，热水温度相对于冷水比周围温度高，由扩散定律，其能量（即热量）要扩散的快些。 二、姆佩巴效应人们通常都会认为，一杯冷水和一杯热水同时放入冰箱时，冷水结冰快。 事实并非如此。 1963年的一天，在地处非洲热带的坦桑尼亚一所中学里，一群学生想做一点冰冻食品降温。 一个名叫埃拉斯托·姆佩巴的学生在热牛奶里加了糖后，准备放进冰箱里做冰淇淋。 他想，如果等热牛奶凉后放入冰箱，那么别的同学将会把冰箱占满，于是就将热牛奶放进了冰箱。 过了不久，他打开冰箱一看，令人惊奇的是，自己的那杯冰淇淋已经变成了一杯可口的冰淇淋，而其他同学用冷水做的冰淇淋还没有结冰。 他的这一发现并没有引起老师和同学们的注意，相反在为他们的笑料。 姆佩巴把这特殊现象告诉了达累萨拉姆大学的物理学教授奥斯博尔内博士。 奥斯博尔内听了姆佩巴的叙述后也感到有点惊奇，但他相信姆佩巴讲的一定是事实。 尊重科学的奥斯博尔内又进行了实验，其结果也姆佩巴的叙述完全相符。 这就确切地肯定了在低温环境中，热水比冷水结冰快。 此后，世界上许多科学杂志载文介绍了这种自然现象，还将这种现象命名为姆佩巴效应（MpembaEffect）。 三、蒸发——在热水冷却到冷水的初温的过程中，热水由于蒸发会失去一部分水。 质量较少，令水较容易冷却和结冰。 这样热水就可能较冷水早结冰，但冰量较少。 如果我们假设水只透过蒸发去失热，理论计算能显示蒸发能解释Mpemba效应。 这个解释是可信的和很直觉的，蒸发的确是很重要的一个因素。 然而，这不是唯一的机制。 蒸发不能解释在一个封闭容器内做的实验，在封闭的容器，没有水蒸气能离开。 很多科学家声称，单是蒸发，不足以解释他们所做的实验。 四、溶解气体——热水比冷水能够留住较少溶解气体，随着沸腾，大量气体会逃出水面。 溶解气体会改变水的性质。 或者令它较易形成对流（因而较易冷却），或减少单位质量的水结冰所需的热量，或者改变沸点。 有一些实验支持这种解释，但没有理论计算的支持。 五、对流——由于冷却，水会形成对流，和不均匀的温度分布。 温度上升，水的密度就会下降，所以水的表面比水底部热—叫热顶。 如果水主要透过表面失热，那么，热顶的水失热会比温度均匀的快。 当热水冷却到冷水的初温时，它会有一热顶，因此与平均温度相同，但温度均匀的水相比，它的冷却速率会较快。 虽然在实验中，能看到热顶和相关的对流，但对流能否解释Mpemba效应，仍是未知。 六、周围的事物——两杯水的最后的一个分别，与它们自己无关，而与它们周围的环境有关。 初温较高的水可能会以复杂的方式，改变它周围的环境，从而影响到冷却过程。 例如，如果这杯水是放在一层霜上面，霜的导热性能很差。 热水可能会熔化这层霜，从而为自己创立了一个较好的冷却系统。 明显地，这样的解释不够一般性，很多实验都不会将容器放在霜层上。 最后，过冷在此效应上，可能是重要的。 过冷现象是水在低于0℃时才结冰的现象。 有一个实验发现，热水比冷水较少会过冷。 这意味着热水会先结冰，因为它在较高的温度下结冰。

益生菌酸牛奶会不会增加脑力？

而添加了不同种类益生菌的酸奶功效也各不相同。 上海市预防医学研究院、南京医科大学等国家权威机构曾对光明健能AB100益生菌优酪乳酸牛奶（富含AB100益生菌——嗜酸乳杆菌和双歧杆菌，简称“AB菌”）进行功效评价试验，经过细胞免疫功能测定、体液免疫功能测定和NK细胞活性测定，试验结果均证明它具有增强免疫力的保健功能，并获得了国家食品药品监督管理局审核颁发的“健”字号证书。 光明e+益生菌酸牛奶之所以具有调节肠道菌群等保健功能也与其富含的e+菌群密切相关，经过严格筛选和科学试验的e+益生菌具有较强的耐酸及耐胆汁能力，能顺利通过胃肠环境而定植于肠道内。 国家权威机构对光明e+益生菌酸牛奶进行了功效评价试验，所有动物功能和人体试食试验的结果均表明它能明显增加肠道内乳杆菌和双歧杆菌的数量，即证明具有调节肠道菌群的保健功能。 光明畅优具有“调理胃肠道功能、有助润肠通便”功效也主要归功于所添加的“B+100”益生菌。 大量实验数据表明，“B+100”更适于在肠道内存活，促进平衡的免疫系统，促进肠道有益菌生长发育，维护肠道菌群生态平衡，有助于减少胃肠紊乱。 此外，“B+100”发酵以产生L型乳酸为主，更易为人体吸收利用。 “B+100”益生菌能减少碱性物质对大肠黏膜刺激，使肠道内渗透压增高，分泌亢进，促进肠道蠕动，从而预防或缓解便秘。 据悉,光明生产的益生菌酸奶背后有其亚洲领先的国家级技术中心支持，目前已拥有多种自主创新的菌株，并获得3项国家发明专利和1项国际发明专利。 （赵萌 晓林）