大数据与云计算的深度融合，体现在哪几个方面？

2021-03-11 09:00:14随着整个IT生态的进一步发展，在2021年，IT从业人员对大数据的发展趋势有一个普遍的共识，就是大数据和云计算的进一步深度融合的趋势，即大数据拥抱云计算，走向云原生化。

随着整个IT生态的进一步发展，在2021年，IT从业人员对大数据的发展趋势有一个普遍的共识，就是大数据和云计算的进一步深度融合的趋势，即大数据拥抱云计算，走向云原生化。

明哥在这里，跟大家一起看下，大数据与云计算的深度融合的趋势下，深度融合具体体现在哪些地方。

大数据与云计算的深度融合，体现在以下几个方面：

一、应用方的大数据平台上云：使用大数据技术的业务应用建设方，不再自建数据中心，而是将大数据平台搬到了云上，有的是在云厂商的 IaaS 层上自建大数据平台，现在以这种方式在云上使用大数据的案例已经比较少了，有的直接使用云厂商提供的 PaaS 层大数据相关产品，有的甚至直接使用云厂商推出的 SaaS层大数据相关产品。现在“上云”有一点趋势需要强调下，就是大家都很重视不 vendor-lockin，底层的云可能是多个公有云和私有的融合的 hybrid-cloud;

二、云计算厂商在不断推出自己基于大数据的各种增值服务：为了提高自己的市场竞争力，以进一步巩固/拓宽自己的市场地位，各大云厂商也在积极推出自己整合的大数据相关产品，有最基础的 s3/oss, emr/e-mapreduce，有上文的aws redshift,阿里云的maxcompute，除此之外，还有各种云上数据库，云上 serverless 形态的各种大数据服务等等，这个名单还在不断增长中，以下截图可见一斑：

三、各传统大数据厂商已经转向依托云来提供自己的产品和服务：如 elastic 很早就开始基于云交付自己的elk 技术栈了，如databricks的大数据平台和产品一直都是基于云来向客户提供服务的，如 cloudera 不断探索改变自己的商业模式;

四、各个具体的大数据组件都在主动改变自身架构，积极向云原生靠拢以“云化”：从理念层面讲，大数据已经从最早的强调“数据本地性”和“移动数据不如移动计算”的理念，演进到了现在的强调“存储计算分离”的理念。各个新推出的组件和框架主动拥抱云原生，如pulsa，TiDB等都是依托于存储计算分离的云原生架构;各个传统的组件虽然有历史包袱，也在不断求新求变，如flink/spark都深度整合支持了kubernetes集群模式;如kafka也在不断探索如花云化：包括完全去掉zookeeper依赖，包括Rebalance Protocol的 Static Membership等;正如古语所言，“顺则昌不顺则亡”，一些不适应云原生架构的技术组件，其市场正在不断萎缩，如很多场景下，kubernetes都替代了yarn,对象存储oss/s3等也在替代hdfs ，我们也注意到了apache 社区推出的Ozone，该组件在对象存储的基础上，也融合推出了文件系统API，该组件的背后有很多原hdfs社区的committer在贡献代码，在cloudera的cdp平台中也内嵌支持了该组件。下图展示了flink/spark跟kubernetes的深度整合：(注意不是简单的使用k8s operator将spark/flink作业运行在k8s集群中，而是native的深度的整合)

09年非主流男生发型走什么趋势?

NO.1公主娃娃头延续卷发大热的流行趋势，2009年，酷似公主娃娃的蓬松卷发继续以可爱吸引目光，微微卷曲的淑女波浪和夸张的爆炸头同样不甘落后，纷纷以优雅和性感夺取眼球。 人气解读：整个美发界中，柔美的中长卷发将继续成为散发独特魅力的主流发型，只是更多的个性化元素将被注入，线条、块面、空间感等理念被运用得更加广泛。 NO.2质感直发线条的反差、用虚实结合的线条突出头发的质感，也是今季流行的发型效果。 人气解读：既有柔和的虚线条，也有富有力度的实线条，虚实线条的反差突出了头发的质感。 耳部采用断剪的方法，制造出更硬的线条，使发型更突出、更酷。 从发色上看，用黑红两色搭配的刘海显得优雅、古典；而后部采用古铜色配合虚线，更体现出夏天的感觉。 NO.3层次短发今年仍旧流行的短发，在此基础上运用了如几何、双层、斜向等修剪方式取代过去单调的发式。 人气解读：此款短发层次丰富，通过不同发色的运用，使其层层之间错落有致，给人清爽有灵气的感觉。 NO.4 对比颜色2009春夏发型依旧强调颜色的使用，通过采用更大胆的颜色，来延伸发型创意的深度。 人气解读：大胆运用了大红、暗青、冷棕与深紫等几种不同色系的颜色做对比，制造出轻盈、舒畅的头发线条，时尚中不乏清纯。 NO.5 复古优雅欧洲宫廷风格的沿用，浓密的小卷在日常适合打理，高高的束发，让整体发型达到一个饱满的程度。 巧妙地融合了所有明艳妖娆的事物，强调了女人的浪漫柔美，蓬松的卷度、轻盈的层次，除能增加发丝立体感外，更可突显卷发的卷翘轻盈感，女人的魅力就是从卷发开始。 人气解读：时尚界到处都在猛吹复古风，发型也不例外。 高贵的复古造型，适于出席各种宴会场所。 NO.6 闪亮发饰这不是选美小姐的专利，闪亮的发饰一不小心就让你成了PARTY上的主角。 人气解读：小王冠是赫本留下的经典，现今的明星们将它演绎各有风情。 NO.7蓬松卷曲2009继续流行卷曲、蓬松的头发，但在内部结构上，更强调线条的干净与质感。 人气解读：今年又开始流行或浓烈、或含蓄的红色，采用它们与古铜色、偏灰棕色的冷、暖调对比，更加突出了头发纹理。 经过调整后，同一个发型呈现出更卷曲、蓬松的造型，显出更俏皮、活泼的女人味。 NO.8东方刘海今年刘海的剪法趋向圆形和齐平式，这种看起来具有东方色彩的刘海长过眉毛，剪法有层次感，看起来很有女性韵味。 如旧上海时候那样剪得齐齐厚厚的刘海，刚好盖住眉毛，眼睛大的显得更有神气，眼睛小的则更显妩媚。 人气解读：刘海处以别针制造不对称效果，也为发型平添了俏皮，带有几分旧上海的味道。 NO.9大体积盘发盘发是最能体现女性气质的。 不同的盘发方法可以创造出千变万化的发型，从而充分表现女性活泼、青春、时尚、成熟、优雅、性感等多样化的风采，看起来具有十足的女人味，体现女性温婉动人的妩媚；于不经意间垂下的一缕松散的发丝，更衬托出华贵高雅。 人气解读：晚装盘发当然是配合出席正式的晚宴或者重要的盛典，这类盘发端庄雅致///

什么是人机共驾？

人机共驾（Shared Autonomy）MIT 认为自动驾驶应该分为两个等级：一、人机共驾（Shared Autonomy）；二、全自动驾驶（Full Autonomy）。 这样的分类方式不仅能够提供有建设性的指导方针，添加必要的限制条件同时还可以对要实现的目标进行量化设定。 甚至，对每个类别下要实现的功能、对应的技术需求以及可能遇到的问题都可以划分出来。 这个原则的核心在于对「人类驾驶员在环」的讨论。 为了实现对车辆的有效控制，人和机器组成的团队必须共同保持对外部环境有充分的感知。 目标是促使整个行业对「人机共驾」和「全自动驾驶」进行清晰地划分。 需要指出的是，表 I 中的术语「Good」和「Exceptional」用来表示解决 1% 极端案例的优先级顺序。 远程操控、V2X 和 V2I 等并非必须的技术，如果要使用的话需要达到特殊的能力要求。 在实现高等级自动驾驶的方法上，传统思路全程都跳过了对「人」这个因素的考虑，精力主要集中在对地图、感知、规划以及表 I 中「全自动驾驶」一栏标注为「exceptional」的技术上。 实际来看，考虑到目前的硬件和算法能力，这种解决方案对高精度地图、传感器套件的鲁棒性要求很高，提供的是较为保守的驾驶策略。 而正如表 I 所述，「以人为中心」的自动驾驶汽车着眼点主要在司机身上。 负责控制车辆的依然是人，但前提是要对人的状态、驾驶方式及之前的人机合作经验做充分的考量，同时把车辆的转向、加减速等交由人工智能系统负责。 以特斯拉的 Autopilot 为例，之前 MIT 的研究显示，测试中有超过 30% 的行程都是由这套 L2 级驾驶辅助系统控制完成的。 而如果人机共驾应用成功的话，应该能实现超过 50% 的机器控制率。 在这次实验中，MIT 表示无人车系统在接管过程中呈现出了不同程度的能力，而人类驾驶员始终在密切关注着机器的动态，根据感知系统获得的信息及时预测可能发生的危险。 二、从数据中学习（Learn from Data）从表 I 不难发现，这其中涉及的任何一项车辆技术都是数据驱动的，需要搜集大量的边缘案例数据，利用这些数据持续不断地优化算法。 这个学习过程的目的应该是，通过大量数据实现从传统的模块化监督学习向端到端半监督式和无监督学习过渡。 要实现车辆的自动驾驶，传统的方法，不管是哪个级别，几乎都不会大量的应用机器学习技术。 除了在一些特殊的线下场景，比如 Mobileye 的视觉感知系统要进行车道线识别，或者是通用 Super Cruise 搭载的红外摄像头要对驾驶员头部动作进行预测等。 特斯拉的 Autopilot 可能要比其他方案更进一步，在开发针对第二代硬件平台 HW 2.0 的软件算法时，在视觉感知上应用了越来越多监督机器学习的原理。 但即便如此，对车辆的绝大部分控制以及对驾驶员状态监测的实现中，并没有利用大数据驱动的方式，也几乎不涉及线上学习的过程。 而在目前业界进行的一些全自动驾驶技术的路测中，机器学习主要应用于环境感知这一环节。 更甚的是，这些车辆采集到的数据，无论是从量还是多样性来看，和具备 L2 级自动驾驶能力的车型相比，逊色不少。 特斯拉 Autopilot 对目标物、车道线的检测主要依赖机器学习算法进行 | ElectrekMIT 认为，「L2 级自动驾驶系统中机器学习框架使用的数据，从规模和丰富性的角度来看都具有足够的扩展能力，可以覆盖多变的、具有代表性、挑战性的边缘案例。 」人机共驾（Shared Autonomy）要求同时搜集人和车辆的感知数据，挖掘分析后用于监督学习的标注。 在 MIT 的实验过程中，驾驶场景感知、路径规划、驾驶员监控、语音识别以及语音聚合都应用了深度神经网络模型，可以通过搜集到的大量驾驶体验数据进行持续性的调校和优化。 在进行数据采集时，MIT 表示并不会只局限于单一的传感器来源，而是对整个驾驶体验通盘考虑，并将所有的传感器数据流通过实时时钟（real-time clock）汇总、聚合，用于多个神经网络模型的标注。 这种方式能够让驾驶场景与驾驶员状态能够很好地匹配起来，而在聚合的传感器数据流进行标注工作，使模块化的监督学习可以在数据规模允许时轻松地向端到端学习过渡。 三、监督人类（Human Sensing）这个其实就是我们俗称的「驾驶员监控」。 它指的是对驾驶员的整体心理以及功能特征，包括分心、疲惫、注意力分配和容量、认知负荷、情绪状态等的不同程度进行多维度的衡量和评估。 目前除了通用 Super Cruise 在方向盘上装有一枚红外摄像头外，不管是搭载了 ADAS 驾驶辅助系统的量产车型，还是在路测的全自动驾驶汽车，绝大部分都没有提供任何有关驾驶员监控的软件和硬件。 特斯拉 Model 3 其实也装了一枚车内摄像头，但目前尚未启用，具体功用官方表示要等软件更新后才知道。 而基于视觉的解决方案以外，市面上还包括一些准确率不高的方式。 比如特斯拉在方向盘上安装了扭矩传感器，也有的公司利用监测方向盘是否发生倒转的方式推断驾驶员是否出现疲劳情况。 全新一代凯迪拉克 CT6 搭载的驾驶员监控系统由 Seeing Machines 提供 | 官方供图MIT 认为「对驾驶员状态的感知和监控是实现高效人机共驾的的第一步，同时也是最关键的一步。 」在过去的二十多年里，来自机器视觉、信号处理、机器人等领域的专家都进行过相关课题的研究，目的都是在探讨如何尽可能保证驾乘人员的安全。 此外，对驾驶员状态的监测对如何改善和提升人机交互界面、高级驾驶辅助系统 ADAS 的设计都有很大帮助。 随着汽车智能程度的不断提高，如何准确、实时地探测到驾驶员的各种行为对打造安全的个性化出行体验尤为重要。 比较有意思的一点是，从完全的手动驾驶到全自动驾驶，这其中涉及到不同模式切换的问题。 一般来说双手脱离方向盘（handoff）就是一种信号，可能表示系统要做好接管的准备了，但还有什么其他更准确的信息可以用来判断，可能这也是「驾驶员监控」的研究人员需要持续思考的地方。 四、共享的感知控制（Shared Preception-Control）通俗点来说，这相当于为整个自动驾驶系统增加了「一双眼睛和手」。 目的是建立额外的感知、控制和路线规划机制。 即便在高度自动驾驶系统运行状态下，也要及时地为驾驶员推送信息，将其纳入到整个驾驶过程中。 研究全自动驾驶的目的就是为了完美地解决「感知-控制」的问题，考虑到人类的不靠谱和行为的不可测性。 所以传统观点认为最简单的办法就是把人从开车这件事上排除掉，像十几年前在 DARPA 挑战赛中获胜的队伍一样。 但和传统解决思路相反的是，MIT 提出的「以人为中心」的理论将人置于感知和决策规划闭环中的关键位置。 因此，整车感知系统就变成了支持性的角色，为人类驾驶员提供外部环境信息，这其实也是为了解决机器视觉本身存在的局限性而考虑的。 表 II MIT「以人为中心」自动驾驶系统执行的感知任务，包括对驾驶员面部表情、动作以及可驾驶区域、车道线以及场景内物体的检测 | MIT在 MIT 的研究中，工作人员围绕这个原则设计了几条关键的算法。 表 II 是其中几个典型的案例。 首先，从视觉上可以看到神经网络做出的判断、道路分割的区域以及对驾驶场景状态的预估的可信程度；其次，将所有的感知数据整合并输出融合式的决策建议，这样在表 IV 的场景下就能够对整体风险进行预估；再次，MIT 一直使用的是模仿学习：将人类驾驶员操控车辆时方向盘的动作作为训练数据，进一步优化端到端的深度神经网络；最后，MIT 使用的端到端的神经网络属于一个叫做「arguing machines（争论机器）」框架的一部分，它为主要的感知-控制系统（表 III）提供了来自人类的监督。 这里的「争论机器框架」是 MIT 2018年提出的一个概念，它将主要 AI 系统与经过独立训练以执行相同任务的次要 AI 系统配对。 该框架表明，在没有任何基础系统设计或操作知识的情况下，两个系统之间的分歧足以在人工监督分歧的情况下提高整体决策管道的准确性。 表 III 对「争论机器」框架在「Black Betty」自动驾驶测试车上的应用和评估 | MIT表 IV 通过结合车内外感知系统数据得出的融合型决策能够充分预估可能发生的风险 | MIT五、深度定制化（Deep Personalization）这里涉及到一个「将人类融入到机器中」的概念。 通过调整 AI 系统的参数，使其能够更适合人类操作并呈现出一定程度的定制化。 最终的系统应该带有该驾驶员的行为特征，而不是像刚出厂时的普通配置一样。 六、不回避设计缺陷（Imperfect by Design）对整个汽车工业而言，处于很多原因的考虑，进行工程设计时通常考虑最多的是「安全」，所以要尽可能地讲系统错误出现的频率和程度降至最低。 换句话说，对自动驾驶而言，完美是目标，这也导致了在进行某些功能设计时，可能会因其「不完美」和「不确定」的性质而放弃这些可能是「必要」的设计。 但是在 MIT 的研究看来，丰富、高效的沟通机制在设计用于实现「人机共驾」的人工智能系统时，是非常必要的因素。 就「沟通」而言，系统存在的不完美对人和机器而言，在进行感知模型的交换和融合过程中，能够提供密集、多样的信息内容。 如果将 AI 系统的不确定性、局限性和错误都隐藏起来，这也就错失了与人建立信任、深度理解关系的机会。 MIT 认为，此前业界在设计半自动驾驶系统时所采取的「完美」思路，可能是迄今为止所犯的严重错误之一。 而在开发「Black Betty」这辆无人车时，MIT 把人工智能系统的局限性通过文字和视觉的形式与人类进行充分沟通。 例如将人类和机器对外部世界的感知视觉化，让驾驶员知晓 AI 系统的局限所在。 研究人员表示这种方式相比只是提供「报警」或者「模糊的信号」，是最简洁有效的人机沟通方式。 尽管这种沟通机制要实现还面临一些技术上的难题，比如视觉化的过程通常对芯片的算力和实时调用的能力要求很高。 但值得机器人、自动化以及人机交互等领域共同关注并思考解决的办法。 七、系统级的驾驶体验（System-Level Experience）目前，汽车工业的工程设计过程中，一个最主要的目标就是「安全」。 另一个则是「降低成本」。 第二个目标导向的是模块化、基于零部件的设计思考。 但同样的模式在面向机器人、计算机视觉、机器学习等领域的人工智能系统设计中却有着迥异的理由。 譬如在设计中重视单一功能（目标物检测等）的实现，能够有效测试该算法的合理性并逐步使之得到改善和优化。 但是这个过程也难免会把注意力过渡集中在单一功能而忽略了系统的整体体验。 在过去的几十年里，「系统工程」、「系统思考」这样的原则一直在指导着汽车工业产品的输出。 然后，类似的思考却几乎没有应用在自动驾驶汽车的设计、测试和评估过程中。 正如 MIT 上面提到的这六大原则，人和机器都不可避免会有缺陷，只有当「人机共驾」这个框架在系统层面上得到考虑时，这些缺陷才可能有机会成为优势。 对「人机共驾」的永恒讨论不管短期还是长期来看，其实很难预测自动驾驶的哪条实现路径最终会成功，而且退一万步说，你甚至都不知道什么样的结果算得上是「成功」。 在谈到研究目的时，MIT 希望一套自动驾驶系统能够同时满足「安全」、「愉悦的驾驶体验」和「提升的出行体验」这三个要求，而不是彼此妥善折中。 而尽管「人机共驾」这个话题在过去的十年里，是包括汽车工业、机器人在内很多领域研究的焦点，但它仍值得更深入的探讨。 在今年四月份的上海国际车展上，coPILOT 智能高级驾驶辅助系统，这是一套定位「L2+级」 的自动驾驶辅助系统，目的是提高乘用车的安全性和驾驶舒适性。 从产品名称不难看出，这套系统同样强调了「人机共驾」的概念。 它配备了相应的传感器和功能，能够监控驾驶员并在发生潜在危险情况时触发警告。 例如，当发生驾驶员注意力不集中、几乎完全未将注意力放在路面交通上或显示出瞌睡迹象等。 所以人工智能扮演了「私人驾驶助手」的角色，这个产品理念与 MIT 的研究不谋而合。 到底完美解决驾驶任务比完美管理人类的信任和注意力哪个更难？这是值得深思熟虑的问题。 MIT 认为关于这个问题的讨论仍不会停止，不管是这篇论文还是「Black Betty」这台无人测试车，都是基于「人机共驾」研究的成果，MIT 认为它是开发「以人为中心」自动驾驶系统的必由之路。

社交零售会难做吗？

新零售是2016年马云在杭州的云栖大会上提出的新零售概念出以来，新零售所提倡的线上+线下相结合，消费场景就是线下的体现，弥补线上消费带来的体验感不足带来的劣势，同时将线下的资源带到线上。 与此同时，将线上的资源向线下引导，形成线上与线下资源的互补。 目前社交新零售的应用十分广泛，特别在零售社区团购，同城配送，生鲜板块。 目前新零售主要用线上商城、小程序、app等这些工具来实现线上+线下的互通，实现转型。 如果你是零售店家，利用线上的商城以满足展示，选购，筛选，扫货购物等需求与浏览购买、结算、收藏、分享、物流查询、门店自提、线上客服等在线服务，成为方便满足客户在线上发起到结算一系列流程，之后便可以使用进销存系统对新的出入库商品进行扫描，日常仓库的入库、出库，到门店的入库、销售的整体流程通过小程序的方式转换为线上操作，实现了仓库扫码出/入库，门店下单进货，门店扫码销售，将繁琐的流程便捷化。 省去了之前繁琐盘点核实库存，补货盘货的大量时间，同时可以根据云客系统将客户录入、客户标签化管理、订单跟踪、绩效管理整合到云端，在互联网大数据的精确计算分析下，给店主和企业主们提供了清晰的数据体现，方便店主在经营的同时更好的进货，铺货，销售高峰期，减少不必要的货物积存，为企业的发展减轻了压力，也可以了解一下龙屹科技的新零售解决方案。 目前这种线上线下新零售的方式已经被无数的商家企业证明了成功，帮助越来越多的传统企业实现了转型，让越来越多的中小企业享受到互联网带来的商业红利期。 小程序作为一个应用场景多，用户使用方便，接入端口丰富的平台，很好的起到了作为一个中间载体的功能，承接了线下到线上的渠道，搭建起了桥梁。 且相较于传统软件app，小程序的造价成本和制作周期有比较大的优势，加快了企业公司的铺排进度，在一些中小企业主眼中，是一个很好的试金石，深得他们的心。 如有进一步的需求，可以继续提问。 望采纳。