边缘对象存储如何支持分布式计算

2021-03-14 18:23:18对象存储是争夺边缘市场的重要竞争者，它提供高度分布式的点对点架构。

对象存储是争夺边缘市场的重要竞争者，它提供高度分布式的点对点架构。

边缘计算是一种IT模型，在该模型中，数据尽可能靠近其原始源进行处理，边缘计算在支持分布式工作负载方面发挥着越来越重要的作用。但是，它需要能够容纳大型数据集和高性能应用程序的存储系统。

考虑到这些要求，企业对边缘对象存储的兴趣与日俱增，并经常将结合闪存SSD和NVMe使用。

IoT推动对边缘计算的需求

云计算对企业工作负载非常有价值，因为它具有高度可扩展性，并可消除本地基础架构的资本支出和管理开销。但是，其集中性可能带来与传统数据中心相同的挑战，尤其是在延迟和数据量方面。

边缘的设备类型(例如智能手机、机械传感器和IoT设备)可以在短时间内生成大量数据。在某些情况下，该数据需要立即处理，以便企业快速响应设备或执行操作，例如在传感器出现问题时关闭机器。如果所有这些数据都传输到云端等集中式平台中，它将淹没网络和平台的系统，这会降低性能并增加延迟。

当企业在更接近那些设备的地方处理数据时，设备会更快地收到所需的响应。在远程设备附近处理和管理数据的需求，使企业开始转向边缘计算。

在边缘计算模型中，企业将经过过滤或整合的数据发送到集中式平台。他们可以在非工作时间安排这些传输，这样可以减少平台系统的负载，并更好地控制网络流量模式。边缘系统可控制发送到集中式平台的数据以及传输时间。

对于处理来自5G和IoT设备以及自动驾驶汽车、医疗设备、制造系统、监控摄像头和其他设备的数据，边缘计算至关重要。但是，为了成功运行，边缘计算需要存储系统可支持数据密集型操作。

在边缘的对象存储

边缘系统不能在独立的集中式云或数据中心平台运行。相反，它们扩展这些平台以支持越来越多的分布式设备及其数据。边缘环境中的存储系统必须满足本地处理操作的需求，它们还必须满足分散式基础架构的数据管理要求。

某些边缘环境使用文件或块存储系统—取决于工作负载和数据量，但是这些系统有局限性，并给分布式操作增加复杂性。因此，很多企业都希望对象存储能够支持边缘方案。

对象存储可提供高度分散且可扩展的架构，该架构由独立单元(或对象)组成，每个单元都包含数据、元数据和标识符密钥。企业在公共云平台中广泛使用对象存储，对象存储可以支持大量的非结构化数据。

由于其架构情况，对象存储非常适合边缘的分布式数据系统。它提供单个全局名称空间，该名称空间提供统一管理平面用于访问数据。它符合HTTP、REST和Amazon S3等标准技术，可简化数据访问。其丰富的元数据使其易于搜索和管理数据，以及执行高级而全面的分析。

边缘对象存储提供几乎无限的可扩展性，它还可避免分层文件系统带来的复杂性。由于IT部门可以轻松地复制对象，因此还可以促进高效的灾难恢复。

边缘对象存储解决了SAN和NAS系统的很多局限性，因为它提供点对点架构，可简化操作并提高灵活性。相同的存储操作运行在集中式环境以及边缘系统中，这可提供跨越网络和地理位置的一致、高效的存储基础架构。对象存储还可以适应不断变化的工作负载。它可以处理云原生应用程序—其中结合容器化和微服务等现代技术。

边缘对象存储和NVMe

对象存储必须能够满足边缘计算环境的性能要求。

在过去，对象存储主要因其分布式和可扩展性而广为人知，而不是其性能。元数据增加了开销，数据修改可能很麻烦，并且固有的延迟会影响读取操作。但是闪存SSD和NVMe的出现改变了对象存储在数据中心和边缘环境中的作用。

现在，有些供应商提供包括SSD的对象存储系统，采用全闪存或混合配置。这些系统支持需要高IOPS和低延迟的工作负载，例如人工智能、深度学习和大数据分析。企业还在边缘环境中使用它们来处理和存储来自分布式设备的数据。

为了进一步提高性能，某些全闪存存储系统增加了对NVMe或扩展的NVMe-oF的支持。 NVMe使应用程序能够充分利用闪存SSD固有的高性能和低延迟。与SAS或SATA等传统存储访问协议不同，NVMe是从头开始设计，旨在最大程度地提高闪存性能并减少延迟。 NVMe优化了命令提交并支持并行操作，这使得数据传输比旧协议所能实现的快得多。

闪存固态硬盘非常适合边缘计算，因为它们可以提高存储效率，它们可减少功耗并减少基础架构的占用空间。NVMe最大限度地提高闪存的固有功能。借助Flash和NVMe，可以实现边缘对象存储。

背板带宽是什么？

1、背板带宽和交换架构有什么区别？交换架构是指数据穿越设备的方式。 主要有：总线型：数据包通过总线达到所有端口，然后由中央处理器告诉每个端口是继续转发还是丢弃该数据包。 共享内存型：数据包被放到共享内存中，然后中央处理器告诉应该转发数据的端口/模块到指定位置读取数据。 交叉矩阵型：数据通过交叉矩阵开关直接送往该去的模块/端口。 可以由中央处理器决定送往方向，也可以由输入模块自己决定。 后者也就是分布式处理。 一般只有交叉矩阵型可以做到完全的分布式处理。 背板带宽是指数据包穿越设备时可以用到的带宽总和。 总线型就是总线的宽度，共享型是每个模块到达中央处理器的总线宽带的总和，交叉矩阵型是每个模块连接到矩阵的总线带宽的总和。

JAVA是编辑什么?

Java是由Sun Microsystems公司于1995年5月推出的Java程序设计语言（以下简称Java语言）和Java平台的总称。 用Java实现的HotJava浏览器（支持Java applet）显示了Java的魅力：跨平台、动感的Web、InterNet计算。 从此，Java被广泛接受并推动了Web的迅速发展，常用的浏览器现在均支持Java applet。 另一方面，Java技术也不断更新。 Java平台由Java虚拟机（Java Virtual Machine）和Java 应用编程接口（Application Programming Interface、简称API）构成。 Java 应用编程接口为Java应用提供了一个独立于操作系统的标准接口，可分为基本部分和扩展部分。 在硬件或操作系统平台上安装一个Java平台之后，Java应用程序就可运行。 现在Java平台已经嵌入了几乎所有的操作系统。 这样Java程序可以只编译一次，就可以在各种系统中运行。 Java应用编程接口已经从1.1x版发展到1.2版。 目前常用的Java平台基于Java1.4，最近版本为Java1.6。 Java分为三个体系JavaSE，JavaEE，JavaME。 Java语言是一个支持网络计算的面向对象程序设计语言。 Java语言吸收了Smalltalk语言和C++语言的优点，并增加了其它特性，如支持并发程序设计、网络通信、和多媒体数据控制等。 主要特性如下：　1、Java语言是简单的。 Java语言的语法与C语言和C++语言很接近，使得大多数程序员很容易学习和使用Java。 另一方面，Java丢弃了C++ 中很少使用的、很难理解的、令人迷惑的那些特性，如操作符重载、多继承、自动的强制类型转换。 特别地，Java语言不使用指针，并提供了自动的废料收集，使得程序员不必为内存管理而担忧。 2、Java语言是一个面向对象的。 Java语言提供类、接口和继承等原语，为了简单起见，只支持类之间的单继承，但支持接口之间的多继承，并支持类与接口之间的实现机制（关键字为implements）。 Java语言全面支持动态绑定，而C++ 语言只对虚函数使用动态绑定。 总之，Java语言是一个纯的面向对象程序设计语言。 3、Java语言是分布式的。 Java语言支持Internet应用的开发，在基本的Java应用编程接口中有一个网络应用编程接口（），它提供了用于网络应用编程的类库，包括URL、URLConnection、Socket、 ServerSocket等。 Java的RMI(远程方法激活)机制也是开发分布式应用的重要手段。 4、Java语言是健壮的。 Java的强类型机制、异常处理、废料的自动收集等是Java程序健壮性的重要保证。 对指针的丢弃是Java的明智选择。 Java的安全检查机制使得Java更具健壮性。 5、Java语言是安全的。 Java通常被用在网络环境中，为此，Java提供了一个安全机制以防恶意代码的攻击。 除了Java语言具有的许多安全特性以外，Java对通过网络下载的类具有一个安全防范机制（类ClassLoader），如分配不同的名字空间以防替代本地的同名类、字节代码检查，并提供安全管理机制（类SecurityManager）让Java应用设置安全哨兵。 6、Java语言是体系结构中立的。 Java程序（后缀为java的文件）在Java平台上被编译为体系结构中立的字节码格式（后缀为class的文件）, 然后可以在实现这个Java平台的任何系统中运行。 这种途径适合于异构的网络环境和软件的分发。

R 语言怎样进行分布式计算

这个可能比较麻烦，需要对R程序的底层API和package都要进行重构以适应分布式运算和分布式文件存储，现在好像没有什么好办法，因为现在很多包如果放到分布式上面可能都不能运行。 有程序方面的原因，也有可能很多统计算法并不适合分布式计算简单说就是R语言和Spark的一个接口，可以通过R语言调用Spark的计算能力，把计算任务分配到Spark的节点上来做。 亮点：1、近乎完整的dplyr语法！用过dplyr的同学一定知道这套语法是多么的人性化…2、可以直接调用Spark的机器学习能力！再也不用纠结pull到R里面的数据不够...3、不要钱……弱点：1、如果不是Spark包自带的算法的话还是要自己Call Spark API写…要懂一点分布式开发2、仔细一想这就是给Spark做了个壳...不能说是用R在做分布式运算orz至于Microsoft...现在有Microsoft R Server, 提供了很多R原生函数的High PerFormance Analysis版本，可以实现并行运算...