Hadoop中分布式文件系统HDFS的设计思想和功能深入剖析 (hadoop怎么读)

教程大全 2025-07-20 06:41:14 浏览次

Hadoop中分布式文件系统HDFS的设计思想和功能深入剖析

2010-06-07 14:02:13Hadoop相信大家都比较熟悉了，这里向大家介绍一下Hadoop中的分布式文件系统HDFS，相信通过本文的介绍大家对HDFS有清晰的认识，欢迎大家一起来学习HDFS。

本节和大家学习一下Hadoop的分布式文件系统HDFS，主要包括HDFS的设计思想，还有HDFS的一些相关功能介绍，希望通过本节的介绍大家对HDFS有一定的认识。

Hadoop的分布式文件系统HDFS的设计思想：构建一个非常庞大的分布式文件系统。在集群中节点失效是正常的，节点的数量在Hadoop中不是固定的.单一的文件命名空间，保证数据的一致性，写入一次多次读取.典型的64MB的数据块大小，每一个数据块在多个DN(DataNode)有复制.客户端通过NN(nameNode)得到数据块的位置，直接访问DN获取数据。

NameNode功能：

Hadoop的分布式文件系统HDFS中的NameNode功能。映射一个文件到一批的块，映射数据块到DN节点上。集群配置管理，数据块的管理和复制。处理事务日志：记录文件生成，删除等。因为NameNode的全部的元数据在内存中存储，所以NN的内存大小决定整个集群的存储量。NN内存中保存的数据：

文件列表每一个文件的块列表每一个DN中块的列表文件属性：生成时间,复制参数,文件许可(ACL)

File,Derectory,Block在内存中的大小（HadoopJIRA页面）:File:122+fileName.lengthDirectory:152+fileName.lengthBlock:112+24*replication备注:上面数据和jira中不一样是因为在0.16以上的版本在INode中添加了一个8字节的数据类型为long的permission数据。NN的复制线程负责根据文件复制数量选择DN，磁盘的使用负载平衡，DN复制时的IPC通信负载平衡。

SecondaryNamenode的功能:

SecondaryNamenode是一个让人混淆的名字，其实SecondaryNamenode是一个辅助NN处理FsImage和事务日志的Server，它从NN拷贝FsImage和事务日志到临时目录，合并FsImage和事务日志生成一个新的FsImage，上传新的FsImage到NN上，NN更新FsImage并清理原来的事务日志。

DataNode功能：

在本地文件系统存储数据块，存储数据块的元数据，用于CRC校验。响应客户端对数据块和元数据的请求。周期性的向NN报告这个DN存储的所有数据块信息。客户端要存储数据时从NN获取存储数据块的DN位置列表，客户端发送数据块到第一个DN上，第一个DN收到数据通过管道流的方式把数据块发送到另外的DN上。当数据块被所有的节点写入后，客户端继续发送下一个数据块。DN每3秒钟发送一个心跳到NN，如果NN没有受到心跳在重新尝试后宣告这个DN失效。当NN察觉到DN节点失效了,选择一个新的节点复制丢失的数据块。我们再来看一下Hadoop的分布式文件系统HDFS

数据块的放置位置和数据正确性：

在典型的配置里，数据块一个放在当前的节点，一个放在远程的机架上的一个节点，一个放在相同机架上的一个节点，多于3个的数据块随意选择放置。客户端选择最近的一个节点读取数据。Hadoop使用CRC32效验数据的正确性，客户端每512个byte计算一次效验，DN负责存储效验数据。客户端从DN获取数据和效验数据，如果效验出错，客户端尝试另外节点上复制的数据。

单点的NN，现在Hadoop没有HA的解决方案。在我的概念中Hadoop加上Zookeeper是一个HA的解决方案。事务日志可以存储在NM的多个目录中。比如：一个本地文件系统，一个远程文件系统(NFS)。Hadoop没有快照功能，可以考虑使用LVM或ZFS做系统快照。本节关于Hadoop的分布式文件系统介绍完毕。

【编辑推荐】

SQL server 2000 和 2005有什么区别?

数据库管理10个最重要的特点特点描述数据库镜像通过新数据库镜像方法，将记录档案传送性能进行延伸。您将可以使用数据库镜像，通过将自动失效转移建立到一个待用服务器上，增强您SQL服务器系统的可用性。在线恢复使用SQL2005版服务器，数据库管理人员将可以在SQL服务器运行的情况下，执行恢复操作。在线恢复改进了SQL服务器的可用性，因为只有正在被恢复的数据是无法使用的，而数据库的其他部分依然在线、可供使用。在线检索操作在线检索选项可以在指数数据定义语言（DDL）执行期间，允许对基底表格、或集簇索引数据和任何有关的检索，进行同步修正。例如，当一个集簇索引正在重建的时候，您可以对基底数据继续进行更新、并且对数据进行查询。快速恢复新的、速度更快的恢复选项可以改进SQL服务器数据库的可用性。管理人员将能够在事务日志向前滚动之后，重新连接到正在恢复的数据库。安全性能的提高SQL Server 2005包括了一些在安全性能上的改进，例如数据库加密、设置安全默认值、增强密码政策、缜密的许可控制、以及一个增强型的安全模式。新的SQL Server Management StudioSQL Server 2005引入了SQL Server Management Studio，这是一个新型的统一的管理工具组。这个工具组将包括一些新的功能，以开发、配置SQL Server数据库，发现并修理其中的故障，同时这个工具组还对从前的功能进行了一些改进。专门的管理员连接SQL Server 2005将引进一个专门的管理员连接，即使在一个服务器被锁住，或者因为其他原因不能使用的时候，管理员可以通过这个连接，接通这个正在运行的服务器。这一功能将能让管理员，通过操作诊断功能、或Transact—SQL指令，找到并解决发现的问题。快照隔离我们将在数据库层面上提供一个新的快照隔离（SI）标准。通过快照隔离，使用者将能够使用与传统一致的视野观看数据库，存取最后执行的一行数据。这一功能将为服务器提供更大的可升级性。数据分割数据分割将加强本地表检索分割，这使得大型表和索引可以得到高效的管理。增强复制功能对于分布式数据库而言，SQL Server 2005提供了全面的方案修改（DDL）复制、下一代监控性能、从甲骨文（Oracle）到SQL Server的内置复制功能、对多个超文本传输协议（http）进行合并复制，以及就合并复制的可升级性和运行，进行了重大的改良。另外，新的对等交易式复制性能，通过使用复制，改进了其对数据向外扩展的支持。有关开发的10个最重要的特点特点描述框架主机使用SQL Server 2005，开发人员通过使用相似的语言，例如微软的Visual C# 和微软的Visual Basic，将能够创立数据库对象。开发人员还将能够建立两个新的对象——用户定义的类和集合。 XML 技术在使用本地网络和互联网的情况下，在不同应用软件之间散步数据的时候，可扩展标记语言（XML）是一个重要的标准。 SQL Server 2005将会自身支持存储和查询可扩展标记语言文件。 2.0 版本从对SQL类的新的支持，到多活动结果集（MARS），SQL Server 2005中的将推动数据集的存取和操纵，实现更大的可升级性和灵活性。增强的安全性SQL Server 2005中的新安全模式将用户和对象分开，提供fine-grain access存取、并允许对数据存取进行更大的控制。另外，所有系统表格将作为视图得到实施，对数据库系统对象进行了更大程度的控制。 Transact-SQL 的增强性能SQL Server 2005为开发可升级的数据库应用软件，提供了新的语言功能。这些增强的性能包括处理错误、递归查询功能、关系运算符PIVOT, APPLY, ROW_NUMBER和其他数据列排行功能，等等。 SQL 服务中介SQL服务中介将为大型、营业范围内的应用软件，提供一个分布式的、异步应用框架。通告服务通告服务使得业务可以建立丰富的通知应用软件，向任何设备，提供个人化的和及时的信息，例如股市警报、新闻订阅、包裹递送警报、航空公司票价等。在SQL Server 2005中，通告服务和其他技术更加紧密地融合在了一起，这些技术包括分析服务、SQL Server Management Studio。 Web服务使用SQL Server 2005，开发人员将能够在数据库层开发Web服务，将SQL Server当作一个超文本传输协议（HTTP）侦听器，并且为网络服务中心应用软件提供一个新型的数据存取功能。报表服务利用SQL Server 2005, 报表服务可以提供报表控制，可以通过Visual Studio 2005发行。全文搜索功能的增强SQL SERVER 2005将支持丰富的全文应用软件。服务器的编目功能将得到增强，对编目的对象提供更大的灵活性。查询性能和可升级性将大幅得到改进，同时新的管理工具将为有关全文功能的运行，提供更深入的了解。有关商业智能特征的10个最重要的特点特点描述分析服务SQL SERVER 2005的分析服务迈入了实时分析的领域。从对可升级性性能的增强、到与微软Office软件的深度融合，SQL SERVER 2005将帮助您，将商业智能扩展到您业务的每一个层次。数据传输服务(DTS)DTS数据传输服务是一套绘图工具和可编程的对象，您可以用这些工具和对象，对从截然不同来源而来的数据进行摘录、传输和加载（ETL），同时将其转送到单独或多个目的地。 SQL SERVER 2005将引进一个完整的、数据传输服务的、重新设计方案，这一方案为用户提供了一个全面的摘录、传输和加载平台。数据挖掘我们将引进四个新的数据挖掘运算法，改进的工具和精灵，它们会使数据挖掘，对于任何规模的企业来说，都变得简单起来。报表服务在SQL SERVER 2005中，报表服务将为在线分析处理（OLAP）环境提供自我服务、创建最终用户特别报告、增强查询方面的开发水平，并为丰富和便于维护企业汇报环境，就允许升级方面，提供增进的性能。集群支持通过支持容错技术移转丛集、增强对多重执行个体的支持、以及支持备份和恢复分析服务对象和数据，分析服务改进了其可用性。主要运行指标主要运行指标(KPIs)为企业提供了新的功能，使其可以定义图表化的、和可定制化的商业衡量标准，以帮助公司制定和跟踪主要的业务基准。可伸缩性和性能并行分割处理，创建远程关系在线分析处理(ROLAP)或混合在线分析处理(HOLAP)分割，分布式分割单元，持续计算，和预制缓存等特性，极大地提升了SQL Server 2005中分析服务的可伸缩性和性能。单击单元当在一个数据仓库中创建一个单元时，单元向导将包括一个可以单击单元检测和建议的操作。预制缓存预制缓存将MOLAP等级查询运行与实时数据分析合并到一起，排除了维护在线分析处理存储的需要。显而易见，预制缓存将数据的一个更新备份进行同步操作，并对其进行维护，而这些数据是专门为高速查询而组织的、它们将最终用户从超载的相关数据库分离了出来。与Microsoft Office System集成在报表服务中，由报表服务器提供的报表能够在Microsoft SharePoint门户服务器和Microsoft Office System应用软件的环境中运行，Office System应用软件其中包括Microsoft Word和Microsoft Excel。您可以使用SharePoint功能，订阅报表、建立新版本的报表，以及分发报表。您还能够在Word或Excel软件中打开报表，观看超文本连接标示语言（HTML）版本的报表。

SPSS是干什么的一般人实用吗

SPSS软件介绍一、概况： SPSS是软件英文名称的首字母缩写，原意为Statistical Package for the SOCial Sciences，即“社会科学统计软件包”。但是随着SPSS产品服务领域的扩大和服务深度的增加，SPSS公司已于2000年正式将英文全称更改为Statistical Product and Service Solutions，意为“统计产品与服务解决方案”，标志着SPSS的战略方向正在做出重大调整。 SPSS现在的最新版本为11.03，大小约为200M。他是世界上最早的统计分析软件，由美国斯坦福大学的三位研究生于20世纪60年代末研制，同时成立了SPSS公司，并于1975年在芝加哥组建了SPSS总部。 1984年SPSS总部首先推出了世界上第一个统计分析软件微机版本SPSS/PC+，开创了SPSS微机系列产品的开发方向，极大地扩充了它的应用范围，并使其能很快地应用于自然科学、技术科学、社会科学的各个领域，世界上许多有影响的报刊杂志纷纷就SPSS的自动统计绘图、数据的深入分析、使用方便、功能齐全等方面给予了高度的评价与称赞。迄今SPSS软件已有30余年的成长历史。全球约有25万家产品用户，它们分布于通讯、医疗、银行、证券、保险、制造、商业、市场研究、科研教育等多个领域和行业，是世界上应用最广泛的专业统计软件。在国际学术界有条不成文的规定，即在国际学术交流中，凡是用SPSS软件完成的计算和统计分析，可以不必说明算法，由此可见其影响之大和信誉之高。 1994至1998年间，SPSS公司陆续购并了SYSTAT公司、BMDP软件公司、Quantime公司、ISL公司等，并将各公司的主打产品收纳SPSS旗下，从而使SPSS公司由原来的单一统计产品开发与销售转向企业、教育科研及政府机构提供全面信息统计决策支持服务，成为走在了最新流行的“数据仓库”和“数据挖掘”领域前沿的一家综合统计软件公司。和SAS相同，SPSS也由多个模块构成，在最新的11版中，SPSS一共由十个模块组成，其中SPSS Base为基本模块，其余九个模块为Advanced Models、Regression Models、tables、Trends、Categories、Conjoint、Exact Tests、Missing Value Analysis和Maps，分别用于完成某一方面的统计分析功能，他们均需要挂接在Base上运行。除此之外，SPSS 11完全版还包括SPSS Smart Viewer和SPSS Report Writer两个软件，他们并未整合进来，但功能上完全是SPSS的辅助软件。 SPSS最突出的特点就是操作界面极为友好，输出结果美观漂亮（从国外的角度看），他使用windows的窗口方式展示各种管理和分析数据方法的功能，使用对话框展示出各种功能选择项，只要掌握一定的Windows操作技能，粗通统计分析原理，就可以使用该软件为特定的科研工作服务。是非专业统计人员的首选统计软件。在众多用户对国际常用统计软件SAS、BMDP、GLIM、GENSTAT、EPILOG、MiniTab的总体印象分的统计中，其诸项功能均获得最高分。 SPSS采用类似EXCEL表格的方式输入与管理数据，数据接口较为通用，能方便的从其他数据库中读入数据。其统计过程包括了常用的、较为成熟的统计过程，完全可以满足非统计专业人士的工作需要。对于熟悉老版本编程运行方式的用户，SPSS还特别设计了语法生成窗口，用户只需在菜单中选好各个选项，然后按“粘贴”按钮就可以自动生成标准的SPSS程序。极大的方便了中、高级用户。二、操作方式： SPSS是世界上最早采用图形菜单驱动界面的统计软件，他最突出的特点就是操作界面极为友好，输出结果美观漂亮。他将几乎所有的功能都以统一、规范的界面展现出来，使用Windows的窗口方式展示各种管理和分析数据方法的功能，对话框展示出各种功能选择项。用户只要掌握一定的Windows操作技能，粗通统计分析原理，就可以使用该软件为特定的科研工作服务。是非专业统计人员的首选统计软件。在众多用户对国际常用统计软件SAS、BMDP、GLIM、GENSTAT、EPILOG、MiniTab的总体印象分的统计中，其诸项功能均获得最高分。 SPSS采用类似EXCEL表格的方式输入与管理数据，数据接口较为通用，能方便的从其他数据库中读入数据。其统计过程包括了常用的、较为成熟的统计过程，完全可以满足非统计专业人士的工作需要。输出结果十分美观，存储时则是专用的SPO格式，可以转存为HTML格式和文本格式。对于熟悉老版本编程运行方式的用户，SPSS还特别设计了语法生成窗口，用户只需在菜单中选好各个选项，然后按“粘贴”按钮就可以自动生成标准的SPSS程序。极大的方便了中、高级用户。三、缺点：由于在SPSS公司的产品线中，SPSS软件属于中、低档（SPSS公司共有二十余个产品），因此从战略的观点来看，SPSS显然是把相当的精力放在了用户界面的开发上。该软件只吸收较为成熟的统计方法，而对于最新的统计方法，SPSS公司的做法是为之发展一些专门软件，如针对树结构模型的Answer Tree，针对神经网络技术的Neural Connection、专门用于数据挖掘的Clementine等，而不是直接纳入SPSS，因此他们在SPSS中均难觅芳踪。另外，其输出结果虽然漂亮，但不能为WORD等常用文字处理软件直接打开，只能采用拷贝、粘贴的方式加以交互。这些都可以说是SPSS软件的致命伤。一般人不用这个的，而且对我们来说不实用的。