当下流行的分布式文件系统大阅兵

2010-07-20 09:49:07分布式文件系统，也就是集群文件系统，可以支持大数量的节点以及PB级的数量存储。新兴分布式文件系统以高IO速度、方便管理等特性著称。本文介绍当前比较流行的分布式文件系统，包括：Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS。

本文对目前数种分布式文件系统进行简单的介绍。当前比较流行的分布式文件系统包括：Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS。

www.lustre.org

lustre是一个大规模的、安全可靠的，具备高可用性的集群文件系统，它是由SUN公司开发和维护。该项目主要的目的就是开发下一代的集群文件系统，可以支持超过10000个节点，数以PB的数量存储系统。

lustre是开放源代码的集群文件系统，采取GPL许可协议，目前在集群计算机里，计算机与磁盘间数据交换的提升无法跟上微处理器和内存增长的速度，从而也拖累了应用程序的性能，一种新兴的集群文件系统软件提高了I/O速度，可能降低企业购买存储设备的成本并改变企业购买存储的方式，集群文件系统已经在大学、实验室和超级计算机研究中心里使用，而且即将进入通用商业计算市场。新的集群文件系统采用了开源的lustre技术，由美国能源部(Department Of Energy）开发，惠普公司(HP）提供商业支持。它显著提高了输入输出（I/O)速度，目前已经在高校、国家实验室和超级计算研究中心产生了一定影响，未来几年中，它很有可能进入普通的商业计算机领域。

运行在linux下,开发语言c/c++

Hadoop（hadoop.apache.com）

hadoop并不仅仅是一个用于存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。

如下图是hadoop的体系结构：

授权协议apache,开发语言java，资源耗费有点大。

MogileFs（www.danga.com）

Mogile Fs是一个开源的分布式文件系统，主要特征包括

1、应用层的组件

2、无单点故障

3、自动文件复制

4、具有比RAID更好的可靠性

5、无需RAID nigukefs支持 ，运行在linux下。

www.openqrm.org

FreeNAS是网络附加存储(NAS)服务专用操作系统(FreeBSD的简化版 )。基于m0n0wall防火墙，该系统通过提供磁盘管理及RAID软件，可让用户home将PC转换为NAS 服务器 ，支持FTP/NFS/RSYNC/CIFS/AFP/UNISON/SSH sourceforge.net/pro协议，旨在让人们重新使用旧硬件.

FastDFS（code.google.com/p/fastdfs）

FastDFS是一个开源的分布式文件系统，它对文件进行管理，功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务， 如相册网站，视频网站等等。FastDFS服务端有两个角色：跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度的工作，在访问上起负载均衡的作用。存储节点存储文件，完成文件管理的所有功能：

存储、同步、和提供存取接口，FastDFS同时对文件的meta>

开发语言c/c++,运行在linu下。

据说是一个比较不错的一个可扩展分布式文件系统，用于大型的，分布式的，对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能，它可以给大量的用户提供性能较高的服务。google自己开发的。

【编辑推荐】

C#里用三层结构开发应用系统的优势是什么？

首先看一下三层架构的组成：一：界面层界面层提供给用户一个视觉上的界面，通过界面层，用户输入数据、获取数据。 界面层同时也提供一定的安全性，确保用户有会看到机密的信息。 二：逻辑层逻辑层是界面层和数据层的桥梁，它响应界面层的用户请求，执行任务并从数据层抓取数据，并将必要的数据传送给界面层。 三：数据层数据层定义、维护数据的完整性、安全性，它响应逻辑层的请求，访问数据。 这一层通常由大型的数据库服务器实现，如Oracle 、Sybase、MS SQl Server等。 下面是三层架构的优势分析：从开发角度和应用角度来看，三层架构比双层或单层结构都有更大的优势。 三层结构适合群体开发，每人可以有不同的分工，协同工作使效率倍增。 开发双层或单层应用时，每个开发人员都应对系统有较深的理解，能力要求很高，开发三层应用时，则可以结合多方面的人才，只需少数人对系统全面了解，从一定程度工降低了开发的难度。 三层架构属于瘦客户的模式，用户端只需一个较小的硬盘、较小的内存、较慢的cpu就可以获得不错的性能。 相比之下，单层或胖客户对面器的要求太高。 三层架构的另一个优点在于可以更好的支持分布式计算环境。 逻辑层的应用程序可以有多个机器上运行，充分利用网络的计算功能。 分布式计算的潜力巨大，远比升级CPU有效。 三层架构的最大优点是它的安全性。 用户端只能通过逻辑层来访问数据层，减少了入口点，把很多危险的系统功能都屏蔽了。

求！网管应掌握的相关知识（电脑方面）

网管必备之十问十答今天,随着计算机的广泛应用和网络的流行,越来越多的单位和部门开始引入计算机网络管理,从而相应的需要更多的优秀网管.已有几年“脑龄的你是不是也有成为网管的雄心壮志?在你成为一名合格的网管前,你必须先把下面的十个问题弄清楚。 如果连这些最基本的网管知识你都不具备的话,那你怎么能不补这堂课呢?★计算机网络是什么?这是首先必须解决的一个问题,绝对是核心概念.我们讲的计算机网络,其实就是利用通讯设备和线路将地理位置不同的、功能独立的多个计算机系统互连起来,以功能完善的网络软件(即网络通信协议、信息交换方式及网络操作系统等)实现网络中资源共享和信息传递的系统。 它的功能最主要的表现在两个方面:一是实现资源共享(包括硬件资源和软件资源的共享);二是在用户之间交换信息。 计算机网络的作用是:不仅使分散在网络各处的计算机能共享网上的所有资源,并且为用户提供强有力的通信手段和尽可能完善的服务,从而极大的方便用户。 从网管的角度来讲,说白了就是运用技术手段实现网络间的信息传递,同时为用户提供服务。 ★计算机网络由哪几个部分组成?计算机网络通常由三个部分组成,它们是资源子网、通信子网和通信协议.所谓通信子网就是计算机网络中负责数据通信的部分;资源子网是计算机网络中面向用户的部分,负责全网络面向应用的数据处理工作;而通信双方必须共同遵守的规则和约定就称为通信协议,它的存在与否是计算机网络与一般计算机互连系统的根本区别。 所以从这一点上来说,我们应该更能明白计算机网络为什么是计算机技术和通信技术发展的产物了。 ★计算机网络的种类怎么划分?现在最常见的划分方法是:按计算机网络覆盖的地理范围的大小,一般分为广域网(WAN)和局域网(LAN)(也有的划分再增加一个城域网(MAN))。 顾名思义，所谓广域网无非就是地理上距离较远的网络连接形式,例如著名的Internet网,Chinanet网就是典型的广域网。 而一个局域网的范围通常不超过10公里,并且经常限于一个单一的建筑物或一组相距很近的建筑物网是目前最流行的计算机局域网。 ★计算机网络的体系结构是什么?在计算机网络技术中,网络的体系结构指的是通信系统的整体设计,它的目的是为网络硬件、软件、协议、存取控制和拓扑提供标准.现在广泛采用的是开放系统互连OSI(Open System Interconnection)的参考模型,它是用物理层、数据链路层、网络层、传送层、对话层、表示层和应用层七个层次描述网络的结构.你应该注意的是,网络体系结构的优劣将直接影响总线、接口和网络的性能.而网络体系结构的关键要素恰恰就是协议和拓扑。 目前最常见的网络体系结构有FDDI、以太网、令牌环网和快速以太网等。 ★计算机网络的协议是什么?刚才说过网络体系结构的关键要素之一就是网络协议。 而所谓协议(Protocol)就是对数据格式和计算机之间交换数据时必须遵守的规则的正式描述，它的作用和普通话的作用如出一辙。 依据网络的不同通常使用Ethernet(以太网)、NetBEUI、IPX/SPX以及TCP/IP协议。 Ethernet是总线型协议中最常见的网络低层协议,安装容易且造价便宜;而NetBEUI可以说是专为小型局域网设计的网络协议。 对那些无需跨经路由器与大型主机通信的小型局域网,安装NetBEUI协议就足够了,但如果需要路由到另外的局域网,就必须安装IPX/SPX或TCP/IP协议.前者几乎成了Novell网的代名词,而后者就被著名的Internet网所采用.特别是TCP/IP(传输控制协议/网间协议)就是开放系统互连协议中最早的协议之一,也是目前最完全和应用最广的协议,能实现各种不同计算机平台之间的连接、交流和通信。 ★计算机网络的拓扑结构是什么?计算机网络的拓扑结构是指网络中各个站点相互连接的形式,在局域网中明确一点讲就是文件服务器、工作站和电缆等的连接形式.现在最主要的拓扑结构有总线型拓扑、星型拓扑、环型拓扑以及它们的混合型。 顾名思义,总线型其实就是将文件服务器和工作站都连在称为总线的一条公共电缆上,且总线两端必须有终结器;星型拓扑则是以一台设备作为中央连接点,各工作站都与它直接相连形成星型;而环型拓扑就是将所有站点彼此串行连接,像链子一样构成一个环形回路;把这三种最基本的拓扑结构混合起来运用自然就是混合型了。 ★计算机网络建设中涉及到哪些硬件?计算机网络的硬件系统通常由五部分组成:文件服务器、工作站(包括终端)、传输介质、网络连接硬件和外部设备。 文件服务器一般要求是配备了高性能CPU系统的微机,它充当网络的核心。 除了管理整个网络上的事务外,它还必须提供各种资源和服务。 而工作站可以说是一种智能型终端,它从文件服务器取出程序和数据后,能在本站进行处理,一般有有盘和无盘之分。 接下来谈谈传输介质,它是通信网络中发送方和接受方之间的物理通路,在局域网中就是用来连接服务器和工作站的电缆线.目前常用的网络传输介质有双绞线(多用于局域网)、同轴电缆和光缆等.常用的网络连接硬件有网络接口卡(NIC)、集线器(HUB)、中继器(Repeater)以及调制解调器(modem)等。 而打印机、扫描仪、绘图仪以及其它任何可为工作站共享的设备都能被称为外部设备。 ★计算机网络一般都装哪些操作系统?我们都知道,网络操作系统是整个网络的灵魂,同时也是分布式处理系统的重要体现,它决定了网络的功能并由此决定了不同网络的应用领域即方向。 目前比较流行的网络操作系统主要有Unix、NetWare、Windows NT和新兴流行的历史悠久,发展到今天已经相当成熟,尤其以安全可靠和应用广泛著称;相比之下,NetWare以文件服务及打印管理闻名,而且其目录服务可以说是被业界公认的目录管理杰作;Windows NT是能支持多种硬件平台的真正的32位操作系统,它保持了深受欢迎的Windows用户界面,目前正被越来越多的网络所应用;而最新的Linux凭借其先进的设计思想和自由软件的身分正跻身优秀网络操作系统的行列。 ★计算机网络未来的发展趋势如何?未来网络的发展有三种基本的技术趋势.一是朝着低成本微机所带来的分布式计算和智能化方向发展,即Client/Server(客户/服务器)结构;二是向适应多媒体通信、移动通信结构发展;三是网络结构适应网络互连,扩大规模以至于建立全球网络。 ★计算机网管的具体业务有哪些?概括的说网管的业务内容有三个方面:网络建设、网络维护和网络服务。 组建局域网(包括规划拓扑结构、物理硬件实现和网络协议设置)、新增或升级网络设备以及规划网络发展就是网络建设的具体内容;而一般的网络维护则包括网络故障检测和维修(包括硬件和软件),网络安全的防护和管理;至于网络服务则完全可以根据各种网络目的的不同而有所区别,但最常见的都有远程登陆、文件传输、电子邮件和资源共享等,当然也可以侧重一到几个方面.另外,像网站中主页的制作与更新,BBS站台的建设与管理等等也都可纳入网管的业务范围.总之,所谓网管顾名思义就是建设并管理网络的人员,他们的工作和任务就如同大酒店的员工一样,通过经营好酒店来款待从四面八方来的朋友。 优秀的网管没有不说网管这项工作苦的,但如果你肯花时间、下功夫,你说不定也能做得与华军和高春辉一样出色.不过,在你成为优秀的网管前,可千万要把今天讲的这十个问题弄清楚噢!最后，要学会基本的网络故障排除，服务器的设置，一些网络设备的基本使用方法（路由器等），如果是网吧管理员还需要对流行的软件游戏有一定了解！

拒绝服务攻击是如何展开的

前面讨论的目的都是由拒绝服务攻击直接达到的，事实上，拒绝服务攻击还可以作为特权提升攻击、获得非法访问的一种辅助手段。 这时候，拒绝服务攻击服从于其他攻击的目的。 通常，攻击者不能单纯通过拒绝服务攻击获得对某些系统、信息的非法访问，但其可作为间接手段。 SYN风暴攻击可以用于IP劫持、IP欺骗等。 当攻击者想要向B冒充C时，其通常需要C不能响应B的消息，为此，攻击者可以先攻击C（如果它是在线的）使其无法对B的消息进行响应。 然后攻击者就可以通过窃听发向C的数据包，或者通过猜测发向C的数据包中的序列号等，然后冒充C与第三方通信。 一些系统在启动时会有漏洞，可以通过拒绝服务攻击使之重启，然后在该系统重启时针对漏洞进行攻击。 如RARP-boot，如果能令其重启，就可以将其攻破。 只需知道RARP-boot在引导时监听的端口号（通常为69），通过向其发送伪造的数据包几乎可以完全控制其引导（Boot）过程。 有些网络配置成当防火墙关闭时所有数据包都能通过（特别是对于那些提供服务比安全更加重要的场合，如普通的ISP），则可通过对防火墙的拒绝服务攻击使其失去作用达到非法访问受防火墙保护的网络的目的。 对Windows系统的大多数配置变动在生效前都需要重新启动系统。 这么一来，如果攻击者已经获得了对系统的管理性特权的变动之后，可能需要采取拒绝服务攻击的手段使系统重启或者迫使系统的真正管理员重启系统，以便其改动的配置生效。 对DNS的拒绝服务攻击可以达到地址冒充的目的。 DNS服务器起到的是把域名解析为IP地址的作用。 攻击者可以通过把DNS致瘫，然后冒充DNS的域名解析，把错误的域名-IP地址的对应关系提供给用户，以便把用户（受害者）的数据包指向错误的网站（如攻击者的网站），或者把受害者的邮件指向错误的（如攻击者的）邮件服务器，这样，攻击者就达到了冒充其他域名的目的。 攻击者的最终目的大致有两种：一是窃取受害者的信息，但客观上导致用户不能应用相应的服务，也构成拒绝服务攻击；二是拒绝服务攻击，如蓄意使用户不能访问需要的网站，不能发送邮件到需要的服务器等。 编辑本段防止拒绝服务的攻击 许多现代的UNIX允许管理员设置一些限制，如限制可以使用的最大内存、CPU时间以及可以生成的最大文件等。 如果当前正在开发―个新的程序，而又不想偶然地使系统变得非常缓慢，或者使其它分享这台主机的用户无法使用，这些限制是很有用的。 Korn Shell的ulimit命令和Shell的Iimit命令可以列出当前程的资源限制。