大象的崛起！Hadoop七年发展风雨录 (大象发展进程展示)

教程大全 2025-07-15 07:13:00 浏览次

在互联网这个领域一直有这样的说法：“如果老二无法战胜老大，那么就把老大赖以生存的东西开源吧”。当年Yahoo!与Google还是处在强烈竞争关系时候，招聘了Doug(Hadoop创始人)，把Google老大赖以生存的DFS与Map-Reduce开源了，开始了Hadoop的童年时期。差不多在2008年的时候，Hadoop才算逐渐成熟。

从初创到现在，Hadoop经过了至少7年的积累，现在的Hadoop不仅是当年的老二Yahoo的专用产品了，从Hadoop长长的用户名单中，可以看到Facebook、Linkedin、Amazon，可以看到EMC、 eBay、Twitter、IBM、Microsoft,、Apple、HP…国内的公司有淘宝、百度等等。

本文将对Hadoop七年（2004-2011）的发展历程进行梳理。读完本文后，将不难看出，Hadoop的发展基本上经历了这样一个过程：从一个开源的Apache基金会项目，随着越来越多的用户的加入，不断地使用、贡献和完善，形成一个强大的生态系统，从2009年开始，随着云计算和大数据的发展，Hadoop作为海量数据分析的***解决方案，开始受到许多IT厂商的关注，从而出现了许多Hadoop的商业版以及支持Hadoop的产品，包括软件和硬件。

2004年，Google发表论文，向全世界介绍了MapReduce。

2005年初，为了支持Nutch搜索引擎项目，Nutch的开发者基于Google发布的MapReduce报告，在Nutch上开发了一个可工作的MapReduce应用。

2005年年中，所有主要的Nutch算法被移植到使用MapReduce和NDFS(Nutch Distributed File System )来运行。

2006年1月，Doug Cutting加入雅虎，Yahoo!提供一个专门的团队和资源将Hadoop发展成一个可在网络上运行的系统。

2006年2月，Apache Hadoop项目正式启动以支持MapReduce和HDFS的独立发展。

2007年，百度开始使用Hadoop做离线处理，目前差不多80%的Hadoop集群用作日志处理。

2007年，中国移动开始在“大云”研究中使用Hadoop技术，规模超过1000台。

2008年，淘宝开始投入研究基于Hadoop的系统——云梯，并将其用于处理电子商务相关数据。云梯1的总容量大概为9.3PB，包含了1100台机器，每天处理约18000道作业，扫描500TB数据。

2008年1月，Hadoop成为Apache***项目。

2008年2月，Yahoo!宣布其搜索引擎产品部署在一个拥有1万个内核的Hadoop集群上。

2008年7月，Hadoop打破1TB数据排序基准测试记录。Yahoo!的一个Hadoop集群用209秒完成1TB数据的排序，比上一年的纪录保持者保持的297秒快了将近90秒。

2009 年 3 月，Cloudera推出CDH(Cloudera’s Distribution including Apache Hadoop)平台，完全由开放源码软件组成，目前已经进入第3版。

2009年5月，Yahoo的团队使用Hadoop对1 TB的数据进行排序只花了62秒时间。

2009年7月，Hadoop Core项目更名为Hadoop Common;

2009年7月，MapReduce 和 Hadoop Distributed File System (HDFS) 成为Hadoop项目的独立子项目。

2009年7月，Avro 和 Chukwa 成为Hadoop新的子项目。

2010年5月，Avro脱离Hadoop项目，成为Apache***项目。

2010年5月，hbase脱离Hadoop项目，成为Apache***项目。

2010年5月，IBM提供了基于Hadoop 的大数据分析软件——InfoSphere BigInsights，包括基础版和企业版。

2010年9月，Hive( Facebook) 脱离Hadoop，成为Apache***项目。

2010年9月，Pig脱离Hadoop，成为Apache***项目。

2011年1月，ZooKeeper 脱离Hadoop，成为Apache***项目。

2011年3月，Apache Hadoop获得Media Guardian Innovation Awards 。

2011年3月， Platform Computing 宣布在它的Symphony软件中支持Hadoop MapReduce API。

2011年5月，Mapr Technologies公司推出分布式文件系统和MapReduce引擎——MapR Distribution for Apache Hadoop。

2011年5月，HCatalog 1.0发布。该项目由Hortonworks 在2010年3月份提出，主要用于解决HDFS存储瓶颈。

2011年4月，SGI( Silicon Graphics International )基于SGI Rackable和CloudRack 服务器产品线提供Hadoop优化的解决方案。

2011年5月，EMC为客户推出一种新的基于开源Hadoop解决方案的数据中心设备，以助其满足客户日益增长的数据分析需求并加快利用开源数据分析软件。EMC将通过一个基于分布式的Hadoop解决方案集成自己的Greenplum软件，从而可以在一个可扩展的设备里进行海量数据分析任务 (GFS+Greenplum)。Greenplum是EMC在2010年7月收购的一家开源数据仓库公司。

2011年5月，在收购了Engenio之后， NetApp推出与Hadoop应用结合的产品E5400存储系统。

2011年6月，Calxeda公司(之前公司的名字是Smooth-Stone)发起了“开拓者行动”，一个由10家软件公司组成的团队将为基于Calxeda即将推出的ARM系统上芯片设计的服务器提供支持。并为Hadoop提供低功耗服务器技术。

2011年6月，数据集成供应商Informatica发布了其旗舰产品，产品设计初衷是处理当今事务和社会媒体所产生的海量数据，同时支持Hadoop。

2011年7月，Yahoo!和硅谷风险投资公司 Benchmark Capital创建了Hortonworks 公司，旨在让Hadoop更加鲁棒(可靠)，并让企业用户更容易安装、管理和使用Hadoop。

2011年8月，Cloudera公布了一项有益于合作伙伴生态系统的计划——创建一个生态系统，以便硬件供应商、软件供应商以及系统集成商可以一起探索如何使用Hadoop更好的洞察数据。

2011年8月，Dell与Cloudera联合推出Hadoop解决方案——Cloudera Enterprise。Cloudera Enterprise基于Dell PowerEdge C2100机架服务器以及Dell PowerConnect 6248以太网交换机。

在梳理的过程中，笔者发现了上图，它很好地展现了Hadoop生态系统是如何在使用中一步一步成长起来的。

【编辑推荐】

大自然的奇异观象

美国人洛厄尔·托马斯还曾提出世界七大自然界奇观：　1.美国科罗拉多大峡谷 :科罗拉多大峡谷是一个举世闻名的自然奇观，位于美国西部亚利桑那州西北部的凯巴布高原上，大峡谷全长446公里，平均宽度16公里，最大深度1740米，平均谷深1600米，总面积2724平方公里。由于科罗拉多河穿流其中，故又名科罗拉多大峡谷，它是联合国教科文组织选为受保护的天然遗产之一。大峡谷是科罗拉多河的杰作。这条河发源于科罗拉多州的落基山，洪流奔泻，经犹他州、亚利桑那州，由加利福尼亚州的加利福尼亚湾入海。全长2320公里。 “科罗拉多”，在西班牙语中，意为“红河”，这是由于河中夹带大量泥沙，河水常显红色，故名。科罗拉多河的长期冲刷，不舍昼夜地向前奔流，有时开山劈道，有时让路回流，在主流与支流的上游就已刻凿出黑峡谷、峡谷地、格伦峡谷，布鲁斯峡谷等19个峡谷，而最后流经亚利桑那州多岩的凯巴布高原时，更出现惊人之笔，形成了这个大峡谷奇观，而成为这条水系所有峡谷中的“峡谷之王”。科罗拉多大峡谷的形状极不规则，大致呈东西走向，总长349公里，蜿蜒曲折，像一条桀骜不驯的巨蟒，匍伏于凯巴布高原之上。它的宽度在6公里至25公里之间，峡谷两岸北高南低，平均谷深1600米，谷底宽度762米。科罗拉多河在谷底汹涌向前，形成两山壁立，一水中流的壮观，其雄伟的地貌，浩瀚的气魄，慑人的神态，奇突的景色，世无其匹。 1903年美国总统西奥多-罗斯福来此游览时，曾感叹地说：“大峡谷使我充满了敬畏，它无可比拟，无法形容，在这辽阔的世界上，绝无仅有。 ”有人说，在太空唯一可用肉眼看到的自然景观就是科罗拉多大峡谷。科罗拉多大峡谷全长443千米，谷底最深处为1600千米，宽度在200~米之间。早在5000年前，就有土著美洲印第安人在这里居住。大峡谷岩石是一幅地质画卷，反映了不同的地质时期，它在阳光的照耀下变幻着不同的颜色，魔幻般的色彩吸引了全世界无数旅游者的目光。 2.非洲维多利亚大瀑布:位于非洲赞比西河中游的瀑布，尚比亚与辛巴威接壤处。宽1,700馀公尺(5,500馀呎)，最高处108公尺(355呎)，为世界著名瀑布奇观之一。宽度和高度比尼加拉瀑布大一倍。年平均流量约935立方公尺╱秒(33,000立方呎╱秒)。广阔的尚比西河在流抵瀑布之前，舒缓地流动在宽浅的玄武岩河床上，然后突然从约50公尺(150呎)的陡崖上跌入深邃的峡谷。主瀑布被河间岩岛分割成数股，浪花溅起达300公尺(1,000呎)，远自65公里(40哩)之外便可见到。每逢新月升起，水雾中映出光彩夺目的月虹，景色十分迷人。瀑布声如雷鸣，当地卡洛洛-洛齐(Kalolo-Lozi)族居民称之为「莫西奥图尼亚」(Mosi-oa-tunya, 意即「霹雳之雾」)。据考证，远在西元90年即有少数农业人口在尚比西河两岸定居。多数原住民则在距瀑布半径128公里(80哩)范围内以渔猎为生。今日当地部族有东加人、洛齐人、莱雅人(Leya)、托卡人(Toka)和苏比亚人(Subia)。东加人每年在瀑布旁举行雨祭，将黑色公牛扔入峡底祭奠河神。 1855年11月16日，英国探险家李文斯顿(David Livingstone)抵达瀑布所在地，为第一个见到该瀑布的白人。 1905年在瀑布附近的峡谷上建成跨度200公尺(657呎)的拱形铁路公路两用桥。尚比亚一侧建有两座水电站，发电能力共10万瓩。李文斯顿狩猎公园邻近地区则有维多利亚瀑布国家公园。瀑布地区已成为非洲著名旅游胜地。莫西奥图尼亚/维多利亚瀑布位于南部非洲赞比亚和津巴布韦接壤的地方，在赞比西河上游和中游交界处，是非洲最大的瀑布，也是世界上最大和最美丽的瀑布之一，最壮观的瀑布之一。位于赞比西河上，宽度超过两公里，瀑布奔入玄武岩峡谷，水雾形成的彩虹远隔二十公里以外就能看到。莫西奥图尼亚/维多利亚瀑布被赞比亚人称为“Mosi-oa-tunra（莫西奥图尼亚或译为莫西瓦图尼亚）”，津巴布韦人则称之为“曼古昂冬尼亚”，两者的意思都是“声若雷鸣的雨雾”（或 “轰轰作响的烟雾”）。地球上很少有这样壮观而令人生畏的地方。曾居住在莫西奥图尼亚/维多利亚瀑布附近的科鲁鲁人很怕那条瀑布，从不敢走近它。邻近的汤加族则视它为神物，把彩虹视为神的化身：他们在东瀑布举行仪式，宰杀黑牛以祭神。 3.阿拉斯加冰河湾 :冰河湾国家公园位于美国阿拉斯加，距旧纽西50英里，占地330万公顷，围绕在陡峭的群山中，只能乘船或飞机到达。那里有无数的冰山、各类鲸鱼和爱斯基摩人的皮划舟。冰河湾游人在那里居住在帐篷中或在乡村田舍中。根据碑文的记载，冰河湾国家公园最引人入胜的景观之一就是巨大海湾中活动着的冰河。谬尔（Muir Glacier）是第一个仔细研究冰河的科学家，他从1879年起几次来到这里，为这里美丽多资的冰河所征服。自谬尔探险时代之后，冰河沿海湾向北移动了很远，这种现象在北半球其他地方也曾被发现。谬尔冰川（Muir Glacier），位于冰河湾内，在阿拉斯加北端突出的地方，是以科学家谬尔的名字命名的。狭长的冰川湾伸入内陆约一百零五公里，边缘地带还有更多的小湾（其实这是由冰川所刻凿出来的），这些小湾多是遽然而起的冰壁，而这冰壁即为自山坡延伸至海岸的冰山鼻。自一九八二年以来，谬尔冰川后退速度很快。随着冰川的后退，植物很快的代替冰川，而覆盖了地表。除冰川外，冰川内的野生动物也深深吸引着各地的游客。图为一群海豹在谬尔冰川的一角栖息，这种海豹大多长着厚而粗糙的皮，和一层厚厚的脂肪（通常有11－13厘米），这层脂肪除了可以将它们与寒冷的外界隔离，还可以为它们储存能量以应付食物短缺的节。冰河湾国家公园及保护区是1980命名的，她占地平方公里。这一国家公园无公路跟外界连接，但每年都有数十万的游客来参观。我们现在所见到的冰河据说是4000年前的小冰河时期形成的，而不是一万至一百万年中间的更新世纪元(Pleistocene time)的产物。我们的游轮主要是观看的是马杰瑞冰河（Margerie Glacier）和约翰·霍普金斯冰河(Johns Hopkins Glacier)。这两个冰河被称为“到海冰河”(Tidewater Glacier)，冰河经长期的堆挤，直接顷泄入海。据介绍说，那些冰川的下滑速度每天大约为7英尺左右，面临海水的那些冰川差不都是三四百年前从山上一尺一尺的滑行下来的。这些冰河在海湾里形成一堵好几十米高的冰雪墙。这冰雪墙不时地崩塌着，有时会有大的冰山(iceberg)坠入海里。在夏天的时候，那些大的冰山大概会经过一个星期或者更长的时间才会融化掉。 4.美国肯塔基州地下洞穴猛玛洞　5.世界最高峰珠穆朗玛峰　6.世界最深的湖贝加尔湖　7.美国黄石公园　另外，东非大裂谷,大堡礁,科罗拉多大峡谷，也很有名。还有就是，极光（极光在地球南北两极附近地区的高空,夜间常会出现灿烂美丽的光辉。它轻盈地飘荡,同时忽暗忽明,发出红的、蓝的、绿的、紫的光芒。这种壮丽动人的景象就叫做极光。）　石灰岩溶洞　高山峻岭　日食（日食是月球绕地球转到太阳和地球中间时,如果太阳、月球、地球三者正好排成或接近一条直线,月球挡住了射到地球上去的太阳光,月球身后的黑影正好落到地球上,这时发生日食现象。）　月食（月食是一种特殊的天文现象，指当月球运行至地球的阴影部分时，在月球和地球之间的地区会因为太阳光被地球所遮闭，就看到月球缺了一块。也就是说，此时的太阳、地球、月球恰好 (或几乎) 在同一条直线，因此从太阳照射到月球的光线，会被地球所掩盖。以地球而言，当月食发生的时候，太阳和月球的方向会相差 180 度，所以月食必定发生在“望”(即农历15日前后)。要注意的是，由于太阳和月球在天空的轨道 (称为黄道和白道) 并不在同一个平面上，而是有约 5 度的交角，所以只有太阳和月球分别位于黄道和白道的两个交点附近，才有机会连成一条直线，产生月食。）。

新目标七年级下册英语第3,4单元单词急用

新目标七年级下册英语Unit3koala (澳洲)树袋熊tiger 老虎;虎elephant 大象dolphin海豚panda 熊猫lion 狮子penguin 企鹅girraffe 长颈鹿zoo 动物园cute 可爱的;聪明的map 地图;图smart 聪明的;漂亮的animal 动物box 方格;方框kind of 有几分south 南;南方;在南方的;南部Africa 非洲bingo 宾戈ugly 丑陋的;难看的clever 聪明的;机灵的friendly 友好的beautiful 美丽的;美好的shy 害羞的;怕羞的other 其他的;另外的grass草sleep 睡;睡觉during 在---期间at night 在晚上;在夜里leaf 叶;树叶lazy 懒惰的;懒散的meat 肉;肉类relax 放松;休息新目标七年级下册英语Unit4shop 商店;店铺assistant助手;助理shop assistant 店员doctor 医生reporter 记者;通讯员policeman 男警察waiter 侍者;服务员bank clerk 银行职员hospital 医院now 现在;此时star 担任主角;主演policewoman 女警官;女警察nurse 护士money钱;金钱;货币give 给;授予get 获得;得到;购买;拿来wear 穿;戴uniform 制服sometimes 不时;有时in 在---期间;在(一段时间)之内dangerous 危险的thief 小偷;贼late 晚;晚于通常时间out 在外;向外talk 谈话;谈论station 车站;政府机关的署;局TV station 电视台police 警方;警察police station 警察局newspaper 报纸hard 辛苦地;努力地as作为at按照;根据summer 夏季;夏天story 故事;事迹;小说magazine 杂志;期刊young 年轻的,年纪小的play 戏剧;剧本news 新闻;消息children 孩子(复数)international国际的teach 教;讲授skill 技能;技巧sir 先生;阁下madam女士;夫人祝你英语越学越好哦！