旧的Mapreduce架构
此架构会有以下问题：
总的来说就是
单点问题
和
资源利用率问题
YARN架构
YARN就是将 JobTracker 的职责进行拆分，将资源管理和任务调度监控拆分成独立的进程：一个全局的资源管理和一个每个作业的管理（ApplicationMaster） ResourceManager 和 NodeManager 提供了计算资源的分配和管理，而 ApplicationMaster 则完成应用程序的运行
架构对比
YARN架构下形成了一个通用的资源管理平台和一个通用的应用计算平台，避免了旧架构的单点问题和资源利用率问题，同时也让在其上运行的应用不再局限于 MapReduce 形式
YARN基本流程
1. Job submission
从ResourceManager 中获取一个Application ID 检查作业输出配置，计算输入分片 拷贝作业资源（job jar、配置文件、分片信息）到 HDFS，以便后面任务的执行
2. Job initialization
ResourceManager 将作业递交给 Scheduler（有很多调度算法，一般是根据优先级）Scheduler 为作业分配一个 Container，ResourceManager 就加载一个 application master Process 并交给 NodeManager。
管理 ApplicationMaster 主要是创建一系列的监控进程来跟踪作业的进度，同时获取输入分片，为每一个分片创建一个 Map task 和相应的 reduce task Application Master 还决定如何运行作业，如果作业很小（可配置），则直接在同一个 JVM 下运行
3. Task assignment
ApplicationMaster 向 Resource Manager 申请资源（一个个的Container，指定任务分配的资源要求）一般是根据>
Java软件开发者，如何学习大数据？
1.基础的编程语言(java,python)
2.编程基础（linux操作，数据库操作、git操作）
3.大数据里面的各种框架（hadoop、hive、hbase、spark）
真正的大数据的学习不能仅仅停留在理论的层面上，比如现在经常用到的spark框架目前支持两种语言的开发java或者Scala，现在python语言也能支持了。 大数据的方向的切入是全方位的基础语言的学习只是很小的一个方面，编程落实到最后到编程思想，有了指导思想学习起来就能方便很多。
大数据在使用过程中因为涉及很多框架的部署，而且大部分的部署都在linux环境下，所以掌握linux基本的命令是必须具备的，linux虽然在桌面系统上应用范围不是很广泛，但在服务器端还是收到很大的推崇，命令的学习相对而言还是比较简单。
大数据主流的框架hadoop了，里面涉及到的框架又是非常的庞大，以致于很多人觉得学习大数据就是学习hadoop了，毕竟属于主流体系，但很多公司的做法是几个框架混合起来使用，达到最高的效果。
Java软件开发者，如何学习大数据？
正常来讲学习大数据之前都要做到以下几点
1.学习基础的编程语言(java,python)
2.掌握入门编程基础（linux操作，数据库操作、git操作）
3.学习大数据里面的各种框架（hadoop、hive、hbase、spark）
这是正常学习大数据必须要做到的三个步骤，如果有了java基础再去学习基本上已经成功了一半，起码不用为了基础语言的学习而恼火了。
真正的大数据的学习不能仅仅停留在理论的层面上，比如现在经常用到的spark框架目前支持两种语言的开发java或者Scala，现在python语言也能支持了。 大数据的方向的切入是全方位的基础语言的学习只是很小的一个方面，编程落实到最后到编程思想，有了指导思想学习起来就能方便很多。
七字成语大全
年之计在于春 一朝天子一朝臣 一个巴掌拍不响 一人做事一人当 一失足成千古恨 一寸光阴一寸金 一发而不可收拾 三人行必有我师 三过其门而不入 三句话不离本行 四海之内皆兄弟 万绿从中一点红 人生何处不相逢 人生七十古来稀 人逢喜事精神爽 上梁不正下梁歪 山雨欲来风满楼 小不忍则乱大谋 无事不登三宝殿 无可奈何花落去 不为五斗米折腰 不看僧面看佛面 不敢越雷池一步 不到黄河心不死 不管三七二十一 不见棺材不下泪 不识庐山真面目 今朝有酒今朝醉 车到山前必有路 勿以恶小而为之 长江后浪推前浪 心有灵犀一点通 心有余而力不足 打破沙锅问到底 只重衣衫不重人 出师未捷身先死 犯天下之大不韪 半夜敲门心不惊 有百害而无一利 有过之而无不及 有钱能使鬼推磨 此地无银三百两 众人拾柴火焰高 多行不义必自毙 羊毛出在羊身上 听其言而观其行 身在曹营心在汉 初生牛犊不怕虎 君子之交淡如水 识时务者为俊杰 英雄无用武之地 来而不往非礼也 近水楼台先得月 挟天子以令诸侯 画虎不成反类狗 知人知面不知心 知其一不知其二 放之四海而皆准 树欲静而风不止 冒天下之大不韪 恶龙不斗地头蛇 强龙不压地头蛇 强将之下无弱兵 强中更有强中手 墙里开花墙外香 宰相肚里能撑船 冤仇宜解不宜结 解铃须用系铃人 神龙见首不见尾 得饶人处且饶人 偷鸡不着蚀把米 置之死地而后生 醉翁之意不在酒 清官难断家务事 赔了夫人又折兵 船到桥门自会直 船到江心补漏迟 识时务者为俊杰 树欲静而风不止 牵一发而动全身 胜败乃兵家常事 黑云压城城欲摧 粪土之墙不可朽 翻手为云覆手雨 踏破铁鞋无觅处 糟糠之妻不下堂 三人行，必有我师 是可忍，孰不可忍 朝闻道，夕死可矣 道不同，不相为谋 知其一，不知其二 一年之计在于春 一朝天子一朝臣 一个巴掌拍不响 一人做事一人当 一失足成千古恨 一寸光阴一寸金 一发而不可收拾 三人行必有我师 三过其门而不入 三句话不离本行 四海之内皆兄弟 万绿从中一点红 人生何处不相逢 人生七十古来稀 人逢喜事精神爽 上梁不正下梁歪 山雨欲来风满楼 小不忍则乱大谋 无事不登三宝殿 无可奈何花落去 不为五斗米折腰 不看僧面看佛面 不敢越雷池一步 不到黄河心不死 不管三七二十一 不见棺材不下泪 不识庐山真面目 今朝有酒今朝醉 车到山前必有路 勿以恶小而为之 长江后浪推前浪 心有灵犀一点通 心有余而力不足 打破沙锅问到底 只重衣衫不重人 出师未捷身先死 犯天下之大不韪 半夜敲门心不惊 有百害而无一利 有过之而无不及 有钱能使鬼推磨 此地无银三百两 众人拾柴火焰高 多行不义必自毙 羊毛出在羊身上 听其言而观其行 身在曹营心在汉 初生牛犊不怕虎 君子之交淡如水 识时务者为俊杰 英雄无用武之地 来而不往非礼也 近水楼台先得月 挟天子以令诸侯 画虎不成反类狗 知人知面不知心 知其一不知其二 放之四海而皆准 树欲静而风不止 冒天下之大不韪 恶龙不斗地头蛇 强龙不压地头蛇 强将之下无弱兵 强中更有强中手 墙里开花墙外香 宰相肚里能撑船 冤仇宜解不宜结 解铃须用系铃人 神龙见首不见尾 得饶人处且饶人 偷鸡不着蚀把米 置之死地而后生 醉翁之意不在酒 清官难断家务事 赔了夫人又折兵 船到桥门自会直 船到江心补漏迟 识时务者为俊杰 树欲静而风不止 牵一发而动全身 胜败乃兵家常事 黑云压城城欲摧 粪土之墙不可朽 翻手为云覆手雨 踏破铁鞋无觅处 糟糠之妻不下堂 三人行，必有我师 是可忍，孰不可忍 朝闻道，夕死可矣 道不同，不相为谋 知其一，不知其二 勿谓言之不喻也 拔了萝卜地皮宽 大水冲了龙王庙 大树底下好乘凉 打开天窗说亮话 打破砂锅问到底 打破沙锅问到底 既来之，则安之 起死人而肉白骨 起死人，肉白骨 七次量衣一次裁 半部论语治天下 饱人不知饿人饥 饱汉不知饿汉饥 闭塞眼睛捉麻雀 彼一时，此一时 兵在精而不在多 不看僧面看佛面 不为五斗米折腰 不能登大雅之堂 不到黄河心不死 不是冤家不聚头 不管三七二十一 不识庐山真面目 不敢越雷池一步 不见棺材不落泪 不见棺材不下泪 不怕官，只怕管 不念僧面念佛面 不以一眚掩大德 不自由，毋宁死 长江后浪推前浪 朝里无人莫做官 成也萧何败萧何 秤砣虽小压千斤 吃一堑，长一智 初生之犊不畏虎 初生之犊不惧虎 初生牛犊不怕虎 船到桥门自会直 船到江心补漏迟 春蚕到死丝方尽 此一时，彼一时 此地无银三百两 聪明反被聪明误 带着铃铛去做贼 当面输心背面笑 当面锣，对面鼓 道不同不相为谋 得饶人处且饶人 貂不足，狗尾续 丁是丁，卯是卯 钉是钉，铆是铆 丢下耙儿弄扫帚 东方不亮西方亮 多行不义必自毙 放之四海而皆准 放诸四海而皆准 风从虎，云从龙 高鸟尽，良弓藏 高不成，低不就 各人自扫门前雪 歌于斯，哭于斯 挂羊头，卖狗肉 过五关，斩六将 含着骨头露着肉 好了疮疤忘了痛 好心做了驴肝肺 好汉不吃眼前亏 好女不穿嫁时衣 黑云压城城欲摧 横挑鼻子竖挑眼 画虎不成反类犬 画虎画皮难画骨 画龙不成反为狗 画虎不成反类狗 皇天不负苦心人 皇天不负有心人 见其一未见其二 狡兔死，良犬烹 狡兔死，良狗烹 解铃须用系铃人 解铃还须系铃人 解铃还需系铃人 解铃还是系铃人 近水楼台先得月 尽信书不如无书 今日有酒今日醉 今朝有酒今朝醉 惊天地，泣鬼神 经一事，长一智 酒逢知己千杯少 跼高天，蹐厚地 拒人于千里之外 居移气，养移体 决胜于千里之外 君子之交淡如水 来而不往非礼也 浪子回头金不换 老而不死是为贼 老虎头上扑苍蝇 雷声大，雨点小 柳暗花明又一村 吕端大事不糊涂 满招损，谦受益 冒天下之大不韪 眉毛胡子一把抓 敏于事，慎于言 名不正，言不顺 磨不磷，涅不缁 磨刀不误砍柴工 牛不喝水强按头 赔了夫人又折兵 盆朝天，碗朝地 前怕龙，后怕虎 前怕狼，后怕虎 千里姻缘一线牵 千里姻缘使线牵 千日斫柴一日烧 千日打柴一日烧 牵一发而动全身 强将手下无弱兵 强龙不压地头蛇 强中更有强中手 强中自有强中手 桥归桥，路归路 桥是桥，路是路 情人眼里出西施 清官能断家务事 清官难断家务事 求大同，存小异 人逢喜事精神爽 人心不足蛇吞象 人不知，鬼不觉 人生何处不相逢 人心齐，泰山移 人怕出名猪怕壮 人生自古谁无死 人生七十古来稀 三过其门而不入 三句话不离本行 三寸鸟，七寸嘴 三折肱，为良医 山雨欲来风满楼 上梁不正下梁歪 神不知，鬼不觉 神龙见首不见尾 身在曹营心在汉 胜败乃兵家常事 胜不骄，败不馁 识时务者为俊杰 识二五而不知十 是非只为多开口 失败为成功之母 树欲静而风不停 树欲息而风不停 树欲静而风不止 树欲静而风不宁 数东瓜，道茄子 书同文，车同轨 水流湿，火就燥 说时迟，那时快 四海之内皆兄弟 汤里来，水里去 天下乌鸦一般黑 天若有情天亦老 天不怕，地不怕 跳在黄河洗不清 跳到黄河洗不清 跳进黄河洗不清 挑得篮里便是菜 听其言而观其行 同生死，共存亡 偷鸡不着蚀把米 万丈高楼平地起 王顾左右而言他 无可奈何花落去 勿谓言之不预也 乌头白，马生角 夏虫不可以语冰 先小人，后君子 小不忍则乱大谋 挟天子以令诸侯 挟天子以令天下 心病还须心药医 心有灵犀一点通 心有余而力不足 行百里者半九十 雄纠纠，气昂昂 言寡尤，行寡悔 言必信，行必果 言有尽而意无穷 燕雀岂知雕鹗志 燕雀安知鸿鹄志 眼不见，心不烦 羊毛出在羊身上 咬人狗儿不露齿 一失足成千古恨 一叶落知天下秋 一块石头落了地 一口吸尽西江水 一是一，二是二 一钱不落虚空地 一则一，二则二 一而再，再而三 一寸光阴一寸金 一个萝卜一个坑 一个巴掌拍不响 一传十，十传百 一不做，二不休 一波才动万波随 一而二，二而一 一而二，二而三 一朝天子一朝臣 一年之计在于春 英雄无用武之地 有一利必有一弊 有过之而无不及 有其父必有其子 有钱能使鬼推磨 有过之，无不及 玉不琢，不成器 远水解不了近渴 远水救不得近火 远来和尚好看经 类别:成语大全 | 关键词：七字成语大全 | 阅读: (568) | 回复: (0)« 上一篇六字成语大全九字成语大全下一篇 »网友评论发表评论马上写
发表评论