Hadoop项目需要学什么_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
Hadoop项目需要学什么
0|0|暂无简介|
中国IT职业教育领先品牌|
总评分0.0|
阅读已结束，如果下载本文需要使用0下载券
想免费下载更多文档？千锋教育-做有情怀、有良心、有品质的IT职业教育机构
400-811-9990
当前位置：&>&&>& &>& 正文
大数据开发培训带你了解Hadoop如何工作
　　大数据工程师面试，对于很多人来说应该都不陌生了吧，虽说大数据就业前景很好，但想要成功进入名企，并不是一件容易的事情，不仅仅需要专业的技能，还需要你在面试的时候认真准备一下。面试的时候，我们会遇到各种各样的问题，千锋讲师今天就先讲解一下面试经常会遇到的问题，Hadoop是如何工作的?
　　Hadoop是一个分布式文件系统(Hadoop Distributed File
System)，简称HDFS。Hadoop是一个能够对大量数据进行分布式处理的软件框架，
以一种可靠、高效、可伸缩的方式进行数据处理。所以说Hadoop解决了大数据如何存储的问题，因而在机构中是必须学习的课程，也是面试中面试官非常注重的一个技术点。
　　Hadoop是如何工作的?
　　Hadoop是从Google文件系统发源而来，并且他是一个用Java开发的跨平台的应用。核心组件有: Hadoop
Common，拥有其他模块所依赖的库和基础工具，Hadoop分布式文件系统 (HDFS)， 负责存储， Hadoop YARN， 管理计算资源， 和Hadoop
MapReduce， 负责处理的过程。
　　Hadoop把文件拆成小块并且把他们分发给集群中的节点。然后，它使用打包的代码分发到节点上并行处理数据。
这意味着可以处理数据的速度会比使用传统的体系结构的更快。
　　一个典型的Hadoop集群都会有主节点和从节点或者叫工作节点。
主节点有一个任务跟踪器，任务调度，名字节点和数据节点组成。从节点通常作为一个数据节点和任务调度器，不过特殊的场景下程序可能只有数据节点然后在其他的从节点进行处理计算。
　　在大的Hadoop集群中，通常会使用一个专用的名字节点来管理HDFS节点的文件系统索引信息，这防止了文件系统的数据丢失和损坏。
　　拥有一支强师队伍，在教学研究方面，我们老师不断的推陈出新，探索更新的教学方式，结合时代所需不断更新课程大纲，加强学生对于知识的理解和运用。千锋讲师对于大数据行业时刻保持一定的敏感性和前瞻性，定期与各大企业的技术官交流分析，掌握大数据的发展动向，不仅仅可以帮助同学们更好的学习大数据技术，还会预测一些大数据工程师面试题，为同学们的就业之路披荆斩棘。
北京天丰利校区（总部）：北京市海淀区宝盛北里西区28号天丰利商城4层
北京沙河校区：北京市昌平区沙阳路18号北京科技职业技术学院广场服务楼2层、南区服务楼2层
咨询电话：400-186-9990
面授课程：全栈HTML5+培训、UI交互设计培训、PHP培训、JavaEE+云数据培训、大数据开发培训、VR/AR混合现实培训、Python培训、Linux云计算培训、软件测试培训、Android培训、iOS培训、好程序员
深圳西部硅谷校区地址：深圳市宝安区宝安大道5010号深圳西部硅谷A区B座605-619
深圳大学城校区地址：深圳市南山区留仙大道1201号大学城创客小镇16栋2楼、3楼
咨询电话：400-186-（硅谷）0-801（大学城）
面授课程：全栈HTML5+培训、UI交互设计培训、PHP培训、JavaEE+云数据培训、Android培训、iOS培训
上海校区地址：上海市宝山区同济支路199号智慧七立方3号楼2-4层
咨询电话：400-186--79
面授课程：全栈HTML5+培训、UI交互设计培训、JavaEE+云数据培训、Android课程培训、iOS课程培训、好程序员
郑州校区地址：郑州市二七区航海中路60号海为科技园C区10层、12层
咨询电话：400-186--186-9990
面授课程：全栈HTML5+培训、UI交互设计培训、PHP培训、JavaEE+云数据培训、Android课程培训、iOS课程培训
广州校区地址：广州市天河区元岗路310号智汇park创意园E座5层
咨询电话：400-186-6-9990
面授课程：全栈HTML5+培训、JavaEE+云数据培训、Android课程培训、iOS课程培训
大连校区地址：辽宁省大连市甘井子区软件园路2号东软信息学院B5座一楼
咨询电话：400-186--186-9990
面授课程：全栈HTML5+培训、JavaEE+云数据培训、UI交互设计培训、Android课程培训、iOS课程培训
武汉校区地址：武汉市光谷大道61号智慧园21号楼2层
咨询电话：400-186-23826
面授课程：全栈HTML5+培训、JavaEE+云数据培训、Android课程培训、iOS课程培训
成都校区地址：成都市武侯区科华北路62号力宝大厦N（北楼）18楼
咨询电话：400-186-78771
面授课程：全栈HTML5+培训、UI交互设计培训、PHP培训、JavaEE+云数据培训、Android课程培训、iOS课程培训
西安校区地址：西安市雁塔区高新六路52号立人科技C座西区4楼
咨询电话：400-186-60160
面授课程：全栈HTML5+培训、JavaEE+云数据培训、Android课程培训
杭州校区地址：浙江省杭州市江干区九堡旺田书画城A座4层
咨询电话：400-186-893632
面授课程：全栈HTML5+培训、JavaEE+云数据培训、Android课程培训、iOS课程培训
青岛校区地址：青岛市市北区龙城路卓越世纪中心3号楼8层
咨询电话：400-186-911190
面授课程：全栈HTML5+培训、UI交互设计培训、JavaEE+云数据培训、Android课程培训、iOS课程培训
重庆校区地址：重庆市高新区科园一路2号大西洋国际12-1
咨询电话：400-186-83009
面授课程：JavaEE+云数据课程培训
长沙校区地址：湖南省长沙市岳麓区麓谷企业广场A2栋三单元306号
咨询电话：400-186--9990
面授课程：JavaEE+云数据课程培训
哈尔滨校区地址：哈尔滨市松北区创新一路699号科技创新城19号楼五楼
咨询电话：400-186-6969
面授课程：全栈HTML5+培训
了解千锋动态关注千锋教育服务号
扫一扫快速进入千锋移动端页面
扫码匿名提建议直达CEO信箱
京ICP备号-3 京公网安备55号共小节 播放次数:
447学习人数12790播放次数
精品课教师：李老师
课程简介课程评论
免费排行付费排行
腾讯精品课查看: 1184|回复: 0
千锋教育：手把手教你学hadoop yarn
　　作为一名刚刚学习过步入职场的小白，脱离了项目导师的指导，在工作中经常会出现不知道该如何学习、如何成长?在这里千锋教育大数据就业指导老师为学员总结了大数据hadoop yarn分享一下。　　很多人提到Hadoop首先想到的是Map/Reduce，其实从2.0开始Hadoop已经从单纯的分布式M/R计算框架变成了通用分布式框架。
图片3.png (33.92 KB, 下载次数: 14)
17:41 上传
　　上图是Hadoop2.0的技术栈，在Hadoop2.0中Hadoop底层划分为YARN和HDFS两个部分。YARN提供了集群资源管理，HDFS提供了分布式存储。在此之上开发出来的应用被称为Application，MapReduce就是其中的一个Application。需要注意的是：　　YARN和HDFS没有任何关系，甚至连代码都是可以彼此独立编译的;　　YARN和MapReduce也是彻底解耦的，绝对不存在&YARN为了M/R做了特殊优化&的说法;　　基于YARN我们可以开发自己的Application，比如Spark就属于YARN上的一个Application。当然这个Application可以和HDFS没有关系也可以和M/R没有关系;　　所以Hadoop2.0本质上是一个技术框架(Framework)，最重要的核心组件是YARN，基于YARN你可以轻松开发一个分布式系统。　　YARN　　YARN(YetAnotherResourceNegotiator)是一个分布式资源管理框架，可以把它理解为一种基础设施——提供了资源分配、调度、执行环境的基础设施(听起来像不像分布式操作系统)。
图片4.png (38.62 KB, 下载次数: 12)
17:41 上传
　　ResourceManager，整个集群中只能有一个它掌握了整个集群的资源分布情况，响应资源申请，为Application分配资源。下图是ResourceManager的三大功能
图片8.png (54.18 KB, 下载次数: 12)
17:42 上传
　　NodeManager，整个集群中可以有多个NodeManager，它启动之后会向ReosurceManager报告自己的资源情况。当ResourceManager把程序丢过来的时候它会为程序提供一个运行环境(Container)。
图片9.png (42.59 KB, 下载次数: 13)
17:42 上传
　　NodeManager并没有限制Container的实现是什么，它内置了两种实现——DefaultContainerExecutor是基于JVM的Container，NodeManager会为每个程序开辟吃一个新的进程;LinuxContainerExecutor基于CGroup实现的Container，NodeManager会利用Linux的CGroup为了每个应用提供运行环境。YARN出现的要比Docker早，所以它是直接使用的CGroup而没有采用Docker。幸运的是从Hadoop2.6开始已经提供DockerContainerExecutor。举个生活中的例子，你现在是一名拥有百套固定资产的房东，本来期望的的生活是撩妹-&收房租-&撩妹，结果发现自己每天忙着帮房客找适合它的房子、安排房客入驻或者安排房客搬出之类的破事。撩妹什么的大事情根本没有精力去做，所以现在是时候做出改变了!!我们可以把你的百套固定资产看成资源池，你是资源拥有者(ReosurceManager),房客(Application)是申请资源的人，为了便于管理每个小区安排一个代理人(NodeManager)。你有一个小本本上面记录了每个小区入住了哪些人，有多少空房，这些信息都是代理人每天向你报告的。当房客找你租房的时候你只要看一眼小本本，然后把代理人(NodeManager)的联系方式给房客就行了。　　YARNApplication工作原理　　YARN采用的是二级资源分配，它的工作过程要比上面的描述复杂的多。为了更加详细的解释YARNApplication的工作原理我们来看一张官方的图
图片10.png (145.61 KB, 下载次数: 13)
17:42 上传
　　这幅图里面有两个Application，一个颜色是粉红色的一个是紫色，两个并没有什么区别，粉红色的占用资源比较多，紫色的比较少，我们关注紫色的。先看蓝色的线，NodeManager启动之后会向ResourceManager报告自己的资源分配情况再看黑色的虚线　　Client(其实就是Application)会先向ResourceManager申请提交应用(SubmitApplication)，ResourceManager会返回集群中所有可用资源;Client申请一个Container用来运行ApplicationMaseter的部分，ResourceManager选择一份资源把任务下发到NodeManager(Client到ResourceManager的虚线)　　NodeManager会启动一个Container来执行ApplicationMaster(图中对应紫色AppMstr)。　　至此，一级资源分配完毕，接下来的工作是ApplicationMaster和ResourceManager交互完成剩余资源申请工作。　　ApplicationMaster向ResourceManager申请资源用于执行实际计算任务。ResourceManager会根据情况返回可用的资源(所有的申请未必全部满足)，ApplicationMaster也会根据实际情况决定是否使用申请到的资源。(图中紫色AppMstr到ResourceManager的黑色虚线)　　ApplicaitonMaster申请到的资源依然交给NodeManager处理，它会启动Container用来执行计算任务。(图中紫色AppMastr到紫色Container的黑线)　　总结下来其实就一句话——两级资源调度会先分配你一份计算资源，这份计算资源用来跑的程序会尝试申请更多份计算资源。两级资源调度可以提高系统资源利用率。系统的资源是动态变化的，每隔一段时间就要分配新的计算或者释放计算资源，一个Application的资源需求不可能被一次性满足，两级调度会先尝试分配一部分资源给Application以保证Application可以正常运行。接下来有新的资源会为Applicaiton追加新的资源。　　分布式资源管理框架看到网上有一些对比YARN和mesos的文章会说YARN是专门为M/R量身定制的或者说不支持两级调度。其实这些说法都不正确，YARN是一个纯粹的分布式资源管理框架它和M/R并没有任何直接关系。我们可以基于YARN开发自己的Application，比如Spark就是很好的例子。后面的文章我会尝试和大家一起开发一个真正的YARNApplication，我们会发现HadoopYARN带给我们的惊喜。　　谨记以上的资料哦，大数据自然会越来越顺畅。千锋教育大数据就业导师也衷心祝愿初入职场的大数据开发者们可以早日脱离小白的现状，进阶成为IT大牛。
上一篇：下一篇：　　学习大数据现在主流的就是Hadoop，但是有很多人对Hadoop都不是很了解，造成许多人认为大数据很难。现在大数据前景很好，就业也是很好的，很多的大企业也都需要这样的人才，现在许多培训机构也开设了大数据专业，今天千锋大数据老师就简单的讲学习Hadoop的注意事项有哪些。
　　学习hadoop知识:
　　hadoop分为hadoop1.X和hadoop2.X，并且还有hadoop生态系统。这里只能慢慢介绍了。一口也吃不成胖子。
　　那么下面我们以hadoop2.x为例进行详细介绍：
　　Hadoop的核心是mapreduce和hdfs。
　　Mapreduce：mapreduce是很多人都需要迈过去的槛，它比较难以理解，我们有时候即使写出了mapreduce程序，但是还是摸不着头脑。我们都知道mapreduce是一种编程模型，那么它能干什么，对我有什么用。它的原理是什么，为什么我们编写了map函数，reduce函数就可以在多台机器上运行，这些问题或许都给初学者带来了困扰。
　　那么我们就要了解：
　　什么是mapreduce?
　　Mapreduce的工作原理是什么?
　　Mapreduce的工作流程是什么?
　　Mapreduce的编程模型是什么?
　　shuffle是什么?
　　partition是什么?
　　combiner是什麽?
　　他们三者之间的关系是什么?
　　map的个数由谁来决定，如何计算?
　　reduce个数由谁来决定，如何计算?
　　mapreduce熟悉了，还有一些问题困扰着初学者，虽然有了J**a基础，但是我们需要搭建开发环境，该如何搭建开发环境?
　　那么就需要我们学习Windows上如何使用Eclipse远程连接Hadoop并进行程序开发
　　因为在操作mapredcue过程中伴随着操作hdfs，就像我们传统开发，编程是离不开数据库一样。hdfs可以理解为传统编程的数据库，但是其实他不是，真正的数据库是hadoop data base，也就是hbase。好了下面，我们开始讲如何学习hdfs：
　　HDFS：我们至少应该学习以下内容
　　什么是HDFS及HDFS架构设计?
　　HDFS体系结构简介及优缺点?
　　Hdfs如何存储数据?
　　Hdfs如何读取数据?
　　Hdfs如何写入文件?
　　Hdfs的副本存放策略?
　　如何访问hdfs?
　　Hdfs数据如何复制?
　　Namenode的热备?
　　hadoop生态系统内容还是比较多的，但是最常用的是hive，hbase。
　　Hive是初学者进入大数据(hadoop)行业最好的选择入口，因为它提供了简单的类sql语句，使得不懂得mapreduce程序编写的学员也能够很轻松的进入大数据行业。所以建议大家(尤其是零基础的学员)在学习hadoop的过程中，可以着重加强对hive的学习，尤其是hive语句的熟练操作。当然对于有数据库基础的学员学习hive就更容易一些。
　　Hbase是一种nosql数据库，只有当数据量非常大时，比如TB、PB级，hbase才能发挥出很好的效果，所以对于致力于加入大公司的学员，可以深入学习hbase，尤其是hbase表的设计，rowkey的设计，hbase性能的调优，hbase和hive、impala的结合等。
　　Yarn是分布式集群资源管理框架，也是hadoop2.x和hadoop1.x明显不同的地方，所以我们还是有必要对yarn的原理、框架、组成部分进行详细的了解的。
　　对于hadoop其他的组件：比如海量日志收集工具flume，数据导入导出工具sqoop，应用程序协调服务zookeeper，学员可以结合实战项目学习其原理，如何使用即可。
　　对于想从事数据挖掘的学员，可以深入学习mahout、机器学习、算法等相关知识，根据学员自己的职业选择和兴趣爱好自主选择，建议零基础的学员最好是先从hive入手。
　　Storm是一种基于流的计算框架，spark是基于内存的计算框架，它们是不同于mapreduce的计算框架，但作用都是对数据的处理和分析，建议初学者在学习好mapreduce的前提下，可以对storm和spark进行深入的学习，切记贪多嚼不烂。通而不精。
　　如果想更加深入的学习，丰富自己的知识，可以选择性的学习一下shell、python脚本语言，Redis、MongoDB等nosql数据库，如果想做hadoop运维的，也可以学习ganglia和nagios等监控工具。
　　最后千锋大数据老师建议大家在学习过程中一定要由浅入深、从简单到复杂、理论和实践相结合，由于hadoop生态系统的工具比较多，每个工具有不同的侧重点，所以提醒大家切记贪多、切记浮躁、只有基础扎实了，后续的学习才会更轻松、更快速、更高效。
与非门科技(北京)有限公司 All Rights Reserved.
京ICP证:070212号
北京市公安局备案编号： 京ICP备：号