要对Hadoop进行虚拟化对服务器的要求吗

来源：蜘蛛抓取(WebSpider) 时间：2017-04-12 21:10 标签： 虚拟化对存储的要求
虚拟化用“七板斧” 赢得了Hadoop芳心_云计算吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：14,625贴子：
虚拟化用“七板斧” 赢得了Hadoop芳心收藏
随着大数据时代的到来，数据量在疯狂的增长，为企业带来发展机遇的同时，也为企业带来巨大压力，越来越多的企业开始思考如何挖掘这些数据的价值。传统的BI系统、数据仓库和数据库系统都不能很好地处理这些数据，原因包括：1)数据量太大，传统数据库不能有效存储并维持可以接受的性能;2)新产生的数据往往是非结构化的，而传统方式都是为处理结构化数据而设计的;3)传统数据处理所需的硬件往往相对昂贵，随着数据量增加而继续用传统方式处理的成本让很多企业不能承受。为此，倍受互联网界推崇的Apache Hadoop这朵奇葩日益吸引了企业界的目光，大量企业都在思考如何把Hadoop这个美丽的新娘娶回自己的数据中心。不过，传统的企业数据中心要想娶回这个妖艳新娘可不是那么简单。Hadoop的部署、运维都需要很多极客才能完全掌控，完全超出了传统企业数据中心的技术能力;另外，Hadoop不仅需要专门硬件，而且安全和服务等级确保也是挑战。如何能享受美丽新娘的温柔梦乡而不带来其他的后患成为企业选择Hadoop的现实挑战。 　　从服务器虚拟化到整个数据中心虚拟化，今天我们已经充分感受到了虚拟化这个小子的力量!如果虚拟化能和Hadoop来场恋爱，企业数据中心选择Hadoop的羁绊是不是都会一扫而光呢？答案是肯定的。虚拟化能让Hadoop和底层物理硬件分离，真正步入云端翩跹起舞，Hadoop从而轻松步入快速部署、高可用、资源弹性调度和安全多租户的云端殿堂，企业数据中心大数据分析和利用的美梦才能真正成为现实。 　　让我们一起来揭开虚拟化这小子的恋爱秘籍吧，以便更好地利用Hadoop来应对大数据的挑战。1)快速部署Hadoop：我们已经熟悉虚拟化的密码，包括虚拟机、快照、模板、资源动态分配等，这些特性能很好地降服了大量应用部署的难题，Hadoop当然也不在话下，可以大幅度提高Hadoop节点的部署速度。同时，可以按需快速启动和关闭Hadoop节点，从而实现资源的高效利用，比如VMware发布的Serengeti开源项目，助推了虚拟化和Hadoop之恋的进程;2)为Hadoop提供高可用和容错能力：尽管Hadoop通过数据分布复制提高了系统可靠性，但仍然有很多部件存在单点故障，这种结构在互联网企业中可能不是问题，但对传统数据中心来说绝对是个挑战。比如：Namenode和jobtracker以及某些支持模块都存在单点故障，通过虚拟小子的平台高可用可以为这些模组轻松赋予高可靠的特性，让Hadoop走进企业数据中心后，您仍然能高枕无忧;3)拥抱Hadoop的高效数据中心：通过虚拟小子动态调度能力，可以将各种不同的负载混搭在企业数据中心云端平台，Hadoop当然也可以与其他负载同床共枕，通过严格的安全隔离，确保不会发生任何冲突。甚至你可以在同一云平台运行不同版本的Hadoop，相互之间和平共处，资源共享，在确保可用性、性能的前提下，降低了传统部署Hadoop的总体成本，轻松实现了高效数据中心的目标;4)大幅提升Hadoop环境资源利用率：将Hadoop和其他负载部署在同一主机上，通过资源控制策略来实现资源的高效分配和调度，实现Hadoop在云端的完美漫步，是虚拟化小子赢得这场恋爱的关键一环;5)Hadoop云端多租户：通过虚拟化的隔离能力，Hadoop确保本身多租户的完美体验，不同的租户可以将Hadoop和其他负载混合运行在云端资源池，多租户顺利部署实现;6)安全隔离：虚拟小子的安全隔离能力，让不同组织、用户的Hadoop可以无忧运行，轻松达成数据和环境完全隔离的目标，同时共享底层的物理资源;7)易于维护和迁移：虚拟化让Hadoop节点易于复制、迁移，方便了同数据中心不同集群之间、一个数据中心到另一个数据中心跨云迁移等瞬间实现，Hadoop再也不是一个行动不便的媚娘。 　来自D1Net评论：可以看出，虚拟化这小子，用7板斧就顺利赢得了Hadoop的芳心，不仅仅让Hadoop没给传统的企业数据中心添乱，而且Hadoop在虚拟平台上的魅力未减，因为大量的事实已经印证了虚拟化的Hadoop节点运行性能依然堪比物理环境，同时还带来了大量的成本节约。Hadoop和虚拟化门当户对，他们的恋爱能否开花结果，让我们拭目以待。
登录百度帐号推荐应用
为兴趣而生，贴吧更懂你。或基于虚拟化平台的Hadoop应用I/O性能分析--《计算机研究与发展》2015年S2期
基于虚拟化平台的Hadoop应用I/O性能分析
【摘要】：MapReduce编程模型在大规模并行化应用的设计和开发领域正在发挥越来越重要的作用.同时,Hadoop又是现在被广泛使用的云平台中数据密集型应用开发的开源MapReduce实现方式.众所周知,在云计算中最小的计算单元就是虚拟机,虚拟机有充分利用系统资源,使系统便于管理,提高系统可靠性和节省开销等多种优点.该文将通过一系列实验对不同虚拟化平台上Hadoop应用的I/O性能进行评测分析,这些实验的结果可以作为将来选择虚拟机类型的标准,以便Hadoop应用能够在虚拟化平台中获得最好的I/O性能.
【作者单位】：
【关键词】：
【基金】：
【分类号】：TP302【正文快照】：
Evaluating Hadoop Applications?I?O Performance on Virtualization PlatformGuo Mengying1,Jiang Dejun1,Chen Jing2,3,4,and Xiong Jin11(Institute of Computing Technology,Chinese Academy of Sciences,Beijing(Shandong Computer Science Center(National Su
欢迎：、、)
支持CAJ、PDF文件格式，仅支持PDF格式
【相似文献】
中国期刊全文数据库
聂兴;;[J];科技传播;2011年14期
吕苹;;[J];科技通报;2011年06期
王凯;侯紫峰;;[J];计算机研究与发展;2011年11期
杨峰;田高成;;[J];系统工程理论与实践;2011年S2期
应亮;;[J];信息与电脑(理论版);2011年12期
丁顺;李明禄;翁楚良;刘谦;;[J];计算机应用与软件;2012年06期
沈越峰;卢畅;;[J];电脑知识与技术;2013年01期
潘飞;蒋从锋;徐向华;万健;;[J];小型微型计算机系统;2013年03期
常德成;徐高潮;;[J];计算机应用研究;2013年04期
马晓亭;樊馨蔓;;[J];图书馆学研究;2013年05期
中国重要会议论文全文数据库
杨旭;彭一明;刑承杰;李若淼;;[A];中国高等教育学会教育信息化分会第十二次学术年会论文集[C];2014年
李英壮;廖培腾;孙梦;李先毅;;[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年
马苏安;梁亮;;[A];中国通信学会信息通信网络技术委员会2011年年会论文集（下册）[C];2011年
王郑;韩焱;单联春;;[A];中国通信学会信息通信网络技术委员会2011年年会论文集（上册）[C];2011年
中国重要报纸全文数据库
盆盆;[N];中国电脑教育报;2004年
宋家雨;[N];网络世界;2008年
计算机世界实验室;[N];计算机世界;2008年
飘零雪;[N];中国电脑教育报;2004年
宋家雨;[N];网络世界;2008年
;[N];计算机世界;2002年
美《Network
World》专栏作家
O[N];网络世界;2011年
汤铭;[N];计算机世界;2011年
郭涛;[N];中国计算机报;2007年
丽华;[N];电脑报;2002年
中国博士学位论文全文数据库
宋翔;[D];复旦大学;2014年
王桂平;[D];重庆大学;2015年
周真;[D];重庆大学;2015年
郭芬;[D];华南理工大学;2015年
陈彬;[D];国防科学技术大学;2010年
刘海坤;[D];华中科技大学;2012年
赵佳;[D];吉林大学;2013年
邓莉;[D];华中科技大学;2013年
李丁丁;[D];华中科技大学;2013年
董玉双;[D];吉林大学;2014年
中国硕士学位论文全文数据库
赵彦琨;[D];华中科技大学;2009年
袁旻昊;[D];华中科技大学;2009年
金新宝;[D];电子科技大学;2005年
刘菲军;[D];太原理工大学;2012年
乐伟;[D];云南大学;2012年
欧阳晟;[D];中南大学;2012年
邹潇;[D];上海交通大学;2013年
刘望舒;[D];南京理工大学;2013年
杨斌;[D];北京邮电大学;2013年
田红;[D];北京邮电大学;2013年
&快捷付款方式
&订购知网充值卡
400-819-9993
《中国学术期刊（光盘版）》电子杂志社有限公司
同方知网数字出版技术股份有限公司
地址：北京清华大学 84-48信箱 大众知识服务
出版物经营许可证 新出发京批字第直0595号
订购热线：400-819-82499
服务热线：010--
在线咨询：
传真：010-
京公网安备75号

我要回帖

更多关于 虚拟化对存储的要求 的文章

 

随机推荐