处理100t数据需要多少100tb服务器器

来源：蜘蛛抓取(WebSpider) 时间：2017-01-12 03:40 标签： 100tb存储服务器
深入浅出Hadoop 高效处理大数据 - HDFS分布式文件系统_服务器应用_Linux公社-Linux系统门户网站
你好，游客
深入浅出Hadoop 高效处理大数据
HDFS分布式文件系统
来源：it168&
作者：DoubleLife
与Google一样，都是小孩命名的，是一个虚构的名字，没有特别的含义。从计算机专业的角度看，Hadoop是一个分布式系统基础架构，由Apache基金会开发。Hadoop的主要目标是对分布式环境下的“大数据”以一种可靠、高效、可伸缩的方式处理。设想一个场景，假如您需要grep一个100TB的大数据文件，按照传统的方式，会花费很长时间，而这正是Hadoop所需要考虑的效率问题。
　　关于Hadoop的结构，有各种不同的说法。我们这里简单的理解为Hadoop主要由三部分组成：HDFS(Hadoop Distributed File System)，MapReduce与Hbase。
　　1.Hadoop组件之一：HDFS分布式文件系统具有哪些优点?
　　HDFS作为一种分布式文件系统，它和现有的分布式文件系统有很多共同点。比如，Hadoop文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。对于Client端而言，HDFS就像一个传统的分级文件系统，可以创建、删除、移动或重命名文件等等。与此同时，HDFS与其他的分布式文件系统的区别也是显而易见的。
　　首先，HDFS设计目标之一是适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS假设的硬件错误不是异常，而是常态。因为HDFS面向的是成百上千的服务器集群，每台服务器上存储着文件系统的部分数据，并且这些机器的价格都很低廉。这就意味着总是有一部分硬件因各种原因而无法工作。因此，错误检测和快速、自动的恢复是HDFS最核心的架构目标。从这个角度说，HDFS具有高度的容错性。
　　第二，HDFS的另一个设计目标是支持大文件存储。与普通的应用不同，HDFS应用具有很大的数据集，一个典型HDFS文件大小一般都在G字节至T字节。这就意味着HDFS应该能提供比较高的数据传输带宽与数据访问吞吐量。相应的，HDFS开放了一些POSIX的必须接口，容许流式访问文件系统的数据。
　　第三，HDFS还要解决的一个问题是高数据吞吐量。HDFS采用的是“一次性写，多次读”这种简单的数据一致性模型。换句话说，文件一旦建立后写入，就不需要再更改了。网络爬虫程序就很适合使用这样的模型。
　　第四，移动计算环境比移动数据划算。HDFS提供了API，以便把计算环境移动到数据存储的地方，而不是把数据传输到计算环境运行的地方。这对于数据大文件尤其适用，可以有效减少网络的拥塞、提高系统的吞吐量。
　　HDFS的体系结构与工作流程
　　下面简单看一下HDFS的结构。图1所示为HDFS的体系结构图。HDFS采用的是Master/Slave架构。
　　NameNode节点作为Master服务器，有三部分功能。第一：处理来自客户端的文件访问。第二：管理文件系统的命名空间操作，如'打开'、'关闭'、'重命名'等。第三：负责数据块到数据节点之间的映射。从这个意义上说，它扮演中心服务器的角色。
　　DataNode节点作为Slave服务器，同样有三部分功能。第一：管理挂载在节点上的存储设备。第二：响应客户端的读写请求。第三：从内部看，每个文件被分成一个或多个数据块，被存放到一组DataNode，在Namenode的统一调度下进行数据块的创建、删除和复制。
　　图1 HDFS体系结构图
　　HDFS采用Java语言开发，因此任何支持Java的机器都可以部署Namenode或Datanode。相应地，GNU/Linux操作系统支持Namenode与Datanode。一个典型的部署场景是，一台GNU/Linux操作系统上运行一个Namenode实例，作为Master中心服务器。而集群中的其它GNU/Linux操作系统分别运行一个Datanode实例，作为Slave服务器集群。
【内容导航】
相关资讯 & & &
& (03/11/:48)
& (01/30/:17)
& (05/16/:27)
& (02/17/:43)
& (12/16/:47)
　　　同意评论声明
　　　发表
尊重网上道德，遵守中华人民共和国的各项有关法律法规
承担一切因您的行为而直接或间接导致的民事或刑事法律责任
本站管理人员有权保留或删除其管辖留言中的任意内容
本站有权在网站内转载或引用您的评论
参与本评论即表明您已经阅读并接受上述条款【Minecraft】美国100TB机房服务器经久不衰的秘诀是什么？_服务器吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：578,211贴子：
【Minecraft】美国100TB机房服务器经久不衰的秘诀是什么？收藏
美国100TB机房服务器经久不衰的秘诀是什么？10万G流量 不限流量任选！不怕超流量选择租用哪个机房好？美国100TB机房服务器是游戏用户、视频流媒体用户的首选机房！因为美国100TB服务器有七大数据中心可供选择，地理位置有很大的优势！美国100TB机房是美国主打的企业级数据中心，服务器均配备1G独享带宽，并且带宽线路稳定！10万G流量、不限流量任选！
美国100TB机房可以提供7个数据中心的服务器租用：荷兰阿姆斯特丹数据中心，英国伦敦数据中心，美国盐湖城数据中心 美国达拉斯数据中心，美国加州圣何塞数据中心，美国西雅图数据中心，美国华盛顿数据中心。
服务器租用哪家强？就找美星在线美国100TB机房！老板再也不用担心超流量而罚款了！丰厚的带宽资源，优越的网络环境，低廉的产品价格，绝对是高性能性价比之王 ，机会稍纵即逝，抓住它成就您！！
全国服务器哪家强，可以找我来帮忙！Q
登录百度帐号推荐应用
为兴趣而生，贴吧更懂你。或让人惊讶！处理100TB数据要多长时间_网易数码
让人惊讶！处理100TB数据要多长时间
用微信扫码二维码
分享至好友和朋友圈
（原标题：让人惊讶！处理100TB数据要多长时间）
11月10日，有计算奥运会之称的Sort&Benchmark全球排序竞赛公布了2016年最终成绩，腾讯云大数据联合团队用时仅仅98.8秒，就就完成了100TB的数据排序。这打破了阿里云去年创造的329秒纪录，而在更早的时候，百度曾经的纪录是716秒，Hadoop的纪录是4222秒。在这次竞赛中，腾讯云数智分布式计算平台夺得了GraySort、MinuteSort两个项目的冠军，同时创造四项世界纪录，将阿里云去年的纪录整体提高了2-5倍。GraySort项目比的是如何在最短的时间内将总量100TB的1万亿条无序100字节纪录，从小到大进行排序。腾讯云用时98.8秒完成，相当于每分钟处理60.7TB，而去年冠军的成绩是18.2TB/分钟。MinuteSort比的则是在1分钟之内能够完成多少数据量的排序。腾讯云的成绩是55TB，而去年只有11TB。Sort&Benchmark通过排序竞赛考量一家公司或机构大规模计算能力的综合实力，通过排序这个最基本的计算问题，不仅全面评测分布式系统软件架构能力(如海量数据分布式存储、计算任务切片调度、节点通信协调同步、数据计算监控容灾等性能)，也评测了硬件架构能力(如服务器硬件选配、网络架构调优、IDC规划建设能力等)。
为了参加此次竞赛，腾讯云大数据联合团队在基础架构上采用了512台IBM&OpenPower服务器和迈络思公司的100Gb互联技术。
本文来源：中关村在线
责任编辑："王晓易_NE0011"
用微信扫码二维码
分享至好友和朋友圈
加载更多新闻
热门产品:　　　
:　　　　　　　　
:　　　　　　　　　
热门影院：
阅读下一篇
用微信扫描二维码
分享至好友和朋友圈

我要回帖

更多关于 100tb存储服务器 的文章

 

随机推荐