hdfs和hadoopp的hdfs是怎么配置的

来源：蜘蛛抓取(WebSpider) 时间：2017-01-23 08:39 标签： hdfs和hadoop

版权声明：本文为博主原创文章才疏学浅，如有错误欢迎指正。 /lijingkuan/article/details/

指定hdfs上传文件时的副本数默认是3。
分布式系统上的文件副本数由上传时的系统副本数决定，不会受后面replication的更改而变化除非用命令来更改文件的副本数。
level参数需要在每台datanode上设置。其实默认为3个副本已经够用了设置太多也没什么用。
文件上传后备份数已定，修改dfs.replication不会影响以前的文件副本数量也不会影响后面上传文件时指定备份数的文件，只影响后面采用默认备份数的文件 

在上传文件的同时指定创建的副本数
可以通过命令来更改已经上传的文件的副本数：
查看当前hdfs的副本数
 #如果所有文件的副本書都是1，则此参数的值为1
某个文件的副本数可以通过ls中的文件描述符看到
如果你只有3个datanode，但是你却指定副本数为4是不会生效的，因为烸个datanode上只能存放一个副本
    from datanodes when the system starts.(namenode也记录每个文件中各个块所在的數据节点信息但它并不永久保存块的信息，因为这些信息会在系统启动时由数据节点重建）

(namenode和内存文件系统中每个文件和数据块保持关聯这意味着在多文件的大集群上，内存会限制规模化的增长HDFS Federation 允许一个集群通过增加namenodes实现规模化，每一个namenode管理命名空间文件系统的一部汾）

版权声明：本文为博主原创文章未经博主允许不得转载。 /u/article/details/

* 列出hdfs目录下的列表
* 上传文件到hdfs中（三种方式）
* 下载hdfs文件到本地（三种方式）
* 显示文本文件的内容
* 追加内容到已存在的文件
* 修改文件的属主属组

我要回帖

更多关于 hdfs和hadoop 的文章

 

随机推荐