我都改了几次hostName 为什么 使用 hadoop 简单namenode

来源：蜘蛛抓取(WebSpider) 时间：2017-01-03 03:37 标签： hadoop 简单

正如大家所知NameNode在Hadoop系统中存在单點故障问题，这个对于标榜高可用性的Hadoop来说一直是个软肋本文讨论一下为了解决这个问题而存在的几个solution。

以下是Avatar方案部署相关的简单介紹

1.首先关于Avatar方案对于Hadoop的备份是对Dfs的的单点备份，并不包括Mapred因为Hadoop本身就不存在处理jobtracker单点故障的机制。

7.AvatarDataNode并不使用VIP和AvatarNode通信而是直接与Primary及Standby通信，故需要使用VIP漂移方案来屏蔽两个节点间切换过程中的IP变换问题有关与Zookeeper的整合，官方称将在之后的版本发布


（啰嗦一句，hadoop启动时会先加载build目录下的class所以当通过替换class修改jar包时请先把build目录暂时移除掉） 。

虽然在Avatar源码中有所涉及但暂时并未用到


-format），但此时shared1目录不能为空此处有点多余。建议采用hadoop本身的格式化命令在Primary上格式化后并且把name目录下的文件复制到shared0目录下。然后再在Standby上复制shared0目录下的文件到shared1目录下


这两天经常会收到hadoop 简单namenode 内存使用百分比的告警经常收到告警是一个讨厌的事情，是不是说明我们系统超负荷有问题了怎么样解决这个问题？这两天一直在仔细查考测試这个问题现将我的思考说明一下。

gc前这个告警百分比经常会超过90%。这也就是现在的情况

gc，主要是采用2种算法：1个是新生代的复制copy算法2是老生代的Mark-Sweep-Compact算法

world,也就是此时只有回收线程在工作，此时应用线程会挂起因此不会出现又在做垃圾回收又在申请新Heap的情况。并且串荇回收器和并行回收器的gc都是在相应堆内存被写满后触发的


提供一下手动触发gc的办法：

heap因为加了live，就是只打印出存活的object会做一次gc.


    这篇是用来记录 hadoop 简单安装记录时遇到的问题的我在 ubuntu16.04、14.02 上都折腾过 2.7 和 3.0，遇到的问题和解决方法大同小异具体配置流程整理一下后单独写一篇文章。

文件改过来后重新格式化一遍就好了，所以说一定要找自己要配置版本相对应的教程

    问题描述：格式化时遇到的（两个版本都遇到过），运行命令

    解决方案：这是由文件权限导致的可以用 ls -l 命令列出当前路径，当前用户组对文件所拥有的权限例如：

为链接文件，- 为普通文件p 为管道）；

+x 為添加 x 权限，即可运行

-R 表示对指定位置迭代操作，即修改 hadoop 简单文件夹下所有文件添加 x 权限

    解决方案：同上，还是文件权限的问题找箌 java 根目录，修改方法也同上

：命令前面带上 sudo


我要回帖

更多关于 hadoop 简单 的文章

 

随机推荐