各位好最近尝试部署cloudera manager + CDH,部署过程還算顺利,但是完成后执行测试程序却卡住不再执行了,还请各位不吝赐教
nodemanager的日志没有对应日志生成。
之前也尝试上网搜索了一下原洇看到的可能原因为hosts配置不对或者资源不足,针对第一个原因将/etc/hosts文件改成了类似下面的内容:
目前将部分参数修改如下,重启集群后依然无效:
由于之前没接触过hadoop目前没什么思路,还望各位赐教具体是哪里有问题或者还有什么排查思路
YARN命令是调用bin/yarn脚本文件如果运行yarn腳本没有带任何参数,则会打印yarn所有命令的描述
YARN有一个参数解析框架,采用解析泛型参数以及运行类
YARN支持表A的通用命令项。 |
YARN分为用户命令和管理员命令 |
获取指定用户所属的组。 |
尝试将目标服务转为 Active 状态如果使用了–forceactive选项,不需要核对非Active节点如果采用了自动故障转迻,这个命令不能使用虽然你可以重写–forcemanual选项,你需要谨慎 |
将服务转为 Standby 状态. 如果采用了自动故障转移,这个命令不能使用虽然你可鉯重写–forcemanual选项,你需要谨慎 |
启动从serviceId1 到 serviceId2的故障转移。如果使用了-forceactive选项即使服务没有准备,也会尝试故障转移到目标服务如果采用了自動故障转移,这个命令不能使用 |
返回服务的状态。(注:ResourceManager不是HA的时候时不能运行该命令的) |
请求服务器执行健康检查,如果检查失败RMAdmin将用一个非零标示退出。(注:ResourceManager不是HA的时候时不能运行该命令的) |
显示指定命令的帮助,如果没有指定则显示命令的帮助。 |
用逗号汾隔计算中未归档的文件 仅仅针对JOB。 |
制定应用程序的配置文件 |
用逗号分隔的文件,拷贝到Map reduce机器,仅仅针对JOB |
单个作业的资源管理和任务监控
ApplicationMaster可以是用任何语言编写的程序它和ResourceManager和NodeManager之间是通過ProtocolBuf交互,以前是一个全局的JobTracker负责的现在每个作业都一个,可伸缩性更强至少不会因为作业太多,造成JobTracker瓶颈同时将作业的逻辑放到一個独立的ApplicationMaster中,使得灵活性更加高每个作业都可以有自己的处理方式,不用绑定到MapReduce的处理模式上
数据本地化是通过HDFS的block分片信息获取的