安装Hadoop3.2.1,做基准测试的时候报以下错誤
修改yarn-site.xml添加如下配置(如果你配置的相对路径或者环境变量,可以改成绝对路径试一下)
相对路径不行指定绝对路径
学习Hadoop的同学们一定知道如果运荇Hadoop自带的各种例子,以大名鼎鼎的wordcount为例你会输入以下命令:
当然,有些人还会用以下替代方式:
相比于原始的执行方式使用jar命令方式,让我们不用再敲入繁琐的完整包路径比如我们知道hadoop-mapreduce-examples项目中还提供了其它的例子,比如计算圆周率的例子我们只需要记住此应用的简單名字pi,就可以执行它:
虽说我们只是使用这些现成的例子没有必要较真,但是这种简洁的使用方式无疑还是值得借鉴的。本文将分析下这种方式实现的原理有兴趣的同学可以一读。
// 省略其它例子的注册代码 // 省略其它例子的注册代码以上代码构造了ProgramDriver的实例并且调用其addClass方法,三个参数分别是例子名称(如wordcount、pi等)、例子的实现Class、例子的描述信息ProgramDriver的addClass方法的实现如下:
由此我们知道具体例子的执行,是通過反射调用具体例子Class的main方法最终实现的。
安装Hadoop3.2.1,做基准测试的时候报以下错誤
修改yarn-site.xml添加如下配置(如果你配置的相对路径或者环境变量,可以改成绝对路径试一下)
相对路径不行指定绝对路径