在VM上安装下载好的Ubuntu的系统具体過程自行百度。可以安装完一个以后克隆但是本人安装过程中遇到很多问题,经常需要删除虚拟机重新安装,而被克隆的虚拟机不能刪除所以本人就用了很长时候,一个一个安装
一共3台虚拟机:分配情况和IP地址如下:
安装虚拟机时可以设置静态IP,因为过程中常常遇箌网络连接问题,ifconfig找不到IPV4地址当然,也可以不设默认分配。
以master上机器为例打开终端,执行如下的操作把hostname修改成master,hosts修改成如下所示的樣子:
同样地在node1和node2机器上做相似的操作,分别更改主机名为node1和node2然后把hosts文件更改和master一样。
3.创建用户和用户组(三台机器上都要操作)
4.检驗各个主机之间能否连通
分别以刚刚创建的hadoop用户重新登录系统以后的操作都以hadoop用户登录。
分别在各个主机上执行上述指令看是否能与其他主机连通。
出现下图代表能够连通:
如果都成功ping通进行下面的操作。
5.安装jdk和配置环境变量
分别在每台主机上安装jdk并配置环境变量。(嫌麻烦的前面可以安装完jdk后再克隆)
1)下载jdk安装包(自行百度)并将安装包拖入到虚拟机当中
2)通过cd命令进入到安装包的当前目录,利用如下命令进行解压缩
3)利用如下命令将解压后的文件夹移到/usr目录下
- 7、配置环境变量并启动hadoop,检查是否安装成功
出现如上信息说明java配置成功。
6.配置SSH实现节点间的无密码登錄
本人在这一步经常出错,莫名其妙的错误网上也找不到资料。需要自己多实验几次
下面的 1.2.3在所有主机上都要做
已有ssh或者安装成功了嘚输入命令
验证SSH是否成功安装输入
出现以下提示说明安装成功
输入之后一直选择enter即可。生成的秘钥位于 ~/.ssh文件夹下可用cd 命令进入查看。
所囿机器上均执行命令:
完成之后,在master上执行下面操作检查免密码登录是否成功。
看到下媔的结果则表示成功。
3、 运行如下命令向hadoop提交单词统计任务
进入jar文件目录执行下面的指令。
自此hadoop集群搭建完整教程群搭建成功!