君，已阅读到文档的结尾了呢~~
cloudera 5.3.2 环境配..
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
Cloudera Manager 5.3.2 和 CDH5.3.2 环境配置
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='/DocinViewer--144.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口查看: 224265|回复: 20
Cloudera Manager （centos）安装详细介绍
主题帖子积分
本帖最后由 pig2 于
15:09 编辑
这里已经有很多关于CDH的文章，此篇虽然不是把所有的问题都描述了。但是整体的过程还算描述的比较清楚。
问题导读：
1.安装需要做哪些准备？
2.如何安装CM？
3.如何通过CM安装CDH？
4.CM及CDH安装的过程都包含什么？
相信通过这篇文章大家都对Cloudera Manager及CDH安装有一个整体的认识
目 录1& && && &&&准备工作...........................................................................................................................................3
1.1& && & 说明...............................................................................................................................................3
1.2& && & 集群网络环境介绍..........................................................................................................................3
2& && && &&&环境搭建...........................................................................................................................................5
2.1& && & 设置IP...........................................................................................................................................5
2.2& && & 设置hosts......................................................................................................................................5
2.3& && & 关闭防火墙....................................................................................................................................6
2.4& && & 关闭SElinux....................................................................................................................................8
2.5& && & 设置机器名....................................................................................................................................8
3& && && &&&ClouderaManager安装................................................................................................................... 11
3.1& && & 下载Cloudera Manager安装文件................................................................................................... 11
3.2& && & 下载Cloudera Manager所需的rpm包............................................................................................ 11
3.3& && & 安装rpm文件............................................................................................................................... 11
3.4& && & 安装CM....................................................................................................................................... 11
3.5& && & 登录CM....................................................................................................................................... 12
4& && && &&&ClouderaManager配置及本地源配置.............................................................................................. 13
4.1& && & 配置config.ini文件........................................................................................................................ 13
4.2& && & 配置本地源.................................................................................................................................. 14
5& && && &&&Hadoop及其组件安装......................................................................................................................17
5.1& && & 选择Cloudera版本........................................................................................................................ 17
5.2& && & 选中受管理的主机........................................................................................................................ 17
5.3& && & 选择安装方式（Cloudera推荐使用Parcel）................................................................................... 18
5.4& && & 把Parcel分配到主机..................................................................................................................... 18
5.5& && & 选择服务...................................................................................................................................... 19
5.6& && & 测试数据库连接........................................................................................................................... 20
5.7& && & 等待所有服务启动........................................................................................................................ 20
6& && && &&&向集群增加节点............................................................................................................................... 22
6.1& && & 添加主机...................................................................................................................................... 22
6.2& && & 输入IP或主机名........................................................................................................................... 23
6.3& && & 提供SSH登录凭据........................................................................................................................ 24
6.4& && & 安装............................................................................................................................................. 24
使用Cloudera Manager安装Hadoop运行环境软硬件环境l&&主机操作系统：Windows 64 bit，双核4线程，主频2.2G，8G内存
l&&虚拟软件：VMware®Workstation 9.0.0 build-812388
l&&虚拟机操作系统：CentOs 64bit，单核，2G内存
l&&JDK：1.7.0_45 64 bit
l&&Hadoop：2.2.0
集群网络环境集群包含三个节点：1个namenode，1个datanode，节点之间局域网连接，可以相互ping通。节点IP地址和主机名分布如下：
l&&192.168.188.141&&hadoo1 (namenode))
l&&192.168.188.139&&hadoo2 (datanode01)
l&&192.168.188.140&&hadoo3 (datanode03)
所有节点均是CentOS系统，防火墙iptables均禁用
本集群分为三个节点，先安装节点hadoop1（192.168.188.141），完成2.1~2.6步骤后，在步骤2.7中复制虚拟机并命名为hadoop2（192.168.188.139）和hadoop3（192.168.188.140）。
设置IP1.& & 点击System--&Preferences--&Network Connections，如下图所示：
1.png (213.99 KB, 下载次数: 56)
17:06 上传
2.& & 删除原来的连接信息，新建一个“”连接，设置该连接为手工方式，设置如下信息：
& && &IP地址： 10.88.147.221& && &子网掩码： 255.255.255.0& && &网关：& &&&10.88.147.1& && &DNS：& & 10.*.*.* (使用DNS上网需要设置)
2.png (165.97 KB, 下载次数: 44)
17:06 上传
3.& & 在命令行中查看设置的IP地址信息，如果不能够正确可以在执行2.5重启机器后再次确认：
3.png (57.31 KB, 下载次数: 49)
17:06 上传
设置Host文件1.& & 编辑/etc/hosts文件，设置IP地址与机器名的映射，设置信息如下：
l& &&&10.88.147.141 hadoop1.localdomain
l& & 10.88.147.139 hadoop2.localdomain
l& & 10.88.147.140 hadoop2.localdomain
4.png (20.47 KB, 下载次数: 49)
17:06 上传
2.& & 使用如下命令对网络设置进行重启
sudo /etc/init.d/network restart
3.& & 验证设置是否成功
5.png (30.25 KB, 下载次数: 51)
17:06 上传
关闭防火墙
在Hadoop安装过程中需要关闭防火墙和SElinux，否则会异常
1.& & service iptables status 查看防火墙状态，如下所示表示iptables已经开启
6.png (46.07 KB, 下载次数: 48)
17:06 上传
2.& & 使用如下命令关闭iptables，执行该命令后重启机器生效
chkconfig iptables off
关闭SElinux1.& & 使用getenforce命令查看是否关闭
7.png (16.03 KB, 下载次数: 51)
17:06 上传
2.& & 修改/etc/selinux/config 文件
将SELINUX=enforcing改为SELINUX=disabled，执行该命令后重启机器生效
8.png (38.67 KB, 下载次数: 39)
17:06 上传
设置机器名以root用户登录，使用 vi/etc/sysconfig/network 打开配置文件，修改主机名称为hadoop1
9.png (14.47 KB, 下载次数: 45)
17:06 上传
复制虚拟机关闭机器，复制当前节点两份，分别命名为：hadoop2和hadoop3
SSH无密码验证配置(这一步可省略)
3.& & 在三个节点中使用ssh-keygen -t rsa生成私钥和公钥；
10.png (53.72 KB, 下载次数: 40)
17:06 上传
4.& & 在三个节点中分别把公钥命名为authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3；
11.jpg (21.61 KB, 下载次数: 41)
17:06 上传
5.& & 把两个从节点的公钥使用scp authorized_keys_hadoop2 jan@hadoop1:/home/jan/.ssh 命令传送到hadoop1节点的/home/jan/.ssh文件夹中；
12.png (45.94 KB, 下载次数: 49)
17:06 上传
13.png (34.79 KB, 下载次数: 41)
17:06 上传
6.& & 把三个节点的公钥信息保存到authorized_key文件中
使用cat authorized_keys_hadoop1 && authorized_keys命令
14.png (78.62 KB, 下载次数: 39)
17:06 上传
7.& & 把该文件分发到其他两个从节点上
使用scp authorized_keys jan@hadoop2:/home/jan/.ssh把密码文件分发出去
15.png (65.84 KB, 下载次数: 43)
17:06 上传
16.png (36.32 KB, 下载次数: 47)
17:07 上传
8.& & 测试ssh免密码登录是否生效
17.png (54.92 KB, 下载次数: 50)
17:07 上传
Cloudera Manager安装
下载Cloudera Manager安装文件
Cloudera Manager的可以从如下网址获得：这里选择Cloudera Manager 最新版5.0.1
下载Cloudera Manager所需的rpm包
下载网址为：
安装rpm文件
l 将下载的rpm包放入文件夹rpm（文件夹名随意）
l cd&&./rpm（进入rpm目录）
l yum localinstall –-nogpgcheck&&*.rpm(安装rpm包)
3.4 安装rpm文件l 进入cloudera-manager-installer.bin的下载目录
l chmod u+x cloudera-manager-installer.bin（给下载的bin文件权限）
l 执行 ./cloudera-manager-installer.bin（大约十分钟左右）
3.5登录CM浏览器输入localhost：7180初次登录 用户名：admin 密码：admin
18.png (32.94 KB, 下载次数: 41)
17:07 上传
Cloudera Manager文件配置及本地源配置
配置config.ini文件
修改主机名
修改前为：localhost& &修改后为：localhost.localdomain
19.png (48.64 KB, 下载次数: 41)
17:07 上传
本地源配置Parcel的可以从如下网址获得，下载.parcel文件和manifest.json文件：
5.0.1/因为这里用的是CentOS6.5,所以选择/cdh5/parcels/5.0.1/
注意：Parcel文件对应不同的系统版本
CentOS 6.X对应CentOS 5.X对应
l&&把以下载的.parcel文件和manifest.json文件拷贝到/opt/cloudera/parcel-repo/文件夹下
l&&新建文件命名为：CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha
l&&打开manifest.json文件查看CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，并拷贝到CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha文件中
以下是manifest.json中CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel对应的编号，这里是：eca5a31e720a2a79ce7a7c1d38e397
{& && && &&&&parcelName&:&CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel&,& && && &&&&components&: [& && && && && & {& && && && && && & &pkg_version&: &0.7.0+cdh5.0.1+0&,& && && && && && & &pkg_release&: &1.cdh5.0.1.p0.30&,& && && && && && & &name&: &bigtop-tomcat&,& && && && && && & &version&: &6.0.37-cdh5.0.1&& && && && && & },& && && && && & {& && && && && && & &pkg_version&: &0.9.0+cdh5.0.1+23&,& && && && && && &&&&pkg_release&:&1.cdh5.0.1.p0.25&,& && && && && && & &name&: &crunch&,& && && && && && & &version&: &0.9.0-cdh5.0.1&& && && && && & },
& && && && &&&.........
& && && && && & {& && && && && && & &pkg_version&: &0.9.0+cdh5.0.1+8&,& && && && && && & &pkg_release&: &1.cdh5.0.1.p0.25&,& && && && && && & &name&: &whirr&,& && && && && && & &version&: &0.9.0-cdh5.0.1&& && && && && & },& && && && && & {& && && && && && & &pkg_version&: &3.4.5+cdh5.0.1+30&,& && && && && && &&&&pkg_release&:&1.cdh5.0.1.p0.31&,& && && && && && & &name&: &zookeeper&,& && && && && && & &version&: &3.4.5-cdh5.0.1&& && && && && & }& && && && &],& && && &&&&replaces&: &IMPALA, SOLR, SPARK&,& && && && &&hash&:&eca5a31e720a2a79ce7a7c1d38e397&& && &&&}
l&&现在本地源已配好，总之parcel-repo文件中包含一下三个文件：
CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha
Manifest.json
l&&重启系统
Hadoop及其组件安装选择Cloudera版本
20.png (116.13 KB, 下载次数: 55)
17:07 上传
选中受管理的主机
21.png (150.82 KB, 下载次数: 43)
17:07 上传
选择安装方式（Cloudera推荐使用Parcel）
22.png (95.56 KB, 下载次数: 47)
17:07 上传
把Parcel分配到主机
23.png (50.38 KB, 下载次数: 47)
17:07 上传
24.png (52.74 KB, 下载次数: 48)
17:07 上传
25.png (204.92 KB, 下载次数: 47)
17:07 上传
测试数据库连接
26.png (89.17 KB, 下载次数: 42)
17:07 上传
等待所有服务开启等待所有服务开启，时间可能会有点长
27.png (88.87 KB, 下载次数: 39)
17:07 上传
28.png (151.91 KB, 下载次数: 44)
17:07 上传
向集群增加节点增加主机
29.png (122.26 KB, 下载次数: 41)
17:07 上传
输入IP或主机名
30.png (66.56 KB, 下载次数: 50)
17:07 上传
31.png (91.02 KB, 下载次数: 40)
17:07 上传
提供SSH登录凭据
32.png (91.05 KB, 下载次数: 43)
17:07 上传
33.png (60.04 KB, 下载次数: 78)
17:07 上传
注：本资料所有省略界面，直接点击继续即可
欢迎加入about云群 、 ，云计算爱好者群，关注
主题帖子积分
中级会员, 积分 968, 距离下一级还需 32 积分
中级会员, 积分 968, 距离下一级还需 32 积分
存档。哈哈
主题帖子积分
注册会员, 积分 67, 距离下一级还需 133 积分
注册会员, 积分 67, 距离下一级还需 133 积分
够详细，，，，，顶起
主题帖子积分
高级会员, 积分 1531, 距离下一级还需 3469 积分
高级会员, 积分 1531, 距离下一级还需 3469 积分
谢谢~~~~~~~~·
主题帖子积分
新手上路, 积分 5, 距离下一级还需 45 积分
新手上路, 积分 5, 距离下一级还需 45 积分
好。。。。。。。。。。。。。。
主题帖子积分
新手上路, 积分 29, 距离下一级还需 21 积分
新手上路, 积分 29, 距离下一级还需 21 积分
楼主你好，我到一点问题。
安装到3.5步骤时、 执行./cloudera-manager-installer.bin
就会提示我jdk安装失败，log文件中的信息为：
Loaded plugins: product-id, refresh-packagekit, subscription-manager
This system is not registered to Red Hat Subscription Management. You can use subscription-manager to register.
[Errno 14] PYCURL ERROR 6 - &Couldn't resolve host ''&
Trying other mirror.
Error: Cannot retrieve repository metadata (repomd.xml) for repository: cloudera-manager. Please verify its path and try again
请问这个是我操作出现问题了么？
主题帖子积分
高级会员, 积分 1091, 距离下一级还需 3909 积分
高级会员, 积分 1091, 距离下一级还需 3909 积分
楼主你好，我到一点问题。
安装到3.5步骤时、 执行./cloudera-manager-installer.bin
就会提示我jdk安装 ...
Couldn't resolve host ''&
这个不能解析，确保能上网
nameserver 8.8.8.8
欢迎加入about云群、，云计算爱好者群
主题帖子积分
新手上路, 积分 29, 距离下一级还需 21 积分
新手上路, 积分 29, 距离下一级还需 21 积分
Couldn't resolve host ''&
这个不能解析，确保能上网
安装这个还需要我的虚拟机能够上网么？
主题帖子积分
注册会员, 积分 63, 距离下一级还需 137 积分
注册会员, 积分 63, 距离下一级还需 137 积分
数据你们有吗
主题帖子积分
中级会员, 积分 376, 距离下一级还需 624 积分
中级会员, 积分 376, 距离下一级还需 624 积分
支持楼主！顶顶顶！！！！
站长推荐 /6
about云|新出视频，openstack零基础入门，解决你ping不通外网难题
云计算hadoop视频大全(新增 yarn、flume|storm、hadoop一套视频
视频资料大优惠
大数据零基础由入门到实战
阶段1：hadoop零基础入门基础篇
阶段2：hadoop2入门
阶段3：大数据非hadoop系列课程
阶段4：项目实战篇
阶段5：大数据高级系列应用课程
阶段6：工作实用系列教程
等待验证会员请验证邮箱
新手获取积分方法
Powered by