基于VMware的虚拟Linux集群搭建-lvs+keepalived
基于VMware的虚拟集群搭建-lvs+keepalived
本文通过keepalived实现lvs服务器的的双机热备和真实服务器之间的负载均衡。这方面的blog挺多，但是每个人搭建集群的环境不同，遇到的问题也不同，本文简述配置的一些过程以及配置过程中遇到问题时的解决方案。
1. 创建Linux
本文是基于Vmare虚拟环境搭建集群的，所以首先在Vmare中创建一些虚拟机（安装一个Linux，其他的复制第一次安装的即可），本文创建4台虚拟机。网卡模式设置成桥接方式，这样可以保证虚拟机中的网络和主机IP在同一个网段，这样的好处是，给每台虚拟机设完IP之后，就可以通过同一网段的另一台主机登陆到Linux，就不用在虚拟机之间来回切换了。（Linux发行版本为CentOS 5.5）
2. 配置yum库
若本机没有yum库，最好配置安装yum库，方便软件的安装
yum库创建基本步骤
①安装createrepo
②yum -y installl createrepo
③用createrepo创建
createrepo命令用于生成yum仓库所需要的一些基本配置信息。
具体请参考“yum库的安装于配置”
1. 设置虚拟机IP
在Vmare虚拟机中虚拟四个Linux主机
LvsMaster：192.168.10.101
192.168.10.102
RealServer1: 192.168.10.121
RealServer2: 192.168.10.122
主机之间的拓扑关系图vcD4KCjxoND4yLiCwstewaXB2c2FkbSC6zSBrZWVwYWxpdmVkPC9oND4KPGg1PqLZILfWsfDU2kx2c01hc3RlcrrNTHZzQmFryc+wstewIGlwdnNhZG08L2g1Pgo8cD55dW0gLXkgaW5zdGFsbCAqaXB2c2FkbSo8L3A+CjxwPs/C1Ni12Na3o7p3Z2V0IGh0dHA6Ly93d3cubGludXh2aXJ0dWFsc2VydmVyLm9yZy9zb2Z0d2FyZS9rZXJuZWwtMi42L2lwdnNhZG0tMS4yNC50YXI8L3A+CjxoNT4gICAgICAgotq31rHw1NpMdnNNYXN0ZXK6zUx2c0Jha8nPsLLXsCBrZWVwYWxpdmVkPC9oNT4KPHA+sLLXsNLAwLW/4qO6eXVtIGluc3RhbGwgLXkgb3BlbnNzbCBvcGVuc3NsLWRldmVsPC9wPgo8cD7PwtTYa2VlcGFsaXZlZKO6d2dldCAgaHR0cDovL3d3dy5rZWVwYWxpdmVkLm9yZy9zb2Z0d2FyZS9rZWVwYWxpdmVkLTEuMi42LnRhci5nejwvcD4KPHA+ICAgICAgICAgdGFyIHp4dmYga2VlcGFsaXZlZC0xLjIuNi50YXIuZ3o8YnI+Ci4vY29uZmlndXJlIC0tcHJlZml4PS91c3IvbG9jYWwva2VlcGFsaXZlZDxicj4KbWFrZTxicj4KbWFrZSBpbnN0YWxsPGJyPgpjcCAvdXNyL2xvY2FsL2tlZXBhbGl2ZWQvc2Jpbi9rZWVwYWxpdmVkICAgL3Vzci9zYmluLzxicj4KY3AgL3Vzci9sb2NhbC9rZWVwYWxpdmVkL2V0Yy9zeXNjb25maWcva2VlcGFsaXZlZCAvZXRjL3N5c2NvbmZpZy88YnI+CmNwIC91c3IvbG9jYWwva2VlcGFsaXZlZC9ldGMvcmMuZC9pbml0LmQva2VlcGFsaXZlZCAvZXRjL2luaXQuZC88YnI+Cm1rZGlyIC9ldGMva2VlcGFsaXZlZDwvcD4KPHA+Y3AgL3Vzci9sb2NhbC9rZWVwYWxpdmVkL2V0Yy9rZWVwYWxpdmVkL2tlZXBhbGl2ZWQgL2V0Yy9rZWVwYWxpdmVkLmNvbmY8L3A+CjxoNT4gICAgICCi2yDF5NbDIGtlZXBhbGl2ZWQ8L2g1Pgo8cD48c3Ryb25nPkx2c01hc3RlcsXk1sM8L3N0cm9uZz48L3A+CjxwPmdsb2JhbF9kZWZzIHs8YnI+CiAgICBub3RpZmljYXRpb25fZW1haWwgezxicj4KICAgICAgNTQwNjIxNjI2QHFxLmNvbSAgI2VtaWFszajWqiA8YnI+CiAgICB9PGJyPgogICAgbm90aWZpY2F0aW9uX2VtYWlsX2Zyb20gNTQwNjIxNjI2QHFxLmNvbTxicj4KICAgIHNtdHBfc2VydmVyIDE5Mi4xNjguMjAwLjE8YnI+CiAgICBzbXRwX2Nvbm5lY3RfdGltZW91dCAzMDxicj4KICAgIHJvdXRlcl9pZCBMVlNfREVWRUw8YnI+Cn08YnI+Cjxicj4KdnJycF9zeW5jX2dyb3VwIHRlc3QgeyAKICPJ6NbDdnJycNfpPGJyPgpncm91cCB7PGJyPgpsb2FkYmFsYW5jZTxicj4KfTxicj4KfTxicj4KdnJycF9pbnN0YW5jZSBsb2FkYmFsYW5jZSB7PGJyPgogICAgc3RhdGUgTUFTVEVSICAgICAgICAgICAgICAgICAgICAgICPJ6NbD1ve7+sDg0M2jrE1BU1RFUrrNQkFDS1VQwb3W1qOssdjQ67Tz0LQgo6y8tMyr1ve7+tK7zKixuNPDu/o8YnI+CiAgICBpbnRlcmZhY2UgZXRoMCAjyejWw7bUzeK3/s7xzfi/qDxicj4KICAgIHZpcnR1YWxfcm91dGVyX2lkIDUxPGJyPgogICAgcHJpb3JpdHkgMTAwICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICAgICPJ6NbD08XPyLy2o6yxuNPD1ve7+rXE08XPyLy20qqxyNb3u/q1zby0v8k8YnI+CiAgICBhZHZlcnRfaW50IDEjyejWw82ssr3KsbzkvOS49Dxicj4KICAgIGF1dGhlbnRpY2F0aW9uIHsjyejWw9Hp1qTA4NDNus3D3MLrPGJyPgogICAgICAgIGF1dGhfdHlwZSBQQVNTPGJyPgogICAgICAgIGF1dGhfcGFzcyAxMTExPGJyPgogICAgfTxicj4KICAgIHZpcnR1YWxfaXBhZGRyZXNzIHsjyejWw9DpxOJpcKOsvLS4obavaXA8YnI+CiAgICAgICAgMTkyLjE2OC4xMC4xMTU8YnI+CiAgICB9PGJyPgo8YnI+CnZpcnR1YWxfc2VydmVyIDE5Mi4xNjguMTAuMTE1IDgwIHs8YnI+CiAgICBkZWxheV9sb29wIDYgI72hv7W87LLpyrG85LzkuPQ8YnI+CiAgICBsYl9hbGdvIHJyI7i61Ni197bIy+O3qKOsxKzIz86qwtbRtcvjt6g8YnI+CiAgICBsYl9raW5kIERSI7i61Ni++bri16q3ornm1PKjrNKyvs3Kx0lQ16q3ornm1PKjrERS16q3ore9yr3X7r/so6y1q8rHy/nT0Lv6xvex2NDr1NrSu7j2zfi2zsTao6y7udPQTkFUus1UVU5FTMG91tbXqreit73KvTxicj4KICAgIHByb3RvY29sIFRDUDxicj4KPGJyPgogICAgcmVhbF9zZXJ2ZXIgMTkyLjE2OC4xMC4xMjEgODAgezxicj4KICAgICAgICB3ZWlnaHQgMTxicj4KICAgICAgICBUQ1BfQ0hFQ0sgezxicj4KICAgICAgICAgICAgY29ubmVjdF90aW1lb3V0IDM8YnI+CiAgICAgICAgICAgIG5iX2dldF9yZXRyeSAzPGJyPgogICAgICAgICAgICBkZWxheV9iZWZvcmVfcmV0cnkgMzxicj4KICAgICAgICB9PGJyPgogICAgfTxicj4KPGJyPgogICAgcmVhbF9zZXJ2ZXIgMTkyLjE2OC4xMC4xMjIgODAgezxicj4KICAgIHdlaWdodCAxPGJyPgpUQ1BfQ0hFQ0sgezxicj4KICAgIGNvbm5lY3RfdGltZW91dCAzPGJyPgogICAgbmJfZ2V0X3JldHJ5IDM8YnI+CiAgICBkZWxheV9iZWZvcmVfcmV0cnkgMzxicj4KfTxicj4KfTxicj4KPC9wPgo8cD59PC9wPgoKPHA+PHN0cm9uZz5MdnNCYWtyxeTWwzwvc3Ryb25nPjwvcD4KPHA+Z2xvYmFsX2RlZnMgezxicj4KICAgIG5vdGlmaWNhdGlvbl9lbWFpbCB7PGJyPgogICAgIDU0MDYyMTYyNkBxcXEuY29tPGJyPgogICAgfTxicj4KICAgIG5vdGlmaWNhdGlvbl9lbWFpbF9mcm9tIDU0MDYyMTYyNkBxcS5jb208YnI+CiAgIHNtdHBfc2VydmVyIDE5Mi4xNjguMjAwLjE8YnI+CiAgIHNtdHBfY29ubmVjdF90aW1lb3V0IDMwPGJyPgogICAgcm91dGVyX2lkIExWU19ERVZFTDxicj4KfTxicj4KPGJyPgp2cnJwX3N5bmNfZ3JvdXAgdGVzdCB7PGJyPgpncm91cCB7PGJyPgpsb2FkYmFsYW5jZTxicj4KfTxicj4KfTwvcD4KPHA+PGJyPgp2cnJwX2luc3RhbmNlIGxvYWRiYWxhbmNlIHs8YnI+CiAgICBzdGF0ZSBCQUNLVVA8YnI+CiAgICBpbnRlcmZhY2UgZXRoMDxicj4KICAgIHZpcnR1YWxfcm91dGVyX2lkIDUxPGJyPgogICAgcHJpb3JpdHkgOTk8YnI+CiAgICBhZHZlcnRfaW50IDE8YnI+CiAgICBhdXRoZW50aWNhdGlvbiB7PGJyPgogICAgICAgIGF1dGhfdHlwZSBQQVNTPGJyPgogICAgICAgIGF1dGhfcGFzcyAxMTExPGJyPgogICAgfTxicj4KICAgIHZpcnR1YWxfaXBhZGRyZXNzIHs8YnI+CiAgICAgICAgMTkyLjE2OC4xMC4xMTU8YnI+CiAgICB9PGJyPgp9PGJyPgo8YnI+CnZpcnR1YWxfc2VydmVyIDE5Mi4xNjguMTAuMTE1IDgwIHs8YnI+CiAgICBkZWxheV9sb29wIDY8YnI+CiAgICBsYl9hbGdvIHJyPGJyPgogICAgbGJfa2luZCBEUjxicj4KICAgIHByb3RvY29sIFRDUDxicj4KPGJyPgogICAgcmVhbF9zZXJ2ZXIgMTkyLjE2OC4xMC4xMjEgODAgezxicj4KICAgICAgICB3ZWlnaHQgMTxicj4KICAgICAgICBUQ1BfQ0hFQ0sgezxicj4KICAgICAgICAgICAgY29ubmVjdF90aW1lb3V0IDM8YnI+CiAgICAgICAgICAgIG5iX2dldF9yZXRyeSAzPGJyPgogICAgICAgICAgICBkZWxheV9iZWZvcmVfcmV0cnkgMzxicj4KICAgICAgICB9PGJyPgogICAgfTxicj4KPGJyPgogICAgcmVhbF9zZXJ2ZXIgMTkyLjE2OC4xMC4xMjIgODAgezxicj4KICAgIHdlaWdodCAxPGJyPgpUQ1BfQ0hFQ0sgezxicj4KICAgIGNvbm5lY3RfdGltZW91dCAzPGJyPgogICAgbmJfZ2V0X3JldHJ5IDM8YnI+CiAgICBkZWxheV9iZWZvcmVfcmV0cnkgMzxicj4KfTxicj4KICAgIH08YnI+Cn08YnI+CjwvcD4KPGg1PqLcIMb0tq9rZWVwYWxpdmVkPC9oNT4KPHA+THZzTWFzdHJlcjogL2V0Yy9pbml0LmQva2VlcGFsaXZlZCBzdGFydDwvcD4KPHA+THZzQmFrICAgICA6ICAvZXRjL2luaXQuZC9rZWVwYWxpdmVkICBzdGFydCA8L3A+CjxwPjxzdHJvbmc+sum/tMb0tq/XtMysPC9zdHJvbmc+PC9wPgo8cD5MdnNNYXN0ZXI6IHRhaWwgLWYgL3Zhci9sb2cvbWVzc2FnZXM8L3A+CjxpbWcgc3JjPQ=="file:///C:\Users\Administrator\AppData\Roaming\Tencent\Users\\QQ\WinTemp\RichOle\LL6`)UQ0CC5EH2%BPU@XSXP.jpg" alt="\">
LvsBak: tail -f /var/log/messages
用ip addr和ipvsadm查看路由情况
LvsMaster： ip addr
LvsMaster: ipvsadm
LvsBak：ip addr
LvsBak：ipvsadm
3. 设置RealServer1和RealServer2
① 编辑RealServe脚本
RealServer1和ResalServer2的脚本设置相同，都是realserver.sh，设置脚本如下
SNS_VIP=192.168.10.115
source /etc/rc.d/init.d/functions
case &$1& in
ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP up
/sbin/route add -host $SNS_VIP dev lo:0
echo &1& &/proc/sys/net/ipv4/conf/lo/arp_ignore
echo &2& &/proc/sys/net/ipv4/conf/lo/arp_announce
echo &1& &/proc/sys/net/ipv4/conf/all/arp_ignore
echo &2& &/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p &/dev/null 2&&1
echo &RealServer Start OK&
ifconfig lo:0 down
route del $SNS_VIP &/dev/null 2&&1
echo &0& &/proc/sys/net/ipv4/conf/lo/arp_ignore
echo &0& &/proc/sys/net/ipv4/conf/lo/arp_announce
echo &0& &/proc/sys/net/ipv4/conf/all/arp_ignore
echo &0& &/proc/sys/net/ipv4/conf/all/arp_announce
echo &RealServer Stoped&
echo &Usage: $0 {start"stop}&
脚本编辑完成后启动realserver.sh
RealServer1： ./realserver.sh start
RealServer2： ./realserver.sh start
② 在RealServer1和RealServer2上安装apache
yum -y install httpd
ServerName
NameVirtualHost 192.168.10.121:80
&VirtualHost 192.168.10.121:80&
DocumentRoot /var/www/html
ServerName
&/VirtualHost&
在 /var/www/hmtl/下添加index.html测试主页
启动apache ：/etc/init.d/httpd start
4. 测试负载均衡和双机热备
用ipvsadm 查看 LvsMaster 和 LvsBak的路由情况
LvsMaster:
LvsBak: ipvsadm
5. 配置过程中应注意的问题
① 配置keepalvied应注意的问题
LvsMaster和LvsBak只有两处不同
state MASTER " BACKUP （主Lvs是MASTER，备用Lv是BACKUP）
priority 100 | 90
（主Lvs是100，备用LVS只要小于100即可）
② 要关闭iptables或者开启相应的服务端口，否则无法通过访问博客访问： 455573
博文数量： 33
博客积分： 0
博客等级： 民兵
技术积分： 3964
注册时间：
余自庚寅年麦月误入Linux领域，先从事文件系统与IO之技，后及性能基准之术，上诸述之领域，吾虽有知晓，然未能精通，实为憾事！
IT168企业级官微
微信号：IT168qiye
系统架构师大会
微信号：SACC2013
分类： HADOOP
1.&Hadoop的三种集群搭建方式
Hadoop支持以下三种模式的Hadoop集群：
?& 单机模式
相当于没有HDFS文件系统，只是支持MapReduce
?& 伪分布式模式
相当于只有一个节点的集群。主从节点都位于同一主机，从MapReduce层面来看，也就是Jobtracker与TaskTracker位于同一节点；从文件系统的角度来看，也就是NameNode与DataNode位于同一节点；
?& 完全分布式模式
主从节点分开的完全分布式模式。
2.&安装包准备
需要安装包：
(1)&&& jdk-6u31-linux-x64-rpm.bin &(JDK至少要求1.5.x以上的版本)
(2)&&& hadoop-0.20.1.tar.gz &（ Hadoop的版本，建议选择至少此版本以上的Hadoop版本）
一般的机器上已经安装了Openssh了，因而不需要再安装SSH相关的包。这三个组件在所有的节点上都要事先安装好。
&&&&&& 这里使用三台机器搭建Hadoop环境。Name Node节点的主机名为namenode，Data
Node节点的主机名分别为datanode1和datanode2.
&&&&& & 解释一下名词：
NameNode：Hadoop集群的主节点的俗称，它是HDFS文件系统的管理者，存储HDFS文件系统的元数据并管理HDFS文件系统；
DataNode：Hadoop集群的从节点的俗称，它是HDFS文件系统存储的基础。存储HDFS文件系统的实际数据；
&&&&&&&&关于Hadoop的其他名词的详细解释，我会在后续将陆续发出的博文中详细说明，敬请各位看官留意！
3.&操作系统配置
1.&&&& 新建用户。在 HDFS 文件系统中的每个节点（包括 namenode 节点和 datanode 节点）上，新建 hdfs 用户，并保证 hdfs 用户的当前目录一致。
(1)&&& 必须使用useradd hdfs –m 创建，否则不会再home目录下创建对应的用户目录；
(2)&&& Passwd
hdfs命令为hdfs用户设置密码；
Hadoop一般推荐不使用Root用户搭建集群，但实际上用root搭建集群也没多大关系，我后来使用的Hadoop集群都直接使用root用户的。如果使用root用户权限来搭建Hadoop集群，那这一步就可以省略掉：
2.&&&& HDFS 中的节点配置 在 root 用户中输入命令 yast ，使用 yast 工具。 Network Devices — >Network settings — >Hostname/DNS。
(1)&&& namenode 节点。 hostname 修改为“namenode”，domian
name修改为“hdfs”；
(2)&&& datanode 节点。 hostname 修改为“datanodeXXX”，domian
name 修改为“ hdfs ”，其中“ XXX ”最好为该节点的编号。
使用其他方式修改主机名也是可以的，这里仅是其中一种方法，但是要确保修改的持久有效性，必须是通过配置文件的修改。
3.&&&& HDFS 中的每个节点添加通讯对方主机名（可以列出包括自己在内的所有节点）。即在/etc/hosts文件中加入如下内容：
127.0.0.1&&&&&&&&&&&& localhost
128.5.150.159&& datanode1 & &&
128.5.150.81&
&&datanode2 & &&
128.5.150.57&&& namenode & & & &
4.&安装JDK
Hadoop 是基于&Java&编写的，为了运行 HDFS 文件系统，同时也为了后续的开发，需要安装 JDK,而且版本要求1.5.x以上&。
切换到 root 用户，并将安装包jdk-6u31-linux-x64-rpm.bin拷贝至 /usr/local/ 目录， chmod 755 使 root 用户获得执行安装包的权限。
执行./ jdk-6u31-linux-x64-rpm.bin开始安装，提示输入Enter时敲回车键，安装结束。
如果使用的安装包为rpm，可以直接使用rpm命令安装，更为方便。
配置 JAVA 环境在 /etc/profile 文件尾添加三项 ：
export JAVA_HOME=/usr/java/jdk1.6.0_31
export CLASSPATH=/use/java/jdk1.6.0_31/lib:/usr/java/jdk1.6.0_31/jre/lib:$CLASSPATH
PATH=/usr/java/jdk1.6.0_31/bin:/usr/java/jdk1.6.0_31/jre/bin:$PATH
4.&&&& 在 root 用户中， chmod 755 /etc/profile ，使普通用户获得对该文件的执行权限。在 hdfs 的登录会话中，执行“ . /etc/profile ”（ “ . ”与“ / ”之间有空格）使修改生效，使用 echo 命令确认这三项设置是否成功。
5.&配置 SSH 服务
注意：以下的操作全部由hdfs用户进行，非root用户进行。如果是以root用户的权限来部署Hadoop，那么对应的用户就是root用户。
在 namenode 节点，使用 ssh 工具生成公钥 / 私钥对，并把公钥分发给 datanode 节点，可以实现 datanode 对来自 namenode 节点网络通讯请求的认证。
1.&&&& 首先，在 namenode 节点生成公钥 / 私钥对 ：
hdfs@namenode:~> ssh-keygen& -t& dsa &-P &’’
ssh-keygen 代表生成密钥 ；-t（注意区分大小写）表示指定生成的密钥类型 ；
dsa 是 dsa 密钥认证的意思，即密钥类型
；-P 用于提供密语
Generating
public/private rsa key pair.
Enter file in
which to save the key (/home/hdfs/.ssh/id_rsa): 按回车
passphrase (empty for no passphrase): 输入 hdfs 登录密码
Enter same
passphrase again: 再次输入 hdfs 登录密码
identification has been saved in /home/hdfs/.ssh/id_rsa.
Your public
key has been saved in /home/hdfs/.ssh/id_rsa.pub.
注：其中 id_dsa 存放了产生的私钥， id_dsa.pub 存放了公钥。
2.&&&& 接着，分发 namenode 节点的公钥。将 namenode 节点 id_rsa.pub 文件中的内容复制到所有节点的 /home/h/.ssh/authorized_keys 文件中。
·&&&&&&&& namenode 节点：
o&&& authorized_keys 不存在。执行命令 cp
id_rsa.pub authorized_keys 。
o&&& authorized_keys 存在。执行命令 cat&
id_rsa.pub >> authorized_keys 。
·&&&&&&&& datanode 节点：
o&&& 在 namenode 节点中，对每一台 datanode 节点，执行命令 scp
id_dsa.pub datanode205:/home/hdfs/.ssh/。
o&&& 在 datanode 节点，仿照 namenode 节点的处理方法，将 namenode 节点的公钥拷贝到 authorized_keys 文件中。
3.&&&& 在每台机器上chmod
644 authorized_keys。这一步非常关键，必须保证authorized_keys只对其所有者有读写权限，其他人不允许有写的权限，否则SSH可能不会工作的。
4.&&&& ssh 验证。 在 namenode 节点执行 ssh datanode1. ，如果能不输入密码能登录到 datanode1 ，则说明安装成功。
6. 安装与配置Hadoop
6.1&安装Hadoop
在 namenode 节点 中，将 hadoop-0.20.1.tar.gz ，解压到 /home/hdfs/ 目录下即可。
6.2&namenode 节点配置
在 namenode 节点的 hadoop的conf 目录下 。
6.2.1& &hadoop-env.sh文件配置
在文件中加入：
JAVA_HOME=“你的Java 安装地址”，我这里是/usr/java/jdk1.6.0_31：
JAVA_HOME=/usr/java/jdk1.6.0_31
6.2.2&core-site.xml 文件配置
在core-site.xml文件中的两个中添加以下两段：
1.文件系统的名称。配置 HDFS 文件系统外部访问地址，即 namenode 节点 IP 以及访问端口号。
& fs.default.name
hdfs://namenode:9100
2.配置Hadoop数据块存储目录：
hadoop.tmp.dir
/home/hdfs/hadoopdatastore
for other temporary directories.
6.2.3&hdfs-site.xml 文件配置。
配置上传文件备份的份数，不能超过 datanode 节点个数，默认为 3 个。&
dfs.replication
block replication. The actual number of replications can be specified when the
file is created. The default is used if replication is not specified in create
6.2.4&mapred-site.xml文件配置
在文件中配置如下内容：
mapred.job.tracker
namenode:9200
6.2.5&masters 文件配置
修改文件中的localhost为namenode节点的主机名“ namenode ”。
6.2.6&slaves 文件配置
修改文件中的localhost为datanode节点的主机名“datanode1”“datanode2”，每行一个主机名。
6.3&Datanode节点配置
在 namenode 节点，依次执行命令 scp -r hadoop-0.21.0/ &datanodeX:/home/hdfs/ ，将 namenode 节点的安装文件复制到每一个datanode 节点。
7. 启动与停止 Hadoop
1.先格式化namenode节点，在Namenode节点执行如下命令：
bin/Hadoop
NameNode -format
2.然后简单启动所有守护：
bin/start-all.sh
3.查看集群状态，验证安装部署Hadoop成功
Hadoop dfsadmin -report
或者通过 以下的方式产看集群状态。在集群中的任意节点上打开浏览器，分别输入网址：
http://namenode:50030 (MapReduce的Web页面)
http://namenode:50070 (HDFS的Web页面)
如果都能查看，说明 Hadoop 已经安装成功。
4. 停止Hadoop：
bin/stop-all.sh
阅读(4079) | 评论(4) | 转发(6) |
相关热门文章
给主人留下些什么吧！~~
：其实我本人对Java真的不了解，对JDK和OpenJDK也不了解。Hadoop主要是JAVA编写，OpenJDK应该是否支持部署Hadoop我本人没研究过。你说的性能和效率才是高可用集群分布式系统最应该考虑的方面，这是对传统分布式集群系统来说的。其实Hadoop集群在这两个方面表现得都很好，高吞吐量保证了性能、任务的并行性保证了效率。除此之外，Hadoop集群相对于传统的分布式集群，还具有更好的容错性和横向扩展性。如果只是考虑效率和性能，扩展性和可靠性不考虑的话，无论对应用升级还是集群扩展来说，都是不合理的。也就是说后两个特点是跟传统集群相比，是额外的很有价值的地方。
如果HADOOP必须依托在ORACLEJDK下，个人觉得是存在忧虑的 |
：不知道能不能部署在OPENJDK上呢？？！！现在最需要考虑的就是JDK一定要是自由开源的，这样其实可以更好的优化JVM的性能！！性能和效率才是高可用集群分布式系统最应该考虑的
其实我本人对Java真的不了解，对JDK和OpenJDK也不了解。Hadoop主要是JAVA编写，OpenJDK应该是否支持部署Hadoop我本人没研究过。你说的性能和效率才是高可用集群分布式系统最应该考虑的方面，这是对传统分布式集群系统来说的。其实Hadoop集群在这两个方面表现得都很好，高吞吐量保证了性能、任务的并行性保证了效率。除此之外，Hadoop集群相对于传统的分布式集群，还具有更好的容错性和横向扩展性。如果只是考虑效率和性能，扩展性和可靠性不考虑的话，无论对应用升级还是集群扩展来说，都是不合理的。也就是说后两个特点是跟传统集群相比，是额外的很有价值的地方。 |
不知道能不能部署在OPENJDK上呢？？！！现在最需要考虑的就是JDK一定要是自由开源的，这样其实可以更好的优化JVM的性能！！性能和效率才是高可用集群分布式系统最应该考虑的
请登录后评论。搭建CPU+GPU集群 - 教育信息化 - 中国教育和科研计算机网CERNET
中国教育网络
作者：杨琼1 高笑菲1 齐记1 周庆国2
字体选择：　　
　　随着计算机科学技术突飞猛进的发展，计算物理已经成为物理学研究过程中与理论物理，实验物理同等重要的研究方向。计算物理经常需要对海量的数据进行复杂的计算，其对处理器的浮点运算能力、I/O性能、内存容量以及带宽都要求较高。与此同时，呈数量级增长的数据对计算机硬件也提出了更大的挑战。无论是单台计算机还是超级计算机，因构架扩展的局限性或高额的经济成本，已无法满足科学计算的需求。计算机集群因其高速的运算性能、良好的兼容性及可扩展性，逐渐被科学计算领域所认同。
　　中科院近代物理研究所一直以重离子核物理基础研究和相关领域的交叉研究为主要学科方向，相应发展加速器物理及核技术。目前，中科院近物所超算中心已具有深腾7000G超级计算集群一套，胖节点集群一套，专用工作站集群一套以及终端集群一套。其中深腾7000G超级计算集群是CPU/GPU混合集群，其余均是自建。
　　自建集群搭建
　　硬件搭建
　　中科院近代物理研究所超级计算中心自主搭建的CPU集群，共有22个节点及一个24口千兆交换机。22个节点中一个作为管理节点，其余均为计算节点。每个计算节点配置如下：Intel Q6600CPU处理器一个、2GB内存、160GB硬盘。管理节点装有两块网卡，一块连接对外以太网，一块连接集群节点间组成的局域网。连接方式如图1所示。
图1 CPU集群连接方式
　　软件安装
　　集群所有节点(含管理节点)均安装RHEL5.6操作系统，采用PXE+KickSTart的无人值守批量安装方式，这样除一个服务器节点外，其余节点无需光驱或者软驱。之后，大量的计算机采用网络安装Linux操作系统，不仅提高效率，而且节点相同的配置也利于以后集群系统的维护。
　　PXE+KickSTart的安装需要DHCP和T F T P 服务，将其配置于管理节点，KickSTart所生成的ks.cfg配置文件，存放在系统安装文件服务器Server上，安装节点主机需PXE支持的网卡。服务器依次配置IP地址、DHCP服务、TFIT服务及NFS服务，之后配置ks.cfg文件。ks.cfg文件是待安装机器所有的配置文件，每台机器在安装Linux系统后都会自动生成ks.cfg，并记录系统安装时所做的每一步操作。然后配置共享的文件夹及PXE启动方式。保存后重启，安装自动完成。
页面功能　【】
版权所有：中国教育和科研计算机网网络中心
,,京ICP备,
| 有任何问题与建议请联络：