hadoop平台搭建安装什么系统_百度知道
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。
hadoop平台搭建安装什么系统
我有更好的答案
com/article/ca00d56cfebcf6c.html" target="_blank">http需要Linux系统<a href="http://jingyan://jingyan.baidu.baidu
linux和windows都可以稳定的话，还是linux上
Linux。可以试试ubuntu14.04
为您推荐：
其他类似问题
hadoop的相关知识
换一换
回答问题，赢新手礼包sponsored links
Hadoop系统完全分布式集群搭建方法
Hadoop系统分布式集群搭建方法
&&&&&&& 记得以前学习hadoop时，互联网上有不少有关Hadoop环境搭建的方法，但很多语焉不详，步骤不清晰。下面是本人亲自搭建hadoop完全分布式系统环境的笔记，沉落硬盘已久，闲来无事，现整理后发到博客上，和博友共勉，希望对hadoop初学者有所帮助，欣喜不已！
1. linux操作系统安装
在每个节点上安装Linux操作系统（Centos6.3），安装时为各机器分别命名为 Master，slave1、slave2…。令主机名为Master的作为主节点，主机名为slave1、slave2…作为从节点。
如果是在已经安装好系统的集群中配置hadoop环境，且各机器的主机名命名无规律，这时最好按照下述方法修改主机名。
1.1编辑各个机器的主机名：（将主从节点的主机名分别命名为Master，slave1、slave2…）
&[root@Centos ~]# vi /etc/hostname
&[root@Centos ~]# vi /etc/sysconfig/network
注：如有必要，主从节点都需要修改，这样改的目的是容易规划集群中的机器。
1.2为所有主从节点设置静态IP（为所有机器配置好静态IP）
1.2.1修改网卡配置，编辑：vi /etc/sysconfig/network-scripts/ifcfg-eth0
1.2.2修改网关配置，编辑：vi /etc/sysconfig/network
1.2.3修改DNS
配置，编辑：vi /etc/resolv.conf
1.2.4重启网络服务，&
执行命令：service network restart
2.安装SSH并配置免密码SSH访问机制（重要）
如果安装RHELS 6.0 ,确保软件安装时把SSH选上；如果安装Linux时没有安装SSH，则需要另行安装SSH。
配置为可以免密码登录主节点和从节点:
首先查看在“当前用户”文件夹下是否存在.ssh文件夹（注意ssh前面有“.”，这是一个隐藏文件夹）。输入命令查看此文件夹是否存在。一般来说，安装SSH时会自动在当前用户下创建这个隐藏文件夹，如果没有，可以手创建一个。）
下面的配置我是在主节点Master的hadoop用户下进行的：
[hadoop@Master ~]# ls –a
发现.ssh文件夹已经存在。
接下来输入命令（注意下面命令中不是双引号，是两个单引号）：
执行： [hadoop @Master ~]# ssh-keygen -t& rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):&&
按回车默认路径 &
Created directory '/home/ hadoop /.ssh'.& &创建/ hadoop /.ssh目录&
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in/home / hadoop /.ssh/id_rsa.
Your public key has been saved in/home / hadoop /.ssh/id_rsa.pub.
The key fingerprint is:
c6:7e:57:59:0a:2d:85:49:23:cc:c4:58:ff:db:5b:38 root@master
通过以上命令将在/home/ hadoop /.ssh/目录下生成id_rsa私钥和id_rsa.pub公钥。
进入/ hadoop /.ssh目录在namenode节点下做如下配置：
[hadoop @Master.ssh]# cat id_rsa.pub & authorized_keys
至此，主节点配置完毕，可通过ssh本机IP
测试是否需要密码登录。
操作如图所示：说明配置无密码登录成功！
然后配置从节点，将authorized_keys文件到所有从节点上：
[hadoop@Master.ssh]$ scp authorized_keys &[从节点主机名或IP]:/home/hadoop/.ssh
至此免密码登录各节点已配置完毕，可通过ssh各节点IP
测试是否需要密码登录。
3.安装Java（首先使用[root@ Master ~]#arch命令查看机器属于32位还是64位机）
&（1）查看系统默认安装的JDK，命令：java -version
&（2）下载和安装自己的Jdk，将jdk安装在/usr/java目录下。
root用户登陆，新建目录mkdir &/usr/java，然后将 JDK
安装包jdk-6u13-linux-i586.bin到目录/usr/java下，进入该目录，执行安装命令“./
jdk-6u13-linux-i586.bin”，安装完成后将在目录下生成jdk的安装文件夹/jdk1.6.0_13。
&（3）删除默认安装的jdk
&&&查看jdk的版本号：rpm -qa|grep& jdk&& &卸载：yum -y remove
4.创建专门的hadoop用户（令hadoop集群中的所有机器都是在hadoop用户下工作！）
创建用户组：hadoop，然后在此用户组下创建hadoop用户。可在安装系统的时候创建，也可以在安装好之后用如下命令创建：
[root@ Master ~]# groupadd& hadoop
[root@ Master ~]# useradd -g hadoop &-d /home/hadoop& hadoop
“hadoop”是所创建的用户名, -d指明“ hadoop”用户的home目录是/home/hadoop）
[root@ Master ~]# passwd hadoop [给用户hadoop设置口令]
1). 在真实集群分布模式下，要求集群中所有节点使用相同的用户名，这是hadoop的基本要求。比如，可以使用“hadoop”作为所有节点上统一的用户名。
2). 并且要求在所有节点上安装的hadoop系统具有完全一致的目录结构。
5.在主节点上解压安装Hadoop
—& 到Hadoop官网下载hadoop-1.0.1.tar.gz（本人使用的是此版本！）
—& 建立安装目录
&&& [hadoop@ Master ~] $mkdir ~/hadoop_installs
—& 把hadoop-1.0.1.tar.gz放在这里，然后解压：
[hadoop@ Master hadoop_installs]$ tar –zxvf hadoop-1.0.1.tar.gz
解压安装完毕，可得hadoop的安装根目录为：/home/hadoop/hadoop_installs/hadoop-1.0.1
注：这个过程仅需在主节点上完成，然后安装好的Hadoop系统在完成后续配置后可被到所有从节点。
6.配置环境变量(每个节点都必须做）
—& 进入到“hadoop”用户下[root@Master ~]# su –hadoop [注意中间的”-”不要丢]
&& [hadoop@ Master ~]$vi &~/.bash_profile
（此修改方式仅对hadoop用户生效）
& 注： [root@ Master ~]#vi &/etc/profile这种修改方式是对本机所有用户生效！
设置如下环境变量：
&&export& JAVA_HOME=/usr/java/jdk1.6.0_13
&&export &JRE_HOME=/usr/java /jdk1.6.0_13/jre
&& export &CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
&& export &PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export& HADOOP_HOME=/home/hadoop/hadoop_installs/hadoop-1.0.1
& &export& PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
在vi编辑器增加以上内容后保存退出，并执行以下命令使配置生效！
#chmod &+x& /etc/profile；增加执行权限
#source& /etc/profile；使配置生效！
配置完毕后，在命令行中输入：java -version，如出现下列信息说明java环境安装成功。
java version &1.6.0_13&
Java(TM) SE Runtime Environment (build 1.6.0_13-b03)
Java HotSpot(TM) Server VM (build 16.3-b01, mixed mode)
7.在主节点上修改hadoop配置文件
& Hadoop的配置文件存放在hadoop安装目录下的conf目录中，主要有以下几个配置文件要修改：
conf/hadoop-env.sh：Hadoop环境变量设置
conf/core-site.xml：主要完成NameNode的IP和端口设置
conf/hdfs-site.xml：主要完成HDFS的数据块副本等参数设置
conf/mapred-site.xml：主要完成JobTracker IP和端口设置
conf/masters：完成master节点IP设置
&进入/home/hadoop/hadoop_install/hadoop-1.0.1/conf，配置Hadoop配置文件
7.1配置hadoop-env.sh文件
打开文件命令：vi hadoop-env.sh
添加 # set java environment
&&&&&&&&&&&& export JAVA_HOME=/usr/java/jdk1.6.0_13
编辑后保存退出。
7.2配置core-site.xml
[hadoop@Master conf]$ vi core-site.xml
&?xml version=&1.0&?&
&?xml-stylesheet type=&text/xsl& href=&configuration.xsl&?&
&!-- Put site-specific property overrides in this file. --&
&configuration&
&& &property&
&&&& &name&fs.default.name&/name&
&&&& &value&hdfs://Master:9000/&/value&
//注：Master为主节点主机名，9000后面的“/”不能少
&& &/property&
&& &&property&&
& &&&&&name&hadoop.tmp.dir&/name&&
&value&/tmp&/value&&
&/property&
&/configuration&
说明：hadoop分布式文件系统的两个重要的目录结构，一个是namenode上名字空间的存放地方，一个是datanode数据块的存放地方，还有一些其他的文件存放地方，这些存放地方都是基于hadoop.tmp.dir目录的，比如namenode的名字空间存放地方就是
${hadoop.tmp.dir}/dfs/name, datanode数据块的存放地方就是 ${hadoop.tmp.dir}/dfs/data，所以设置好hadoop.tmp.dir目录后，其他的重要目录都是在这个目录下面，这是一个根目录。在此设置的是
/tmp,当然这个目录必须是存在的。
7.3配置hdfs-site.xml
[hadoop@Master conf]$ vi& hdfs-site.xml
&?xml version=&1.0&?&
&?xml-stylesheet type=&text/xsl& href=&configuration.xsl&?&
&!-- Put site-specific property overrides in this file. --&
&configuration&
& &property&
&&&& &name&dfs.replication&/name&
&&&& &value&3&/value&
& &/property&
&/configuration&& &&
7.4配置mapred-site.xml
[hadoop@Master conf]$ vi mapred-site.xml
&?xml version=&1.0&?&
&?xml-stylesheet type=&text/xsl& href=&configuration.xsl&?&
&!-- Put site-specific property overrides in this file. --&
&configuration&
& &property&
&&&& &name&mapred.job.tracker&/name&
&&&& &value&Master:9001&/value&
& &/property&
&/configuration&
7.5配置masters文件和slaves文件
[hadoop@Master conf]$ vi masters &&修改为主节点的主机名
[hadoop@Master conf]$ vi slaves&&&列出所有从节点的主机名
注：这个过程仅需在主节点上进行，然后将随着主机上安装好的Hadoop目录一起到所有从节点
8.Hadoop系统到所有从节点
将在主节点安装好的Hadoop系统目录到每一个从节点上：
[hadoop@ Master ~]$ scp -r /home/hadoop/hadoop-installs [从节点主机名或IP]:/home/hadoop/
这样可以避免对每一个从节点重复进行Hadoop系统安装。
9.在NameNode和DataNode节点上分别进行“主机名和IP解析”配置
修改每台机器的/etc/hosts设置：
—& 若为NameNode，则需要在hosts文件中添加集群中所有节点的IP地址机器对应的主机名。示例：
—& 若为DataNode，则只需要在文件中添加本机和NameNode的IP地址及对应的主机名。
10.格式化NameNode
—& 执行Hadoop的bin文件夹中的格式化命令：
&&& [hadoop@ Master ~]$ hadoop namenode -format
&&& 如果格式化成功，会返回一堆有关NameNode的启动信息，其中会有一句“…. has been successfully formatted.”
11.启动HDFS和MapReduce
—& 执行以下命令启动HDFS和MapReduce
&&&& [hadoop@ Master ~]$ start-all.sh
—& 用JPS命令检查一下是否正常启动：
&&&& [hadoop@ Master ~]$ jps
显示以下各进程信息则说明HDFS和MapReduce都已正常启动：
4706 JobTracker
4582 SecondaryNameNode
4278 NameNode
4413 DataNode
4853 TaskTracker
12&查看集群状态
命令方式： [hadoop@Master bin]$ hadoop dfsadmin –report
浏览器方式：在WEB页面下查看Hadoop工作情况
输入部署Hadoop服务器的IP：http://IP:50070；http://IP:50030.
13.运行测试
—& 在Linux文件系统下（如/home/hadoop /test)创建两个文本数据文件:
&&&&&& && file1.txt：hello hadoop hello world
&&&&&& && file2.txt：goodbye hadoop
—& 在hdfs分布式文件系统创建目录input：
[hadoop@ Master ~]$ hadoop fs -mkdir input
—& 离开hodoop的安全模式：
[hadoop@Master ~]$ hadoop dfsadmin –safemode leave
—& 将文件到HDFS文件系统中的input文件夹下：(下面命令二选一使用)
&&& &&&[hadoop@Master ~]$ hadoop &dfs &–copyFromLocal&& ~/test/*&& input
&&&&&& [hadoop@Master ~]$hadoop &fs &–put &~/test/* &input
—& 运行hadoop安装包中自带的WorldCount程序进行测试：
[hadoop@Master ~]$hadoop jar hadoop-1.0.1-examples.jar &wordcount &input &output
注：其中output只能由程序创建，HDFS文件系统中不能事先存在.
—& 在查看执行结果:
[hadoop@Master ~] hadoop dfs -cat output/*
14.停止HDFS和MapReduce
—& 执行以下命令启动HDFS和MapReduce
& &&&[hadoop@ Master ~]$ stop-all.sh
之前有一篇文章已经很详细介绍了如何安装hadoop+hbase+zookeeper
文章标题为:hadoop+hbase+zookeeper 分布式集群搭建完美运行 其网址:http://blog.csdn.net/shatelang/article/details/7605939
这篇文章要讲述的是hadoop1.0.0+hbase0.9 ...
搭建完(hadoop+hbase)整个集群是能够完美的运行,其中期间出过些小问题,如有一台机器和其他机器时间相差很远,结果是HRegionServer启动的时候超时,这个时候要么时间同步,或者在配置文件中添加相应的参数
我所在的实验室,整个集群是通过ccproxy代理来连接互联网,然后是远程连接整个集群
650) this.width=650;& border=&0& alt=&& src=&/attachment/326937.png& /& 650) this.width=650;& border=" ...
一.配置虚拟机软件 下载地址:https://www.virtualbox.org/wiki/downloads
1.虚拟机软件设定 1)进入全集设定
2)常规设定
2.Linux安装配置 1)名称类型 名称最后具有说明意义.版本根据个人情况.
2)内存 在下物理机系统Win7x64,处理器i53210,内存8G.
hadoop-1.1.0 rpm + centos 6.3 64 + JDK7 搭建全分布式集群的方法 第一步 ,环境准备.
服务器3台,可以用3个虚拟机代替. 操作系统. CentOS 6.3 64 hadoop版本 hadoop 1.1.0 rpm 开始安装 以下所有的操作,都是用 root 身份执行 以下安装,需要在每台机器上面安装.
下载好 jd ...2.Hadoop集群搭建 - Satchmo丶
来源：互联网
编辑：刘梓楠
有网友碰到过这样的问题:2.Hadoop集群搭建 - Satchmo丶,问题详细内容为:挺不错的博文:2.Hadoop集群搭建 - Satchmo丶,我搜你通过互联网收集了相关的一些解决方案,希望对有过相同或者相似问题的网友提供帮助,具体如下:
首先我们要完成SSH无密码通信等内容，见上篇文章《Hadoop环境初步搭建》
后两篇文章是关于《Hadoop下实例程序测试》，这些文章都是无缝衔接的哈~
在master这台机器上安装Hadoop 2.2.0,Hadoop 2.2.0的下载地址为：
http://mirror./apache/hadoop/common/hadoop-2.2.0/
//( https://archive.apache.org/dist/hadoop/common/hadoop-2.2.0/)
我们下载的是&hadoop-2.2.0.tar.gz& &，如下图所示：
在master上创建目录/usr/local/hadoop
将下载的文件hadoop-2.2.0.tar.gz 通过U盘拷贝到master的该目录下
在slave1和slave2上面也创建/usr/local/hadoop目录
接下来在master节点上配置单机hadoop，配置完成后将配置拷贝到slave1和slave2上即可完成集群搭建
在master上，进入/usr/local/hadoop，解压hadoop-2.2.0.tar.gz
接下来在hadoop目录下按照如下命令创建文件夹：
接下来开始修改hadoop的配置文件，首先进入Hadoop 2.2.0配置文件区：
(/usr/local/hadoop/hadoop-2.2.0/etc/hadoop)
第一步修改配置文件hadoop-env.sh，在其中加入&JAVA_HOME&，如下所示：
指定我们安装的&JAVA_HOME&，修改为如下所示内容：
第二步修改配置文件yarn-env.sh，在其中加入&JAVA_HOME&，如下所示：
指定我们安装的&JAVA_HOME&，修改为下图：
第三步修改配置文件mapred-env.sh，在其中加入&JAVA_HOME&，如下所示：
指定我们安装的&JAVA_HOME&，如下图所示：
第四步修改配置文件slaves，如下所示：
我们设置Hadoop集群中的从节点为slave1和slave2，把slaves文件的内容修改为：
第五步修改配置文件core-site.xml，如下所示：
把core-site.xml文件的内容修改为：
上述是core-site.xml文件的最小化配置，core-site.xml各项配置可参考：
http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
第六步修改配置文件hdfs-site.xml，如下所示：
把hdfs-site.xml文件的内容修改为如下：
上述是hdfs-site.xml文件的最小化配置，hdfs-site.xml各项配置课参考：
http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
第七步修改配置文件mapred-site.xml，如下所示：
拷贝一份mapred-site.xml.template命名为mapred-site.xml
打开mapred-site.xml
把mapred-site.xml文件的内容修改为：
上述是mapred-site.xml最小化配置，mapred-site.xml各项配置可参考：
http://hadoop.apache.org/docs/r2.2.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
第八步修改配置文件yarn-site.xml，如下所示：
把yarn-site.xml的内容修改为：
注意：在主机名前面多空格大错特错
上述内容是yarn-site.xml的最小化配置，yarn-site.xml文件配置的各项内容可以参考：
http://hadoop.apache.org/docs/r2.2.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
使用scp命令把master上安装和配置的Hadoop的各项内容拷贝到slave1和slave2上
最后分别在三台机器上配置/etc/profile和~/.bashrc：
修改系统配置文件，修改~/.bashrc文件配置&HADOOP_HOME&并把&HADOOP_HOME&下的bin文件夹加入PATH中，修改完后使用source命令使配置生效。
以master为例：
（1）修改/etc/profile
在末尾加上如下语句，保存并退出：
使用source命令让配置生效
（2）修改~/.bashrc
修改为如下，保存并退出：
使用source命令让配置生效
在另外两台机器上也做同样更改（slave1、slave2）。
注：系统配置文件最好是手动更改，不要在机器中互相拷贝，以免出现系统崩溃。
启动并验证Hadoop分布式集群
第一步：格式化hdfs文件系统：
进入bin目录下
输入如下格式化命令
第二步：进入sbin中启动hdfs，执行如下命令：
启动过程如下：
输入yes继续。
启动完成后，输入jps可以发现，master上启动了NameNode和SecondaryNameNode；
在slave1和slave2上均启动了DataNode：
此时访问http://master:50070 登录Web控制可以查看HDFS集群的状况：
从控制台我们可以看见有两个DataNode，此时我们点击&Live Nodes&查看一下其信息：
从控制台中看到了我们的两个Datanode节点slave1和slave2，这正是我们预期中的！
第三步 启动yarn集群
使用jps命令可以发现master机器上启动了ResourceManager进程：
而在slave1和slave2上则分别启动了NodeManager进程：
在master上访问http://master:8088 可以通过Web控制台查看ResourceManager运行状态：
在slave1上访问http://slave1:8042 可以通过Web控制台查看slave1上的NodeManager运行状态：
在slave2上访问http://slave2:8042 可以通过Web控制台查看slave2上的NodeManager运行状态：
posted on 请注意，本站信息均收集自互联网，相关信息仅供参考，医疗等重要信息请以正规途径为最终意见，本站不承担任何责任！
您可能还关注Hadoop安装教程_突袭网
当前位置&:&&&&Hadoop安装教程
热门标签：&
Hadoop安装教程
来源： 由用户
编辑：王亮
求hadoop安装教程/frank_gwfhadoop1和hadoop2都有为什么hadoop安装都这么困难???网上的教程都看不懂啊!!!!!建议楼主还是先理解Hadoop的工作原理,配置文件也只是工作机制的详细表现,影响实际机器运作性能。看懂了原理,自然知道各个主机间如何工作,也知道为什么这么配置了。有谁会在linux(Ubuntu)安装HADOOP?求指导或是教程!这个其实有很多教程啊Linux公社有专题Hadoop安装教程(图2)Hadoop安装教程(图4)Hadoop安装教程(图6)Hadoop安装教程(图8)Hadoop安装教程(图10)Hadoop安装教程(图12)
本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2，适用于Hadoop 2.7.1, Hadoop 2.6.0 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，相信按照步骤来，都能顺利在 CentOS 中安装并运行 Hadoop。本 Hadoop 教程由给力星出品，转载请注明。
安装Hadoop1.0.4伪分布式的方法没有必要当翻译工了。但是手册为了通用性,牺牲了一些关键问题的讨论。第三节中提及一下。三、手册缺陷&手册主要有两个问题没有说清楚:1.Hadoop安装在哪个目...防抓取，突袭网提供内容，请查看原文。
本教程使用 CentOS 6.4 32位 作为系统环境，请自行安装系统。如果用的是 Ubuntu 系统，请查看相应的 Ubuntu安装Hadoop教程。
如何在电脑上安装Hadoop,网上看了些教程,没有安装成功。多找找,多尝试尝试,总会成功的,安装不遇到问题是不好的开头防抓取，突袭网提供内容，请查看原文。本教程基于原生 Hadoop 2，在 Hadoop 2.6.0 (stable) 版本下验证通过，可适合任何 Hadoop 2.x.y 版本，例如 Hadoop 2.7.1, Hadoop 2.4.1等。
Hadoop版本哪里有Hadoop2.0视频教程下载?我要免费的完整的实战Hadoo...&分享一套Hadoop大数据视频教程给你,本套教程应该是目前最为完整的一套Had...通过本课程的学习,用户可在最短防抓取，突袭网提供内容，请查看原文。Hadoop 有两个主要版本，Hadoop 1.x.y 和 Hadoop 2.x.y 系列，比较老的教材上用的可能是 0.20 这样的版本。Hadoop 2.x 版本在不断更新，本教程均可适用。如果需安装 0.20，1.2.1这样的版本，本教程也可以作为参考，主要差别在于配置项，配置请参考官网教程或其他教程。
哪里有吴超hadoop7天视频教程完整版下载?x-3.数据导入和清洗x-4.数据统计分析五、hadoop2全套视频(4节)六、吴超hadoop视频教程vip会员赠送1、hadoop2安装后的镜像2、hadoop64位版本3、Java视频教程(最适...防抓取，突袭网提供内容，请查看原文。新版是兼容旧版的，书上旧版本的代码应该能够正常运行（我自己没验证，欢迎验证反馈）。
win7先安装hadoop测试报以下错,请大神们帮解决下呢,谢谢了。应该是将JAVA_HOME变量设置为JAVA安装的根目录。如果JAVA是安装在D盘根目录下,则是exportJAVA_HOME=/c防抓取，突袭网提供内容，请查看原文。装好了 CentOS 系统之后，在安装 Hadoop 前还需要做一些必备工作。
创建hadoop用户
在windows下安装hadoop,其java-home该如何设置?那你肯定是装上cgywin了,其中JAVA_HOME的设置就可以是你的cgywin中访问到你的windows下的jdk的路径即,如:防抓取，突袭网提供内容，请查看原文。如果你安装 CentOS 的时候不是用的 “hadoop” 用户，那么需要增加一个名为 hadoop 的用户。
hadooop安装在windows上么答：若要使用安装光盘来安装Windows，您需要具备以下条件：内建的光盘驱动器或兼容的外置光盘驱动器。有关将外置光盘驱动器与Mac配合使用的信息，请参阅Mac附带防抓取，突袭网提供内容，请查看原文。首先点击左上角的 “应用程序” -& “系统工具” -& “终端”，首先在终端中输入 su ，按回车，输入 root 密码以 root 用户登录，接着执行命令创建新用户 hadoop:
hadoopstart-all.sh时namenode可以正常启动，dat...问：JavaHotSpot(TM)ClientVMwarning:Youhaveloadedlibrary/usr/ha防抓取，突袭网提供内容，请查看原文。su # 上述提到的以 root 用户登录useradd -m hadoop -s /bin/bash # 创建新用户hadoopShell 命令
/usr/hadoop/sbin/yarn-daemon.sh:line125:/tmp...问：在centos下配置hadoop2.2.0start-all.sh时出现上述状况答：为当前用户赋予ha防抓取，突袭网提供内容，请查看原文。如下图所示，这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为shell。
格式化hadoop时出现的错误：inthread"main"java...问：好多博客说是CLASSPATH设置的问题，但是更改之后仍然如此，求解答答：您好，user6@das0Hadoop-0.20防抓取，突袭网提供内容，请查看原文。CentOS创建hadoop用户
安装了hadoop，在执行./start-all.sh时，会卡在sta...问：在ubuntu上安装了hadoop，然后再执行命令start-all.sh时，出现如下状况...答：这是因为datano防抓取，突袭网提供内容，请查看原文。接着使用如下命令修改密码，按提示输入两次密码，可简单的设为 “hadoop”（密码随意指定，若提示“无效的密码，过于简单”则再次输入确认就行）:
Hadoop请教学习顺序问：现在我己在虚拟机上搭建好hadoop环境，可以运行单词统计小程序，我现在...答：我不是高手，但我可以告诉你我怎么学习。①选择一个Hadoop的版本，然后阅读文档了解Had防抓取，突袭网提供内容，请查看原文。passwd hadoopShell 命令
用VMware11安装redhat9，JDK1.6，运行hadoo1.2.1...问：JDK环境变量已经配置，配置好，hadoop环境也配置完成，但是执行hadoopj...答：bin/hadoopj防抓取，突袭网提供内容，请查看原文。可为 hadoop 用户增加管理员权限，方便部署，避免一些对新手来说比较棘手的权限问题，执行：
Hadoop中单机模式和伪分布式的区别是什么答：单机(非分布式)模式这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。注意事项：运行bin/hadoopjarhadoo防抓取，突袭网提供内容，请查看原文。visudoShell 命令
hadoophdfs的默认目录问题问：在初始化hadoop时会提示Storagedirectory/tmp/hadoop-hadoop/dfs/nam...答：能贴个图，说详细些么乍看/user/ha防抓取，突袭网提供内容，请查看原文。如下图，找到 root ALL=(ALL) ALL 这行（应该在第98行，可以先按一下键盘上的 ESC 键，然后输入 :98 (按一下冒号，接着输入98，再按回车键)，可以直接跳到第98行 ），然后在这行下面增加一行内容：hadoop ALL=(ALL) ALL （当中的间隔为tab），如下图所示：
hadoop上删除文件问：如何在hadoop上删除一个文件件，例如将/home/mm/lily2路径下的lily2文...答：命令：hadoopfs-rmr/home/mm/lily2(要求是你把hadoop的bin加到PATH中，并开启hadoop)rm-rf/home/mm/lily2（这是删除linux文件系统的文件夹）防抓取，突袭网提供内容，请查看原文。为hadoop增加sudo权限
防抓取，突袭网提供内容，请查看原文。添加好内容后，先按一下键盘上的 ESC 键，然后输入 :wq (输入冒号还有wq，这是vi/vim编辑器的保存方法)，再按回车键保存退出就可以了。
国外与我们气候不一样，生活习惯也不一样。我们应该具体问题具体分析。袜子可以保暖，如果天气转凉了就可以给宝宝穿上。也可以防止蚊虫叮咬，适当的时候也可以穿上。给宝宝买袜子的时候一定要买内面光滑的袜子，袜子防抓取，突袭网提供内容，请查看原文。最后注销当前用户(点击屏幕右上角的用户名，选择退出-&注销)，在登陆界面使用刚创建的 hadoop 用户进行登陆。（如果已经是 hadoop 用户，且在终端中使用 su 登录了 root 用户，那么需要执行 exit 退出 root 用户状态）
首先我们先来看看nubiaZ17的参数规格：nubiaZ17是第一款配备8GB内存的骁龙835手机，标配6GB内存，有64和128两种容量可选，UFS2.1规格。骁龙835芯片基于三星10nm工艺制程打造，主频为1.9GHz+2.45GHz，采用八核心设计，大小核均为Kryo280架构，整合了Cat.16基带。下面我们用跑分工具对nubiaZ17的性能进行理论测试。1、安兔兔↑↑↑安兔兔跑分↑↑↑防抓取，突袭网提供内容，请查看原文。使用 hadoop 用户登录后，还需要安装几个软件才能安装 Hadoop。
有影响，有变化但是谈不上有多大的影响和变化！现在的微信和QQ影响力是非常大的，可以说没有任何一款APP能和微信QQ相提并论，淘宝、百度都是不行的。我们的日常生活已经和微信QQ离不开了，你的人脉、资源。防抓取，突袭网提供内容，请查看原文。CentOS 使用 yum 来安装软件，需要联网环境，首先应检查一下是否连上了网络。如下图所示，桌面右上角的网络图标若显示红叉，则表明还未联网，应点击选择可用网络。
网络配图 五六百人“淘宝”每天只睡三小时 中国江西网记者了解到，银元发现的地点为赣县长洛乡长源村下西山组，“当知道这儿有银元之后，人们的状态可以用‘癫狂’来形容，每晚都挖到凌晨2点，早上5点又举着防抓取，突袭网提供内容，请查看原文。检查是否联网
夏普这款消费级8K电视，采用了70英寸8K面板，分辨率为，相当于4K显示技术的4倍、1080p的16倍。画质方面，旷视AQUOS8K搭载了夏普独家煌彩技术以及直下背光区域控制系统。煌防抓取，突袭网提供内容，请查看原文。连接网络后，需要安装 SSH 和 Java。
安装SSH、配置SSH无密码登陆
近日，著名作家琼瑶在微博上发布了一则长文，近似交代自己的身后事宜，令众多网友唏嘘不已。\n\n琼瑶在文中反复叮嘱自己的儿子和儿媳在自己即将离开人间的弥留之际，不管是被疾病折磨还是寿终正寝，都随顺自然地防抓取，突袭网提供内容，请查看原文。集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），一般情况下，CentOS 默认已安装了 SSH client、SSH server，打开终端执行如下命令进行检验：
题主的这个问题让我想到了几大电商被黑的历史事件：比如前几年的时候美国第二大团购网站LivingSocial就曾遭遇过黑客攻击，致使5000万用户资料外泄，但值得庆幸的是并未造成财务损失。不过当时LivingSocial正处在经营困难期，黑客攻击造成客户资料泄露让其颇感雪上加霜。还有国内化妆品电商聚美优品曾在进行三周年庆活动时遭遇到网站瘫痪尴尬，随后有好事者指出聚美的竞争对手乐蜂网同时间也推出了促销防抓取，突袭网提供内容，请查看原文。rpm -qa | grep sshShell 命令
这个价格确实值得怀疑。乳胶床垫就是以乳胶为原料加工的床垫。天然乳胶来源于橡胶树，散发着淡淡的乳香味，让人闻着很舒服，很有大自然的味道，它无毒无害，当然成本也是很高的，一棵20年树龄的橡胶树每天的乳胶量防抓取，突袭网提供内容，请查看原文。如果返回的结果如下图所示，包含了 SSH client 跟 SSH server，则不需要再安装。
胎盘是什么？胎盘能不能吃？胎盘能不能吃，老早就有相关争论了，吃的人也从未曾中断过。胎盘是什么？胎盘，别名胞衣、胎衣等，是哺乳动物妊娠期间由胚胎的胚膜和母体子宫内膜联合长成的母子间交换物质的过渡性器官。防抓取，突袭网提供内容，请查看原文。检查是否安装了SSH
你睡觉时头脚怎么朝向？以前一直住在平房，也住管了平房。起码我的邻居是谁，我是知道的。最近一直考虑买房，所以就对房子格外的关注。其中一点就是睡觉的朝向问题。只要是住楼房大部分都和平房的不一样了。平房基本防抓取，突袭网提供内容，请查看原文。若需要安装，则可以通过 yum 进行安装（安装过程中会让你输入 [y/N]，输入 y 即可）：
《何为雕母》雕母钱从唐朝就有记载，流行于清代。为什么要从清代说起呢？因为只有清代雕母走向了成熟，并且还用在了钱币设计，这就需要当时的雕母作范，朝廷用于各个地方照着样子铸币需要，这就逐渐形成了另外三种钱防抓取，突袭网提供内容，请查看原文。sudo yum install openssh-clientssudo yum install openssh-serverShell 命令
湿气重喝什么茶枸杞薏米茶薏米300克，枸杞子一把，红枣2-3颗，冰糖适量。薏米用无油锅小火翻炒，至出薏米香味即可，将红枣撕成两半，用滚烫的开水，浸泡材料5-10分。作用：利水消肿、健脾去湿、行气益血、防抓取，突袭网提供内容，请查看原文。接着执行如下命令测试一下 SSH 是否可用：
妇专委特邀心理问答专家志愿者吴琼燕：(吴琼燕，心理学科普志愿者，在中山大学业余学习心理学，建筑技术工程师背景，看问题较为客观、深刻而透彻，思维富于逻辑和条理，乐于为心理学知识的普及贡献自己的微薄之力，防抓取，突袭网提供内容，请查看原文。ssh localhostShell 命令
榴莲被誉为“水果之王”，在生活中相信很多人都吃过榴莲，榴莲的气味浓烈，喜欢榴莲的人爱不释手，但是其味道却让很多人望之却步，这就造成了喜欢吃的特别喜欢，不喜欢吃的就特别讨厌，其实跟男女性别关系并不大。1防抓取，突袭网提供内容，请查看原文。此时会有如下提示(SSH首次登陆提示)，输入 yes 。然后按提示输入密码 hadoop，这样就登陆到本机了。
可以理解！年龄增长了，但负担更重了，无奈更多了，遇到突发事件概率更大了。年龄增长而随之的控制能力，在现实面前己“力不从心”了。进而说压力不止影响心情，更会影响精神状态，两者叠加，情绪不更糟糕才怪。努力防抓取，突袭网提供内容，请查看原文。测试SSH是否可用
为什么都说好奇心害死猫，而不是好奇心害死狗害死猪呢？原因很简单，就是因为这个傲娇又高冷的主子有事没事的就爱作死！1、真的不知道，TM怎么上去的，这是要上天和太阳肩并肩的节奏啊。2、我说喵被卡住是有原因防抓取，突袭网提供内容，请查看原文。但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。
提起燕窝，相信很多女性都吃过，特别是在怀孕期间，更是很多人的滋补首选燕窝是中国自明代以来开始被食用的传统名贵食品之一。只要不要破坏它的营养怎么炖都有营养的因为燕窝丰富的唾液酸是人体唯一能够从食物中大量防抓取，突袭网提供内容，请查看原文。首先输入 exit 退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中：
苦瓜别名凉瓜、癞瓜、红姑娘、菩达等，为葫芦科苦瓜属中以果实供食用的一年生攀缘性草本植物。苦瓜的营养价值苦瓜苦中带甜，是一种美食佳品，有“天然胰岛素”的美称。苦瓜有丰富的营养价值，含有的蛋白质、脂肪、碳防抓取，突袭网提供内容，请查看原文。exit # 退出刚才的 ssh localhostcd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhostssh-keygen -t rsa # 会有提示，都按回车就可以cat id_rsa.pub && authorized_keys # 加入授权chmod 600 ./authorized_keys # 修改文件权限Shell 命令
~的含义周立波自从在美国闹出吸毒的事件之后，就在大家的视野当中消失了。周立波是海派清口的创始人，还有这一位非常有钱的富豪妻子，胡洁，两人的爱情是一见钟情。周立波与妻子结婚之后，生活幸福美满，虽然年纪不小了也经常公开秀个恩爱，胡洁与前夫有过一个女儿。可是，周立波却一点都不介意，对女儿也是疼爱有加。胡洁比周立波整整大了6岁，可这一点都没有妨碍两人的感情！胡洁可是温州洁瓴不锈钢制品有限公司的董事长，大家自然而然防抓取，突袭网提供内容，请查看原文。在 Linux 系统中，~ 代表的是用户的主文件夹，即 “/home/用户名” 这个目录，如你的用户名为 hadoop，则 ~ 就代表 “/home/hadoop/”。 此外，命令中的 # 后面的文字是注释。
搞得好像自己是中情局的，我就感到有些不解，彼此之间是什么关系居然能弄到这样的地步？是的，昨天不是刚刚过了什么七夕情人节吗？难道是自己感到了什么不对头了吗？唉，如今的人啊，彼此之间的信任程度已经被这一个防抓取，突袭网提供内容，请查看原文。此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了，如下图所示。
在我看来，这群为老不尊的家伙纯属是自己作死、没事找事。人五角大楼地方宽敞，你去啊。城市里本来活动区域是非常有限的，各活动功能区规划出来也是为了更好地为城市居民提供便利，比如小孩子们想打球了去球场，就不防抓取，突袭网提供内容，请查看原文。SSH无密码登录
安装Java环境
一个人长得好不好看，鼻子占了很大的因素鼻子几乎承包了一个人80%的颜值、90%的气质拥有高挺尖翘的鼻子让整个人看起来更出众！怎样才能拥有一个漂亮鼻子呢？答案很简单如果先天没有，那就后天来造然而，打造美防抓取，突袭网提供内容，请查看原文。Java 环境可选择 Oracle 的 JDK，或是 OpenJDK，现在一般 Linux 系统默认安装的基本是 OpenJDK，如 CentOS 6.4 就默认安装了 OpenJDK 1.7。按 http://wiki.apache.org/hadoop/HadoopJavaVersions 中说的，Hadoop 在 OpenJDK 1.7 下运行是没问题的。需要注意的是，CentOS 6.4 中默认安装的只是 Java JRE，而不是 JDK，为了开发方便，我们还是需要通过 yum 进行安装 JDK，安装过程中会让输入 [y/N]，输入 y 即可：
李彦宏一直是互联网圈比较低调的一位大佬，没想到最近也开始秀恩爱了！前不久，李彦宏在贴吧晒出了自己与妻子马东敏的合影，附文称“二十年前的那个夏天，从这里出发去了硅谷。”照片中，李彦宏搂着马东敏，十分幸福甜蜜。很多人都知道李彦宏之所以回国创立百度，其很大的原因在于妻子马东敏的支持。据说当时的李彦宏在加州过着朝九晚五的生活，但马东敏觉得他胸无大志，让他回国创业，这才有了BAT中的百度。不过，细数互联网圈中秀恩爱的企业家，第一当属刘强东与妻子章泽天。不仅两人频繁出席公开场合，还时不时发ins秀恩爱。炒股就是这样，没有一套嬴利方法技巧和自我保护的纪律是不行的，天时地利人和缺一不可。咨信@号kdj7１4，防抓取，突袭网提供内容，请查看原文。sudo yum install java-1.7.0-openjdk java-1.7.0-openjdk-develShell 命令
这里就告诉大家几个小窍门，教你如何辨别承重墙。1）看户型图一般工程图上标注为黑色的墙体都是承重墙，标注为白色部分的墙体为非承重墙。2）听声音，看厚度看墙体的厚度非承重墙都比较薄，一般在10厘米厚左右。防抓取，突袭网提供内容，请查看原文。通过上述命令安装 OpenJDK，默认安装位置为 /usr/lib/jvm/java-1.7.0-openjdk（该路径可以通过执行 rpm -ql java-1.7.0-openjdk-devel | grep '/bin/javac' 命令确定，执行后会输出一个路径，除去路径末尾的 “/bin/javac”，剩下的就是正确的路径了）。OpenJDK 安装后就可以直接使用 java、javac 等命令了。
这个题目有点大，但实用意义却不大。陶瓷是瓷器之总称，而我中毕民族的陶瓷艺术有着几千年流传历史，其博大精深之程度如天似海，历代文墨骚客，为此呤诗作画不胜其数，何来魔力能把“关于”此类的诗句搬上此来呢？不过，偶选佳句鉴赏或许也可激发雅兴，准确应答此题，难…难…难…实在是难呀！我有玉壶春瓶，这种瓶造型定型于北宋时期，历经宋、元、明、清，成为中国瓷器造型中的典型器物，其名由来与诗句有直接联系，故以此作答见防抓取，突袭网提供内容，请查看原文。接着需要配置一下 JAVA_HOME 环境变量，为方便，我们在 ~/.bashrc 中进行设置（扩展阅读: 设置Linux环境变量的方法和区别）：
俗话说物以稀为贵，何况是官方发行的法定货币，应该是具有权威性和公信力，不论官方是否认可，但这是事实，如当年官方发行的邮票(祖国山河一遍红)一样，今年在长沙一次拍卖会上，拍出四佰多万一张，所以说很有收藏防抓取，突袭网提供内容，请查看原文。vim ~/.bashrcShell 命令
看对方的想法。如果对方对你只是朋友的感情，那么，强求的话，只会连朋友也做不了。但是又有多少人是因为“连朋友也做不了”的理由，而选择不去表白或是不去破坏现在的关系呢？首先，你要先清楚自己的关系的感情，不防抓取，突袭网提供内容，请查看原文。在文件最后面添加如下单独一行（指向 JDK 的安装位置），并保存：
有啦，从小喜欢画画，人家不开心粗去浪，我不开心拿笔画，有点人不愿意和我做朋友说我闷葫芦，有点人和我交朋友因为我画的好看，他们觉得画画好看的心灵都纯净，这逻辑我也不懂。反正QQ部落我发帖评论从没破过5赞防抓取，突袭网提供内容，请查看原文。export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdkShell
对于iCloud备份和iTunes备份的区别其实很多人都分辨的不清晰，也不知道怎么分辨，我们可以通过分析这两种方法的优缺点，这样便可以分辨出它们之间的区别。那它们都有哪些优点和缺点呢？一、iCloud防抓取，突袭网提供内容，请查看原文。如下图所示：
设置JAVA_HOME环境变量
接着还需要让该环境变量生效，执行如下代码：
source ~/.bashrc # 使变量设置生效Shell 命令
设置好后我们来检验一下是否设置正确：
echo $JAVA_HOME # 检验变量值java -version$JAVA_HOME/bin/java -version # 与直接执行 java -version 一样Shell 命令
如果设置正确的话，$JAVA_HOME/bin/java -version 会输出 java 的版本信息，且和 java -version 的输出结果一样，如下图所示：
成功设置JAVA_HOME环境变量
这样，Hadoop 所需的 Java 运行环境就安装好了。
安装 Hadoop 2
Hadoop 2 可以通过 http://mirror./apache/hadoop/common/ 或者 /apache/hadoop/common/ 下载，本教程选择的是 2.6.0 版本，下载时请下载 hadoop-2.x.y.tar.gz 这个格式的文件，这是编译好的，另一个包含 src 的则是 Hadoop 源代码，需要进行编译才可使用。
下载时强烈建议也下载 hadoop-2.x.y.tar.gz.mds 这个文件，该文件包含了检验值可用于检查 hadoop-2.x.y.tar.gz 的完整性，否则若文件发生了损坏或下载不完整，Hadoop 将无法正常运行。
本文涉及的文件均通过浏览器下载，默认保存在 “下载” 目录中（若不是请自行更改 tar 命令的相应目录）。另外，如果你用的不是 2.6.0 版本，则将所有命令中出现的 2.6.0 更改为你所使用的版本。
cat ~/下载/hadoop-2.6.0.tar.gz.mds | grep 'MD5' # 列出md5检验值# head -n 6 ~/下载/hadoop-2.7.1.tar.gz.mds # 2.7.1版本格式变了，可以用这种方式输出md5sum ~/下载/hadoop-2.6.0.tar.gz | tr "a-z" "A-Z" # 计算md5值，并转化为大写，方便比较Shell 命令
若文件不完整则这两个值一般差别很大，可以简单对比下前几个字符跟后几个字符是否相等即可，如下图所示，如果两个值不一样，请务必重新下载。
检验文件完整性
我们选择将 Hadoop 安装至 /usr/local/ 中：
sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中cd /usr/local/sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoopsudo chown -R hadoop:hadoop ./hadoop # 修改文件权限Shell 命令
Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息：
cd /usr/local/hadoop./bin/hadoop versionShell 命令
相对路径与绝对路径的区别请务必注意命令中的相对路径与绝对路径，本文后续出现的 ./bin/...，./etc/... 等包含 ./ 的路径，均为相对路径，以 /usr/local/hadoop 为当前目录。例如在 /usr/local/hadoop 目录中执行 ./bin/hadoop version 等同于执行 /usr/local/hadoop/bin/hadoop version。可以将相对路径改成绝对路径来执行，但如果你是在主文件夹 ~ 中执行 ./bin/hadoop version，执行的会是 /home/hadoop/bin/hadoop version，就不是我们所想要的了。
Hadoop单机配置(非分布式)
Hadoop 默认模式为非分布式模式，无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。
现在我们可以执行例子来感受下 Hadoop 的运行。Hadoop 附带了丰富的例子（运行 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar 可以看到所有例子），包括 wordcount、terasort、join、grep 等。
在此我们选择运行 grep 例子，我们将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。
cd /usr/local/hadoopmkdir ./inputcp ./etc/hadoop/*.xml ./input # 将配置文件作为输入文件./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'cat ./output/* # 查看运行结果Shell 命令
若运行出错，如出现如下图提示：
运行Hadoop实例时可能会报错
若出现提示 “WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable”，该 WARN 提示可以忽略，不会影响 Hadoop 正常运行（可通过编译 Hadoop 源码解决，解决方法请自行搜索）。
若出现提示 “INFO metrics.MetricsUtil: Unable to obtain hostName java.net.UnknowHostException”，这需要执行如下命令修改 hosts 文件，为你的主机名增加IP映射：
sudo vim /etc/hostsShell 命令
主机名在终端窗口标题里可以看到，或执行命令 hostname 查看，如下图所示，在最后面增加一行 “127.0.0.1 dblab”：
设置主机名的IP映射
保存文件后，重新运行 hadoop 实例，若执行成功的话会输出很多作业的相关信息，最后的输出信息如下图所示。作业的结果会输出在指定的 output 文件夹中，通过命令 cat ./output/* 查看结果，符合正则的单词 dfsadmin 出现了1次：
Hadoop例子输出结果
注意，Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将 ./output 删除。
rm -r ./outputShell 命令
Hadoop伪分布式配置
Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。
在设置 Hadoop 伪分布式配置前，我们还需要设置 HADOOP 环境变量，执行如下命令在 ~/.bashrc 中设置：
gedit ~/.bashrcShell 命令
这次我们选择用 gedit 而不是 vim 来编辑。gedit 是文本编辑器，类似于 Windows 中的记事本，会比较方便。保存后记得关掉整个 gedit 程序，否则会占用终端。在文件最后面增加如下内容：
# Hadoop Environment Variablesexport HADOOP_HOME=/usr/local/hadoopexport HADOOP_INSTALL=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/binShell
保存后，不要忘记执行如下命令使配置生效：
source ~/.bashrcShell 命令
这些变量在启动 Hadoop 进程时需要用到，不设置的话可能会报错（这些变量也可以通过修改 ./etc/hadoop/hadoop-env.sh 实现）。
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。
修改配置文件 core-site.xml (通过 gedit 编辑会比较方便: gedit ./etc/hadoop/core-site.xml)，将当中的
&configuration&&/configuration&XML
修改为下面配置：
&configuration& &property& &name&hadoop.tmp.dir&/name& &value&file:/usr/local/hadoop/tmp&/value& &description&Abase for other temporary directories.&/description& &/property& &property& &name&fs.defaultFS&/name& &value&hdfs://localhost:9000&/value& &/property&&/configuration&XML
同样的，修改配置文件 hdfs-site.xml：
&configuration& &property& &name&dfs.replication&/name& &value&1&/value& &/property& &property& &name&dfs.namenode.name.dir&/name& &value&file:/usr/local/hadoop/tmp/dfs/name&/value& &/property& &property& &name&dfs.datanode.data.dir&/name& &value&file:/usr/local/hadoop/tmp/dfs/data&/value& &/property&&/configuration&XML
配置完成后，执行 NameNode 的格式化:
./bin/hdfs namenode -formatShell 命令
成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。
执行NameNode格式化
接着开启 NaneNode 和 DataNode 守护进程：
./sbin/start-dfs.shShell 命令
若出现如下 SSH 的提示 “Are you sure you want to continue connecting”，输入 yes 即可。
首次启动Hadoop时的SSH提示
启动时可能会有 WARN 提示 “WARN util.NativeCodeLoader…” 如前面提到的，这个提示不会影响正常使用。
启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode”和SecondaryNameNode（如果 SecondaryNameNode 没有启动，请运行 sbin/stop-dfs.sh 关闭进程，然后再次尝试启动尝试）。如果没有 NameNode 或 DataNode ，那就是配置不成功，请仔细检查之前步骤，或通过查看启动日志排查原因。
通过jps查看启动的Hadoop进程
通过查看启动日志分析启动失败原因有时 Hadoop 无法正确启动，如 NameNode 进程没有顺利启动，这时可以查看启动日志来排查原因，注意几点：
启动时会提示形如 “dblab: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-dblab.out”，其中 dblab 对应你的主机名，但启动的日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-dblab.log 中，所以应该查看这个后缀为 .log 的文件；
每一次的启动日志都是追加在日志文件之后，所以得拉到最后面看，看下记录的时间就知道了。
一般出错的提示在最后面，也就是写着 Fatal、Error 或者 Java Exception 的地方。
可以在网上搜索一下出错信息，看能否找到一些相关的解决方法。
成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。
Hadopp的Web界面
运行Hadoop伪分布式实例
上面的单机模式，grep 例子读取的是本地数据，伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：
./bin/hdfs dfs -mkdir -p /user/hadoopShell 命令
接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。我们使用的是 hadoop 用户，并且已创建相应的用户目录 /user/hadoop ，因此在命令中就可以使用相对路径如 input，其对应的绝对路径就是 /user/hadoop/input:
./bin/hdfs dfs -mkdir input./bin/hdfs dfs -put ./etc/hadoop/*.xml inputShell 命令
复制完成后，可以通过如下命令查看 HDFS 中的文件列表：
./bin/hdfs dfs -ls inputShell 命令
伪分布式运行 MapReduce 作业的方式跟单机模式相同，区别在于伪分布式读取的是HDFS中的文件（可以将单机步骤中创建的本地 input 文件夹，输出结果 output 文件夹都删掉来验证这一点）。
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'Shell 命令
查看运行结果的命令（查看的是位于 HDFS 中的输出结果）：
./bin/hdfs dfs -cat output/*Shell 命令
结果如下，注意到刚才我们已经更改了配置文件，所以运行结果不同。
Hadoop伪分布式运行grep的结果
我们也可以将运行结果取回到本地：
rm -r ./output # 先删除本地的 output 文件夹（如果存在）./bin/hdfs dfs -get output ./output # 将 HDFS 上的 output 文件夹拷贝到本机cat ./output/*Shell 命令
Hadoop 运行程序时，输出目录不能存在，否则会提示错误 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists” ，因此若要再次执行，需要执行如下命令删除 output 文件夹:
./bin/hdfs dfs -rm -r output # 删除 output 文件夹Shell 命令
运行程序时，输出目录不能存在运行 Hadoop 程序时，为了防止覆盖结果，程序指定的输出目录（如 output）不能存在，否则会提示错误，因此运行前需要先删除输出目录。在实际开发应用程序时，可考虑在程序中加上如下代码，能在每次运行时自动删除输出目录，避免繁琐的命令行操作：
Configuration conf = new Configuration();Job job = new Job(conf);&/* 删除输出目录 */Path outputPath = new Path(args[1]);outputPath.getFileSystem(conf).delete(outputPath, true);Java
若要关闭 Hadoop，则运行
./sbin/stop-dfs.shShell 命令
注意下次启动 hadoop 时，无需进行 NameNode 的初始化，只需要运行 ./sbin/start-dfs.sh 就可以！
（伪分布式不启动 YARN 也可以，一般不会影响程序执行）
有的读者可能会疑惑，怎么启动 Hadoop 后，见不到书上所说的 JobTracker 和 TaskTracker，这是因为新版的 Hadoop 使用了新的 MapReduce 框架（MapReduce V2，也称为 YARN，Yet Another Resource Negotiator）。
YARN 是从 MapReduce 中分离出来的，负责资源管理与任务调度。YARN 运行于 MapReduce 之上，提供了高可用性、高扩展性，YARN 的更多介绍在此不展开，有兴趣的可查阅相关资料。
上述通过 ./sbin/start-dfs.sh 启动 Hadoop，仅仅是启动了 MapReduce 环境，我们可以启动 YARN ，让 YARN 来负责资源管理与任务调度。
首先修改配置文件 mapred-site.xml，这边需要先进行重命名：
mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xmlShell 命令
然后再进行编辑，同样使用 gedit 编辑会比较方便些 gedit ./etc/hadoop/mapred-site.xml ：
&configuration& &property& &name&mapreduce.framework.name&/name& &value&yarn&/value& &/property&&/configuration&XML
接着修改配置文件 yarn-site.xml：
&configuration& &property& &name&yarn.nodemanager.aux-services&/name& &value&mapreduce_shuffle&/value& &/property&&/configuration&XML
然后就可以启动 YARN 了（需要先执行过 ./sbin/start-dfs.sh）：
./sbin/start-yarn.sh $ 启动YARN./sbin/mr-jobhistory-daemon.sh start historyserver # 开启历史服务器，才能在Web中查看任务运行情况Shell 命令
开启后通过 jps 查看，可以看到多了 NodeManager 和 ResourceManager 两个后台进程，如下图所示。
启动 YARN 之后，运行实例的方法还是一样的，仅仅是资源管理方式、任务调度不同。观察日志信息可以发现，不启用 YARN 时，是 “mapred.LocalJobRunner” 在跑任务，启用 YARN 之后，是 “mapred.YARNRunner” 在跑任务。启动 YARN 有个好处是可以通过 Web 界面查看任务的运行情况：http://localhost:8088/cluster，如下图所示。
开启YARN后可以查看任务运行信息
但 YARN 主要是为集群提供更好的资源管理与任务调度，然而这在单机上体现不出价值，反而会使程序跑得稍慢些。因此在单机上是否开启 YARN 就看实际情况了。
不启动 YARN 需重命名 mapred-site.xml如果不想启动 YARN，务必把配置文件 mapred-site.xml 重命名，改成 mapred-site.xml.template，需要用时改回来就行。否则在该配置文件存在，而未开启 YARN 的情况下，运行程序会提示 “Retrying connect to server: 0.0.0.0/0.0.0.0:8032” 的错误，这也是为何该配置文件初始文件名为 mapred-site.xml.template。
同样的，关闭 YARN 的脚本如下：
./sbin/stop-yarn.sh./sbin/mr-jobhistory-daemon.sh stop historyserverShell 命令
自此，你已经掌握 Hadoop 的配置和基本使用了。
附加教程: 配置PATH环境变量
在这里额外讲一下 PATH 这个环境变量（可执行 echo $PATH 查看，当中包含了多个目录）。例如我们在主文件夹 ~ 中执行 ls 这个命令时，实际执行的是 /bin/ls 这个程序，而不是 ~/ls 这个程序。系统是根据 PATH 这个环境变量中包含的目录位置，逐一进行查找，直至在这些目录位置下找到匹配的程序（若没有匹配的则提示该命令不存在）。
上面的教程中，我们都是先进入到 /usr/local/hadoop 目录中，再执行 ./sbin/hadoop，实际上等同于运行 /usr/local/hadoop/sbin/hadoop。我们可以将 Hadoop 命令的相关目录加入到 PATH 环境变量中，这样就可以直接通过 start-dfs.sh 开启 Hadoop，也可以直接通过 hdfs 访问 HDFS 的内容，方便平时的操作。
在前面我们设置 HADOOP 环境变量时，我们已经顺便设置了 PATH 变量（即 “export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin”），那么以后我们在任意目录中都可以直接通过执行 start-dfs.sh 来启动 Hadoop 或者执行 hdfs dfs -ls input 查看 HDFS 文件了，读者不妨现在就执行 hdfs dfs -ls input 试试看。
安装Hadoop集群
在平时的学习中，我们使用伪分布式就足够了。如果需要安装 Hadoop 集群，请查看Hadoop集群安装配置教程。
使用Eclipse编译运行MapReduce程序: 用文本编辑器写 Java 程序是不靠谱的，还是用 Eclipse 比较方便。
使用命令行编译打包运行自己的MapReduce程序: 有时候需要直接通过命令来编译 MapReduce 程序。
Hadoop: Setting up a Single Node Cluster
How to Setup Hadoop 2.7.1 on CentOS, Ubuntu & LinuxMint
Yarn简单介绍及内存配置
win7下hadoop安装配置注意事项在win7下安装hadoop和其他windows平台有很多不同,通用的步骤就不重复了,把遇到的问题总结一下给大家参考,以免走弯路。1.Doyouwanttouseadifferentname?选no2.C...安装Hadoop1.0.4伪分布式的方法没有必要当翻译工了。但是手册为了通用性,牺牲了一些关键问题的讨论。第三节中提及一下。三、手册缺陷&手册主要有两个问题没有说清楚:1.Hadoop安装在哪个目...如何在电脑上安装Hadoop,网上看了些教程,没有安装成功。多找找,多尝试尝试,总会成功的,安装不遇到问题是不好的开头更多精彩 >>>
