6162人阅读
Hadoop（7）
准备程序：
eclipse-3.7
hadoop-eclipse-plugin-1.0.1
（http://download.csdn.net/detail/xiaoping）
将hadoop-eclipse-plugin-1.0.1复制到eclipse/plugins目录下，重启eclipse。
2.打开MapReduce视图
Window -& Open Perspective -& Other 选择Map/Reduce，图标是个蓝色的象。
3.添加一个MapReduce环境
在eclipse下端，控制台旁边会多一个Tab，叫“Map/Reduce Locations”，在下面空白的地方点右键，选择“New Hadoop location...”，如图所示：
在弹出的对话框中填写如下内容：
Location name（取个名字）
Map/Reduce Master（Job Tracker的IP和端口，根据mapred-site.xml中配置的mapred.job.tracker来填写）
DFS Master（Name Node的IP和端口，根据core-site.xml中配置的fs.default.name来填写）
User name： 用户名（默认操作系统用户名，这个没什么用）
4.使用eclipse对HDFS内容进行修改
经过上一步骤，左侧“Project Explorer”中应该会出现配置好的HDFS，点击右键，可以进行新建文件夹、删除文件夹、上传文件、下载文件、删除文件等操作。
注意：每一次操作完在eclipse中不能马上显示变化，必须得刷新一下。
5.创建MapReduce工程
5.1配置Hadoop路径
Window -& Preferences 选择 “Hadoop Map/Reduce”，点击“Browse...”选择Hadoop文件夹的路径。
这个步骤与运行环境无关，只是在新建工程的时候能将hadoop根目录和lib目录下的所有jar包自动导入。
5.2创建工程
File -& New -& Project 选择“Map/Reduce Project”，然后输入项目名称，创建项目。插件会自动把hadoop根目录和lib目录下的所有jar包导入。
5.3创建Mapper或者Reducer
File -& New -& Mapper 创建Mapper，自动继承mapred包里面的MapReduceBase并实现Mapper接口。
注意：这个插件自动继承的是mapred包里旧版的类和接口，新版的Mapper得自己写。
Reducer同理。
6.在eclipse中运行WordCount程序
6.1导入WordCount
从hadoop自带的hadoop-examples-1.0.1.jar中获取WordCount程序
6.2配置运行参数
Run As -& Open Run Dialog... 选择WordCount程序，在Arguments中配置运行参数：/mapreduce/wordcount/input /mapreduce/wordcount/output/1
分别表示HDFS下的输入目录和输出目录，其中输入目录中有几个文本文件，输出目录必须不存在。
Run As -& Run on Hadoop 选择之前配置好的MapReduce运行环境，点击“Finish”运行。
控制台会输出相关的运行信息。
6.4查看运行结果
在输出目录/mapreduce/wordcount/output/1中，可以看见WordCount程序的输出文件。除此之外，还可以看见一个logs文件夹，里面会有运行的日志。
7 常见问题：
7.1 目录权限认证问题，问题如下：
12/04/11 11:41:46 ERROR security.UserGroupInformation: PriviledgedActionException as:lzpcause:java.io.IOException: Failed to set permissions of path: \app\hadoop\hadoop-1.0.1\hadoopdata\mapred\staging\lzp\.staging to 0700
Exception in thread &main& java.io.IOException: Failed to set permissions of path: \app\hadoop\hadoop-1.0.1\hadoopdata\mapred\staging\lzp\.staging to 0700
at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682)
at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:655)
解决方法：
这个问题用该是windows这边的问题，其中\app\hadoop\hadoop-1.0.1\hadoopdata\mapred\staging\lzp11是windows7磁盘上的一个目录
网上查到这是由于0.20.203.0以后的版本的权限认证引起的，只有去掉才行
修改hadoop源代码，去除权限认证，修改FileUtil.java的checkReturnValue方法，如下：
private static void checkReturnValue(boolean rv, File p,
FsPermission permission
) throws IOException {
// if (!rv) {
// throw new IOException(&Failed to set permissions of path: & + p +
// & to & +
// String.format(&%04o&, permission.toShort()));
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：385591次
积分：5723
积分：5723
排名：第2492名
原创：205篇
转载：46篇
评论：91条
(1)(1)(2)(5)(17)(5)(3)(1)(1)(2)(4)(2)(3)(5)(2)(4)(3)(1)(2)(5)(6)(1)(2)(5)(7)(1)(15)(54)(49)(1)(3)(1)(1)(1)(6)(6)(23)异常信息：Cannot complete the install because one or more required items could not be found.& Software being installed: m2e - slf4j over logback logging (Optional) 1.4.0.7 (org.eclipse.m2e.logback.feature.feature.group 1.4.0.7)& Missing requirement: Maven Integration for Eclipse 1.4.0.7 (org.eclipse.m2e.core.ui 1.4.0.7) requires 'bundle org.slf4j.api 1.6.2' but it could not be found& Cannot satisfy dependency:&&& From: m2e logback appender 1.4.0.7 (org.eclipse.m2e.logback.appender 1.4.0.7)&&& To: bundle org.eclipse.m2e.core.ui [1.4.0,1.5.0)& Cannot satisfy dependency:&&& From: m2e - slf4j over logback logging (Optional) 1.4.0.7 (org.eclipse.m2e.logback.feature.feature.group 1.4.0.7)&&& To: org.eclipse.m2e.logback.appender [1.4.0.7]解决办法：1.Help-&Install New Software2.Work with填写：http://www.fuin.org/p2-repository/&，会有一段加载时间 -& 搜索框填写slf3.在Maven osgi-bundles下选中slf4j-api，然后next...4.重启eclipse5.重新安装Maven插件PS：本文转自：/article/192.html，仅为记录之用。Webstorm10.0.3破解程序及汉化包下载、Webstorm配置入门指南 - 插件资源 - 设计联盟 - 中国设计创意资讯门户
设计创意产业联盟设计资讯&-&设计导航
您的位置： >
Webstorm10.0.3破解程序及汉化包下载、Webstorm配置入门指南
核心提示：
WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaSscript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。
WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。被广大中国JS开发者誉为&Web前端开发神器&、&最强大的HTML5编辑器&、&最智能的JavaSscript IDE&等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。
最新版Webstorm10.0.3破解程序及汉化包下载：
链接：/s/1hqEh9zA&
密码：oj3m
现将最常用的快捷键挑出来备忘，既能方便记忆，又能提高工作效率。
WebStorm快捷键操作 最近一段时间在写javascript时，找到一个灰常强悍的IDE。名称叫：WebStorm
目前是英文版的，功能很强大。我也在慢慢摸索之中，现把它的一些常用的快捷键列出来，供使用者参考。
1. ctrl + shift + n: 打开工程中的文件，目的是打开当前工程下任意目录的文件。
2. ctrl + j: 输出模板
3. ctrl + b: 跳到变量申明处
4. ctrl + alt + T: 围绕包裹代码(包括zencoding的Wrap with Abbreviation)
5. ctrl + []: 匹配 {}[]
6. ctrl + F12: 可以显示当前文件的结构
7. ctrl + x: 剪切(删除)行，不选中，直接剪切整个行，如果选中部分内容则剪切选中的内容
8. alt + left/right:标签切换
9. ctrl + r: 替换
10. ctrl + shift + up: 行移动
11. shift + alt + up: 块移动(if(){},while(){}语句块的移动)
12. ctrl + d: 行复制
13. ctrl + shift + ]/[: 选中块代码
14. ctrl + / : 单行注释
15. ctrl + shift + / : 块注释
16. ctrl + shift + i : 显示当前CSS选择器或者JS函数的详细信息
17. ctrl + '-/+': 可以折叠项目中的任何代码块，它不是选中折叠，而是自动识别折叠。
18. ctrl + '.': 折叠选中的代码的代码。
19. shift + esc: 当前激活的任意小窗口最小化，也可以是alt+数字键，数字在小窗口有显示。
20. alt + '7': 显示当前的函数结构。
21. 如果是*.html页面，则在文件名下的导航栏某DOM结构上右键，可以全选当前DOM结构。
常用快捷键&Webstorm入门指南
提高代码编写效率，离不开快捷键的使用，Webstorm拥有丰富的代码快速编辑功能，你可以自由配置功能快捷键。
windows下的设置方法
快捷键配置
点击&File&-& &settings&
Webstorm预置了其他编辑器的快捷键配置，可以点击
默认配置-Eclipse的常用快捷键对照表
编辑：Beach
您可能感兴趣的文章