详解Ubuntu16.04下Hadoop 2.7.3的安装与配置
一、java环境搭建
(1)下载jdk并解压(当前操作系统为ubuntu16.04,jdk版本为jdk-8u111-linux-x64.tar.gz)
新建/usr/java目录,切换到jdk-8u111-linux-x64.tar.gz所在目录,将这个文件解压缩到/usr/java目录下。
1
|
tar -zxvf jdk-8u101-linux-x64. tar .gz -c /usr/java/
|
(2)设置环境变量
修改.bashrc,在最后一行写入下列内容。
1
|
sudo vim ~/.bashrc
|
1
2
3
|
export java_home= /usr/java/jdk1 .8.0_111
export classpath=.:$java_home /lib/dt .jar:$java_home /lib/tools .jar
export path=$java_home /bin :$path
|
运行如下命令使环境变量生效。
1
|
source ~/.bashrc
|
打开profile文件,插入java环境配置节。
1
|
sudo vim /etc/profile
|
1
2
3
4
5
|
export java_home= /usr/java/jdk1 .8.0_111
export java_bin=$java_home /bin
export java_lib=$java_home /lib
export classpath=.:$java_lib /tools .jar:$java_lib /dt .jar
export path=$java_home /bin :$path
|
打开environment 文件,追加jdk目录和jdk下的lib的目录,如下所示。
1
|
sudo vim /etc/environment
|
path="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/java/jdk1.8.0_111/lib:/usr/java/jdk1.8.0_111"
使配置生效
1
|
source /etc/environment
|
验证java环境是否配置成功
1
|
java -version
|
二、安装ssh-server并实现免密码登录
(1)下载ssh-server
1
|
sudo apt-get install openssh-server
|
(2)启动ssh
1
|
sudo /etc/init .d /ssh start
|
(3)查看ssh服务是否启动,如果有显示相关ssh字样则表示成功。
1
|
ps -ef| grep ssh
|
(4)设置免密码登录
使用如下命令,一直回车,直到生成了rsa。
1
|
ssh -keygen -t rsa
|
导入authorized_keys
1
|
cat ~/. ssh /id_rsa .pub >> ~/. ssh /authorized_keys
|
测试是否免密码登录localhost
1
|
ssh localhost
|
关闭防火墙
1
|
ufw disable
|
三、安装hadoop单机模式和伪分布模式。
(1)下载hadoop-2.7.3.tar.gz,解压到/usr/local(单机模式搭建)。
1
|
sudo tar zxvf hadoop-2.7.3. tar .gz -c /usr/local
|
切换到/usr/local下,将hadoop-2.7.3重命名为hadoop,并给/usr/local/hadoop设置访问权限。
1
2
3
|
cd /usr/local
sudo mv hadoop-2.7.3 hadoop
sudo chmod 777 /usr/local/hadoop
|
(2)配置.bashrc文件
1
|
sudo vim ~/.bashrc
|
(如果没有安装vim,请用 sudo apt install vim 安装。)
在文件末尾追加下面内容,然后保存。
1
2
3
4
5
6
7
8
9
10
11
12
|
#hadoop variables start
export java_home= /usr/java/jdk1 .8.0_111
export hadoop_install= /usr/local/hadoop
export path=$path:$hadoop_install /bin
export path=$path:$hadoop_install /sbin
export hadoop_mapred_home=$hadoop_install
export hadoop_common_home=$hadoop_install
export hadoop_hdfs_home=$hadoop_install
export yarn_home=$hadoop_install
export hadoop_common_lib_native_dir=$hadoop_install /lib/native
export hadoop_opts= "-djava.library.path=$hadoop_install/lib"
#hadoop variables end
|
执行下面命令,使添加的环境变量生效:
1
|
source ~/.bashrc
|
(3)hadoop配置 (伪分布模式搭建)
配置hadoop-env.sh
1
|
sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env .sh
|
1
2
3
4
|
# the java implementation to use.
export java_home= /usr/java/jdk1 .8.0_111
export hadoop= /usr/local/hadoop
export path=$path: /usr/local/hadoop/bin
|
配置yarn-env.sh
1
|
sudo vim /usr/local/hadoop/etc/hadoop/yarn-env .sh
|
1
2
|
# export java_home=/home/y/libexec/jdk1.6.0/
java_home= /usr/java/jdk1 .8.0_111
|
配置core-site.xml,在home目录下创建 /home/lyh/hadoop_tmp目录,然后在core-site.xml中添加下列内容。
1
|
sudo mkdir /home/lyh/hadoop_tmp
|
1
|
sudo vim /usr/local/hadoop/etc/hadoop/core-site .xml
|
1
2
3
4
5
6
7
8
9
10
11
12
|
< configuration >
<!-- 指定hdfs老大(namenode)的通信地址 -->
< property >
< name >fs.defaultfs</ name >
< value >hdfs://localhost:9000</ value >
</ property >
<!-- 指定hadoop运行时产生文件的存储目录 -->
< property >
< name >hadoop.tmp.dir</ name >
< value >/home/lyh/hadoop_tmp</ value >
</ property >
</ configuration >
|
配置hdfs-site.xml
1
|
sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site .xml
|
1
2
3
4
5
6
7
|
< configuration >
<!-- 指定hdfs副本的数量 -->
< property >
< name >dfs.replication</ name >
< value >1</ value >
</ property >
</ configuration >
|
配置yarn-site.xml
1
|
sudo vim /usr/local/hadoop/etc/hadoop/yarn-site .xml
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
< configuration >
<!-- site specific yarn configuration properties -->
< property >
< name >yarn.nodemanager.aux-services</ name >
< value >mapreduce_shuffle</ value >
</ property >
< property >
< name >yarn.nodemanager.aux-services.mapreduce.shuffle.class</ name >
< value >org.apache.hadoop.mapred.shufflehandler</ value >
</ property >
< property >
< name >yarn.resourcemanager.address</ name >
< value >127.0.0.1:8032</ value >
</ property >
< property >
< name >yarn.resourcemanager.scheduler.address</ name >
< value >127.0.0.1:8030</ value >
</ property >
< property >
< name >yarn.resourcemanager.resource-tracker.address</ name >
< value >127.0.0.1:8031</ value >
</ property >
</ configuration >
|
(4)关机重启系统。
四、测试hadoop是否安装并配置成功。
(1)验证hadoop单机模式安装完成
1
|
hadoop version
|
能够显示hadoop的版本号即可说明单机模式已经配置完成。
(2)启动hdfs使用为分布模式。
格式化namenode
1
|
hdfs namenode - format
|
有 "……has been successfully formatted" 等字样出现即说明格式化成功。注意:每次格式化都会生成一个namenode对应的id,多次格式化之后,如果不改变datanode对应的id号,运行wordcount向input中上传文件时会失败。
启动hdfs
1
|
start-all.sh
|
显示进程
jps
在浏览器中输入http://localhost:50070/,出现如下页面
输入 http://localhost:8088/,出现如下页面
则说明伪分布安装配置成功了。
停止hdfs
1
|
stop-all.sh
|
五、运行wordcount
(1)启动hdfs。
1
|
start-all.sh
|
(2)查看hdfs底下包含的文件目录
1
|
hadoop dfs - ls /
|
如果是第一次运行hdfs,则什么都不会显示。
(3)在hdfs中创建一个文件目录input,将/usr/local/hadoop/readme.txt上传至input中。
1
2
|
hdfs dfs - mkdir /input
hadoop fs -put /usr/local/hadoop/readme .txt /input
|
(4)执行以下命令运行wordcount,并将结果输出到output中。
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output
出现类似上图的页面说明wordcount运行成功。注意:请将图中红色线框中的内容替换为自己的hadoop-mapreduce-examples-2.7.3.jar文件的路径信息。
(5)执行成功后output 目录底下会生成两个文件 _success 成功标志的文件,里面没有内容。 一个是 part-r-00000 ,通过以下命令查看执行的结果,如下图。
1
|
hadoop fs - cat /output/part-r-00000
|
附:hdfs常用命令
1
2
3
4
5
6
7
8
9
|
hadoop fs - mkdir /tmp/input 在hdfs上新建文件夹
hadoop fs -put input1.txt /tmp/input 把本地文件input1.txt传到hdfs的 /tmp/input 目录下
hadoop fs -get input1.txt /tmp/input/input1 .txt 把hdfs文件拉到本地
hadoop fs - ls /tmp/output 列出hdfs的某目录
hadoop fs - cat /tmp/ouput/output1 .txt 查看hdfs上的文件
hadoop fs -rmr /home/less/hadoop/tmp/output 删除hdfs上的目录
hadoop dfsadmin -report 查看hdfs状态,比如有哪些datanode,每个datanode的情况
hadoop dfsadmin -safemode leave 离开安全模式
hadoop dfsadmin -safemode enter 进入安全模式
|
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
原文链接:http://blog.csdn.net/lyhvoyage/article/details/54411836
本文由主机测评网发布,不代表主机测评网立场,转载联系作者并注明出处:https://zhuji.jb51.net/ubuntu/4065.html