原创

Hadoop集群安装配置实验

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://wxy0327.blog.csdn.net/article/details/50681554
一、环境
四台 VirtualBox上的Linux虚机,每台硬盘20G,内存768M。
IP与主机名:
192.168.56.101 master
192.168.56.102 slave1
192.168.56.103 slave2
192.168.56.104 slave3
主机规划:
192.168.56.101做master,运行NameNode和ResourceManager进程。其它三台主机做slave,运行DataNode和NodeManager进程。
操作系统:CentOS release 6.4 (Final)
java版本:jdk1.7.0_75
hadoop版本:hadoop-2.7.2

二、安装前准备
1. 分别在四台机器上建立grid用户
useradd -d /home/grid -m grid
usermod -G root grid

2. 分别在四台机器上的/etc/hosts文件中添加如下内容
192.168.56.101 master
192.168.56.102 slave1
192.168.56.103 slave2
192.168.56.104 slave3

以下的操作均使用grid用户执行。
3. 分别在四台机器上安装java(安装包下载已经到grid用户主目录):
cd ~
tar -zxvf jdk-7u75-linux-x64.tar.gz

4. 配置免密码ssh(这里配置了任意两台机器都免密码)
(1)分别在四台机器上生成密钥对:
cd ~
ssh-keygen -t rsa
然后一路回车
(2)在master上执行:
cd ~/.ssh/
ssh-copy-id 192.168.56.101
scp /home/grid/.ssh/authorized_keys 192.168.56.102:/home/grid/.ssh/
(3)在slave1上执行:
cd ~/.ssh/
ssh-copy-id 192.168.56.102
scp /home/grid/.ssh/authorized_keys 192.168.56.103:/home/grid/.ssh/
(4)在slave2上执行:
cd ~/.ssh/
ssh-copy-id 192.168.56.103
scp /home/grid/.ssh/authorized_keys 192.168.56.104:/home/grid/.ssh/
(5)在slave3上执行:
cd ~/.ssh/
ssh-copy-id 192.168.56.104
scp /home/grid/.ssh/authorized_keys 192.168.56.101:/home/grid/.ssh/
scp /home/grid/.ssh/authorized_keys 192.168.56.102:/home/grid/.ssh/
scp /home/grid/.ssh/authorized_keys 192.168.56.103:/home/grid/.ssh/

至此,免密码ssh配置完成。

三、安装配置hadoop
以下的操作均使用grid用户在master主机上执行。
1. 安装hadoop(安装包下载已经到grid用户主目录):
cd ~
tar -zxvf hadoop-2.7.2.tar.gz

2. 建立目录
cd ~/hadoop-2.7.2
mkdir tmp
mkdir hdfs
mkdir hdfs/data
mkdir hdfs/name
   
3. 修改配置文件
(1)编辑~/hadoop-2.7.2/etc/hadoop/core-site.xml文件,添加如下内容,如图1所示。
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.56.101:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/grid/hadoop-2.7.2/tmp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
</configuration>

图1

(2)编辑~/hadoop-2.7.2/etc/hadoop/hdfs-site.xml文件,添加如下内容,如图2所示。
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/grid/hadoop-2.7.2/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/grid/hadoop-2.7.2/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>192.168.56.101:9001</value>
</property>
<property>
<name>dfs.namenode.servicerpc-address</name>
<value>192.168.56.101:10000</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>

图2
注意:dfs.namenode.servicerpc-address参数必须设置。

(3)编辑~/hadoop-2.7.2/etc/hadoop/yarn-site.xml文件,添加如下内容,如图3所示。
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.56.101:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.56.101:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.56.101:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.56.101:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.56.101:8088</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1024</value>
</property>
</configuration>

图3
注意:yarn.nodemanager.resource.memory-mb不能小于1024。

(4)编辑~/hadoop-2.7.2/etc/hadoop/mapred-site.xml文件,添加如下内容,如图4所示。
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.56.101:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.56.101:19888</value>
</property>
</configuration>

图4

(5)编辑~/hadoop-2.7.2/etc/hadoop/slaves文件,添加如下内容,如图5所示。
192.168.56.102
192.168.56.103
192.168.56.104

图5

(6)编辑~/hadoop-2.7.2/etc/hadoop/hadoop-env.sh文件,修改如下内容,如图6所示。
export JAVA_HOME=/home/grid/jdk1.7.0_75

图6

(7)编辑~/hadoop-2.7.2/etc/hadoop/yarn-env.sh文件,修改如下内容,如图7所示。
export JAVA_HOME=/home/grid/jdk1.7.0_75

图7

(8)将hadhoop主目录复制到各个从服务器上
scp -r ./hadoop-2.7.2 192.168.56.102:/home/grid/
scp -r ./hadoop-2.7.2 192.168.56.103:/home/grid/
scp -r ./hadoop-2.7.2 192.168.56.104:/home/grid/

四、安装后配置
使用root用户分别在四台机器上的/etc/profile文件中添加如下环境变量,如图8所示。
export JAVA_HOME=/home/grid/jdk1.7.0_75
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/home/grid/hadoop-2.7.2
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

图8

五、初始化及运行
以下的操作均使用grid用户在master主机上执行。
hdfs namenode -format
结果如图9所示

图9
start-dfs.sh
结果如图10所示

图10
start-yarn.sh
结果如图11所示

图11

查看主节点Java进程,可以看到主节点上启动了NameNode、SecondaryNameNode、ResourceManager守护进程,如图12所示

图12

查看从节点Java进程,可以看到从节点上启动了DataNode、NodeManager守护进程,如图13所示

图13

通过web接口查看NameNode,如图14所示

图14

参考:https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html
文章最后发布于: 2016-02-17 17:12:45
展开阅读全文
0 个人打赏
私信求帮助

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览