CentOS7.2下Hadoop2.7.2集群搭建

centos7.2下Hadoop2.7.2的集群搭建

1.基本环境：
操作系统：
    Centos 7.2.1511
三台虚机：
    192.168.163.224  master
    192.168.163.225  node1
    192.168.163.226  node2
软件包
    hadoop-2.7.2.tar.gz
    jdk-7u79-linux-x64.tar.gz

修改hostname
    192.168.163.224主机：
    echo "master" > /etc/hostname

    192.168.163.225主机：
    echo "node1" > /etc/hostname

    192.168.163.226主机：
    echo "node2" > /etc/hostname

master上修改hosts文件
echo "192.168.163.224 master" >>/etc/hosts
 echo "192.168.163.225 node1" >>/etc/hosts
 echo "192.168.163.225 node2" >>/etc/hosts

同步到node1，node2上的主机
  scp /etc/hosts node1:/etc/
 scp /etc/hosts node2:/etc/

各台主机上相互ping，测试是否可以通过host连通
ping master
 ping node1
 ping node2

master，node1，node2上关闭防火墙
  systemctl stop firewalld
  systemctl disable firewalld

3.配置hadoop环境
master，node1，node2上安装jdk
rpm -qa|grep openjdk  #检查openjdk，存在则删除

yum remove *-openjdk-*  ####删除openjdk#####

安装sunjdk

###yum install glibc.i686(64位系统安装32位包，需要安装)
tar -zxvf jdk-7u79-linux-x64.tar.gz
mv ./jdk1.7.0_79 /usr/

master，node1，node2上创建hadoop用户

    useradd hadoop  #增加hadoop用户，用户组、home目录、终端使用默认
    passwd  hadoop  #修改密码
    建议在学习阶段将hadoop用户加入sudo权限管理，简单方法如下
        1.执行visudo命令
        2.在root    ALL=(ALL)      ALL 后加入
            hadoop    ALL=(ALL)      ALL
    master，node1，node2上进入hadoop用户：
    su - hadoop

master，node1，node2上无密钥连接：
    master上的hadoop用户通过rsa算法生成非对称密钥对：
ssh-keygen -t rsa
  cd /home/hadoop/.ssh/
  cp id_rsa.pub  authorized_keys
  chmod go-wx  authorized_keys

master上的公钥authorized_keys拷贝到node1，node2上的hadoop用户
  scp authorized_keys node1:/home/hadoop/.ssh/
  scp authorized_keys node2:/home/hadoop/.ssh/

    可通过如下命令测试
        ssh node1
        ssh node2
    为方便node1，node2中hadoop用户可以同时登录master，这里我们集群中的所有用户共用一个密钥
scp ~/.ssh/id_rsa node1:/home/hadoop/.ssh/
 scp ~/.ssh/id_rsa node2:/home/hadoop/.ssh/

master，node1，node2上修改环境变量
  vi /etc/profile
  Java_HOME=/usr/jdk1.7.0_79
  HADOOP_HOME=/usr/local/hadoop
  export PATH=$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH
  su - hadoop  #重新读取环境变量

master，node1，node2上创建相关目录
  sudo mkdir -p /usr/local/hadoop
  sudo chown -R hadoop:hadoop  /usr/local/hadoop
  sudo mkdir -p /data/hadoop/  #创建 hadoop 数据目录结构
  sudo chown -R hadoop:hadoop  /data/hadoop/
  mkdir -p /data/hadoop/tmp/  #创建 tmp
  mkdir -p /data/hadoop/hdfs/  #创建hdfs
  mkdir -p /data/hadoop/hdfs/data  #创建datanode目录
  mkdir -p /data/hadoop/hdfs/name  #创建namenode目录
  mkdir -p /data/hadoop/hdfs/namesecondary

安装hadoop
 wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 
  tar -zxvf hadoop-2.7.2.tar.gz 
  mv hadoop-2.7.2 /usr/local/hadoop
  chown -R hadoop:hadoop /usr/local/hadoop/

4.修改配置文件
配置文件相关变量详细解释可查看官网：
http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/
cd $HADOOP_HOME/etc/hadoop

4.1  vi hadoop-env.sh
export HADOOP_HEAPSIZE=128  #默认为1000M，这里我们修改为128M

4.2  vi core-site.xml  #全局配置

 

fs.defaultFS
hdfs://master:9000


 

dfs.namenode.checkpoint.period
1800


 


  fs.checkpoint.size
  67108864

 

fs.trash.interval
1440


 

hadoop.tmp.dir
/data/hadoop/tmp


 

io.file.buffer.size
131702


 

4.3 vi hdfs-site.xml  #hdfs中NameNode,DataNode局部配置

 

dfs.namenode.name.dir
/data/hadoop/hdfs/name

 

 

dfs.datanode.data.dir
/data/hadoop/hdfs/data



 

dfs.namenode.http-address
master:50070


 

dfs.namenode.secondary.http-address
node1:50090


 

dfs.webhdfs.enabled
true

 

dfs.replication
3


 

dfs.datanode.du.reserved
1073741824


 

dfs.block.size
134217728


 

dfs.permissions.enabled
false


 

4.4 vi etc/hadoop/mapred-site.xml  #配置MapReduce，使用yarn框架、jobhistory使用地址以及web地址


mapreduce.framework.name
yarn


mapreduce.jobtracker.http.address
master:50030


mapred.job.tracker
http://master:9001


mapreduce.jobhistory.address
master:10020


mapreduce.jobhistory.webapp.address
master:19888


cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

4.5 vi etc/hadoop/yarn-site.xml  配置yarn-site.xml文件


mapreduce.framework.name
yarn


yarn.resourcemanager.address
master:8032


yarn.resourcemanager.scheduler.address
master:8030


yarn.resourcemanager.resource-tracker.address
master:8031


yarn.resourcemanager.admin.address
master:8033


yarn.resourcemanager.webapp.address
master:8088

4.6 vi hadoop-env.sh及vi yarn-env.sh
将其中的${JAVA_HOME}用/usr/jdk1.7.0_79代替

5.检查单机版Hadoop

测试hdfs中的namenode与datanode：
hadoop-daemon.sh start namenode
chmod go-w /data/hadoop/hdfs/data/
hadoop-daemon.sh start datanode

测试resourcemanager：
yarn-daemon.sh start resourcemanager

测试nodemanager：
yarn-daemon.sh start nodemanager

测试historyserver：
mr-jobhistory-daemon.sh start historyserver

执行jps：
99297 Jps
99244 DataNode
98956 JobHistoryServer
98820 NodeManager
98118 NameNode
98555 ResourceManager

上述表明单机版hadoop安装成功

6.集群搭建
scp -r $HADOOP_HOME/ node1:/usr/local/
scp -r $HADOOP_HOME/ node2:/usr/local/

在master上进行配置
    vi $HADOOP_HOME/etc/hadoop/slaves
    删除localhost
    添加
    node1
    node2
    vi $HADOOP_HOME/etc/hadoop/masters
    删除localhost
    添加
    node1  #目的是为了在node1节点上存放secondnamenode

7.测试集群是否搭建成功
$HADOOP_HOME/bin/hdfs namenode -format
master上
开启所有节点：start-all.sh(或start-dfs及start-yarn.sh代替)
各节点执行jps
master：
98956 JobHistoryServer
98820 NodeManager
118806 Jps
118176 NameNode
118540 ResourceManager

node1：
106408 SecondaryNameNode
106602 Jps
106301 DataNode
106496 NodeManager

1234 node2：
105932 Jps
105812 NodeManager
105700 DataNode

存在上述状态，说明集群搭建成功
关闭所有节点：stop-all.sh(或stop-dfs.sh及stop-yarn.sh代替)

同时可以访问网页进行查看：
http://master:50070/
http://master:8088/

下面关于Hadoop的文章您也可能喜欢，不妨看看：

当前名称：CentOS7.2下Hadoop2.7.2集群搭建
网站路径：http://www.csdahua.cn/qtweb/news40/408940.html

网站建设、网络推广公司-快上网，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 快上网