Hadoop集群部署（部署脚本，namenode高可用）

前言

创新互联公司于2013年成立，是专业互联网技术服务公司，拥有项目网站制作、成都做网站网站策划，项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命，1280元涡阳做网站,已为上家服务,为涡阳各地企业和个人服务,联系电话:18980820575

 折腾了一段时间hadoop的部署管理，写下此系列博客记录一下。

 为了避免各位做部署这种重复性的劳动，我已经把部署的步骤写成脚本，各位只需要按着本文把脚本执行完，整个环境基本就部署完了。部署的脚本我放在了开源中国的git仓库里(http://git.oschina.net/snake1361222/hadoop_scripts)。

 本文的所有部署都基于cloudera公司的CDH4,CDH4是cloudera公司包装好的hadoop生态圈一系列yum包，把CDH4放到自己的yum仓库中，能极大的提高hadoop环境部署的简易性。

 本文的部署过程中涵盖了namenode的HA实现，hadoop管理的解决方案（hadoop配置文件的同步，快速部署脚本等）。

环境准备

一共用5台机器作为硬件环境，全都是centos 6.4

  • namenode & resourcemanager 主服务器: 192.168.1.1
  • namenode & resourcemanager 备服务器: 192.168.1.2
  • datanode & nodemanager 服务器: 192.168.1.100 192.168.1.101 192.168.1.102
  • zookeeper 服务器集群(用于namenode 高可用的自动切换): 192.168.1.100 192.168.1.101
  • jobhistory 服务器(用于记录mapreduce的日志): 192.168.1.1
  • 用于namenode HA的NFS: 192.168.1.100

环境部署

一、加入CDH4的YUM仓库

1.***的办法是把cdh4的包放到自建的yum仓库中,如何自建yum仓库请看 自建YUM仓库

2.如果不想自建yum仓库，在所有的hadoop机器执行以下操作加入cdn4的yum仓库

 
 
 
    
  
  
  
  1. wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm 
    2. 
  
  
  
  2. sudo yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm 
    3.

二、创建用于namenode HA的NFS服务器

1.登录192.168.1.100,执行以下脚本createNFS.sh

 
 
 
    
  
  
  
  1. #!/bin/bash 
    2. 
  
  
  
  2. yum -y install rpc-bind nfs-utils 
    3. 
  
  
  
  3. mkdir -p /data/nn_ha/ 
    4. 
  
  
  
  4. echo "/data/nn_ha  *(rw,root_squash,all_squash,sync)" >> /etc/exports 
    5. 
  
  
  
  5. /etc/init.d/rpcbind start 
    6. 
  
  
  
  6. /etc/init.d/nfs  start 
    7. 
  
  
  
  7. chkconfig  --level 234 rpcbind   on 
    8. 
  
  
  
  8. chkconfig  -level 234 nfs  on 
    9.

三、Hadoop Namenode & resourcemanager 主服务器 环境部署

1.登录192.168.1.1，创建脚本目录，把脚本从git仓库复制下来

 
 
 
    
  
  
  
  1. yum –y install git 
    2. 
  
  
  
  2. mkdir –p /opt/ 
    3. 
  
  
  
  3. cd /opt/ 
    4. 
  
  
  
  4. git clone http://git.oschina.net/snake1361222/hadoop_scripts.git 
    5. 
  
  
  
  5. /etc/init.d/iptables stop 
    6.

2.修改hostname

 
 
 
    
  
  
  
  1. sh /opt/hadoop_scripts/deploy/AddHostname.sh 
    2.

3.修改部署脚本的配置文件

 
 
 
    
  
  
  
  1. vim /opt/kingsoft/hadoop_scripts/deploy/config 
    2. 
  
  
  
  2. #添加master服务器的地址，也就是namenode主服务器 
    3. 
  
  
  
  3. master="192.168.1.1" 
    4. 
  
  
  
  4. #添加nfs服务器地址 
    5. 
  
  
  
  5. nfsserver="192.168.1.100" 
    6.

4.编辑hosts文件(此文件会同步到hadoop集群所有机器)

 
 
 
    
  
  
  
  1. vim /opt/hadoop_scripts/share_data/resolv_host 
    2. 
  
  
  
  2. 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 
    3. 
  
  
  
  3. ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6 
    4. 
  
  
  
  4. 192.168.1.1 nn.dg.hadoop.cn 
    5. 
  
  
  
  5. 192.168.1.2 nn2.dg.hadoop.cn 
    6. 
  
  
  
  6. 192.168.1.100 dn100.dg.hadoop.cn 
    7. 
  
  
  
  7. 192.168.1.101 dn101.dg.hadoop.cn 
    8. 
  
  
  
  8. 192.168.1.102 dn102.dg.hadoop.cn 
    9.

5.执行部署脚本CreateNamenode.sh

 
 
 
    
  
  
  
  1. sh /opt/hadoop_scripts/deploy/CreateNamenode.sh 
    2.

6.搭建saltstack master

PS:类似于puppet的服务器管理开源工具，比较轻量，在这里用于管理hadoop集群，调度datanode，关于saltstack的详细请看 SaltStack部署与使用

a.安装

 
 
 
    
  
  
  
  1. yum -y install salt salt-master 
    2.

b.修改配置文件`/etc/salt/master`,下面标志的是需要修改的项

 
 
 
    
  
  
  
  1. 修改监听IP： 
    2. 
  
  
  
  2. interface: 0.0.0.0 
    3. 
  
  
  
  3. 多线程池： 
    4. 
  
  
  
  4. worker_threads: 5 
    5. 
  
  
  
  5. 开启任务缓存：（官方描叙开启缓存能承载5000minion） 
    6. 
  
  
  
  6. job_cache 
    7. 
  
  
  
  7. 开启自动认证： 
    8. 
  
  
  
  8. auto_accept: True 
    9.

c.开启服务

 
 
 
    
  
  
  
  1. /etc/init.d/salt-master start 
    2. 
  
  
  
  2. chkconfig  salt-master on 
    3.

7.部署过程中已经把我的sample配置复制过去了，所以只需要修改部分配置文件

a. /etc/hadoop/conf/hdfs-site.xml (其实就是按实际修改主机名地址)

 
 
 
    
  
  
  
  1.  
    2. 
  
  
  
  2.   dfs.namenode.rpc-address.mycluster.ns1 
    3. 
  
  
  
  3.   nn.dg.hadoop.cn:8020 
    4. 
  
  
  
  4.   定义ns1的rpc地址 
    5. 
  
  
  
  5.  
    6. 
  
  
  
  6.  
    7. 
  
  
  
  7.   dfs.namenode.rpc-address.mycluster.ns2 
    8. 
  
  
  
  8.   nn2.dg.hadoop.cn:8020 
    9. 
  
  
  
  9.   定义ns2的rpc地址 
    10. 
  
  
  
  10.  
    11. 
  
  
  
  11.  
    12. 
  
  
  
  12.     ha.zookeeper.quorum 
    13. 
  
  
  
  13.     dn100.dg.hadoop.cn:2181,dn101.dg.hadoop.cn:2181,dn102.dg.hadoop.cn:2181, 
    14. 
  
  
  
  14.     指定用于HA的ZooKeeper集群机器列表 
    15. 
  
  
  
  15.  
    16.

b. mapred-site.xml

 
 
 
    
  
  
  
  1.  
    2. 
  
  
  
  2.  mapreduce.jobhistory.address 
    3. 
  
  
  
  3.  nn.dg.hadoop.cn:10020 
    4. 
  
  
  
  4.  
    5. 
  
  
  
  5.  
    6. 
  
  
  
  6.  mapreduce.jobhistory.webapp.address 
    7. 
  
  
  
  7.  nn.dg.hadoop.cn:19888 
    8. 
  
  
  
  8.  
    9.

#p#

c. yarn-site.xml

 
 
 
    
  
  
  
  1. property> 
    2. 
  
  
  
  2.   yarn.resourcemanager.resource-tracker.address 
    3. 
  
  
  
  3.   nn.dg.hadoop.cn:8031 
    4. 
  
  
  
  4.  
    5. 
  
  
  
  5.  
    6. 
  
  
  
  6.   yarn.resourcemanager.address 
    7. 
  
  
  
  7.   nn.dg.hadoop.cn:8032 
    8. 
  
  
  
  8.  
    9. 
  
  
  
  9.  
    10. 
  
  
  
  10.   yarn.resourcemanager.scheduler.address 
    11. 
  
  
  
  11.   nn.dg.hadoop.cn:8030 
    12. 
  
  
  
  12.  
    13. 
  
  
  
  13.  
    14. 
  
  
  
  14.   yarn.resourcemanager.admin.address 
    15. 
  
  
  
  15.   nn.dg.hadoop.cn:8033 
    16. 
  
  
  
  16.  
    17.

三、Hadoop Namenode & resourcemanager 备服务器 环境部署

1.登录192.168.1.2，创建脚本目录，从主服务器把脚本同步过来

 
 
 
    
  
  
  
  1. /etc/init.d/iptables stop 
    2. 
  
  
  
  2. mkdir –p /opt/hadoop_scripts 
    3. 
  
  
  
  3. rsync –avz 192.168.1.1::hadoop_s   /opt/hadoop_scripts 
    4.

2.执行部署脚本CreateNamenode.sh

 
 
 
    
  
  
  
  1. sh /opt/hadoop_scripts/deploy/CreateNamenode.sh 
    2.

3.同步hadoop配置文件

 
 
 
    
  
  
  
  1. rsync –avz 192.168.1.1::hadoop_conf  /etc/hadoop/conf 
    2.

4.部署saltstack客户端

 
 
 
    
  
  
  
  1. sh /opt/hadoop_scripts/deploy/salt_minion.sh 
    2.

四、zookeeper服务器集群部署

zookeeper是一个开源分布式服务，在这里用于namenode 的auto fail over功能。

1.安装

 
 
 
    
  
  
  
  1. yum install zookeeper zookeeper-server 
    2.

2.修改配置文件/etc/zookeeper/conf/zoo.cfg

 
 
 
    
  
  
  
  1. maxClientCnxns=50 
    2. 
  
  
  
  2. # The number of milliseconds of each tick 
    3. 
  
  
  
  3. tickTime=2000 
    4. 
  
  
  
  4. # The number of ticks that the initial 
    5. 
  
  
  
  5. # synchronization phase can take 
    6. 
  
  
  
  6. initLimit=10 
    7. 
  
  
  
  7. # The number of ticks that can pass between 
    8. 
  
  
  
  8. # sending a request and getting an acknowledgement 
    9. 
  
  
  
  9. syncLimit=5 
    10. 
  
  
  
  10. # the directory where the snapshot is stored. 
    11. 
  
  
  
  11. dataDir=/var/lib/zookeeper 
    12. 
  
  
  
  12. # the port at which the clients will connect 
    13. 
  
  
  
  13. clientPort=2181 
    14. 
  
  
  
  14. #这里指定zookeeper集群内的所有机器,此配置集群内机器都是一样的 
    15. 
  
  
  
  15. server.1=dn100.dg.hadoop.cn :2888:3888 
    16. 
  
  
  
  16. server.2=dn101.dg.hadoop.cn:2888:3888 
    17.

3.指定当前机器的id,并开启服务

 
 
 
    
  
  
  
  1. #譬如当前机器是192.168.1.100(dn100.dg.hadoop.cn),它是server.1，id是1，SO： 
    2. 
  
  
  
  2. echo "1" >  /var/lib/zookeeper/myid 
    3. 
  
  
  
  3. chown -R zookeeper.zookeeper /var/lib/zookeeper/ 
    4. 
  
  
  
  4. service zookeeper-server init 
    5. 
  
  
  
  5. /etc/init.d/zookeeper-server start 
    6. 
  
  
  
  6. chkconfig zookeeper-server on 
    7. 
  
  
  
  7. #如此类推，部署192.168.1.101 
    8.

五、datanode & nodemanager 服务器部署

1.登录datanode机器,创建脚本目录，从主服务器把脚本同步过来

 
 
 
    
  
  
  
  1. /etc/init.d/iptables stop 
    2. 
  
  
  
  2. mkdir –p /opt/hadoop_scripts 
    3. 
  
  
  
  3. rsync –avz 192.168.1.1::hadoop_s   /opt/hadoop_scripts 
    4.

2.修改hostname，执行部署脚本 CreateDatanode.sh

 
 
 
    
  
  
  
  1. sh /opt/hadoop_scripts/deploy/AddHostname.sh 
    2. 
  
  
  
  2. sh /opt/hadoop_scripts/deploy/CreateDatanode.sh 
    3.

集群初始化

到这里，hadoop集群的环境已部署完毕，现在开始初始化集群

一、namenode的HA高可用初始化

1.在namenode主服务器(192.168.1.1)执行zookeeper的failover功能格式化

 
 
 
    
  
  
  
  1. sudo –u hdfs hdfs zkfc –formatZK 
    2.

2.把zookeeper集群服务启动(192.168.1.100  192.168.1.101 )

 
 
 
    
  
  
  
  1. /etc/init.d/zookeeper-server start 
    2.

3.把namenode主备服务器的zkfc服务起来(192.168.1.1  192.168.1.2)

 
 
 
    
  
  
  
  1. /etc/init.d/hadoop-hdfs-zkfc start 
    2.

4.在namenode主服务器(192.168.1.1)格式化hdfs

 
 
 
    
  
  
  
  1. #确保是用hdfs用户格式化 
    2. 
  
  
  
  2. sudo -u hdfs hadoop namenode –format 
    3.

5.***次搭建namenode高可用，需要把name.dir下面的数据复制到namenode备服务器（此坑花了好多时间）

a.在主服务器(192.168.1.1)执行

 
 
 
    
  
  
  
  1. tar -zcvPf /tmp/namedir.tar.gz /data/hadoop/dfs/name/ 
    2. 
  
  
  
  2. nc -l 9999 < /tmp/namedir.tar.gz 
    3.

b.在备服务器(192.168.1.2)执行

 
 
 
    
  
  
  
  1. wget 192.168.1.1:9999 -O /tmp/namedir.tar.gz 
    2. 
  
  
  
  2. tar -zxvPf /tmp/namedir.tar.gz 
    3.

#p#

6.主从服务都启动

 
 
 
    
  
  
  
  1. /etc/init.d/hadoop-hdfs-namenode start 
    2. 
  
  
  
  2. /etc/init.d/hadoop-yarn-resourcemanager start 
    3.

7.查看hdfs的web界面

 
 
 
    
  
  
  
  1. http://192.168.1.1:9080 
    2. 
  
  
  
  2. http://192.168.1.2:9080 
    3. 
  
  
  
  3. #如果在web界面看到两个namenode都是backup状态，那就是auto fail over配置不成功 
    4. 
  
  
  
  4. #查看zkfc日志(/var/log/hadoop-hdfs/hadoop-hdfs-zkfc-nn.dg.s.kingsoft.net.log) 
    5. 
  
  
  
  5. #查看zookeeper集群的日志(/var/log/zookeeper/zookeeper.log) 
    6.

8.现在可以尝试关闭namenode主服务，看是否能主从切换

二、hdfs集群开启

到这里，所有hadoop部署已完成，现在开始把集群启动，验证效果

1.把所有datanode服务器启动

 
 
 
    
  
  
  
  1. #还记得之前搭建的saltstack管理工具不，现在开始发挥它的作用,登录saltstack master(192.168.1.1)执行 
    2. 
  
  
  
  2. salt -v "dn*" cmd.run "/etc/init.d/hadoop-hdfs-datanode start" 
    3.

2.查看hdfs web界面,看是否都成为live nodes

3.如果没有问题，现在可以尝试hdfs操作

 
 
 
    
  
  
  
  1. #创建一个tmp目录 
    2. 
  
  
  
  2. sudo -u hdfs hdfs dfs -mkdir /tmp 
    3. 
  
  
  
  3. #创建一个10G大小的空文件,计算它的MD5值，并放入hdfs 
    4. 
  
  
  
  4. dd if=/dev/zero of=/data/test_10G_file bs=1G count=10 
    5. 
  
  
  
  5. md5sum /data/test_10G_file 
    6. 
  
  
  
  6. sudo -u hdfs hdfs dfs -put /data/test_10G_file  /tmp 
    7. 
  
  
  
  7. sudo -u hdfs hdfs dfs -ls /tmp 
    8. 
  
  
  
  8. #现在可以尝试关闭一台datanode,然后把刚才的测试文件拉取出来，再算一次MD5看是否一样 
    9. 
  
  
  
  9. sudo -u hdfs hdfs dfs -get /tmp/test_10G_file /tmp/ 
    10. 
  
  
  
  10. md5sum /tmp/test_10G_file 
    11.

三、yarn集群开启

hadoop除了hdfs用于大数据的分布式存储，还有更重要的组件，分布式计算(mapreduce)。现在我们来把mapreducev2 yarn集群启动

1.在主服务器把resourcemanager服务起来（192.168.1.1）

 
 
 
    
  
  
  
  1. /etc/init.d/hadoop-yarn-resourcemanager start 
    2.

2.把所有nodemanager服务启动

 
 
 
    
  
  
  
  1. #还是登陆saltstack master，执行 
    2. 
  
  
  
  2. salt -v "dn*" cmd.run "/etc/init.d/hadoop-yarn-nodemanager start" 
    3.

3.查看yarn 任务追踪界面(http://192.168.1.1:9081/),看是否所有nodes都已加入

4.hadoop自带有基准测试的mapreduce实例，我们利用它来测试yarn环境是否正常

 
 
 
    
  
  
  
  1. #TestDFSIO测试HDFS的读写性能,写10个文件，每个文件1G. 
    2. 
  
  
  
  2. su hdfs - 
    3. 
  
  
  
  3. hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.0.0-cdh4.2.1-tests.jar TestDFSIO  -write -nrFiles 10 -fileSize 1000 
    4. 
  
  
  
  4. #Sort测试MapReduce 
    5. 
  
  
  
  5. ##向random-data目录输出数据 
    6. 
  
  
  
  6. hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar randomwriter  random-data 
    7. 
  
  
  
  7. ##运行sort程序 
    8. 
  
  
  
  8. hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar sort random-data sorted-data 
    9. 
  
  
  
  9. ##验证sorted-data 文件是否排好序 
    10. 
  
  
  
  10. hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.0.0-cdh4.2.1-tests.jar testmapredsort -sortInput random-data \ 
    11. 
  
  
  
  11. -sortOutput sorted-data 
    12.

总结

在折腾hadoop集群的部署是还是遇到了很多坑，打算下篇写自己所遭遇的问题。通过本文部署遇到问题的可以联系一下我,互相交流一下。QQ:83766787。当然也欢迎大家一起修改部署的脚本，git地址是：http://git.oschina.net/snake1361222/hadoop_scripts

原文链接：http://lxcong.blog.51cto.com/7485244/1241004

新闻标题：Hadoop集群部署（部署脚本，namenode高可用）
本文路径：http://www.csdahua.cn/qtweb/news23/48023.html

网站建设、网络推广公司-快上网，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 快上网

成都快上网为您推荐相关内容

手机网站建设知识

同城分类信息

橡塑保温材料　　 　响应式网站　　 　自适应网站　　 　东方电机技改服务有限公司　　 　微信小程序开发　　 　名片印刷厂　　 　成都商城网站建设　　 　腾讯云香港免备案空间　　 　成都网站建设公司　　 　奢侈品网站建设方案　　 　广汉网站建设　　 　网页设计制作　　 　崇州威斯达宇　　 　工程造价　　 　主机租用　　 　西部信息中心　　 　圣月阀门　　 　tpbzx.cn　　 　重庆网站建设　　 　成都微信公众号开发