hadoop集群搭建教程（2.5.2分布式集群搭建）

hadoop集群搭建教程（2.5.2分布式集群搭建）# mkdir data //用于制定hadoop的hadoop.tmp.dir目录# cd hadoop-2.5.2# wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.5.2/hadoop-2.5.2.tar.gz下载完成后将之解压出来# tar -zxvf hadoop-2.5.2.tar.gz

这篇文章接上篇文章，Hadoop 2.5.2分布式集群搭建（一）基本环境搭建（虚拟机），接下来该正式将Hadoop部署配置。

5.安装hadoop

自己去hadoop官网下载你所需要的Hadoop 版本，我这边用的是Hadoop 2.5.2

先要下载一个Hadoop 2.5.2复制到master服务器的/usr/local路径下，

# cd /usr/local

# wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.5.2/hadoop-2.5.2.tar.gz

下载完成后将之解压出来

# tar -zxvf hadoop-2.5.2.tar.gz

# cd hadoop-2.5.2

# mkdir data //用于制定hadoop的hadoop.tmp.dir目录

vim命令修改hadoop core-site.xml文件

# vim /usr/local/hadoop-2.5.2/etc/hadoop/core-site.xml

编辑修改etc/hadoop/core-site.xml 配置如下，

<configuration>

<property>

<name>fs.default.name</name>

(2) 启动hadoop

# cd /usr/local/hadoop-2.5.2

# sbin/start-all.sh

启动日志如下

在master和三台slave上执行命令jps查看java进程，成功启动情况如下，

# Hmaster 情况

# jps

5346 ResourceManager

5619 Jps

5206 SecondaryNameNode

5032 NameNode

# Hslave1 Hslave2 Hslave3 情况

4291 NodeManager

4133 DataNode

4460 Jps

如果出现以下输出使其卡着不动，则要在/etc/ssh/ssh_config 文件中添加

StrictHostKeyChecking no 然后重启ssh服务/etc/init.d/ssh restart

...

The authenticity of host 'localhost (127.0.0.1)' can't be established.ECDSA key fingerprint is 08:1d:db:e4:d2:e0:87:89:ed:ca:69:82:17:6a:83:57

...

7.可能遇到的问题

(1)start-all.sh集群启动过程中出现一些服务进程启动失败情况时 首先检查排除防火墙的问题，

然后再去查看相应服务的启动日志的报错信息。

(2)Initialization failed for Block pool(Datanode Uuid unassigned)

问题的定位：所有namenode目录、所有datanode目录、从节点临时目录

问题的原因：

1) 首先是主节点的namenode clusterID与从节点的datanode clusterID不一致 导致

2) 因为多次格式化了namenode跟datanode之后的结果，格式化之后从节点生成了新的ID，造成了记录情况不一致

解决的办法：

在格式化之前，先把所有的服务杀掉（stop-dfs.sh、stop-yarn.sh或者stop-all.sh），确保服务都停掉了之后，分别到所有节点的namenode目录、datanode目录、临时目录，然后把以上目录里面的所有相关内容都删掉，然后再重新启动进行测试。