快捷搜索:  汽车  科技

hadoop安装配置教程(Hadoop学习四)

hadoop安装配置教程(Hadoop学习四)2. Hadoop2.6.4单机安装的具体步骤7)查看hadoop运行情况4)修改Hadoop的4个配置文件5)格式化hdfs6) 启动hadoop

hadoop安装配置教程(Hadoop学习四)(1)

1. Hadoop2.6.4单机安装的核心步骤

1)配置ip、主机名

2) 安装JDK,并设置环境变量(此处跳过)

3)下载Hadoop,并设置hadoop环境变量

4)修改Hadoop的4个配置文件

5)格式化hdfs

6) 启动hadoop

7)查看hadoop运行情况

2. Hadoop2.6.4单机安装的具体步骤

1)配置ip、主机名

a)设置主机名为hadoop(重启后生效) 命令: vi /etc/sysconfig/network

hadoop安装配置教程(Hadoop学习四)(2)

b)设置hosts解析,命令:vi /etc/hosts

hadoop安装配置教程(Hadoop学习四)(3)

2) 安装JDK,并设置环境变量

按照Linux下JDK的安装和配置的过程即可

3)下载Hadoop,并设置环境变量

a)下载地址:http://mirror.bit.edu.cn/apache/hadoop/common,这里选择2.6.4版本

b)拷贝到/home/project/soft/hadoop目录下 解压缩命令: tar -zxvf hadoop-2.6.4.tar.gz,在/etc/profile中配置hadoop的环境变量

执行命令:source /etc/profile使其生效

hadoop安装配置教程(Hadoop学习四)(4)

4) 修改4个配置文件 切换到配置文件所在目录:/home/project/soft/hadoop/hadoop-2.6.4/etc/hadoop

其中没有mapred-site.xml 需要拷贝mapred-site.xml.template并重命名

a)修改hadoop-env.sh 设置JAVA_HOME;

hadoop安装配置教程(Hadoop学习四)(5)

b)修改core-site.xml,配置hadoop.tmp.dir、dfds.name.dir、fs.default.name;

首先创建文件夹:

/home/project/soft/hadoop/hdfile/tmp

/home/project/soft/hadoop/hdfile/name

/home/project/soft/hadoop/hdfile/data

其次,其次配置上述文件,具体如下:

hadoop安装配置教程(Hadoop学习四)(6)

c)修改mapred-site.xml,设置mapred.job.tracker;

hadoop安装配置教程(Hadoop学习四)(7)

d)修改hdfs-site.xml 设置dfs.data.dir

hadoop安装配置教程(Hadoop学习四)(8)

5. 格式化hdfs 切换到/home/project/soft/hadoop/hadoop-2.6.4/bin目录下

执行命令:hadoop namenode -format

6.启动hadoop的所有守护进程,切换到/home/project/soft/hadoop/hadoop-2.6.4/sbin目录下

执行命令:./start-all.sh 每个进程需要进行本机密码输入

7.查看运行情况,命令:jps

hadoop安装配置教程(Hadoop学习四)(9)

hadoop的web访问界面http://IP:50070/

hadoop安装配置教程(Hadoop学习四)(10)


猜您喜欢: