hadoop安装配置教程(Hadoop学习四)
hadoop安装配置教程(Hadoop学习四)2. Hadoop2.6.4单机安装的具体步骤7)查看hadoop运行情况4)修改Hadoop的4个配置文件5)格式化hdfs6) 启动hadoop
1. Hadoop2.6.4单机安装的核心步骤
1)配置ip、主机名
2) 安装JDK,并设置环境变量(此处跳过)
3)下载Hadoop,并设置hadoop环境变量
4)修改Hadoop的4个配置文件
5)格式化hdfs
6) 启动hadoop
7)查看hadoop运行情况
2. Hadoop2.6.4单机安装的具体步骤
1)配置ip、主机名
a)设置主机名为hadoop(重启后生效) 命令: vi /etc/sysconfig/network
b)设置hosts解析,命令:vi /etc/hosts
2) 安装JDK,并设置环境变量
按照Linux下JDK的安装和配置的过程即可
3)下载Hadoop,并设置环境变量
a)下载地址:http://mirror.bit.edu.cn/apache/hadoop/common,这里选择2.6.4版本
b)拷贝到/home/project/soft/hadoop目录下 解压缩命令: tar -zxvf hadoop-2.6.4.tar.gz,在/etc/profile中配置hadoop的环境变量
执行命令:source /etc/profile使其生效
4) 修改4个配置文件 切换到配置文件所在目录:/home/project/soft/hadoop/hadoop-2.6.4/etc/hadoop
其中没有mapred-site.xml 需要拷贝mapred-site.xml.template并重命名
a)修改hadoop-env.sh 设置JAVA_HOME;
b)修改core-site.xml,配置hadoop.tmp.dir、dfds.name.dir、fs.default.name;
首先创建文件夹:
/home/project/soft/hadoop/hdfile/tmp
/home/project/soft/hadoop/hdfile/name
/home/project/soft/hadoop/hdfile/data
其次,其次配置上述文件,具体如下:
c)修改mapred-site.xml,设置mapred.job.tracker;
d)修改hdfs-site.xml 设置dfs.data.dir
5. 格式化hdfs 切换到/home/project/soft/hadoop/hadoop-2.6.4/bin目录下
执行命令:hadoop namenode -format
6.启动hadoop的所有守护进程,切换到/home/project/soft/hadoop/hadoop-2.6.4/sbin目录下
执行命令:./start-all.sh 每个进程需要进行本机密码输入
7.查看运行情况,命令:jps
hadoop的web访问界面http://IP:50070/