快捷搜索:  汽车  科技

大数据与hadoop入门:大数据入门-Hadoop搭建

大数据与hadoop入门:大数据入门-Hadoop搭建第二步:配置Java环境第一步:下载 jdk1.8具体命令操作如下第三步:主机免密钥登录第四步:同步hosts

今天给大家介绍 hadoop3.2 集群新版本的搭建详细讲解过程,从下面第一张官方的图来看,最新版是3.2,所以大猪将使用3.2的版本来演示,过程中遇到的坑留给自己,把路留给你们,IT之路还有大猪。

大数据与hadoop入门:大数据入门-Hadoop搭建(1)

主机

大猪 为了把文章压缩极简方便小伙伴阅读,将使用root帐号进行所有操作。

第一步:准备两台主机10.211.55.1110.211.55.12

第二步:对应的hostname为m1.example.comm2.example.com

具体命令操作如下

大数据与hadoop入门:大数据入门-Hadoop搭建(2)

第三步:主机免密钥登录

大数据与hadoop入门:大数据入门-Hadoop搭建(3)

第四步:同步hosts

大数据与hadoop入门:大数据入门-Hadoop搭建(4)

JAVA

第一步:下载 jdk1.8

大数据与hadoop入门:大数据入门-Hadoop搭建(5)

第二步:配置Java环境

大数据与hadoop入门:大数据入门-Hadoop搭建(6)

第三步:环境变量生效 source /etc/profile

hadoop

第一步:两台主机创建好hadoop的文件夹

大数据与hadoop入门:大数据入门-Hadoop搭建(7)

第二步:环境配置 hadoop-3.2.0.tar.gz

大数据与hadoop入门:大数据入门-Hadoop搭建(8)

第三步:参数配置

运行用户操作,添加如下几句到 /soft/hadoop/etc/hadoop/hadoop-env.sh

大数据与hadoop入门:大数据入门-Hadoop搭建(9)

第四步:环境变量生效 source /etc/profile

第五步:hadoop 配置文件

core-site.xml 配置

大数据与hadoop入门:大数据入门-Hadoop搭建(10)

hdfs-site.xml 配置

大数据与hadoop入门:大数据入门-Hadoop搭建(11)

yarn-site.xml 配置

大数据与hadoop入门:大数据入门-Hadoop搭建(12)

mapred-site.xml 配置

大数据与hadoop入门:大数据入门-Hadoop搭建(13)

第六步:格式化name文件夹 hadoop namenode -format

第七步:启动 start-all.sh

  1. 成功结果如下

大数据与hadoop入门:大数据入门-Hadoop搭建(14)

第八步:访问 http://m1.example.com:8088/cluster

大数据与hadoop入门:大数据入门-Hadoop搭建(15)

就这样你已经成功进入大数据的大门了?还想继续深入?那还不动动小手指关注一下。

大数据与hadoop入门:大数据入门-Hadoop搭建(16)

此文经作者授权转发!

最后

每天发布更多新鲜有含量的技术文章、总有一款适合你。

快关注我、把我打包带走、每天提醒你学习一手技术。

猜您喜欢: