大数据与hadoop入门:大数据入门-Hadoop搭建
大数据与hadoop入门:大数据入门-Hadoop搭建第二步:配置Java环境第一步:下载 jdk1.8具体命令操作如下第三步:主机免密钥登录第四步:同步hosts
今天给大家介绍 hadoop3.2 集群新版本的搭建详细讲解过程,从下面第一张官方的图来看,最新版是3.2,所以大猪将使用3.2的版本来演示,过程中遇到的坑留给自己,把路留给你们,IT之路还有大猪。
主机大猪 为了把文章压缩极简方便小伙伴阅读,将使用root帐号进行所有操作。
第一步:准备两台主机10.211.55.11、10.211.55.12
第二步:对应的hostname为m1.example.com、m2.example.com
具体命令操作如下
第三步:主机免密钥登录
第四步:同步hosts
JAVA第一步:下载 jdk1.8
第二步:配置Java环境
第三步:环境变量生效 source /etc/profile
hadoop第一步:两台主机创建好hadoop的文件夹
第二步:环境配置 hadoop-3.2.0.tar.gz
第三步:参数配置
运行用户操作,添加如下几句到 /soft/hadoop/etc/hadoop/hadoop-env.sh
第四步:环境变量生效 source /etc/profile
第五步:hadoop 配置文件
core-site.xml 配置
hdfs-site.xml 配置
yarn-site.xml 配置
mapred-site.xml 配置
第六步:格式化name文件夹 hadoop namenode -format
第七步:启动 start-all.sh
- 成功结果如下
第八步:访问 http://m1.example.com:8088/cluster
就这样你已经成功进入大数据的大门了?还想继续深入?那还不动动小手指关注一下。
此文经作者授权转发!
最后每天发布更多新鲜有含量的技术文章、总有一款适合你。
快关注我、把我打包带走、每天提醒你学习一手技术。