hadoop大数据技术原理与应用笔记：大数据之Hadoop搭建与使用
hadoop大数据技术原理与应用笔记：大数据之Hadoop搭建与使用vim mapred-site.xml <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>bigdata:10020</value> </property> <!-- 历史服务器web端地址 --> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>bigdata:19888</value> </property>2、分发配置xsync $HADOOP_HOME/etc/hadoop/mapred-sit
一、搭建1、准备插件yum install -y epel-release
yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git2、关闭防火墙
systemctl stop firewalld
systemctl disable firewalld3、创建用户
useradd bigdata
passwd bigdata4、配置用户权限
vim /etc/sudoers
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
bigdata ALL=(ALL) NOPASSWD:ALL5、在/opt目录下创建文件夹，并修改所属主和所属组
mkdir /opt/module
mkdir /opt/software
chown bigdata:bigdata /opt/module
chown bigdata:bigdata /opt/software6、卸载虚拟机自带的open jdk
rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps7、修改克隆虚拟机的静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33
改成
DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.1.102
PREFIX=24
GATEWAY=192.168.1.2
DNS1=192.168.1.28、查看Linux虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8
hostnamectl --static set-hostname bigdata
vim /etc/hostname
bigdata10、配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts
vim /etc/hosts
192.168.1.102 bigdata11、如果操作系统是window10，先拷贝出来，修改保存以后，再覆盖即可
（a）进入C:\Windows\System32\drivers\etc路径
（b）拷贝hosts文件到桌面
（c）打开桌面hosts文件并添加如下内容
192.168.1.102 bigdata12、安装JDK1、在Linux系统下的opt目录中查看软件包是否导入成功
ls /opt/software/
hadoop-3.1.3.tar.gz jdk-8u212-linux-x64.tar.gz2、解压
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/3、配置JDK环境变量
vim /etc/profile.d/my_env.sh
#java_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin4、加载环境变量
source /etc/profile5、测试JDK是否安装成功
java -version13、安装Hadoop1、解压
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
ls /opt/module/
hadoop-3.1.32、配置环境
vim /etc/profile.d/my_env.sh
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
source /etc/profile3、测试是否安装成功
HADOOP version
Hadoop 3.1.314、本地模式1、创建在hadoop-3.1.3文件下面创建一个wcinput文件夹
mkdir wcinput2、在wcinput文件下创建一个word.txt文件
cd wcinput
vim word.txt
hadoop Yarn
hadoop MapReduce3、回到Hadoop目录/opt/module/hadoop-3.1.3
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput4、验证结果
cat wcoutput/part-r-00000
hadoop 2
mapreduce 1
yarn 115、完全分布式运行模式1、分发jdk和hadoop到bigdata1和bigdata2
scp -r /opt/module/jdk1.8.0_212 bigdata@bigdata1:/opt/module
scp -r /opt/module/hadoop-3.1.3 bigdata@bigdata1:/opt/module2、xsync集群分发脚本
cd /home/bigdata
mkdir bin
cd bin
vim xsync
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
#2. 遍历集群所有机器
for host in bigdata bigdata1 bigdata2
do
echo ==================== $host ====================
#3. 遍历所有目录，挨个发送
for file in $@
do
#4. 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exists!
fi
done
done
chmod x xsync
cp xsync /bin/
xsync /home/bigdata/bin3、无密登陆
ssh-keygen -t rsa
一直下一步
将公钥拷贝到要免密登录的目标机器上
ssh-copy-id bigdata
ssh-copy-id bigdata1
ssh-copy-id bigdata24、配置集群1、配置core-site.xml
cd $HADOOP_HOME/etc/hadoop
vim core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata:9820</value>
</property>
<!-- 指定hadoop数据的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.3/data</value>
</property>
<!-- 配置HDFS网页登录使用的静态用户为atguigu -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>bigdata</value>
</property>
<!-- 配置该bigdata(superUser)允许通过代理访问的主机节点 -->
<property>
<name>hadoop.proxyuser.bigdata.hosts</name>
<value>*</value>
</property>
<!-- 配置该bigdata(superUser)允许通过代理用户所属组 -->
<property>
<name>hadoop.proxyuser.bigdata.groups</name>
<value>*</value>
</property>
<!-- 配置该atguigu(superUser)允许通过代理的用户-->
<property>
<name>hadoop.proxyuser.bigdata.groups</name>
<value>*</value>
</property>
</configuration>2、配置hdfs-site.xml
vim hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- nn web端访问地址-->
<property>
<name>dfs.nameNode.http-address</name>
<value>bigdata:9870</value>
</property>
<!-- 2nn web端访问地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>bigdata1:9868</value>
</property>
</configuration>3、配置YARN-site.xml
vim yarn-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定MR走shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定ResourceManager的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata2</value>
</property>
<!-- 环境变量的继承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME HADOOP_COMMON_HOME HADOOP_HDFS_HOME HADOOP_CONF_DIR CLASSPATH_PREPEND_DISTCACHE HADOOP_YARN_HOME HADOOP_MAPRED_HOME</value>
</property>
<!-- yarn容器允许分配的最大最小内存 -->
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>512</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>4096</value>
</property>
<!-- yarn容器允许管理的物理内存大小 -->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property>
<!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
</configuration>4、配置mapred-site.xml
vim mapred-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定MapReduce程序运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>5、在集群上分发配置好的Hadoop配置文件
xsync /opt/module/hadoop-3.1.3/etc/hadoop/5、群起集群1、配置workers
vim /opt/module/hadoop-3.1.3/etc/hadoop/workers
bigdata
bigdata1
bigdata22、格式化hadoop
hdfs namenode -format3、启动hdfs
sbin/start-dfs.sh4、启动yarn
sbin/start-yarn.sh5、浏览器验证
#hdfs
http://bigdata:9870
#yarn
http://bigdata1:80886、错误总结1、hdfs启动失败
在/hadoop/sbin路径下：
将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root2、yarn启动失败
在/hadoop/sbin路径下：
还有，start-yarn.sh，stop-yarn.sh顶部也需添加以下：
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root7、集群测试1、上传
#小文件
hadoop fs -mkdir /input
hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input
#大文件
hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /
#验证
pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0
cat blk_1073741825
hadoop yarn
hadoop mapreduce
#拼接
cat blk_1073741836>>tmp.tar.gz
cat blk_1073741837>>tmp.tar.gz
tar -zxvf tmp.tar.gz2、下载
hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./3、执行wordcount程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output8、配置历史服务器
为了查看程序的历史运行情况，需要配置一下历史服务器
1、配置mapred-site.xmlvim mapred-site.xml
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>bigdata:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bigdata:19888</value>
</property>2、分发配置
xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml3、启动历史服务器
mapred --daemon start historyserver4、验证
http://bigdata:19888/jobhistory9、配置日志聚集
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。
1、配置yarn-site.xmlvim yarn-site.xml
<!-- 开启日志聚集功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
<name>yarn.log.server.url</name>
<value>http://bigdata:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>2、分发配置
xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml3、关闭NodeManager、ResourceManager和HistoryServer
stop-yarn.sh
mapred --daemon stop historyserver4、启动NodeManager、ResourceManage和HistoryServer
start-yarn.sh
mapred --daemon start historyserver5、删除HDFS上已经存在的输出文件
hadoop fs -rm -r /output6、执行WordCount程序
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output7、查看日志
http://bigdata:19888/jobhistory10、集群脚本编写1、查看java进程脚本
cd /home/bigdata/bin
vim jpsall
#!/bin/bash
for host in bigdata bigdata bigdata
do
echo =============== $host ===============
ssh $host jps $@ | grep -v Jps
done
chmod x jpsall2、hadoop进程脚本
vim myhadoop.sh
#!/bin/bash
if [ $# -lt 1 ]
then
echo "No Args Input..."
exit ;
fi
case $1 in
"start")
echo " =================== 启动 hadoop集群 ==================="
echo " --------------- 启动 hdfs ---------------"
ssh bigdata "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
echo " --------------- 启动 yarn ---------------"
ssh bigdata1 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
echo " --------------- 启动 historyserver ---------------"
ssh bigdata "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
echo " =================== 关闭 hadoop集群 ==================="
echo " --------------- 关闭 historyserver ---------------"
ssh bigdata "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
echo " --------------- 关闭 yarn ---------------"
ssh bigdata1 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
echo " --------------- 关闭 hdfs ---------------"
ssh bigdata "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
echo "Input Args Error..."
;;
esac
chmod x myhadoop.sh
xsync /home/atguigu/bin/
