目录一 Rocky Linux9.8安装与基础配置1. 安装Rocky Linux9.8系统的虚拟机2. 查看地址并编辑nmtui3. 关闭防火墙以及selinux4. 修改主机域名映射5. ssh远程连接并安装tar二、JDK安装1、 手动上传JDK安装文件2、 解压文件3、 对解压完成的文件夹进行重命名4、 修改环境变量5、 查看是否安装成功三、Hadoop安装1、安装wget并上传安装文件2、解压文件3、编辑环境变量4、进入hadoop配置目录5、编辑配置文件(1).core-site.xml(2).hdfs-site.xml(3).mapred-site.xml(4).yarn-site.xml(5) hadoop-env.sh(6)yarn-env.sh(7)Slaves6、新建缓存的目录7、编辑环境变量profile8、克隆节点(1)克隆节点(2)修改从节点网络配置文件(3)修改虚拟机名称9、同步密码配置ssh免密登陆10、格式化namenode11、编辑配置文件(1)vi start-dfs.sh和vi stop-dfs.sh(2)vi start-yarn.sh和vi stop-yarn.sh12、启动hadoop要求Java版本jdk1.8Hadoop版本3x双节点:机器名IP地址Master192.168.200.10Slave1192.168.200.11一、Rocky Linux9.8安装与基础配置安装Rocky Linux9.8系统的虚拟机​​​​​​查看地址并编辑nmtui登录系统设置网络架构点击编辑→虚拟网络编辑器编辑网关地址GATEWAY、子网掩码NETMASK、固定IP、DNS服务器DNS DERVERSnmtui重启使网络配置生效关闭防火墙以及selinux#临时关闭防火墙systemctl stop firewalld#永久关闭防火墙systemctl disable firewalld将/etc/selinux/config 中的SELINUX的由enforcing更改为disabled先重启再用getenforce来验证selinux是否关闭修改主机域名映射#修改主机域名映射IP地址根据自己设置的固定地址填写vi /etc/hostsssh远程连接并安装tar二、JDK安装1.手动上传JDK安装文件2.解压文件#解压安装包tar -zxvf /root/jdk-8u351-linux-x64.tar.gz -C /opt/3.对解压完成的文件夹进行重命名#修改加压后的文件夹名称mv /opt/jdk1.8.0_351/ /opt/jdk4.修改环境变量#vi编辑器打开环境变量文件vi /etc/profile#在环境变量中添加以下内容设置jdk路径export JAVA_HOME/opt/jdkexport PATH$JAVA_HOME/bin:$PATH#生效环境变量source /etc/profile5.查看是否安装成功#查看是否安装成功java -version三、Hadoop安装1、安装wget并上传安装文件yum install -y wgetwgethttps://downloads.apache.org/hadoop/common/hadoop-3.4.3/hadoop-3.4.3.tar.gz2、解压文件tar -zxvf /root/hadoop-3.4.3.tar.gz -C /usr/local/src/3、编辑环境变量vi /etc/profile#在环境变量profile中添加以下内容export HADOOP_HOME/usr/local/src/hadoop-3.4.3export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin4、进入hadoop配置目录cd /usr/local/src/hadoop-3.4.3/etc/hadoop/5、编辑配置文件(1).core-site.xmlvi core-site.xmlconfigurationpropertynamefs.defaultFS/namevaluehdfs://master:9000/value/propertypropertynameio.file.buffer.size/namevalue131072/value/property!-- 指定hadoop缓存文件存放位置 --propertynamehadoop.tmp.dir/namevaluefile:/usr/local/src/hadoop-3.4.3/tmp/value/property/configuration(2).hdfs-site.xmlvi hdfs-site.xmlconfigurationpropertynamedfs.namenode.name.dir/namevaluefile:/usr/local/src/hadoop-3.4.3/dfs/name/value/propertypropertynamedfs.datanode.data.dir/namevaluefile:/usr/local/src/hadoop-3.4.3/dfs/data/value/propertypropertynamedfs.replication/namevalue3/value/property/configuration(3).mapred-site.xmlvi mapred-site.xmlconfigurationpropertynamemapreduce.framework.name/namevalueyarn/value/propertypropertynamemapreduce.jobhistory.address/namevaluemaster:10020/value/propertypropertynamemapreduce.jobhistory.webapp.address/namevaluemaster:19888/value/property/configuration(4).yarn-site.xmlvi yarn-site.xmlconfiguration!-- Site specific YARN configuration properties --propertynameyarn.resourcemanager.address/namevaluemaster:8032/value/propertypropertynameyarn.resourcemanager.scheduler.address/namevaluemaster:8030/value/propertypropertynameyarn.resourcemanager.resource-tracker.address/namevaluemaster:8031/value/propertypropertynameyarn.resourcemanager.admin.address/namevaluemaster:8033/value/propertypropertynameyarn.resourcemanager.webapp.address/namevaluemaster:8088/value/propertypropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/propertypropertynameyarn.nodemanager.aux-services.mapreduce.shuffle.class/namevalueorg.apache.hadoop.mapred.ShuffleHandler/value/propertypropertynameyarn.application.classpath/namevalue$HADOOP_HOME/etc/hadoop,$HADOOP_HOME/share/hadoop/common/*,$HADOOP_HOME/share/hadoop/common/lib/*,$HADOOP_HOME/share/hadoop/hdfs/*,$HADOOP_HOME/share/hadoop/hdfs/lib/*,$HADOOP_HOME/share/hadoop/mapreduce/*,$HADOOP_HOME/share/hadoop/mapreduce/lib/*,$HADOOP_HOME/share/hadoop/yarn/*,$HADOOP_HOME/share/hadoop/yarn/lib/*/value/property/configuration(5) hadoop-env.shvi hadoop-env.sh# 在文档最后添加export JAVA_HOME/opt/jdk(6)yarn-env.shvi yarn-env.sh# 在文档最后添加export JAVA_HOME/opt/jdk(7)Slavesvi workers#删除原本的localhostmasterslave16、新建缓存的目录mkdir /usr/local/src/hadoop-3.4.3/tmpmkdir /usr/local/src/hadoop-3.4.3/dfs/name -pmkdir /usr/local/src/hadoop-3.4.3/dfs/data -p7、编辑环境变量profilevi /etc/profileexport HDFS_NAMENODE_USERrootexport HDFS_DATANODE_USERrootexport HDFS_SECONDARYNAMENODE_USERrootexport YARN_RESOURCEMANAGER_USERrootexport YARN_NODEMANAGER_USERroot#生效环境变量source /etc/profile8、克隆节点(1)克隆节点(2)修改从节点网络配置文件nmtui(3)修改虚拟机名称hostnamectl set-hostname slave1reboot9、同步密码配置ssh免密登陆#生成密钥#默认回车到最后ssh-keygen#将密钥传给其他机器ssh-copy-id masteryes#输入密码#测试是否成功ssh masterssh-copy-id slave110、格式化namenodehdfs namenode -format11、编辑配置文件(1)vi start-dfs.sh和vi stop-dfs.shcd /usr/local/src/hadoop-3.4.3/sbinvi start-dfs.shvi stop-dfs.sh#添加以下HDFS_DATANODE_USERrootHDFS_DATANODE_SECURE_USERhdfsHDFS_NAMENODE_USERrootHDFS_SECONDARYNAMENODE_USERroot(2)vi start-yarn.sh和vi stop-yarn.sh#添加以下YARN_RESOURCEMANAGER_USERrootHADOOP_SECURE_DN_USERyarnYARN_NODEMANAGER_USERroot12、启动hadoop#启动hadoopstart-all.sh#检验进程是否正常启动jps