4-Hadoop伪分布式搭建基本流程关闭防火墙关闭防火墙输入命令systemctl stop firewalld关闭防火墙开机自启输入命令systemctl disable firewalld.service说明因为都是内网搭建的对外还有一个服务器的那个服务器有防火墙由它来访问内网集群如果内网内开启防火墙内网集群通讯会出现很多问题。注意在企业开发时通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙。2.修改主机名称输入命令vi /etc/hostname编辑将主机名设置为master重启输入命令reboot开机后则更名成功如下图3. SSH设置免密登录生成秘钥输入命令ssh-keygen -t rsa#输入后按照提示按Enter键,直到完成命令Generating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rsa): #直接按 Enter 键Enter passphrase (empty for no passphrase): #直接按 Enter键Enter same passphrase again: #直接按Enter键将公钥拷贝到要免密登录的目标机器上输入命令ssh-copy-id master官网下载 Hadoop下载地址 https://archive.apache.org/dist/hadoop/common/下载hadoop-3.1.3.tar.gz该版本较为稳点且与其他工具兼容性更强这里选用的是hadoop3.1.3尝试一下选择其他的更高版本也可。5. 用MobaXterm文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的packages文件夹下面6. 解压并配置环境变量可用命令方式/利用MobaXterm工具进入目录输入命令cd /opt/packages解压输入命令tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/注意安装hadoop前一定确保安装了JDK。编辑输入命令vi /etc/profile#设置环境变量,添加以下几行内容export HADOOP_HOME/opt/module/hadoop-3.1.3export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHexport HADOOP_CLASSPATH/tmp/sqoop-classes:$HADOOP_CLASSPATH#hadoop-3.x版本 必须添加如下5个变量否则启动报错 也可在hadoop-env.sh添加。export HDFS_NAMENODE_USERrootexport HDFS_DATANODE_USERrootexport HDFS_SECONDARYNAMENODE_USERrootexport YARN_RESOURCEMANAGER_USERrootexport YARN_NODEMANAGER_USERroot原因使用root用户执行start-dfs.sh或start-yarn.sh时脚本会检查对应的环境变量。如果未定义这些变量脚本会抛出错误并终止启动。更新环境变量输入命令source /etc/profile验证Hadoop是否安装成功输入命令hadoop version看到如图结果说明安装成功。7. 修改Hadoop配置文件配置文件都放在 /opt/module/hadoop-3.1.3/etc/hadoop/ 目录下。修改hadoop-env.sh 文件编辑文件,设置JAVA_HOME绝对路径JDK 1.8安装路径export JAVA_HOME/opt/module/jdk1.8export HDFS_NAMENODE_USERrootexport HDFS_DATANODE_USERrootexport HDFS_SECONDARYNAMENODE_USERrootexport YARN_RESOURCEMANAGER_USERrootexport YARN_NODEMANAGER_USERroot② 修改core-site.xml 文件Hadoop-HDFS 系统内核文件编辑core-site.xml 文件输入以下内容configurationpropertynamefs.defaultFS/namevaluehdfs://master:9000/value/propertypropertynamehadoop.tmp.dir/namevalue/var/hadoop/tmp/value/property/configuration③ 修改hdfs-site.xml 文件 编辑hdfs-site.xml 文件输入以下内容configurationpropertynamedfs.replication/namevalue1/value/propertypropertynamedfs.namenode.http-address/namevaluemaster:9870/value/property/configuration④ 修改mapred-site.xml 文件输入以下内容:configurationpropertynamemapreduce.framework.name/namevalueyarn/value/property/configuration⑤ 修改yarn-site.xml 文件输入以下内容configurationpropertynameyarn.resourcemanager.hostname/namevaluemaster/value/propertypropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property/configuration编辑 workers 文件更换为以下内容master编辑 /etc/hosts 文件更换为以下内容192.168.47.201 master最后必须对hdfs进行初始化hdfs namenode -format验证输入命令start-all.sh正常启动输入命令jps 查看进程如下输入jps后能看到以上6个进程那么恭喜你已经学会了Hadoop的伪分布式安装了