目录节点配置server1装包配置 JAVA_HOME 环境变量编辑core-site核心配置文件编辑hdfs-site hdfs参数配置免密设置打开浏览器访问 http://server1IP:9870​编辑YARN 部署与配置校验MapReduce WordCount 功能测试节点配置主机角色进程server1主节点NameNode、SecondaryNameNode、ResourceManagerserver2从节点DataNode、NodeManagerserver3从节点DataNode、NodeManagerserver4从节点DataNode、NodeManagerserver1装包jdk-8u181-linux-x64.tar.gz、hadoop-3.3.6.tar.gzsu - hadooptar zxf jdk-8u181-linux-x64.tar.gzmv jdk1.8.0_181 jdktar zxf hadoop-3.3.6.tar.gzmv hadoop-3.3.6 hadoop配置 JAVA_HOME 环境变量vim .bash_profile # 编辑用户环境变量配置文件...PATH$PATH:$HOME/.local/bin:$HOME/bin:/home/hadoop/jdk/bin # 将jdk/bin加入PATH环境变量source .bash_profile # 重载环境变量使其立即生效cd hadoop/etc/hadoop/ # 进入hadoop配置文件目录cat workers # 查看从节点列表文件单机模式为localhostlocalhostvim hadoop-env.sh # 编辑hadoop环境脚本指定JAVA_HOMEexport JAVA_HOME/home/hadoop/jdkcd ~/hadoop # 切换hadoop根目录bin/hadoop # 验证hadoop脚本可执行mkdir input # 创建mapreduce测试输入目录cp etc/hadoop/*.xml input # 拷贝配置xml作为测试输入样本bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar grep input output dfs[a-z.] # 运行grep示例MR任务1 dfsadmincd etc/hadoop/ # 返回配置目录准备配置HDFS编辑core-site核心配置文件vim core-site.xml # 编辑core-site核心配置文件configurationpropertynamefs.defaultFS/namevaluehdfs://localhost:9000/value # 指定HDFS NameNode访问地址/property/configuration编辑hdfs-site hdfs参数配置vim hdfs-site.xml # 编辑hdfs-site hdfs参数配置configurationpropertynamedfs.replication/namevalue1/value # HDFS副本数单机环境设置1/property/configuration免密设置cd /home/hadoop/hadoop #返回当前层级Hadoop根目录ssh-keygen # 生成ssh公私钥实现本机免密登录ssh-copy-id localhost # 将公钥推送至本机实现localhost免密sshbin/hdfs namenode -format # 格式化HDFS NameNode元数据仅首次执行不要重复执行sbin/start-dfs.sh # 启动HDFS集群namenodedatanodesecondarynamenode打开浏览器访问 http://server1IP:9870YARN 部署与配置校验先通过 hadoop conftest 命令批量校验所有配置文件的语法合法性确保没有 XML 格式错误再启动 YARN 集群。# 校验所有配置文件hadoop conftest -conf etc/hadoop/yarn-site.xml启动完成后 jps 查看ResourceManager 和 NodeManager 进程都正常运行YARN 资源调度框架部署成功。MapReduce WordCount 功能测试# 准备本地测试文件mkdir -p ~/inputecho hello hadoop hello world hello bigdata ~/input/test.txtecho hadoop yarn hdfs mapreduce hadoop ~/input/test.txt# 上传到HDFShdfs dfs -put ~/input /user/hadoop/input# 提交wordcount任务hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /user/hadoop/input /user/hadoop/output访问网页查看页面确认集群状态版本、容量、块数量都和预期一致单节点部署完成