当前位置: 首页> 汽车> 时评 > 浙江萧山疫情_丹阳网站推广_百度认证考试_seo研究学院

浙江萧山疫情_丹阳网站推广_百度认证考试_seo研究学院

时间:2025/7/11 19:35:03来源:https://blog.csdn.net/Oceanside_yh/article/details/141224718 浏览次数: 0次
浙江萧山疫情_丹阳网站推广_百度认证考试_seo研究学院

一: 安装Hadoop

因为已经安装 Homebrew,所以直接利用Homebrew安装Hadoop的,速度很快。

执行命令:brew install hadoop

hadoop安装好之后就可以开始配置文件的配置了

但安装之后对比发现少了文件,所以这里建议还是官网下载版本安装比较好

下载地址Index of /dist/hadoop/core/hadoop-3.4.1

二: 配置Hadoop相关文件

1. 首先配置hadoop的全局变量,输入nano ~/.zshrc,

保存后使之生效,source ~/.zshrc这样便可在全局使用 hadoop 启动命令

 2.配置hadoop中的文件

前置准备:查询/usr/libexec/java_home -V得到java-home的位置

新建文件夹,根据hadoop所在文件路径指定

mkdir /users/ivechen/Downloads/Install/ITSoft/hadoop-3.4.1/tmp

mkdir /users/ivechen/Downloads/Install/ITSoft/hadoop-3.4.1/tmp/dfs

mkdir /users/ivechen/Downloads/Install/ITSoft/hadoop-3.4.1/tmp/dfs/name

mkdir /users/ivechen/Downloads/Install/ITSoft/hadoop-3.4.1/tmp/dfs/data

1)hadoop-env.sh文件 在/users/ivechen/Downloads/Install/ITSoft/hadoop-3.4.1/etc/hadoop下面

加入java_home文件路径

2) core-site.xml文件

3) hdfs-site.xml文件

4)mapred-site.xml文件

5)yarn-site.xml 文件

三:启动Hadoop

1. 初始化

执行初始化命令hdfs namenode -format

有问题会报错,没问题的话会显示以下信息,如果没有任何信息显示则是配置不生效,报错的话应该是某个配置文件有错误,具体看配置信息

2. 启动Hadoop

执行命令

start-all.sh

此时出现了如下错误 

3.配置SSH

1)在终端输入命令:ssh localhost,发现需要输入密码,此时没有免密登录

2)打开系统设置---> 通用--->打开远程登录

3)终端输入 ssh-keygen -t rsa,连续三下回车,生成密钥:

4)有密钥后,输入更改授权,免密登陆:

➜  .ssh cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

➜  .ssh chmod 600 ~/.ssh/authorized_keys

此时再执行第一个步骤就可以不需要密码验证啦

此时再执行 start-all.sh开启Hadoop,会发现都开启成功了

4.网页端查看状态

http://localhost:9870 查看HDFS的启动运行状态,得到如下

http://localhost:8088 查看YARN的启动运行状态,得到如下

到这里Macbookpro M1 安装Hadoop的过程就结束啦,结束输入stop-all.sh的命令及时关掉hadoop集群哦。

关键字:浙江萧山疫情_丹阳网站推广_百度认证考试_seo研究学院

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: