一: 安装Hadoop
因为已经安装 Homebrew,所以直接利用Homebrew安装Hadoop的,速度很快。
执行命令:brew install hadoop
hadoop安装好之后就可以开始配置文件的配置了
但安装之后对比发现少了文件,所以这里建议还是官网下载版本安装比较好
下载地址Index of /dist/hadoop/core/hadoop-3.4.1
二: 配置Hadoop相关文件
1. 首先配置hadoop的全局变量,输入nano ~/.zshrc,
保存后使之生效,source ~/.zshrc这样便可在全局使用 hadoop 启动命令
2.配置hadoop中的文件
前置准备:查询/usr/libexec/java_home -V得到java-home的位置
新建文件夹,根据hadoop所在文件路径指定
mkdir /users/ivechen/Downloads/Install/ITSoft/hadoop-3.4.1/tmp
mkdir /users/ivechen/Downloads/Install/ITSoft/hadoop-3.4.1/tmp/dfs
mkdir /users/ivechen/Downloads/Install/ITSoft/hadoop-3.4.1/tmp/dfs/name
mkdir /users/ivechen/Downloads/Install/ITSoft/hadoop-3.4.1/tmp/dfs/data
1)hadoop-env.sh文件 在/users/ivechen/Downloads/Install/ITSoft/hadoop-3.4.1/etc/hadoop下面
加入java_home文件路径
2) core-site.xml文件
3) hdfs-site.xml文件
4)mapred-site.xml文件
5)yarn-site.xml 文件
三:启动Hadoop
1. 初始化
执行初始化命令hdfs namenode -format
有问题会报错,没问题的话会显示以下信息,如果没有任何信息显示则是配置不生效,报错的话应该是某个配置文件有错误,具体看配置信息
2. 启动Hadoop
执行命令
start-all.sh
此时出现了如下错误
3.配置SSH
1)在终端输入命令:ssh localhost,发现需要输入密码,此时没有免密登录
2)打开系统设置---> 通用--->打开远程登录
3)终端输入 ssh-keygen -t rsa,连续三下回车,生成密钥:
4)有密钥后,输入更改授权,免密登陆:
➜ .ssh cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
➜ .ssh chmod 600 ~/.ssh/authorized_keys
此时再执行第一个步骤就可以不需要密码验证啦
此时再执行 start-all.sh开启Hadoop,会发现都开启成功了
4.网页端查看状态
http://localhost:9870 查看HDFS的启动运行状态,得到如下
http://localhost:8088 查看YARN的启动运行状态,得到如下
到这里Macbookpro M1 安装Hadoop的过程就结束啦,结束输入stop-all.sh的命令及时关掉hadoop集群哦。