软文500字范文_百姓网上海招聘_站长工具怎么关闭_制作自己的网页

Hadoop完全分布搭建

1.为了使机器都处于同一个局域网中，先要修改机器的ip地址分配方式为固定ip，并为其固定分配一个ip地址。

[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33

问题：修改ip地址后，网络无法正常链接

解决方法：查看VMware上的DHCP设置中起始IP地址和结束IP地址范围，以及对应网关的IP地址，防止设置IP地址时选错IP地址范围。

修改后网络链接正常：

2.修改主机名，方便辨认机器

[root@localhost ~]# hostnamectl set-hostname hadoop01

修改主机名后需要重启虚拟机：

3. 配置网络映射 /etc/hosts

[root@hadoop01 ~]# vi  /etc/hosts

4. 重启网络服务

[root@hadoop01 ~]# service  network  restart

5.安装ssh服务

（1）查看是否安装ssh

[root@hadoop01 ~]# rpm  -qa  |  grep  ssh

（2）启动ssh服务

[root@hadoop01 ~]# service  sshd  start

6.关闭防火墙

问题：

解决方法：centos7后是使用的基于iptable的systemctl stop firewalld

[root@hadoop01 ~]# yum install iptables-services

[root@hadoop01 ~]# systemctl stop firewalld

7. 开启Hadoop002，修改ip地址和修改主机名

vi /etc/sysconfig/network-scripts/ifcfg-ens33

systemctl restart network

[root@localhost ~]# hostnamectl set-hostname hadoop002

[root@localhost ~]# reboot

8. 开启Hadoop003，修改ip地址和主机名

vi /etc/sysconfig/network-scripts/ifcfg-ens33

systemctl restart network

[root@hadoop01 ~]# hostnamectl set-hostname hadoop003

[root@hadoop01 ~]# reboot

9. 配置hosts文件和ssh免密登录

（1）修改hosts配置文件（包括三台主机）

[root@hadoop01 ~]# vi /etc/hosts

（2）生成密钥文件

[root@hadoop01 ~]# ssh-keygen -t rsa

（3）将本机公钥文件复制到其它虚拟机上（3台主机都要执行）

（4）查看是否成功免密登录

10.hadoop集群配置

（1）在所有虚拟机根目录下新建文件夹export，export文件夹中新建data、servers和software文件

[root@hadoop01 ~]# mkdir -p /export/data

[root@hadoop01 ~]# mkdir -p /export/servers

[root@hadoop01 ~]# mkdir -p /export/software

（2）准备安装包

hadoop-2.7.6.tar.gz
jdk-8u161-linux-x64.tar.gz

（3）jdk安装（3台主机都安装）

[root@hadoop01 software]# tar -zxvf jdk-8u161-linux-x64.tar.gz -C /export/servers/

配置环境变量

vi /etc/profile

使配置文件生效

[root@hadoop01 servers]# source /etc/profile

（4）hadoop安装（3台主机都安装）

[root@hadoop01 software]# tar -zxvf hadoop-2.7.6.tar.gz -C /export/servers/

配置文件

vi /etc/profile

[root@hadoop01 software]# source /etc/profile

[root@hadoop01 software]# hadoop version

（5）Hadoop集群配置

修改hadoop-env.sh文件

[root@hadoop01 hadoop]# vi hadoop-env.sh

修改core-site.xml文件

修改hdfs-site.xml文件

修改mapred-site.xml文件

[root@hadoop01 hadoop]# cp mapred-site.xml.template mapred-site.xml

[root@hadoop01 hadoop]# vi mapred-site.xml

修改yarn-site.xml文件

修改slaves文件

[root@hadoop01 hadoop]# vi slaves

将主节点中配置好的文件和hadoop目录copy给子节点

其中hadoop01为主节点，hadoop002和hadoop003为子节点

scp /etc/profile hadoop002:/etc/profile

scp /etc/profile hadoop003:/etc/profile

scp -r /export/ hadoop002:/

scp -r /export/ hadoop003:/

使子节点中的配置文件生效（hadoop02和hadoop03节点执行命令source /etc/profile）

在主节点格式化文件系统（successfully formatted 格式化成功）

hdfs namenode -format

11.hadoop集群测试

（1）在主节点启动所有HDFS服务进程

[root@hadoop01 hadoop]# start-dfs.sh

[root@hadoop01 hadoop]# start-yarn.sh

（2）使用jps命令查看进程

在Windows系统下，访问http://hadoop01:50070，查看HDFS集群状态

在Windows系统下，访问http://hadoop01:8088，查看Yarn集群状态