当前位置: 首页> 汽车> 车展 > 基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务1:运行环境说明

基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务1:运行环境说明

时间:2025/7/11 17:30:08来源:https://blog.csdn.net/qq_60872637/article/details/140120260 浏览次数: 0次

任务描述

项目的运行环境是基于Hadoop的全分布式模式集群。

任务的主要内容是规划集群节点及网络使用,准备初始环境,关闭防火墙和Selinux。

任务指导

1. 基于Hadoop的全分布式模式集群,如下图所示;

2. 硬软件环境:

  • CentOS 64位
  • JDK 1.8
  • Hadoop 2.10.1
  • ZooKeeper 3.4.13
  • HBase 2.3.5
  • MySQL 5.7
  • Hive 2.3.4
  • Flume 1.9.0
  • Kafka 2.4.1

任务实现

1. 机器网络环境设置

      集群包含三个节点,节点之间可以相互ping通。节点角色如下:

主机名

进程

master1NameNode、ResourceManager、ZooKeeper、HMaster、Kafka
slave1DataNode、NodeManager、ZooKeeper、RegionServerr
slave2DataNode、NodeManager、ZooKeeper、RegionServer

      所有节点均是CentOS 7 64位系统,防火墙均禁用,所有节点上均使用root用户。所有节点上均创建了目录/opt/app和/opt/software,并且拥有者是root用户。

      关闭防火墙命令:

# systemctl stop firewalld.service

      禁用防火墙开机自动启动:

# systemctl disable firewalld.service

      两个命令分别运行,运行完成后查看防火墙状态:

# systemctl status firewalld.service

      关闭Selinux:

# vim /etc/selinux/configSELINUX=disabled

      查看Selinux状态

# getenforce

关键字:基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建基于Hadoop的全分布式集群---任务1:运行环境说明

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: