当前位置: 首页> 科技> 互联网 > 大数据技术基础

大数据技术基础

时间:2025/7/14 21:21:45来源:https://blog.csdn.net/m0_73935062/article/details/140471759 浏览次数:2次

一、大数据平台

1.大数据平台方案步骤:

  ①市场上有哪些大数据平台

  ②硬件、系统、业务增长等方面

  ③方案是否通过

通过后:按照一期目标投入

先虚拟环境部署联系,再实际部署

《大数据架构介绍》《Hadoop架构解析》《Hadoop集群规划》

《Hadoop安装部署》,《实验:Hadoop集群搭建》

《Hadoop核心组件-HDFS》,《实验:HDFS查看元数据》《高可用HDFS》

十分的事情,完成十二分!!!比预期完成的更好

因为需求、业务需求,所以上大数据

2.数据库管理员 (DBA) 是指负责维护、保护和运营数据库,确保正确存储和检索数据的专业人员。

3.大数据:大量、多样、快速、价值密度低的数据

4.传统服务器架构:单机、主备、主从-----数据之间需要同步,例如:一人一本完整的书,得复印十本书

    现有服务器架构:分片式架构,将数据分散在多个节点,多个节点合成一个数据,例如:查找一本书中的页数,每10页分给一个人,合起来,就是页码数

二、主流大数据平台---Hadoop

1.Hadoop常用组件:

2.结构

主节点:领导,从节点:员工 

 

3.版本 

一版本无Yarn,只能通过MapReduce进行资源管理和数据处理,只有一个leader

二版本好处:以下三个好处 ---加入了yarn,有两个leader

 

4.运行模式 

三、集群-----不是某一个人的任务,而是一群人的任务

集群考虑:组件分配、硬件、虚拟化和节点配置等;

关键字:大数据技术基础

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: