当前位置: 首页> 科技> IT业 > 大数据之CDH对Hdfs做Balance数据均衡/数据平衡/数据倾斜

大数据之CDH对Hdfs做Balance数据均衡/数据平衡/数据倾斜

时间:2025/7/18 20:35:40来源:https://blog.csdn.net/wb_zjp283121/article/details/139459377 浏览次数:0次

问题的来源:

 由于在hive工具运行sql,出现sql卡顿的情况,去cdh上查看yarn资源的分布情况,发现了整个cdh平台中hdfs和yarn资源分布不均匀,大量的爆红显示:

以下 DataNode 数据目录 位于小于其可用空间 10.0 吉字节 的文件系统中。 /data1/dfs/dn(可用:7.2 吉字节 (3.66%),容量:196.7 吉字

不良 : 运行良好的 NodeManager:5。存在隐患的 NodeManager:0。 NodeManager 总数:10。运行良好:50.00%。运行良好或存在隐患:50.00%。 临界阈值:90.00%。
 

并且发现了yarn中的资源节点直接掉了

针对以上错误,利用以下操作方案:

可以达到资源的再平衡处理

还可以使用命令行;

hdfs balancer -help

关键字:大数据之CDH对Hdfs做Balance数据均衡/数据平衡/数据倾斜

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: