1. 从零到一为什么你需要一份真正“完整”的Hadoop命令手册干了这么多年大数据运维和开发我电脑里一直存着一个自己整理的Hadoop命令文档。每次带新人或者自己排查问题第一反应就是打开它。网上所谓的“大全”很多但要么是官网命令的简单罗列要么就是版本老旧很多在生产环境里真正救命的组合拳和细节技巧根本找不到。今天我就把自己压箱底的这份“完整”手册分享出来它不仅仅是hdfs dfs -ls /这样的基础命令更重要的是包含了命令背后的使用场景、参数选择的逻辑、以及我踩过无数坑才总结出来的避雷指南。无论你是刚接触Hadoop的新手还是想深化理解的资深工程师这份结合了实战经验的指南都能让你在HDFS、YARN、MapReduce的日常操作和故障排查中效率提升一个档次。2. Hadoop命令体系全景与核心组件解析2.1 Hadoop三大命令模块FS Shell、YARN MapReduce很多人一提到Hadoop命令只想到HDFS文件操作。这其实是个误区。一个完整的Hadoop生态运维需要掌握三大类命令它们分别对应Hadoop的核心组件HDFS File System Shell (FS Shell)这是最常用的一套命令前缀通常是hdfs dfs或hadoop fs。它负责所有与分布式文件系统相关的操作如上传下载文件、管理目录、设置权限等。你可以把它理解为分布式版的Linux文件操作命令。YARN Commands负责资源管理和作业调度的命令集前缀是yarn。用于提交应用、查询应用状态、管理队列、查看节点资源等。这是管理集群计算资源的核心。MapReduce Commands虽然现在Spark等框架更流行但理解经典的MapReduce作业管理命令前缀mapred对于维护老系统或深入理解分布式计算模型仍有价值。主要用于管理历史作业服务器JobHistory Server。这三者关系密切你用FS Shell把数据和Jar包上传到HDFS然后用YARN命令提交一个应用可能是MapReduce、Spark或FlinkYARN负责调度资源运行它而应用运行时读写的数据则来自HDFS。2.2hadoop fsvshdfs dfs并非简单的别名新手常会困惑hadoop fs和hdfs dfs有什么区别在大多数情况下它们可以互换效果相同。但深入探究二者有细微差别hadoop fs是一个更通用的文件系统命令接口。在Hadoop早期它被设计为可以操作多种文件系统如本地文件系统、HDFS、S3等。你甚至可以通过配置让它操作本地文件hadoop fs -ls file:///。hdfs dfs是专门针对HDFS文件系统的命令。它的语境更明确就是操作HDFS。实操心得在生产环境中我强烈建议统一使用hdfs dfs。原因有三第一意图清晰避免歧义第二某些极端情况下hadoop fs的默认行为可能因配置而异而hdfs dfs的行为是确定的第三在脚本和文档中使用hdfs dfs可读性更高一看就知道是在操作HDFS。3. HDFS文件系统Shell命令深度解析与实战这是日常使用频率最高的部分我们不仅要记住命令更要理解其参数和背后的逻辑。3.1 文件与目录管理基础中的基础这类命令模仿了Linux Shell但必须时刻记住你操作的是一个分布式的、可能存储着PB级数据的文件系统。列出目录内容hdfs dfs -ls [-d] [-h] [-R] path-d将目录本身像文件一样列出而不是其内容。这在检查目录是否存在时非常有用。-h以人类可读的格式如K, M, G显示文件大小。强烈建议始终加上否则看到一长串字节数很难直观判断。-R递归列出所有子目录内容。对于大型目录树要谨慎使用可能会返回海量结果。示例hdfs dfs -ls -h /user/hadoop查看用户目录大小一目了然。创建/删除目录hdfs dfs -mkdir [-p] paths hdfs dfs -rmdir [--ignore-fail-on-non-empty] directory-p类似于Linux递归创建父目录。在编写自动化脚本时这个参数能避免因目录不存在而失败。--ignore-fail-on-non-empty当目录非空时忽略删除失败。这个参数用得较少通常我们直接用-rm -r来删除非空目录。上传/下载文件hdfs dfs -put [-f] [-p] localsrc ... dst hdfs dfs -get [-p] [-ignoreCrc] src localdst-f覆盖目标文件如果已存在。如果不加此参数当目标文件存在时操作会失败。在脚本中根据你是否允许覆盖来谨慎决定是否使用它。-p保留访问时间、修改时间、所有权和权限。这在数据迁移或备份时非常重要。-ignoreCrc下载时忽略CRC校验。这是一个危险参数仅在确认源文件损坏但仍需强制下载时使用正常情况下永远不要用它数据一致性是第一位。查看文件内容hdfs dfs -cat [-ignoreCrc] src hdfs dfs -tail [-f] file-f在-tail中使用可以动态追踪文件末尾新增的内容对于监控实时写入的日志文件如Flume采集的日志极其有用。3.2 高级操作与空间管理当数据量变大后这些命令就成了运维人员的“手术刀”。复制与移动hdfs dfs -cp [-f] [-p | -p[topax]] src ... dst hdfs dfs -mv src ... dst-p在复制时可以细粒度控制保留哪些属性。topax分别代表timestamps, ownership, permission, ACLs, XAttrs。例如-pp只保留权限和所有权。注意-mv命令在HDFS集群内移动数据是高效的只修改元数据但跨集群移动实际上会触发复制和删除速度很慢。删除文件hdfs dfs -rm [-f] [-r|-R] [-skipTrash] path-skipTrash生产环境超级危险参数HDFS默认会将删除的文件移动到每个用户的.Trash目录类似回收站保留一定时间后才真正清除。-skipTrash会绕过回收站直接永久删除。除非你在执行明确的清理脚本且已再三确认否则绝不要轻易使用。我见过不止一次误操作-rm -r -skipTrash /类似路径导致灾难的案例。空间查看与清理hdfs dfs -du [-s] [-h] path hdfs dfs -df [-h] [path] hdfs dfs -count [-q] [-h] path-du(disk usage)查看指定路径下所有文件/目录的大小。-s显示汇总大小-h人性化显示。这是定位“哪个目录占用了大量空间”的首选命令。-df(disk free)查看文件系统的剩余空间类似于Linux的df。定期检查避免集群写满。-count统计指定路径下的文件夹数量、文件数量、以及总大小。-q选项会显示配额信息对于多租户集群管理非常关键。3.3 权限、所有权与快照管理HDFS实现了类似POSIX的文件权限模型rwx和ACL。修改权限与所有权hdfs dfs -chmod [-R] MODE[,MODE]... | OCTALMODE PATH... hdfs dfs -chown [-R] [OWNER][:[GROUP]] PATH... hdfs dfs -chgrp [-R] GROUP PATH...参数与Linux几乎一致。-R代表递归修改。常见坑点WebHDFS服务或某些应用如Hive对文件权限有要求。如果作业报权限错误首先用-ls查看文件的所有者和权限然后用这些命令进行修正。例如Hive表数据目录通常需要hdfs dfs -chmod -R 755 /user/hive/warehouse。文件系统快照hdfs dfsadmin -allowSnapshot snapshotDir hdfs dfs -createSnapshot snapshotDir [snapshotName] hdfs dfs -deleteSnapshot snapshotDir snapshotName hdfs dfs -renameSnapshot snapshotDir oldName newName快照是HDFS提供的低成本数据备份与回滚机制。它只在元数据层面记录差异不立即复制数据块。操作流程首先需要目录管理员使用dfsadmin命令启用该目录的快照功能然后才能创建快照。应用场景在执行重大的ETL操作或数据迁移前对关键数据目录创建一个快照。如果操作失败可以快速回滚到快照点比从备份恢复快几个数量级。4. YARN资源管理与作业调度命令实战YARN命令是你洞察集群负载和作业运行状态的窗口。4.1 应用生命周期管理提交应用虽然最常见的提交方式是通过spark-submit或flink run但理解其底层是向YARN提交是必要的。对于MapReduce作业命令是yarn jar jar_path [mainClass] args...查询与管理应用yarn application -list [-appStates states] yarn application -status ApplicationId yarn application -kill ApplicationId yarn logs -applicationId ApplicationId [-containerId ContainerId]-appStates可以过滤应用状态如ALL, NEW, NEW_SAVING, SUBMITTED, ACCEPTED, RUNNING, FINISHED, FAILED, KILLED。这在脚本中批量查找特定状态的应用时非常有用。-kill强制终止一个应用。这是最后的手段应先尝试在应用框架内优雅关闭。logs获取应用日志。这是排查作业失败原因的最重要途径。如果应用还在运行可以加-containerId查看特定容器的日志。4.2 集群节点与队列信息查看查看集群节点yarn node -list [-all]这个命令会列出所有NodeManager节点显示其状态如RUNNING, UNHEALTHY, DECOMMISSIONED、地址、容器使用情况、内存/CPU总量及已用量。当作业无法获得资源时首先用它检查是否有节点宕机或资源已满。查看队列信息yarn queue -status QueueName在配置了Capacity Scheduler或Fair Scheduler的多租户集群中这个命令可以查看指定队列的资源容量、使用量、状态如STOPPED和子队列信息。当用户提交作业到某个队列被拒绝时需要用它来诊断队列是否被禁用或资源不足。5. MapReduce作业管理命令尽管MapReduce本身的使用在减少但其作业历史服务器JobHistory Server仍然是重要的调试工具。查看作业历史mapred job -list [all] mapred job -status job_id mapred job -history job_id这些命令需要JobHistory Server服务正常运行。-history会输出作业的详细历史信息包括每个Map和Reduce任务的开始结束时间、计数器等对于分析作业性能瓶颈如数据倾斜、GC时间过长至关重要。6. 运维与故障排查核心命令锦囊这部分命令不常用但一出问题就是救命的。6.1 HDFS管理员命令 (hdfs dfsadmin)报告与安全模式hdfs dfsadmin -report hdfs dfsadmin -safemode enter|leave|get|wait-report输出集群的详细状态报告包括Live/Dead/Decommissioning的DataNode数量每个节点的容量、使用量、剩余量以及集群总容量。这是监控集群健康度的每日必查命令。-safemode安全模式是NameNode启动时的一个状态在此状态下不进行数据块的写操作。-safemode get查看状态-safemode leave手动离开在确认集群健康后。有时因为块报告不完整NameNode可能无法自动离开安全模式需要手动干预。节点退役hdfs dfsadmin -refreshNodes这个命令通常与include和exclude文件配合使用用于优雅地增加或移除DataNode。当你有一个excludes文件里面列出了要退役的DataNode主机名执行此命令后NameNode会开始将这些节点上的数据块复制到其他节点复制完成后该节点可安全下线。6.2 数据平衡与修复集群平衡hdfs balancer [-threshold threshold]随着数据不断写入和删除不同DataNode之间的磁盘使用率会产生不平衡。balancer工具用于在节点间移动数据块使各节点使用率趋于均衡。-threshold参数指定平衡的目标阈值默认10%。例如-threshold 5表示平衡直到所有节点使用率与集群平均使用率的差异在5%以内。注意事项平衡操作会占用大量网络和磁盘IO务必在业务低峰期进行。可以先设置一个较小的带宽限制通过hdfs-site.xml中的dfs.datanode.balance.bandwidthPerSec来减少对业务的影响。文件系统检查与修复hdfs fsck path [-list-corruptfileblocks | -move | -delete]fsckFile System Check是HDFS的“医生”。它可以检查路径下文件的健康状态。不加额外参数它会统计健康、损坏、缺失、重复的块数以及Over-replicated和Under-replicated的块数。-list-corruptfileblocks列出包含损坏块的文件。-move将损坏的文件移动到/lostfound目录。-delete危险直接删除损坏的文件。标准流程定期运行hdfs fsck /查看整体健康度。如果发现损坏块先用-list-corruptfileblocks定位文件评估其重要性。如果是临时文件或可再生的数据可以考虑删除如果是重要数据应尝试从备份恢复而不是直接使用-delete。7. 环境检查、配置与高级技巧7.1 环境与版本检查hadoop version查看Hadoop的详细版本信息包括编译信息。在确认集群版本或排查版本兼容性问题时使用。hadoop classpath输出Hadoop运行所需的类路径。在编写自定义工具或调试类路径冲突时非常有用。7.2 性能测试与基准测试Hadoop自带了一些简单的基准测试工具可用于验证集群安装是否基本正常或进行简单的性能摸底。DFSIO分布式I/O测试hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-*-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 1GB hadoop jar ... TestDFSIO -read -nrFiles 10 -fileSize 1GB hadoop jar ... TestDFSIO -clean这个测试会生成大量小文件来测试HDFS的读写吞吐量。-nrFiles指定文件数量-fileSize指定每个文件大小。测试完成后务必用-clean清理测试数据。NNBenchNameNode基准测试用于测试NameNode的负载能力。MRBenchMapReduce基准测试轻量级循环运行小作业测试MapReduce框架本身是否正常。这些基准测试不能完全代表你的业务性能但能快速验证集群的核心功能是否完好。7.3 日常运维脚本片段示例将常用命令组合成脚本能极大提升效率。每日健康检查脚本片段#!/bin/bash echo HDFS Report hdfs dfsadmin -report | grep -E Configured Capacity|Present Capacity|DFS Used|DFS Remaining|Live Nodes echo echo HDFS FSCK Summary hdfs fsck / | tail -20 echo echo YARN Node List yarn node -list | grep -v Total Nodes echo echo YARN Application List (RUNNING) yarn application -list -appStates RUNNING查找大文件/目录# 找出HDFS中前10大的目录 hdfs dfs -du -h / | sort -rh | head -n 10 # 找出特定用户下超过1GB的文件 hdfs dfs -ls -R /user/username | grep -E ^[-d] | awk {if ($5 1073741824) print $5/1073741824 GB, $8}掌握这些命令和背后的逻辑你就能从容应对Hadoop集群的日常管理、数据操作和故障排查。记住命令是工具理解其原理和适用场景结合具体的业务和环境思考才是用好它们的关键。最好的学习方式就是在一个安全的测试环境里把每个命令都敲一遍看看不同的参数会产生什么效果遇到错误信息多查文档和社区经验就是这样一点点积累起来的。