Hadoop 集群运维

确认集群逻辑名称、HDFS 主备、JournalNode 和 YARN 主备角色，核对节点、机架、磁盘及调度器清单，避免将 SecondaryNameNode 误认为热备。记录最近变更、关键作业窗口、数据负责人和备份位置，检查管理身份与票据有效性。先明确可维护的非核心节点及禁止同时操作的故障域，主备状态或仲裁组件异常时暂停维护，优先处理控制面健康。

先读取集群与 DataNode 容量报告，区分总可用空间、节点倾斜及非 HDFS 占用，再查看丢失块、副本不足和退役状态。路径检查只选已确认的小范围关键目录，低峰运行并限制频率；示例路径需替换为实际获准目录。下列命令不含修复选项，不能附加删除、移动或触发重复制参数，也不要未经评估直接扫描整个命名空间。

hdfs dfsadmin -report
hdfs fsck /data/approved-sample -files -blocks

结合 NodeManager 健康、队列容量和应用状态判断计算侧风险，区分节点离线、队列上限、用户配额、资源请求过大与容器启动失败。应用处于 ACCEPTED 不等同于计算资源整体耗尽，应核对其队列、资源请求和调度诊断。以下只读命令用于建立节点与应用基线，选择具体应用后再检查诊断与脱敏日志，不在巡检阶段批量终止作业。

yarn node -list -all
yarn application -list -appStates ACCEPTED,RUNNING

按控制面、存储、计算、关键作业四层接入已验证指标端点，核对采集账号和接口暴露范围。看板关联主备角色、JVM 与 RPC、容量和块健康、队列等待与作业失败，同时观察采集器自身状态。每项告警附上节点、队列或作业入口，缺失块和核心角色异常优先升级；容量阈值结合增长率和维护所需余量设定，不直接照搬固定百分比。

将已核对的只读检查整理为 Ansible 任务，设置目标分组、有限并发、单条超时和失败汇总，避免全节点同时执行高开销命令。巡检先检查核心角色，再看存储与节点，最后关联队列和关键作业；每项输出带主机和时间，认证信息不进入报告。对容量逼近、磁盘故障、副本不足和队列积压分别指定处置手册，涉及删除、均衡或退役的动作独立审批和试点。

在数据健康、剩余副本与队列容量确认后，选择一个非核心节点，按本发行版支持的维护或退役流程逐步退出服务。先协调 NodeManager 排空或迁移作业，再核实 DataNode 对副本和数据可用性的影响；不能仅因超时就强制停止未满足退出条件的节点。完成计划维护后逐项恢复服务，观察节点重新注册、块报告、容器调度和关键作业，期间不并行维护同故障域其他节点。

重复核心角色、HDFS 与 YARN 的相同检查，对比维护前后容量、块状态、节点健康和关键作业，观察重复制或积压是否仍在收敛。将短时通过项与需高峰或次日批次确认的项目分别记录，交接巡检频率、阈值依据、恢复入口和未关闭风险。依据实际增长规划扩容或数据治理，并约定下次单节点维护前必须重新评估副本与计算余量。