Kubernetes 集群监控

先确认当前连接的集群，按节点角色、命名空间和关键服务建立对象清单，记录维护中的节点及既有异常，避免把存量问题计入变更影响。对已有采集器、业务指标和托管控制面分别标注负责人、端点与权限，不在盘点阶段扩大权限。以下命令只读取当前上下文和对象状态，输出应保存到本次实施记录。

kubectl config current-context
kubectl get nodes -o wide
kubectl get deployments -A

按预计活跃序列、采样频率、保留周期和增长率测算存储及内存，先限定必要对象与标签，避免把请求标识等无界字段变为指标标签。明确监控命名空间、持久卷、服务访问方式和通知测试范围，为采集器设置资源请求与上限。导出原有规则、路由、看板和部署版本，逐项登记修改文件与恢复顺序，并给采集开销设置可观察的停止阈值。

先部署监控专用身份与 kube-state-metrics，再接入 Prometheus 抓取目标，逐批增加工作负载、节点和获准访问的控制面端点。对象状态与资源使用量采用各自的来源，不以抓取成功代替指标覆盖验收。检查证书、网络策略、认证和标签，观察 API 请求、采集耗时及序列增长；同一目标已有采集时先确认去重方案，再扩大范围。

按集群总览、节点、命名空间和工作负载组织看板，统一集群标识、时间范围与时区，给查询设置明确的指标单位和空值状态。核心服务展示期望副本、可用副本、重启变化和资源趋势，控制面缺失指标直接标注范围限制。为每个告警对象提供带变量的排障入口，用正常时段和已知异常时段各复核一次，避免仅凭漂亮曲线判断可用性。

以业务影响确定通知级别，为工作负载不可用、持续资源压力和采集缺口分别配置规则；持续时间、分组等待与重复间隔一起纳入通知时限。注释包含责任组、对象、看板与处理入口，抑制规则仅覆盖明确的上下游关系。先在本地检查规则语法，再将测试标签路由到测试接收组，确认静默期限与恢复消息不会覆盖正式告警。

promtool check rules alerts.yml

在隔离测试命名空间选择无生产依赖的样例工作负载，按已确认方案制造短时副本异常，再单独模拟一个测试指标端点不可抓取。每次只引入一种故障，记录事件产生、指标出现、规则触发、通知送达和恢复时间，核对通知延迟是否包含所有等待环节。演练期间持续查看集群健康，任何非测试对象受影响都立即停止，不以真实核心服务故障代替测试。

将实际结果写入覆盖清单，逐项交接看板、规则、接收组、组件负责人、配置版本和恢复入口；对托管控制面限制、缺失业务指标及容量预测偏差明确补齐日期。由未参与搭建的值班人员使用一条测试告警完成定位并说明升级路径。最后安排后续高峰期容量观察、告警噪声复查和定期通知演练，将短时验收与持续运行观察分别记录。