运维知识库

使用 HDFS 报告和指定路径检查，识别 DataNode 容量倾斜、副本不足与文件损坏，记录 Hadoop 集群的日常健康基线。

优先考虑批量文件导入而非多线程 INSERT，从数据预处理与分片、保留主键延后二级索引、LOAD DATA 或 MySQL Shell 并行导入，到分片校验、后建索引和硬件选型，给出 10 亿行级 InnoDB 导入的落地方案与失败恢复设计。

围绕共同快照、业务键、时区、NULL、金额精度与维表版本建立跨引擎对账，避免用总额相等掩盖重复、遗漏和口径差异。

区分同步维护与异步分区刷新，串联 Doris 视图状态、Job/Task、重写计划和业务分区对账，验证新鲜度与维护成本。

辨别 Pipeline 结构事件、演进策略、类型和路由契约，联查目标 DDL 与后续数据，验证 checkpoint 恢复不能撤销外部结构变化的边界。

从 acks、ISR、幂等重试与事务提交解释 Kafka 交付边界，用有限事件样本区分记录重复、分区顺序和外部业务副作用。

核对 Hive 表类型、分区登记、HMS 持久化与真实目录，区分元数据修复、ACID 维护和数据恢复边界。

核对 Stream Load 结果、Primary Key 与条件更新语义，辨别部分更新和 Merge Commit 的确认边界，防止乱序覆盖与重复推进。

从文件增长来源、元数据与查询成本选择合并或归档方案，在独立候选目录验证语义、性能和发布回退条件。

核对运行与回退镜像摘要，区分保留规则、不可变策略和垃圾回收，以双重预演、独立审批和冷拉取防止误删。

以禅道需求为起点，把 YApi 契约、GitLab 评审与 Confluence 或语雀交接组织成可追溯流程，明确 Mock、版本和权限边界。

将批量初始化中的目标偏差、连接失败、解释器错误和重复变更拆开核验，以单机证据定位问题并保留已完成、部分完成和未执行主机的恢复边界。