Hive 分区治理与 SQL 执行运维

固定 HiveServer2 会话、HMS 服务、表类型与 SQL 修订。以下针对 dt 字符串分区的一张已知表，先解释定义，再考虑任何修复。

SHOW CREATE TABLE REPLACE_WITH_DB.REPLACE_WITH_TABLE;
SHOW PARTITIONS REPLACE_WITH_DB.REPLACE_WITH_TABLE
PARTITION (dt='2026-01-01') LIMIT 10;

查看一个完整分区的 Location、InputFormat 与 SerDe，再按路径核对既有入库清单。登记存在不证明文件可读；多级分区应补全所有键。

DESCRIBE FORMATTED REPLACE_WITH_DB.REPLACE_WITH_TABLE
PARTITION (dt='2026-01-01');

对齐会话错误、HMS 请求延迟、后端数据库连接和 schema 版本记录。区分查询超时、数据库资源压力和 schema 不兼容；禁止直接更改 HMS 底层业务元数据。

读取有效引擎与当前会话配置，对固定关闭分区生成普通计划。EXPLAIN ANALYZE 涉及实际执行统计，不作为只读规划替代。

SET hive.execution.engine;
SET hive.cbo.enable;
EXPLAIN SELECT customer_id, SUM(amount)
FROM REPLACE_WITH_DB.REPLACE_WITH_TABLE
WHERE dt='2026-01-01' GROUP BY customer_id;

比较输入分区、列裁剪、统计窗口、Join 大小和最慢 Task 的 Shuffle、spill、GC。LIMIT 只限制返回行数，不能替代已知输入范围；统计返回值也不等同真实文件读取。

普通非事务表的登记修复先固定目录清单与发布窗口，在隔离对象验证后再评审最小分区变更。SQL 优化使用独立输出表；ACID compaction 走表格式支持流程。

对相同关闭分区核对可见记录、重复键、NULL、业务时间与金额汇总，并确认计划没有仅依靠旧统计。检查下游读取和权限，保存发布前后证据。

分别清点 HMS 定义备份、业务文件副本与权限配置；记录分区增长、统计更新、小文件来源和查询基线。保留恢复输入窗口、责任人与下次复查时间。