开源工具 · 大数据运维
Apache Iceberg
理解 Iceberg 快照引用链与 Spark 提交，核对写入幂等、小文件维护、历史保留和清理恢复边界。
Overview
定位与架构
采用 Iceberg 1.8.1、Spark 3.5 和 format v2 表。运行时包、Scala 二进制版本、SQL 扩展与 catalog 必须匹配；catalog 的原子提交和权限实现按实际插件核对。
运维重点
准备匹配的 Iceberg Spark 运行时、已配置 catalog 和 SQL 扩展；记录表身份、format-version、当前 snapshot 与存储前缀。所有修改及 orphan 预览仅使用独立测试表：最多一千行、二十个数据文件、二十个快照，目录不与生产共享。
使用边界
不直接编辑 metadata、manifest 或删除被引用文件；快照不是独立备份，任务超时不代表未提交。生产清理、快照回滚和新写入后的恢复需单独确定范围，本文不执行这些操作。
本站按 L1 资料收录，未提供在线体验；文档与参考图未经过真实环境验证。