大数据运维 · 高级

Doris 集群巡检与导入查询治理

从 FE 元数据、BE 副本、导入事务与查询 Profile 建立 Doris 分层巡检,验证数据可见性、容量余量与小范围调优效果。

Apache Doris大数据监控告警

场景目标

从 FE 元数据、BE 副本、导入事务与查询 Profile 建立 Doris 分层巡检,验证数据可见性、容量余量与小范围调优效果。 所有输出应绑定真实采样窗口和业务样本,交接未关闭问题与下次检查时间。

环境要求

确认版本、MySQL 协议管理入口、只读元数据权限、业务库表、导入 Label、事务 ID 与查询 ID。准备容量趋势、BE 磁盘指标和独立恢复记录;选择一个有数据负责人的小表作为样本,避免高峰开启全量 Profile。

参考架构 · 非实时拓扑

Doris 集群巡检与导入查询治理架构

从 FE 元数据、BE 副本、导入事务与查询 Profile 建立 Doris 分层巡检,验证数据可见性、容量余量与小范围调优效果。

  • 数据 / 请求
  • 控制 / 管理
  • 观测 / 查询

点击组件,在图下方查看职责;连线编号对应流向解读。小屏可横向滚动,或直接展开文字说明。

Doris 集群巡检与导入查询治理架构:组件关系图从 FE 元数据、BE 副本、导入事务与查询 Profile 建立 Doris 分层巡检,验证数据可见性、容量余量与小范围调优效果。 业务与导入客户端 → FE 元数据与协调:请求与事务协调;FE 元数据与协调 → BE 执行与存储:计划与事务调度;BE 执行与存储 → 其他 BE 副本:Tablet 副本关系;FE 元数据与协调 → 巡检证据:角色与事务记录;BE 执行与存储 → 巡检证据:容量与执行证据。箭头说明见下方流向解读。
逻辑参考图,待环境验证。以 Doris 3.x 存算一体集群为主线,记录 FE Master、Follower、Observer 和 BE 故障域。存算分离另含 Meta Service、共享存储和计算组,不可套用本流程的本地副本判断。

业务与导入客户端

入口 / 来源

记录查询、导入批次和业务键,驱动 FE 协调;HTTP 导入数据路径取决于具体方式。

全部组件职责 5 个组件
业务与导入客户端
记录查询、导入批次和业务键,驱动 FE 协调;HTTP 导入数据路径取决于具体方式。
FE 元数据与协调
解析计划、管理元数据和导入事务;Observer 不参加选举。工具介绍 FE 元数据与协调
BE 执行与存储
存算一体模式承载查询、导入和 Tablet;不把本图用于共享存储模式。工具介绍 BE 执行与存储
其他 BE 副本
同 Tablet 副本分布到其他节点,用健康状态和版本而非心跳判断冗余。工具介绍 其他 BE 副本
巡检证据
关联管理状态、算子耗时和业务可见性,给出问题影响范围。
流向解读 5 条连接
  1. 1

    业务与导入客户端 FE 元数据与协调

    数据 / 请求 · 请求与事务协调

    客户端入口与管理协调关系;不是所有导入字节都经 FE 转发。

  2. 2

    FE 元数据与协调 BE 执行与存储

    控制 / 管理 · 计划与事务调度

    FE 向 BE 分配执行任务并协调可见性。

  3. 3

    BE 执行与存储 其他 BE 副本

    数据 / 请求 · Tablet 副本关系

    示意同一数据的跨节点冗余,具体写入路径按导入协议核验。

  4. 4

    FE 元数据与协调 巡检证据

    观测 / 查询 · 角色与事务记录

    保存元数据角色、批次和提交状态。

  5. 5

    BE 执行与存储 巡检证据

    观测 / 查询 · 容量与执行证据

    保存节点水位与有界查询 Profile。

从架构到实施

  1. 01

    核对角色与数据模型

    拓扑、表模型和业务去重规则相符;Follower 与 Observer 的职责已分开记录。

  2. 02

    定位慢查询的首个瓶颈

    至少一条慢查询能落到具体算子和输入分区;平均耗时与尾部实例差异可解释。

  3. 03

    验证故障恢复边界

    恢复来源、时间范围、校验样本与实测耗时可追踪,明确不能恢复的窗口。

故障域与操作边界

适用版本与部署模式

以 Doris 3.x 存算一体集群为主线,记录 FE Master、Follower、Observer 和 BE 故障域。存算分离另含 Meta Service、共享存储和计算组,不可套用本流程的本地副本判断。

数据与变更边界

本场景不包含强制选主、直接删除 Tablet、取消状态不明的事务或生产压测。Observer 不参与选主,增加 Observer 不能修复选举多数派。

架构依据与版本核对 2 篇官方资料

图解是本站基于官方资料整理的逻辑参考;实施前仍需核对实际部署版本、组件支持范围与变更审批。

方案说明

适用架构

以 Doris 3.x 存算一体集群为主线,记录 FE Master、Follower、Observer 和 BE 故障域。存算分离另含 Meta Service、共享存储和计算组,不可套用本流程的本地副本判断。

不适用边界

本场景不包含强制选主、直接删除 Tablet、取消状态不明的事务或生产压测。Observer 不参与选主,增加 Observer 不能修复选举多数派。

全局验收

以实际拓扑、业务样本与持续进度共同验收,记录时间窗口、变更前后证据及恢复缺口。本文是待环境验证的参考流程,预计时间只覆盖首轮诊断与小范围试点,不包括大规模重建或真实生产故障演练。

配套知识

官方参考

工具编排

1 个关联工具
  1. Apache Doris运行状态与诊断来源使用该产品原生状态、日志与计划获取诊断证据,具体方式见各步骤。

实施步骤

共 8 步
  1. 01

    核对角色与数据模型

    记录 FE 角色、版本、连接入口和目标库表,区分 Duplicate、Unique 与 Aggregate 模型。对齐主键、分区、分桶和业务更新语义;先确认存算模式再选巡检指标,不从进程数量推断可容忍故障数。

    SHOW FRONTENDS;
    SHOW CREATE TABLE REPLACE_WITH_DB.REPLACE_WITH_TABLE;
    验证标准

    拓扑、表模型和业务去重规则相符;Follower 与 Observer 的职责已分开记录。

    停止与回退

    角色或模型不明时只保留查询结果,暂停表结构与集群维护。

    返回步骤起点
  2. 02

    巡检 BE 与数据副本

    读取 BE 心跳、版本、退役状态和逐盘水位,关联主机 I/O、磁盘故障与 Tablet 健康。Alive 只证明心跳,不替代副本可读和版本收敛;多个时间点比较异常是否扩大。

    SHOW BACKENDS;
    验证标准

    异常节点、剩余容量和数据影响有对应证据;冗余不足时不进入维护。

    停止与回退

    发现新副本异常时停止后续变更,保持尚健康节点在线,不手工删除数据目录。

    返回步骤起点
  3. 03

    核对导入与事务可见性

    选一个已知导入批次,沿源记录数、Label、事务状态、过滤行和目标可见数据逐项对账。Stream Load 与 Broker Load 的检查入口分别使用配套文章;Routine Load 另按实际版本文档检查;响应丢失或发布超时先查原任务状态,再决定是否重试。

    验证标准

    记录批次标识、事务状态、源与目标业务键样本;解释提交成功到查询可见的时间差。

    停止与回退

    结果不明时暂停同批重投;不更换 Label 绕过幂等,也不把已提交数据当作可随请求回退。

    返回步骤起点
  4. 04

    定位慢查询的首个瓶颈

    保留查询 ID、计划和同一窗口 Profile,分解扫描、过滤、Join、聚合与数据交换。对照分区裁剪、实际行数、统计信息和单实例最大耗时,区分数据倾斜、I/O 和并发等待。

    验证标准

    至少一条慢查询能落到具体算子和输入分区;平均耗时与尾部实例差异可解释。

    停止与回退

    Profile 采集影响服务时降低采样;不直接修改全局内存或并发参数。

    返回步骤起点
  5. 05

    核算容量与合并压力

    把磁盘增长、导入小批次、版本积累和 Compaction 排队放在同一时间轴。按实际保留周期、重复制和临时空间计算余量,区分存算一体本地持久数据与分离架构缓存。

    验证标准

    计划维护或增量导入后仍有可说明的恢复余量;容量预测有采样周期与数据来源。

    停止与回退

    余量不足则暂停扩量和退役;不在未知数据归属时删除历史分区释放空间。

    返回步骤起点
  6. 06

    实施单项试点

    选一个已定位因素,如导入批量、SQL 过滤条件或会话级查询参数,在隔离样本或低风险窗口对比。保存原 SQL、表定义、配置及输入数据版本,同次试点只修改一个因素。

    验证标准

    结果业务键和聚合一致,延迟与资源变化可归因,其他租户未出现新增失败。

    停止与回退

    恶化时恢复本次会话参数或 SQL;已写入数据需按业务去重与修复方案处理。

    返回步骤起点
  7. 07

    验证故障恢复边界

    使用已验证备份恢复到隔离目标,对照目标时点、表定义、数据样本和权限。将 FE 元数据可用、BE 冗余与独立备份分别验收,隔离验证完成前不切生产入口。

    验证标准

    恢复来源、时间范围、校验样本与实测耗时可追踪,明确不能恢复的窗口。

    停止与回退

    隔离结果失败则保持生产路由,保留恢复日志和备份,不以副本数代替恢复证据。

    返回步骤起点
  8. 08

    交接持续观察项

    重复同范围角色、导入和查询检查,覆盖一次代表性业务高峰。记录待收敛副本、Compaction、延迟异常及责任人,给出下次采样时间和重新打开事件的条件。

    验证标准

    采样时间、库表、批次与查询 ID 串联完整;短时通过与长期待观察项分开。

    停止与回退

    关键读写或冗余验收未通过时冻结后续维护,按具体失败点处理最近单项变化。

    返回步骤起点

DOUYA OPS ECOSYSTEM

体验豆芽自研工具与场景能力

部分场景提供体验环境,用于功能验证、测试和技术交流。