容器日志:快速开始与数据契约

确定容器日志试点、字段与脱敏要求,核对集群身份、缓冲预算和完整性验收方法。

Kubernetes日志管理

方案定位与交付边界

本页是本次编写的 Kubernetes 日志集成方案,不是已经部署的日志平台。没有独立自研仓库、安装包或发布制品,目标环境的部署与故障演练尚未完成。建议链路为容器日志、Fluent Bit、Elasticsearch、Kibana;具体安装物与候选清单由实施方准备。先阅读本页,再进入部署配置

确定日志范围与契约

先选择获准的测试命名空间与少量节点,仅纳入应用标准输出和标准错误。审计日志、节点 journal、应用私有文件需要独立接入设计。为每个服务登记负责人、轮转方式、峰值日志量及源端保留时长;用脱敏样例确定事件时间、时区、集群、命名空间、Pod、容器和唯一事件标识,区分事件时间与采集时间。日志路径和轮转职责参见 Kubernetes 日志架构

集群前提与只读调查

记录 Kubernetes、运行时与后端组件的实际版本,核对节点池差异、准入策略、网络和时间同步。下列命令只检查已授权的集群状态;所有占位符必须替换并复核,避免读取错误集群。无需为了盘点索取 cluster-admin。

kubectl config current-context
kubectl --context='<CONTEXT>' get nodes -o wide
kubectl --context='<CONTEXT>' -n '<PILOT_NAMESPACE>' get pods -o wide

调查只保存资产与状态信息。日志正文可能包含个人数据或凭据,应先获准再抽样,脱敏后才进入实施记录。

凭据与查询隔离

采集器使用独立 ServiceAccount,只获准必要元数据读取权限;日志目录只读,位点和缓冲目录单独可写。后端写入身份与检索身份分离,TLS 证书按可信链验证。密钥由 Secret 或现有密钥服务注入,禁止写入 ConfigMap、镜像和截图。不同租户的隔离必须在后端授权层验证,Kibana 的保存查询过滤不能代替权限控制。

容量与数据损失假设

以峰值每秒字节数乘允许后端中断秒数估算缓冲下限,再增加编码开销与安全余量;后端按实测索引膨胀、副本和保留期另算。记录节点剩余空间及停止阈值,源端轮转期也应覆盖计划恢复窗口。有界缓冲不是零丢失保证,队列满可能淘汰旧数据,参见 Fluent Bit 缓冲说明

待执行验收清单

准备带唯一事件标识的脱敏测试流,分别验证正常写入、多行、Pod 重建、轮转和短时后端中断。记录输入数量、检索数量、重复数、缺失范围及延迟,而非只截图“能搜到一条”。测试还须覆盖错误身份访问被拒、敏感字段已处理和缓冲排空。验收阈值由实施方事先约定,本页不宣称已达到任何结果。

停机与回退边界

采集器部署通常不要求应用停机,但节点资源压力或输出切换可能形成日志缺口,必须安排窗口并保留旧链路。出现非试点采集、越权数据或磁盘超阈值时停止推广,恢复最近配置并保留位点及未发送数据;不要清空状态目录强制重采。详见Kubernetes 日志采集场景集中日志设计

DOUYA OPS ECOSYSTEM

完善文档,帮助更多运维人

把安装、配置、API 与运维方法沉淀为清晰文档,让工具和项目更容易被正确使用。