Zer0e's Blog

2026面试复盘4

字数统计: 16.1k阅读时长: 56 min
2026/10/24 Share

前言

2026-10-14 这场面试,岗位偏 SRE / 云平台运维 / 架构方向。前半段围绕职业转型和架构师视角,中段深挖监控告警、Redis 和故障应急,后半段几乎全在聊 AI 根因诊断 Agent。

这场暴露的问题很典型:

  • 回答太抽象:面试官连续追问“什么功能”“具体是什么”,我一直在讲“使用姿势”“架构评审”,没有及时落到一个具体系统、具体链路上。
  • 项目与简历对不上:聊到一个客户客服 Agent 项目时,面试官直接问“简历上没写”,角色和边界没有提前讲清楚。
  • 深度不够稳:Redis 部署架构、RT 分位值、告警分级这些日常都在用,但被追问“为什么”时,回答还是偏经验化。

问题大致分四块:职业规划与角色认知、监控与告警体系、故障与应急、AI 运维诊断 Agent。

复盘

一、职业规划与角色认知

Q1. 自我介绍,跳过

Q2. 你为什么从开发转到 SRE / 架构方向?

推荐回答:

主要有三个原因。

第一是兴趣和能力的变化。做开发时我更关注单个系统、单个功能;但我发现自己更享受排障、容量规划、架构评审这种“对系统整体负责”的工作。

第二是行业判断。我从 2021 年左右就开始用 AI 辅助开发,能明显感受到 AI coding 对“写代码”这件事的冲击。未来稀缺的不是把功能写出来,而是定义问题、设计系统、做取舍、兜底风险,这些更偏架构和稳定性。

第三是机会。公有云 SRE 能接触大量不同客户的架构和真实故障,这种密度在单一业务研发里很难获得,所以我就转过来了。

注意点:

  • 不要贬低开发,说“开发没前途”会减分。
  • 强调能力迁移:开发背景让你更懂应用、中间件和代码层面的问题。
  • 职业规划要具体:架构师 / SRE,而不是“什么都想试试”。

Q3. 开发、架构师、SRE 有什么不同?

推荐回答:

我理解差异主要在视角、时间尺度和产出。

维度 开发 架构师 SRE
视角 单个系统/功能 端到端全局 端到端 + 稳定性纵深
目标 功能交付 架构合理、可演进 可用性、性能、成本、效率
时间尺度 一个迭代 半年到几年 7×24,故障时按分钟算
产出 代码、服务 架构方案、技术决策 SLO、监控、预案、演练、复盘
深度/广度 单点深度 广度更大 稳定性和应急纵深更深

但本质上技术和判断是相通的。开发如果只盯着自己的系统,很容易忽略上下游、部署架构和用户侧体验;架构师和 SRE 的价值,是能从用户入口一路看到基础设施,提前发现单点、容量和依赖风险。

我不觉得架构师一定比开发“高”,只是分工不同。架构师广度更大,SRE 对故障和稳定性的纵深更深,好的开发也可以有全局视角。

注意点:

  • 不要背定义,用“视角/目标/产出”三个维度对比。
  • 承认“开发也可以有全局视角”,避免显得傲慢。

Q4. 架构师 / SRE 审视一个系统时,会看哪些方面?

推荐回答:

我会按流量路径和系统分层来过一遍,重点看“单点、容量、依赖、变更、可观测、应急”六件事。

层次 重点看什么
入口层 DNS/GSLB、CDN、WAF、LB 是否有单点;多线、多地域、切流能力
接入层 网关限流、鉴权、超时、重试、熔断;长连接和连接池
应用层 无状态、水平扩展、健康检查、优雅上下线、灰度/回滚
中间件 Redis/Kafka/MySQL 的部署形态、容量水位、高可用、慢查询、大 key/热 key
数据层 主从/分片、备份恢复、RPO/RTO、一致性、数据迁移
基础设施 多可用区、节点池、资源超卖、弹性伸缩、故障域隔离
可观测 Metrics/Logging/Tracing 三件套、SLO、告警分级、值班
应急 预案、演练、切流/扩容/限流/降级三板斧、复盘闭环

如果是大模型系统,还要额外看:模型厂商依赖、配额和限流、结构化输出兜底、模型降级、Token 成本、内容安全。

核心不是把每一层都讲一遍,而是能指出“这里如果挂了,业务会怎样;有没有兜底;怎么验证”。

注意点:

  • 面试官问“会关注哪些”,其实在考你有没有体系,不是让你背组件。
  • 最好带一个具体例子,比如“Redis 单点”“DNS 单点”“模型厂商单点”。

Q5. 你说“功能设计不完善”,具体指什么?请举一个真实例子

这题是整场面试的转折点。面试官连续追问了四五次“什么功能”“具体是什么”,我一直在讲抽象原则,没有落到具体系统,导致对方明显不耐烦。

推荐回答:

我举一个电商客服 Agent 的例子。

背景:客户做一个电商客服系统,想把大模型接进来,从历史对话里提取用户当前意图和下一步行为,比如“用户想退货”“用户在比价”“用户要改地址”,然后把结果以结构化 JSON 返回给下游工单/推荐系统。

问题:原设计强依赖大模型按指定 JSON Schema 输出,下游直接解析字段。实际跑下来有几个风险:

  1. 约束解码只能保证 JSON 语法合法,不能保证字段语义正确,比如 intent 给了个不在枚举里的值,或者该填的字段缺失。
  2. JSON Schema 太复杂时,推理引擎编译语法、生成 token mask 会变慢,极端情况下还会触发 xgrammar 的边界 bug,输出非预期内容。
  3. 下游没有校验和降级,解析失败就直接报错,一个模型输出的长尾问题会变成业务可用性问题。
  4. 模型版本、prompt、schema 任一变更,都可能让历史 case 回归。

我的建议:

  • 把 Schema 拆小、拆稳定,避免深层嵌套和复杂正则。
  • 输出后做一层 JSON Schema 校验 + 字段级修复,失败重试或降级到规则抽取。
  • 下游不要直接信任模型输出,加默认值和兜底分支。
  • 把解析失败率、字段缺失率、重试率做成监控指标,灰度发布。
  • 对高风险动作(退款、改地址)不让模型直接执行,只做建议,人工或规则确认。

所以我说“功能设计不完善”,指的不是模型效果不好,而是把不确定性直接透传给了下游,缺少工程兜底。

注意点:

  • 先讲背景,再讲问题,再讲建议,最后回扣“为什么不完善”。
  • 不要一上来讲 xgrammar 源码,面试官要先听到业务场景。
  • 如果一时想不起项目细节,换一个自己真正做过的案例,不要硬编。

Q6. 为什么不能强依赖大模型的 JSON Schema 输出?xgrammar 这类约束解码有什么坑?

推荐回答:

先明确一点:JSON Schema / 约束解码解决的是“格式合法”,不是“内容正确”。

约束解码的原理是在每一步生成时,用语法自动机算出合法 token 的集合,把不合法 token 的 logits 屏蔽掉。它能保证输出符合语法,但保证不了:

  • 字段值是否在业务允许的枚举里;
  • 数值是否在合理范围;
  • 多字段之间是否满足业务约束;
  • 模型是否“理解”了输入,还是只是凑了一个合法 JSON。

xgrammar 这类实现还有几个工程坑:

坑 说明
Schema 太复杂 深层嵌套、复杂正则、递归引用会放大编译和匹配开销,部分特性支持不完整
编译缓存 动态 Schema 会导致反复编译;缓存 key 设计不好会内存持续增长,或者命中率很低
版本差异 不同推理引擎/不同 xgrammar 版本对同一 Schema 的行为可能不一致,升级要回归
过度约束 强 mask 会改变模型原始分布,约束太死时生成质量反而下降
长尾输入 模型可能输出合法但语义错误的结果,或者重复字段、空字段
性能开销 复杂语法下的 token mask 计算会增加首 token 和每 token 延迟

工程上的做法是分层:

  1. 约束解码保证语法;
  2. JSON Schema 校验保证结构;
  3. 业务规则校验保证语义;
  4. 失败后重试/修复/降级;
  5. 全链路埋点,监控解析失败率和字段异常率。

一句话:Schema 是护栏,不是正确性证明。下游必须假设模型会出错。

注意点:

  • 这题能体现深度,但不要把所有问题都归给 xgrammar,先讲通用原理。
  • 如果面试官继续追问源码,再展开“语法编译、token mask、缓存”这些细节。

Q7. 这件事和稳定性有什么关系?横向稳定性团队会深入到业务场景里吗?

推荐回答:

有关系。稳定性不只是 K8s、主机和中间件,业务架构里的强依赖、同步调用、重试风暴、第三方依赖、结构化输出解析失败,最后都会体现在可用率和错误率上。

我们作为横向稳定性团队,价值不是替业务团队做业务,而是做“第二双眼睛”:

  • 用稳定性视角做架构评审,输出风险清单,比如单点、容量、依赖、降级、可观测性;
  • 把历史故障沉淀成检查项和预案,推动业务团队落地;
  • 在重保、大促、迁移这些关键节点做容量评估和演练;
  • 出故障时提供逃逸方案和复盘输入。

但边界要清楚:业务功能是否合理,业务团队是 owner;我们负责指出“这样设计在稳定性上会有什么风险”,以及“怎么验证”。我不会替客户做业务决策,也不会把评审说成是我从 0 到 1 建设的系统。

注意点:

  • 这题其实在质疑“你是不是管得太宽/经历不实”,回答要既体现价值,又划清边界。
  • 不要把所有功劳揽到自己身上。

Q8. 这个项目简历上没写,你在里面到底是什么角色?

面试官原话大意是“简历上没有写”。这种追问通常不是刁难,而是在确认经历真实性和你的贡献边界。

推荐回答:

这个项目没有单独写在简历上,因为它是我在稳定性团队做架构评审时接触的一个客户案例,不是我主导从 0 到 1 建设的系统。

我的角色是稳定性架构评审:

  • 参与客户的客服 Agent 方案评审,重点看大模型调用链路、结构化输出、降级和可观测性;
  • 指出强依赖 JSON Schema 输出的风险,给出校验、重试、降级和监控建议;
  • 跟客户和内部产研对齐改进项,但具体业务代码由客户/业务团队实现。

我能讲清楚的是:我看到了什么问题、为什么这么判断、建议怎么改、最后哪些落地了。如果面试官想听我主导的项目,我可以展开讲 CI/CD 平台或监控告警体系建设。

注意点:

  • 第一时间承认“没写”和“不是我主导”,可信度反而更高。
  • 用 STAR 讲清楚边界:背景、任务、我的动作、结果。
  • 不要硬把评审说成建设,面试官一追问细节就会穿帮。
  • 面试前把简历上的项目各准备一个 3 分钟版本和一个 10 分钟深挖版本。

二、监控与告警体系

Q9. 你做过哪些稳定性体系的工作?

推荐回答:

我做过的主要是四块:

体系 关键动作 产出
监控告警 分层监控、指标治理、告警分级、收敛抑制、值班升级 统一监控入口、告警规范、MTTA/MTTR 下降
故障应急 故障分级、应急拉群、角色分工、时间线、复盘闭环 故障 SOP、应急预案、改进项跟踪
变更管控 发布审批、灰度、回滚、变更窗口、变更关联 变更平台、变更成功率/回滚率指标
容灾演练 同城/异地切换、故障注入、预案验证 演练报告、RTO/RPO 基线、预案修订

另外还做过重保、容量规划、集群运维管控,以及最近的 AI 根因诊断 Agent。

我的体会是:稳定性体系不是堆工具,而是监控发现 → 告警触达 → 应急止血 → 复盘改进这条闭环。每一环都要有 owner、有指标、有演练。

Q10. 监控体系怎么分层建设?

推荐回答:

我会分五层,核心是“能从业务现象逐层下钻到根因”。

层次 监控什么 典型指标
业务监控 业务结果和核心链路 下单量、支付成功率、GMV、转化率、核心接口成功率
应用监控 服务自身健康和依赖 RED:Rate、Errors、Duration;线程池、连接池、GC
中间件/云产品 Redis、Kafka、MySQL、MQ 等 QPS、RT、连接数、慢查询、水位、复制延迟
基础设施 主机、K8s、网络、存储 CPU、内存、磁盘、网络、Pod 状态、节点压力
端侧/体验 用户真实体验 拨测、RUM、CDN 命中率、首屏/接口耗时

建设时重点抓三件事:

  1. 统一标签:service、env、region、instance、version,保证能聚合和下钻。
  2. 统一入口:Prometheus/云监控采集,Grafana 展示,Alertmanager 统一告警。
  3. 统一规范:每个核心服务必须有黄金指标、SLO、看板和告警责任人。

监控分层不是为了好看,而是为了排障时能回答三个问题:业务有没有问题、是哪个服务的问题、是服务自身还是依赖的问题。

Q11. 告警怎么分级、通知和升级?

推荐回答:

我会从“影响面 × 严重度 × 持续时间”三个维度分级,而不是只看单个指标。

级别 典型场景 通知方式 响应要求
P0/重大 核心链路大面积不可用、资金损失、数据风险 电话 + 短信 + 群 + 管理层 立即拉起应急,5 分钟响应
P1/严重 核心接口可用率明显下降、多个客户受影响 电话 + 短信 + 群 10 分钟内响应
P2/一般 非核心功能异常、单客户受影响 群 + 工单 30 分钟内处理
P3/风险 指标轻微抖动、趋势异常、资源水位预警 机器人/邮件 工作时间处理

升级机制:

  • 告警产生后自动拉群,带上服务 owner、SRE、值班人;
  • 超过 N 分钟未响应,自动升级到 backup/leader;
  • 超过 N 分钟未恢复,升级故障等级;
  • 值班采用轮班,告警必须有人认领,不能“群里刷过去”。

以业务告警为例,下单成功率下降 5% 可能只是风险提醒;下降 20% 且持续几分钟,就要升级;下降 50% 或核心地域大面积失败,直接按重大故障处理。具体阈值要结合业务基线,不能照搬。

注意点:

  • 分级不是目的,可执行才是。级别太多、通知太泛,最后大家都会麻木。
  • 一定要讲“未响应升级”和“告警认领”,这是值班体系的关键。

Q12. 告警风暴怎么抑制和收敛?

推荐回答:

告警风暴的根因通常是“一个底层故障触发了大量上层告警”。处理思路是先收敛,再定位。

手段 做法
依赖拓扑抑制 Redis 挂了,抑制依赖它的应用告警,只保留根因告警
时间窗口聚合 同一服务/同一指标在窗口内合并成一条,带触发次数
告警去重 相同指纹(服务+指标+实例+错误码)只保留一条
分级降噪 低级别只进群/工单,不打电话
静默 变更窗口、演练期间对已知告警静默,但要有到期时间
分组路由 按服务/团队/地域路由到不同值班人,避免全量广播
根因告警 对核心依赖单独设根因指标,比如 Redis 主从切换、DNS 解析失败

关键原则:告警要可执行。一条告警如果没人知道该做什么,它就不应该存在。定期看告警的误报率、漏报率、MTTA、MTTR,持续治理。

Q13. Redis 重点应该监控哪些指标?

推荐回答:

我会分五类看:

类别 指标 关注点
可用性/连接 connected_clients、blocked_clients、rejected_connections 连接数是否打满、是否有拒绝
性能 QPS、RT P95/P99、slowlog、命令耗时 长尾延迟、慢命令、热点 key
资源 CPU、used_memory、maxmemory、碎片率、evicted_keys 内存水位、是否触发淘汰
持久化/复制 RDB/AOF 状态、fork 耗时、主从 offset 延迟 持久化失败、复制延迟
集群/代理 cluster_state、slot 覆盖、failover 次数、proxy 连接数/QPS 集群健康、代理层瓶颈

另外要单独治理大 key 和热 key:大 key 会阻塞主线程、拖高 RT;热 key 会把单个分片打满。监控上可以看慢日志、命令分布、分片 QPS 倾斜。

如果只能留三个告警,我会留:RT P99 突增、内存/CPU 水位、主从/集群异常。

Q14. RT 看平均还是 P95/P99?为什么?

推荐回答:

以 P95/P99 为主,平均值只作为趋势参考。

原因很简单:平均值会掩盖长尾。比如 100 个请求,99 个 10ms,1 个 10s,平均 RT 只有 110ms,看起来很正常,但 P99 是 10s,那 1% 的用户体验已经崩了。线上故障往往是长尾先出问题,平均值反应太迟钝。

我的做法:

  • SLO 用 P95/P99,比如“核心接口 P99 < 200ms”;
  • 告警用 P99 + 错误率 + 流量一起看,避免单指标误判;
  • 平均 RT 用来看趋势,比如整体是否缓慢劣化;
  • 同时看 Max RT 和慢请求分布,定位极端 case;
  • 分维度看:接口、实例、命令、下游依赖,不然全局 P99 会把问题平均掉。

另外,RT 是结果指标,看到 P99 升高还要下钻:是 Redis 慢命令、网络重传、CPU 打满、连接池排队,还是下游拖累。

注意点:

  • 平均值不是没用,而是不能单独用于告警和 SLO。
  • 分位值要有足够的样本量,低 QPS 接口看 P99 可能只有几条数据,容易误报。

Q15. 自建 Redis 生产环境怎么部署?云上高可用 Redis 是什么架构?

推荐回答:

自建的话,生产环境至少是主从 + Sentinel,单机只能用于测试。

  • 主从:一主多从,从库做读扩展和故障备份;
  • Sentinel:至少 3 个(quorum 2),推荐 5 个(quorum 3),负责监控、选主和通知客户端;
  • 持久化:RDB + AOF 按业务选择,重要数据要定期备份和恢复演练;
  • 客户端:支持 Sentinel 地址发现,配置超时、重试和降级;
  • 运维:监控 RT、内存、连接数、主从延迟,定期做故障切换演练。

云上高可用版一般是管控面 + 数据面:

  • 数据面:主节点 + 备节点,可能再加只读节点;
  • 代理层:集群版会有 proxy,客户端连 proxy,由 proxy 做路由;
  • 管控面:定时探测节点健康,异常时自动摘除、主备切换,并更新路由;
  • 多可用区:主备跨可用区部署,降低单机房故障影响;
  • 备份恢复:自动备份、按时间点恢复。

如果是集群版,还会按 slot 分片,每个分片一主多从,proxy 负责路由和聚合。具体内部实现我不一定完全清楚,但设计目标是一样的:故障检测、自动切换、客户端透明、数据不丢或尽量少丢。

注意点:

  • 面试中被问“云上内部怎么实现”时,坦白边界:“内部细节我没深入看,但从通用架构看是 proxy + 分片 + 副本 + 管控面切换。”
  • 不要编造内部组件名。

三、故障与应急

Q16. 服务可用率下跌一般有哪些原因?“变更没切流”具体怎么导致故障?

推荐回答:

常见原因可以分五类:

类别 典型原因
变更 发布、配置、缩容、路由/证书变更、数据库变更
容量 突增流量、资源不足、连接池打满、队列积压
依赖 Redis/MySQL/MQ/第三方服务故障、DNS 异常
代码/数据 慢查询、死锁、内存泄漏、脏数据、缓存击穿
环境 网络抖动、丢包、机房/可用区故障、攻击

“变更没切流”通常指新版本已经发布,但流量没有按预期从旧实例摘除,或者新旧版本同时承载流量导致兼容性问题。典型表现:

  • 旧实例还在接流量,但新版本已经改了接口/数据结构;
  • 优雅下线没做好,Pod 被删时仍有请求进来;
  • 灰度规则配置错误,流量全量打到新版本;
  • 数据库 schema 变更不兼容,旧代码读到新数据报错。

所以变更要做三件事:可灰度、可监控、可回滚。发布时按比例切流,观察错误率和 RT,再逐步放量;下线时先摘流量、等连接排空、再停进程。

Q17. 可用率跌 10% 重不重要?下跌多少算故障?怎么定级?

推荐回答:

不能只看百分比,要看基线、影响面、持续时间和业务价值。

  • 核心支付链路跌 1%,可能比边缘推荐服务跌 50% 更严重;
  • 跌 10% 但只持续 30 秒、自动恢复,和跌 10% 持续 30 分钟,定级完全不同;
  • 影响 1 个客户和影响 100 个客户,也不是一个量级;
  • 还要看是否触及 SLO / 错误预算,错误预算消耗速度是很好的定级依据。

定级一般用“影响面 × 严重度 × 时长”的矩阵。举个例子:核心产品某地域可用率下跌 5% 以内,可以先按风险事件处理,拉起排查但不起故障;超过 5% 且持续一定时间,再升级为故障。具体阈值因业务而异。

对中小团队,我不建议照搬大厂的分级。大厂有专职应急和值班人力,小团队级别太多反而执行不下去。可以先分三级:风险、故障、重大故障,先把“谁响应、多久响应、怎么升级”跑通,再逐步细化。

注意点:

  • 面试官追问“10% 重不重要”,其实在看你有没有业务判断,不要只回答“看情况”。
  • 给出一个可执行的矩阵,比背大厂案例更加分。

Q18. 告警、风险事件、故障怎么区分?所有告警都要起事件吗?

推荐回答:

我理解三者是层层收敛的关系:

  • 告警:一个监控信号,比如 RT 升高、错误率上涨;
  • 事件:把相关告警聚合起来,进入统一处理流程,有人认领;
  • 风险事件:可能影响业务,但尚未造成客户影响,或已经自动恢复;
  • 故障:已经造成客户可见影响,需要按故障流程应急、通报和复盘。

不是所有告警都要起故障,但核心告警应该进入统一事件流。有些团队会把初始告警叫 F0,先拉起排查,再根据影响升级为风险事件或故障。比如主备切换,业务无损,可以起风险事件,不升级为故障,但仍然要查清“为什么切”,因为下一次可能就没这么幸运。

区分的关键是客户是否受影响。内部告警、云产品告警、测试环境告警要单独路由,不能和客户侧故障混在一起,否则值班会被噪声淹没。

Q19. 云上 DNS 故障,怎么帮客户做逃逸?

推荐回答:

先分故障类型:权威 DNS 故障、LocalDNS 故障、运营商劫持/污染、DDoS 攻击、配置错误。不同类型逃逸手段不同。

短期止血:

  • 切换备用 DNS 服务商或公共 DNS;
  • 客户端预置备用域名/IP,支持多线路重试;
  • 移动端接入 HTTPDNS,绕过 LocalDNS 劫持;
  • 调整 TTL:平时用较短 TTL 便于切换,但也不能太短导致解析压力过大;
  • 对核心域名做多线 BGP、多地域权威 DNS。

中长期改造:

  • 不要单点依赖一家 DNS;
  • 端侧使用 HTTPDNS / DoH / DoT,减少运营商劫持;
  • 建立域名拨测和解析监控,按地域/运营商看解析结果;
  • 把 DNS 切换写进预案并定期演练。

切 114 只是临时手段,能解决一部分 LocalDNS 问题,但解决不了权威 DNS 故障和 HTTPDNS 场景,不能当成长期方案。

Q20. 地域级故障,客户侧怎么逃逸?预案怎么验证有效?

推荐回答:

地域级故障能不能逃逸,主要取决于客户自己的高可用架构:

  • 同城双活:两个可用区同时承载流量,单区故障切到另一区;
  • 异地多活:多地域单元化部署,按用户/流量维度切流;
  • 多云/混合云:一家云故障切到另一家,但数据同步和网络打通是难点;
  • 数据层:主从/多活复制,明确 RPO/RTO;异步复制会有数据丢失窗口;
  • 流量调度:DNS/GSLB/Anycast,按地域、权重、健康检查切流。

如果客户没做这些,云厂商单方面很难帮他“逃逸”,只能做降级、只读、排队、限流,尽量保住核心链路。

预案验证不能只看文档,要做:

  1. 桌面演练:角色、决策人、切换步骤、回滚条件;
  2. 故障注入:模拟可用区/实例/中间件故障;
  3. 真实切流演练:在低峰期切一部分流量,验证 DNS、数据同步、连接池、会话;
  4. 二次确认:切换后看业务指标、错误率、RT、数据一致性;
  5. 复盘修订:把演练中发现的问题写回预案。

预案的价值不是“写得多漂亮”,而是真出事时有人敢按、按了有效。

Q21. 怎么复刻客户环境做验证和交付?

推荐回答:

先明确目标:是复现故障、验证预案,还是做压测/迁移验证。目标不同,环境精度要求不同。

我会按这几步:

  1. 资源清单:VPC、子网、安全组、LB、容器集群、网关、中间件、数据库、对象存储;
  2. IaC 化:能用 Terraform/ROS/CloudFormation 就不要手工点,保证可重复;
  3. 镜像与配置:镜像推到客户/内部镜像仓库,配置脱敏后版本化;
  4. 数据准备:用脱敏数据或合成数据,注意不要把人生产数据带到测试环境;
  5. 流量验证:拨测、压测、流量回放,观察 RT、错误率、容量水位;
  6. 清理与回收:演练结束及时释放资源,避免成本泄漏。

如果客户环境没有 CI/CD,也可以手工拉起,但一定要记录步骤,形成可复用的交付脚本/SOP。复刻的目标不是 100% 一样,而是关键链路和故障域一致。

Q22. 日常排障流程是怎样的?中间件告警和业务告警同时出现,怎么判断因果?

推荐回答:

我的排障顺序是:确认影响面 → 判断告警有效性 → 分层定位 → 止血 → 根因 → 复盘。

  1. 看业务黄金指标:可用率、错误率、RT、流量,确认是不是真故障;
  2. 看告警是否有效,排除抖动、探针误报、监控采集异常;
  3. 按入口 → 应用 → 中间件 → 数据库 → 基础设施逐层下钻;
  4. 用 TraceID 串日志和调用链,定位到具体服务和依赖;
  5. 关联最近变更:发布、配置、扩缩容、证书、网络;
  6. 先止血:回滚、切流、扩容、限流、降级;
  7. 恢复后做根因分析和复盘。

中间件告警和业务告警同时出现时,不能只看时间先后,要判断谁因谁果:

  • 看中间件自身健康:RT、CPU、连接数、慢查询、大 key、主从状态;
  • 看业务侧请求特征:QPS 是否突增、是否有大 key/批量命令、连接池是否打满;
  • 看依赖拓扑:业务是否强依赖这个中间件,是否还有其他依赖同时异常;
  • 看变更:中间件参数、业务发布、数据量变化;
  • 必要时做隔离验证:限流/降级一部分流量,看中间件是否恢复。

比如 Redis RT 升高 + 业务错误率升高,可能是 Redis 故障导致业务失败,也可能是业务突发大 key 把 Redis 打爆。要看 Redis 慢日志和命令分布,不能拍脑袋。

四、AI 运维诊断 Agent

Q23. RCA Agent 整体怎么落地?数据怎么接?

推荐回答:

我先把目标说清楚:RCA Agent 不是“让大模型猜根因”,而是把排障专家的证据收集、假设验证、结论输出这个过程自动化。模型只是其中一环,决定效果上限的是数据和工具。

整体我会拆成五层:

层次 职责 关键设计
触发层 告警、工单、人工提问、定时巡检 统一输入协议,带服务、环境、地域、时间窗、TraceID、错误码
数据层 Metrics、Logging、Tracing、CMDB、变更、知识库、历史故障 统一 ID 和时间对齐,解决“数据孤岛”
工具层 把 Prometheus、Loki、Jaeger、K8s、变更系统封装成工具 MCP/HTTP、只读优先、超时、分页、截断、限流
编排层 规划、调用工具、维护假设、验证、汇总 ReAct 或 LangGraph 状态机,限制最大步数和 Token
输出层 根因候选、证据链、置信度、处置建议 每条结论必须带证据,人工确认入口

一次典型的诊断流程:

1
2
3
4
5
6
7
8
告警进入
→ 解析告警:服务、指标、时间窗、TraceID、错误码
→ 规则初筛:已知错误码/已知变更/已知容量问题
→ 并行拉证据:指标、日志、Trace、变更、依赖拓扑
→ LLM 生成 3~5 个候选根因
→ 逐个假设调用工具验证
→ 输出排序后的根因 + 证据 + 缺失信息 + 下一步建议
→ 人工确认,结果回流

数据接入的关键不是“接得多”,而是能对齐:

  • 统一服务名、环境、地域、实例、TraceID、变更单号;
  • 指标、日志、Trace 用同一个时间窗,避免“拿错时间段的日志”;
  • CMDB/拓扑提供依赖关系,否则 Agent 只能看到单点;
  • 变更系统非常关键,很多故障的根因就是一次发布、配置或扩缩容;
  • 历史故障和工单提供“类似 case”,比让模型从零推理可靠得多。

部署可以分两阶段:

  • MVP:Cloud SDK / CLI 起一个 Agent Loop,工具先用脚本/HTTP 包一层,验证诊断链路是否跑得通;
  • 生产:LangGraph/自研状态机 + MCP 工具服务 + 队列 + 权限 + 审计 + 评估集,把 Agent 当成一个正式服务来运维。

生产上我会重点盯四个指标:诊断采纳率、人工推翻率、单次成本、端到端耗时。如果 Agent 自己不可观测,就没法判断它到底有没有价值。

Q24. 诊断逻辑怎么做?专家经验、知识库、数据飞轮怎么结合?

推荐回答:

我会把诊断能力拆成“规则、知识、推理、反馈”四部分,而不是把所有东西都塞进 prompt。

类型 内容 载体
规则 已知错误码、已知故障模式、阈值判断 代码/规则引擎
稳定知识 部署架构、依赖拓扑、SOP、排障手册 skill/工具/结构化配置
易变知识 变更记录、故障案例、工单、产品文档 知识库/RAG
反馈数据 人工确认结果、误判案例、实际修复动作 评估集/数据飞轮

诊断逻辑我一般按“先收敛、再假设、后验证”:

  1. 归一化:把告警转成统一的问题描述,明确服务、时间窗、影响面、异常指标;
  2. 规则初筛:能直接命中的先命中,比如错误码字典、已知变更、明显的容量问题;
  3. 假设生成:让 LLM 基于证据生成 3~5 个候选根因,而不是直接给一个结论;
  4. 证据验证:每个候选根因对应一组验证动作,调用工具确认或排除;
  5. 置信度排序:输出 Top-N,带证据、反证和缺失信息;
  6. 人工确认:值班人采纳或修正;
  7. 回流沉淀:把“告警 + 证据 + 结论 + 人工修正”存成 case。

不同类型的问题,证据清单不一样:

现象 优先看什么
错误率上升 发布/配置变更、依赖状态、证书/域名、下游错误码
RT 上升 CPU/内存、连接池、慢查询、网络重传、下游 RT
流量下跌 入口/DNS、LB、证书、客户端版本、业务活动
5xx 增多 应用日志、Trace 异常点、依赖超时、限流/熔断
中间件异常 慢日志、大 key/热 key、主从状态、连接数、磁盘

单请求诊断和告警诊断要分开:

  • 单请求诊断:以 TraceID 为主轴,范围收敛,错误码明确,准确率可以做得比较高;
  • 告警诊断:以服务和时间窗为主,噪声多、因果复杂,更适合输出“候选根因 + 排查建议”,而不是拍一个结论。

数据飞轮的关键不是“自动学习”,而是有人工确认和评估集:

  • 每次诊断记录:输入、证据、模型输出、人工结论、实际根因、修复动作;
  • 建立根因分类体系,方便统计哪类问题错得多;
  • 先改规则、工具和知识库,再考虑 prompt,最后才考虑微调;
  • 定期回归,防止“修好一个 case,弄坏十个 case”。

Q25. 单请求诊断怎么做?错误码怎么“专家化”?

推荐回答:

单请求诊断和告警诊断是两种不同的产品形态,不能混在一起做。

单请求诊断的输入很明确:trace_id / request_id、错误码、发生时间、服务名,目标是回答“这一次请求到底错在哪一跳”。它的范围收敛,所以准确率可以做得比较高。

我一般按这条链路走:

1
2
3
4
5
6
7
请求上下文
→ 还原 Trace:span 树、首错节点、上下游
→ 错误码映射:含义、层级、owner、常见原因、验证动作
→ 拉取首错节点及上下游日志
→ 检查依赖:DB/Redis/MQ/第三方/网络/DNS
→ 关联变更:版本、配置、灰度、发布记录
→ 输出:错误点 + 根因候选 + 证据 + 建议动作 + owner

几个关键点:

  1. 先找首错节点,不要从入口开始猜。入口报错往往只是下游错误的传导。
  2. Trace 要能还原完整链路,包括异步调用、重试、超时;重试场景要区分“第一次失败”和“重试后失败”。
  3. 错误码要结构化,不能只把文档塞进知识库。
  4. 日志只取相关时间窗和 span,不要把整个服务的日志灌给模型。
  5. 变更关联非常重要,很多单请求错误是版本/配置不一致导致的。

错误码“专家化”我会做成一张结构化表:

字段 说明
错误码 业务码 / HTTP 状态 / gRPC 状态
所属层级 入口、应用、中间件、依赖、基础设施
含义 对用户和研发都能看懂的解释
常见原因 按概率排序的 3~5 个原因
验证动作 看哪个指标、哪条日志、哪个 Trace
Owner 服务/中间件/网络/云产品
SOP 处置步骤、回滚/降级方案
版本范围 适用的服务版本和生效时间

常见错误码走规则命中,长尾错误码走 RAG 检索,未知错误码走 Trace + 日志兜底,同时把未知错误码记录下来,作为知识库的补充来源。

单请求诊断的准确率能到 90%~95%,前提是 Trace 完整、错误码覆盖够、日志保留够。如果 Trace 采样缺失、日志被截断,再强的模型也只能猜。

Q26. 产品架构变了,知识库怎么更新?

推荐回答:

核心原则是:skill 放流程,知识库放事实;事实要版本化、可追溯、能自动同步。

两类知识分开处理:

  • 稳定流程:怎么查日志、怎么拉 Trace、标准排障步骤、工具调用规范,放在 skill/代码里;
  • 易变事实:架构图、部署清单、服务依赖、错误码、变更记录,放在知识库,不要硬编码进 prompt。

更新机制我会做五件事:

  1. 单一事实源:架构信息尽量来自 CMDB、IaC、服务目录、发布系统,减少手写文档;
  2. 版本化:每篇知识带文档 ID、版本、生效时间、负责人、适用范围、最后验证时间;
  3. 变更触发:发布、迁移、拆分服务后,自动把相关知识打上“待复核”,必要时阻断高风险诊断;
  4. 检索带元数据:RAG 按 service、env、version、时间过滤,优先返回最新且已验证的知识;
  5. 过期治理:过期文档不一定要删,但必须打标,避免 Agent 拿旧架构做判断。

举个例子:一个单体服务拆成三个微服务,至少要更新:

  • 服务拓扑和依赖关系;
  • 错误码归属;
  • 日志/Trace 的查询入口;
  • 值班人和升级路径;
  • 相关 SOP 和历史故障的适用范围。

如果这些不同步,Agent 就会拿着旧拓扑去解释新问题,准确率会越来越差。

Q27. 诊断准确率和耗时怎么样?为什么告警诊断准确率上不去?

推荐回答:

先定义口径,不然“准确率”没有意义。我一般看这几个指标:

指标 含义
Top-1 命中率 第一个根因就是实际根因的比例
Top-3 召回率 实际根因在前三个候选里的比例
证据准确率 引用的日志/指标/Trace 是否真的支持结论
建议采纳率 值班人是否采纳了处置建议
人工推翻率 人工最终否定的比例
端到端耗时 从触发到输出结论的时间
单次成本 Token + 工具调用 + 模型推理成本

我的经验是:

  • 单请求诊断:有 TraceID、错误码、明确链路,准确率可以做到 90%~95% 以上;
  • 告警诊断:面对整个服务和时间窗,噪声多、因果复杂,50% 以上已经是不错的结果,仍然需要人工确认;
  • 耗时:数据量不大、ReAct 轮次不多时,大概 5~7 分钟;紧急故障场景等不起,所以要先给止血建议,再慢慢做根因。

告警诊断准确率上不去,主要有六个原因:

  1. 告警是症状,不是根因:错误率升高可能来自发布、依赖、证书、DNS、容量,任何一个;
  2. 数据不完整:缺变更、发布、业务上下文,Agent 只能看到表面;
  3. 因果复杂:一因多果、多因一果,时间相关不等于因果;
  4. 数据孤岛:指标、日志、Trace、变更各在一套系统,ID 对不上;
  5. LLM 幻觉:没有证据约束时,模型会编一个“听起来合理”的原因;
  6. 评估标准不统一:Top-1、Top-3、建议采纳率混着说,没法比较。

提升方向:

  • 接入变更系统、CMDB、发布记录,这是准确率提升最大的一步;
  • 建立历史故障评估集,按故障类型分层看准确率;
  • 先做“辅助定位”,不要一上来追求全自动;
  • 给置信度和缺失信息,让值班人知道什么时候不该信;
  • 把耗时拆开看:工具调用、模型推理、日志检索,分别优化。

我不会承诺“告警诊断 90% 准确”,因为告警场景本身信息不完整。更合理的承诺是:Top-3 候选覆盖大部分常见故障,并且每条结论都有证据可查。

Q28. Agent 的上下文、成本和延迟怎么控制?

推荐回答:

这三件事其实是一件事:上下文工程。Agent 慢、贵、答得飘,很多时候不是模型不行,而是把太多无关数据塞进了上下文。

我会从五个方面控制:

方面 做法
工具输出 只返回结构化摘要 + 关键原文 + 查询链接;日志按错误签名聚合,按时间窗截断
证据板 用一个结构化状态维护“假设、证据、反证、缺口”,不要把所有工具结果堆进对话历史
上下文压缩 每一步后总结,丢掉无关输出;保留 TraceID、时间、服务、关键日志行
模型路由 小模型做分类/抽取/摘要,大模型做归因和方案生成
缓存与并行 缓存拓扑、知识、常见查询;独立工具并行调用;设置最大步数和 Token 预算

延迟上我会做分层:

  • 1 分钟内:先给规则/指标层面的初步判断和止血建议;
  • 5~7 分钟:完成多轮证据收集和根因分析;
  • 更久:转异步,结果回到工单/群,不阻塞应急。

工具设计也很关键:

  • 每个工具必须有超时、分页、最大返回条数;
  • 优先返回高信号数据,比如错误日志 Top-N、慢查询 Top-N、异常 Trace;
  • 不要让 Agent 自己“翻几万行日志”,而是给它聚合后的特征;
  • 工具失败要能降级,返回“缺什么数据”,而不是让整个诊断失败。

Agent 自己也要可观测:每次诊断记录工具调用次数、Token、耗时、失败原因、人工是否采纳。没有这些数据,优化就是盲猜。

Q29. Agent 怎么评测?怎么防止幻觉?

推荐回答:

评测和防幻觉要一起做,因为很多“幻觉”其实是评测没约束住。

离线评测:

  • 建一个 100~500 条的历史故障集,每条包含告警、时间窗、证据、实际根因、处置动作;
  • 按故障类型分层:发布类、依赖类、容量类、配置类、网络类;
  • 指标看 Top-1/Top-3、证据准确率、建议安全性、耗时、成本;
  • 每次改 prompt、工具、模型、知识库,都跑回归,防止“修一个坏十个”。

在线评测:

  • 影子模式:Agent 只输出建议,不影响实际处置;
  • 人工打分:采纳/部分采纳/推翻,记录原因;
  • 看人工推翻率和“Agent 说 A、人工确认 B”的混淆矩阵;
  • 逐步放量,先覆盖低风险场景。

防幻觉:

  • 证据优先:每条结论必须引用具体指标、日志行、Trace 或变更单;没有证据就输出“信息不足”;
  • 工具算数:数值、同比环比、阈值判断交给工具,不让 LLM 心算;
  • 结构化输出:根因、证据、置信度、缺失信息、建议动作分开字段;
  • 检索 grounding:知识库返回文档版本和生效时间,避免旧知识;
  • 允许弃权:置信度低时明确说“无法定位”,比编一个答案更有价值;
  • 高风险人工确认:涉及变更、重启、切流的建议,必须人工确认。

评测最容易踩的坑是“拿演示 case 当评测集”。演示 case 是挑过的,真实故障的长尾才是难点。

Q30. 能让 Agent 自愈吗?风险怎么控制?

推荐回答:

可以,但要分级,不能一上来就全自动。

级别 能力 例子
L0 只读诊断,输出建议 查指标、查日志、给根因候选
L1 人工确认后执行 人点确认,Agent 调 SOP 执行
L2 受限自动执行 低风险、可回滚、有护栏的摘流/重启/扩容
L3 全自动 不建议,尤其是核心系统和数据操作

我倾向于把自愈做成“Agent 提议、策略引擎审批、执行器执行”三段式:

1
2
3
4
5
Agent 输出动作提案
→ 策略引擎校验:动作是否允许、影响面多大、是否在变更窗口、是否需要审批
→ 执行器按预定义 SOP 执行
→ 执行后验证指标
→ 异常则回滚/人工接管

动作提案至少包含:动作类型、目标、参数、原因、证据、风险等级、影响面、回滚方案。

适合自愈的操作:摘流、重启、扩容、切流、限流这类有明确 SOP、可回滚、影响面可控的动作。

不适合:删数据、改核心配置、跨地域切换、复杂数据库变更、安全策略变更。

护栏我会重点做:

  • 最小权限:Agent 只能调预定义 SOP,不能直接调底层 API;
  • 影响面限制:一次只动一个实例/一个分片,保留最小可用副本;
  • 前置检查:PDB、健康检查、依赖状态、变更窗口;
  • dry-run + 二次确认:先演练,再执行;
  • 熔断和 kill switch:异常时一键停止,人工接管;
  • 全链路审计:谁触发、改了什么、结果如何、是否回滚;
  • 执行后验证:业务指标不恢复或继续恶化,立即回滚。

核心原则:AI 负责判断和编排,执行交给确定性系统;人可以慢一点,但不能把幻觉直接放到生产。

衡量自愈是否成功,不能只看“自动执行了多少次”,要看 MTTR 是否下降、回滚率、Agent 引发的故障数、人工接管率。

薄弱环节专项补强

这一章不再按面试顺序,而是把当时答得虚、被追问、或者明显卡壳的点单独拎出来,给一个可以直接复述的标准回答。面试前可以只看这一章。

薄弱点 1:被追问“具体是什么功能”时,答不出具体案例

面试原问:

你说的“功能设计不完善”,具体是什么功能?什么系统的什么功能?

当时的问题:

一直在讲“使用姿势”“架构评审”这种抽象词,面试官连续追问四五次,最后才落到客服 Agent 的例子,信任感已经被消耗。

标准回答:

我举一个电商客服 Agent 的例子。客户要在客服系统里接入大模型,从历史对话中提取用户当前意图和下一步行为,比如退货、比价、改地址,然后以结构化 JSON 返回给下游工单系统。

原设计强依赖模型按 JSON Schema 输出,下游直接解析。问题是:约束解码只能保证 JSON 语法合法,保证不了字段语义正确;Schema 复杂时还会带来编译和性能问题;下游没有校验和降级,模型的长尾错误会直接变成业务错误。

我的建议是三层兜底:约束解码保证语法,JSON Schema 和业务规则保证语义,失败后重试/修复/降级;同时把解析失败率、字段缺失率做成监控指标,高风险动作不让模型直接执行。

所以我说“功能设计不完善”,指的是把模型的不确定性直接透传给了下游,缺少工程兜底,不是模型效果本身的问题。

回答模板:

  • 背景:什么业务、什么系统、什么规模
  • 问题:原来怎么做、哪里会出事
  • 判断:为什么这是问题
  • 动作:我建议/做了什么
  • 结果:指标或风险变化

薄弱点 2:项目不在简历上,角色边界说不清

面试原问:

这个项目简历上没写?你是什么时候参与的?你是什么角色?

当时的问题:

先说了“我是以架构师身份参与评审”,但没有主动说明这不是我主导的项目,面试官一追问“简历上没写”,就显得被动。

标准回答:

这个项目没有单独写在简历上,因为它是我在稳定性团队做架构评审时接触的客户案例,不是我主导从 0 到 1 建设的系统。

我的角色是稳定性架构评审:参与方案评审,重点看大模型调用链路、结构化输出、降级和可观测性;指出强依赖 JSON Schema 的风险,给出校验、重试、降级和监控建议;跟客户和内部产研对齐改进项,具体业务代码由客户团队实现。

我能讲清楚的是我看到了什么问题、为什么这么判断、建议怎么改、最后哪些落地了。如果你们想听我主导的项目,我可以展开讲 CI/CD 平台或监控告警体系建设。

要点:

  • 先承认边界,再讲贡献
  • 用“背景-任务-动作-结果”讲,不要抢 owner
  • 面试前给简历上每个项目准备 3 分钟版和 10 分钟深挖版

薄弱点 3:“这和稳定性有什么关系”答得虚

面试原问:

你也会去到业务场景里面看?这跟稳定性有什么关系?

标准回答:

有关系。稳定性不只是 K8s、主机和中间件,业务架构里的强依赖、同步调用、重试风暴、第三方依赖、结构化输出解析失败,最后都会体现在可用率和错误率上。

我们作为横向稳定性团队,价值是做“第二双眼睛”:用稳定性视角做架构评审,输出单点、容量、依赖、降级、可观测性这些风险清单;把历史故障沉淀成检查项和预案;在重保、大促、迁移时做容量评估和演练。

但边界很清楚:业务功能是否合理,业务团队是 owner;我们负责指出“这样设计在稳定性上会有什么风险”和“怎么验证”,不替客户做业务决策。

薄弱点 4:监控体系讲得散,没有分层

面试原问:

监控怎么做?

标准回答:

我会分五层,核心是能从业务现象逐层下钻到根因。

  • 业务监控:下单量、支付成功率、核心接口成功率、GMV、转化率;
  • 应用监控:RED(Rate、Errors、Duration),线程池、连接池、GC;
  • 中间件/云产品:Redis、Kafka、MySQL 的 QPS、RT、连接数、慢查询、水位;
  • 基础设施:主机、K8s、网络、存储的 CPU、内存、磁盘、Pod 状态;
  • 端侧体验:拨测、RUM、CDN 命中率、首屏和接口耗时。

建设时抓三件事:统一标签(service/env/region/instance/version)、统一入口(Prometheus/云监控 + Grafana + Alertmanager)、统一规范(每个核心服务必须有黄金指标、SLO、看板和责任人)。

分层不是为了好看,而是排障时能回答三个问题:业务有没有问题、是哪个服务的问题、是服务自身还是依赖的问题。

薄弱点 5:告警分级和故障定级被追问

面试原问:

告警怎么分层?下跌多少算正常?10% 重不重要?所有告警都要起事件吗?

当时的问题:

例子给得太绝对,面试官一追问“10% 重不重要”“小公司怎么办”,回答就容易变成“看情况”。

标准回答:

我不会只看百分比,而是看四个维度:基线、影响面、持续时间、业务价值。

  • 核心支付链路跌 1%,可能比边缘推荐服务跌 50% 更严重;
  • 跌 10% 只持续 30 秒并自动恢复,和持续 30 分钟,定级完全不同;
  • 影响 1 个客户和影响 100 个客户,不是一个量级;
  • 还要看 SLO/错误预算的消耗速度。

定级用“影响面 × 严重度 × 时长”的矩阵。比如核心产品某地域可用率跌 5% 以内,先按风险事件处理,拉起排查但不起故障;超过 5% 且持续一定时间,再升级为故障。

对中小团队,我不建议照搬大厂分级。可以先分三级:风险、故障、重大故障,先把“谁响应、多久响应、怎么升级”跑通,再细化。

告警、风险事件、故障的关系是:告警是信号,事件是聚合后的处理单元,风险事件是可能影响但未造成客户影响或已恢复,故障是已经造成客户可见影响。不是所有告警都起故障,但核心告警要进统一事件流。

薄弱点 6:Redis 生产部署架构不熟

面试原问:

自建 Redis 生产环境怎么部署?云上高可用 Redis 是什么架构?

当时的问题:

只说了“Sentinel”和“云上有 proxy、主备切换”,被追问内部实现时直接说“没怎么关注”,深度不够。

标准回答:

自建生产至少是主从 + Sentinel,单机只能测试。主从做读扩展和故障备份,Sentinel 至少 3 个(quorum 2)、推荐 5 个(quorum 3),负责监控、选主和通知客户端;持久化按业务选 RDB + AOF,重要数据定期备份和恢复演练;客户端要支持 Sentinel 地址发现、超时、重试和降级。

云上高可用版一般是管控面 + 数据面:数据面是主节点 + 备节点,可能还有只读节点;集群版会有 proxy 做路由,下面按 slot 分片,每个分片一主多从;管控面定时探测健康,异常时自动摘除、主备切换、更新路由;主备跨可用区部署,降低单机房故障影响。

具体内部实现我不一定完全清楚,但设计目标是一样的:故障检测、自动切换、客户端透明、数据不丢或尽量少丢。

薄弱点 7:RT 指标没答清楚

面试原问:

你说的 RT 是哪个 RT?平均 RT 还是 P95?

标准回答:

以 P95/P99 为主,平均值只作为趋势参考。

平均值会掩盖长尾:100 个请求,99 个 10ms,1 个 10s,平均只有 110ms,但 P99 是 10s,那 1% 的用户体验已经崩了。线上故障往往是长尾先出问题。

我的做法是:SLO 用 P95/P99,告警用 P99 + 错误率 + 流量一起看,平均 RT 看趋势,同时看 Max RT 和慢请求分布;还要分接口、实例、命令、下游依赖去看,不然全局 P99 会把问题平均掉。

RT 是结果指标,P99 升高后要下钻:慢命令、网络重传、CPU 打满、连接池排队,还是下游拖累。

薄弱点 8:故障逃逸和预案验证讲得空

面试原问:

云上 DNS 故障怎么逃逸?地域级故障客户侧怎么逃逸?预案怎么验证有效?

标准回答:

DNS 故障先分类型:权威 DNS 故障、LocalDNS 故障、运营商劫持、DDoS、配置错误。

短期止血:切备用 DNS 或公共 DNS、客户端预置备用域名/IP、移动端接 HTTPDNS、调整 TTL、核心域名多线 BGP 和多地域权威 DNS。中长期改造:不单点依赖一家 DNS,端侧用 HTTPDNS/DoH/DoT,建立按地域和运营商的解析拨测,把切换写进预案并演练。

地域级故障能不能逃逸,取决于客户自己的架构:同城双活、异地多活、单元化、多云/混合云,数据层要明确 RPO/RTO,流量层用 DNS/GSLB/Anycast 调度。如果客户没做这些,云厂商单方面很难帮他逃逸,只能降级、只读、排队、限流,保住核心链路。

预案验证不能只看文档:桌面演练、故障注入、低峰期真实切流、切换后二次确认业务指标和数据一致性、复盘修订。预案的价值不是写得多漂亮,而是真出事时有人敢按、按了有效。

薄弱点 9:中间件告警和业务告警同时出现,因果判断不系统

面试原问:

中间件告警和业务告警同时出现,怎么判断是谁的问题?

标准回答:

不能只看时间先后,时间相关不等于因果。我会从五个方面判断:

  • 看中间件自身健康:RT、CPU、连接数、慢查询、大 key、主从状态;
  • 看业务侧请求特征:QPS 是否突增、是否有大 key/批量命令、连接池是否打满;
  • 看依赖拓扑:业务是否强依赖这个中间件,是否还有其他依赖同时异常;
  • 看变更:中间件参数、业务发布、数据量变化;
  • 必要时做隔离验证:限流/降级一部分流量,看中间件是否恢复。

比如 Redis RT 升高 + 业务错误率升高,可能是 Redis 故障导致业务失败,也可能是业务突发大 key 把 Redis 打爆。要看 Redis 慢日志和命令分布,不能拍脑袋。

薄弱点 10:AI Agent 的准确率和自愈边界讲得不够硬

面试原问:

诊断准确率多少?能让 Agent 自愈吗?风险怎么控制?

标准回答:

先定义准确率口径:Top-1 根因命中率、Top-3 召回率、证据准确率、建议采纳率,不能混着说。

单请求诊断有 TraceID、错误码、明确链路,准确率可以做到 90%~95%;告警诊断面对整个服务和时间窗,噪声多、因果复杂,50% 以上已经不错,仍然需要人工确认。耗时方面,数据量不大、ReAct 轮次不多时大概 5~7 分钟,紧急故障要先给止血建议。

告警诊断准确率上不去,主要是告警是症状不是根因、数据不完整、因果复杂、数据孤岛、LLM 幻觉、评估标准不统一。提升最大的一步是接入变更系统、CMDB、发布记录,然后建立历史故障评估集。

自愈要分级:L0 只读诊断,L1 人工确认后执行,L2 受限自动执行,L3 全自动不建议。适合摘流、重启、扩容、切流、限流这类有 SOP、可回滚、影响面可控的动作;不适合删数据、改核心配置、跨地域切换。原则是 Agent 提议、策略引擎审批、执行器执行,人保留 kill switch。

薄弱点速查表

薄弱点 标准回答关键词
追问具体功能 客服 Agent、JSON Schema、三层兜底、STAR
项目不在简历 先认边界、评审角色、不抢 owner
稳定性关系 端到端、业务风险转可用性、第二双眼睛
监控分层 业务/应用/中间件/基础设施/端侧、统一标签
告警定级 基线×影响面×时长、风险事件 vs 故障
Redis 部署 主从+Sentinel、集群分片、云上 proxy+管控面
RT 指标 P95/P99、长尾、SLO、下钻
故障逃逸 DNS/HTTPDNS、同城双活/异地多活、RTO/RPO、演练
中间件因果 拓扑、首异常、请求特征、变更、隔离验证
AI Agent 口径、单请求 vs 告警、数据>模型、证据、L0-L3

这一章的使用方式:

面试前不要通读全文,先看这张速查表,再挑自己最容易卡壳的 3~4 个点,用“标准回答”开口讲一遍。能讲顺,才算真的会。

反问

面试最后聊了团队情况,记录一下:

# 问题 面试官答复要点
1 团队主要做什么? 云平台运维,多云环境,涉及 ECS、RDS 等云产品,也在补外部云/多云能力
2 主要用哪几家云?有海外业务吗? 国内为主,海外不多
3 团队规模? 20 多人,下面还有小组分工
4 平时 AI 用得多吗?会接到实际工作场景吗? 会,AI 已经接入实际工作,但有人卡关;AI 主要做流程编排,不直接控制
5 会让 AI 直接做运维操作吗? 操作前一定有人确认,AI 更多是编排和辅助

反问的收获:

  • 团队是云平台运维 + 多云方向,和我的公有云 SRE 经历匹配;
  • AI 落地有,但偏“辅助 + 人工卡关”,不是全自动;
  • 团队规模不大,值班和故障文化需要进一步了解;
  • 如果后续有机会,可以重点问:值班频率、故障复盘机制、AI Agent 的评估方式、多云切流能力。

写在后面

这场面试最大的教训不是某个知识点不会,而是表达方式。

1. 回答要落到具体案例

面试官连续追问“什么功能”“具体是什么”,我一直在讲“使用姿势”“架构评审”这种抽象词。站在面试官角度,他听到的是:

“这个人好像知道一些原则,但说不出自己到底做了什么。”

以后回答这类问题,直接用 STAR:

  • S:什么业务、什么系统、什么规模;
  • T:我负责什么、目标是什么;
  • A:我具体做了哪几件事;
  • R:结果是什么、有什么数据。

哪怕项目不大,只要讲得具体、边界清楚,就比空泛的“架构评审”有说服力。

2. 简历上的项目要提前埋点

面试官问“简历上没写”,说明我的项目叙述和简历没有对齐。以后:

  • 简历上每个项目准备 3 分钟版和 10 分钟深挖版;
  • 明确写清楚角色:owner / 参与 / 评审 / 支持;
  • 面试中先说边界,再讲贡献,不要等面试官追问;
  • 没写进简历的项目,如果要用,先解释为什么没写,避免被当成编经历。

3. 基础深度要补

这场被追问的几个点,都是“日常用过但没讲透”的:

  • Redis 生产部署:主从 + Sentinel、集群分片、云上 proxy + 管控面切换;
  • RT 指标:平均值 vs P95/P99,长尾和 SLO;
  • 告警分级:影响面 × 严重度 × 时长,未响应升级;
  • 故障定级:不能只看百分比,要看业务和错误预算;
  • 中间件与业务告警的因果判断:看依赖、看请求特征、看变更、做隔离验证。

4. 稳定性体系要讲成闭环

监控、告警、应急、复盘不是四件事,而是一条闭环:

1
监控发现 → 告警触达 → 应急止血 → 根因分析 → 复盘改进 → 监控/预案更新

以后讲稳定性,不要只列工具,要讲谁负责、用什么指标衡量、怎么演练、怎么闭环。

5. AI Agent 要讲成工程闭环

这次聊 AI 诊断,我能讲出架构和流程,但准确率、数据完整性、自愈风险这些“边界”还可以更扎实。复盘下来,RCA Agent 不是一个“接个大模型”的项目,而是一条工程闭环:

1
数据接入 → 工具封装 → 编排推理 → 证据校验 → 人工确认 → 评测回归 → 知识更新

以后讲 AI Agent,我会重点讲清楚六件事:

  • 数据比模型重要:没有 Metrics/Logging/Tracing/变更/CMDB,Agent 只能猜;
  • 工具要有契约:输入输出、超时、分页、截断、权限,不能把原始日志直接灌给模型;
  • 准确率要分口径:Top-1/Top-3、证据准确率、建议采纳率,单请求和告警诊断分开看;
  • 评测要先于优化:没有历史故障集和回归,改 prompt 就是碰运气;
  • 幻觉要靠证据约束:每条结论必须引用指标/日志/Trace/变更,允许 Agent 说“信息不足”;
  • 自愈要有护栏:Agent 提议、策略引擎审批、执行器执行,人保留 kill switch。

持续学习,下次把“做过”讲成“讲得清楚”。

CATALOG
  1. 1. 前言
  2. 2. 复盘
    1. 2.1. 一、职业规划与角色认知
      1. 2.1.1. Q1. 自我介绍,跳过
      2. 2.1.2. Q2. 你为什么从开发转到 SRE / 架构方向?
      3. 2.1.3. Q3. 开发、架构师、SRE 有什么不同?
      4. 2.1.4. Q4. 架构师 / SRE 审视一个系统时,会看哪些方面?
      5. 2.1.5. Q5. 你说“功能设计不完善”,具体指什么?请举一个真实例子
      6. 2.1.6. Q6. 为什么不能强依赖大模型的 JSON Schema 输出?xgrammar 这类约束解码有什么坑?
      7. 2.1.7. Q7. 这件事和稳定性有什么关系?横向稳定性团队会深入到业务场景里吗?
      8. 2.1.8. Q8. 这个项目简历上没写,你在里面到底是什么角色?
    2. 2.2. 二、监控与告警体系
      1. 2.2.1. Q9. 你做过哪些稳定性体系的工作?
      2. 2.2.2. Q10. 监控体系怎么分层建设?
      3. 2.2.3. Q11. 告警怎么分级、通知和升级?
      4. 2.2.4. Q12. 告警风暴怎么抑制和收敛?
      5. 2.2.5. Q13. Redis 重点应该监控哪些指标?
      6. 2.2.6. Q14. RT 看平均还是 P95/P99?为什么?
      7. 2.2.7. Q15. 自建 Redis 生产环境怎么部署?云上高可用 Redis 是什么架构?
    3. 2.3. 三、故障与应急
      1. 2.3.1. Q16. 服务可用率下跌一般有哪些原因?“变更没切流”具体怎么导致故障?
      2. 2.3.2. Q17. 可用率跌 10% 重不重要?下跌多少算故障?怎么定级?
      3. 2.3.3. Q18. 告警、风险事件、故障怎么区分?所有告警都要起事件吗?
      4. 2.3.4. Q19. 云上 DNS 故障,怎么帮客户做逃逸?
      5. 2.3.5. Q20. 地域级故障,客户侧怎么逃逸?预案怎么验证有效?
      6. 2.3.6. Q21. 怎么复刻客户环境做验证和交付?
      7. 2.3.7. Q22. 日常排障流程是怎样的?中间件告警和业务告警同时出现,怎么判断因果?
    4. 2.4. 四、AI 运维诊断 Agent
      1. 2.4.1. Q23. RCA Agent 整体怎么落地?数据怎么接?
      2. 2.4.2. Q24. 诊断逻辑怎么做?专家经验、知识库、数据飞轮怎么结合?
      3. 2.4.3. Q25. 单请求诊断怎么做?错误码怎么“专家化”?
      4. 2.4.4. Q26. 产品架构变了,知识库怎么更新?
      5. 2.4.5. Q27. 诊断准确率和耗时怎么样?为什么告警诊断准确率上不去?
      6. 2.4.6. Q28. Agent 的上下文、成本和延迟怎么控制?
      7. 2.4.7. Q29. Agent 怎么评测?怎么防止幻觉?
      8. 2.4.8. Q30. 能让 Agent 自愈吗?风险怎么控制?
  3. 3. 薄弱环节专项补强
    1. 3.1. 薄弱点 1:被追问“具体是什么功能”时,答不出具体案例
    2. 3.2. 薄弱点 2:项目不在简历上,角色边界说不清
    3. 3.3. 薄弱点 3:“这和稳定性有什么关系”答得虚
    4. 3.4. 薄弱点 4:监控体系讲得散,没有分层
    5. 3.5. 薄弱点 5:告警分级和故障定级被追问
    6. 3.6. 薄弱点 6:Redis 生产部署架构不熟
    7. 3.7. 薄弱点 7:RT 指标没答清楚
    8. 3.8. 薄弱点 8:故障逃逸和预案验证讲得空
    9. 3.9. 薄弱点 9:中间件告警和业务告警同时出现,因果判断不系统
    10. 3.10. 薄弱点 10:AI Agent 的准确率和自愈边界讲得不够硬
    11. 3.11. 薄弱点速查表
  4. 4. 反问
  5. 5. 写在后面
    1. 5.1. 1. 回答要落到具体案例
    2. 5.2. 2. 简历上的项目要提前埋点
    3. 5.3. 3. 基础深度要补
    4. 5.4. 4. 稳定性体系要讲成闭环
    5. 5.5. 5. AI Agent 要讲成工程闭环