前言
2026-10-14 这场面试,岗位偏 SRE / 云平台运维 / 架构方向。前半段围绕职业转型和架构师视角,中段深挖监控告警、Redis 和故障应急,后半段几乎全在聊 AI 根因诊断 Agent。
这场暴露的问题很典型:
- 回答太抽象:面试官连续追问“什么功能”“具体是什么”,我一直在讲“使用姿势”“架构评审”,没有及时落到一个具体系统、具体链路上。
- 项目与简历对不上:聊到一个客户客服 Agent 项目时,面试官直接问“简历上没写”,角色和边界没有提前讲清楚。
- 深度不够稳:Redis 部署架构、RT 分位值、告警分级这些日常都在用,但被追问“为什么”时,回答还是偏经验化。
问题大致分四块:职业规划与角色认知、监控与告警体系、故障与应急、AI 运维诊断 Agent。
复盘
一、职业规划与角色认知
Q1. 自我介绍,跳过
Q2. 你为什么从开发转到 SRE / 架构方向?
推荐回答:
主要有三个原因。
第一是兴趣和能力的变化。做开发时我更关注单个系统、单个功能;但我发现自己更享受排障、容量规划、架构评审这种“对系统整体负责”的工作。
第二是行业判断。我从 2021 年左右就开始用 AI 辅助开发,能明显感受到 AI coding 对“写代码”这件事的冲击。未来稀缺的不是把功能写出来,而是定义问题、设计系统、做取舍、兜底风险,这些更偏架构和稳定性。
第三是机会。公有云 SRE 能接触大量不同客户的架构和真实故障,这种密度在单一业务研发里很难获得,所以我就转过来了。
注意点:
- 不要贬低开发,说“开发没前途”会减分。
- 强调能力迁移:开发背景让你更懂应用、中间件和代码层面的问题。
- 职业规划要具体:架构师 / SRE,而不是“什么都想试试”。
Q3. 开发、架构师、SRE 有什么不同?
推荐回答:
我理解差异主要在视角、时间尺度和产出。
| 维度 | 开发 | 架构师 | SRE |
|---|---|---|---|
| 视角 | 单个系统/功能 | 端到端全局 | 端到端 + 稳定性纵深 |
| 目标 | 功能交付 | 架构合理、可演进 | 可用性、性能、成本、效率 |
| 时间尺度 | 一个迭代 | 半年到几年 | 7×24,故障时按分钟算 |
| 产出 | 代码、服务 | 架构方案、技术决策 | SLO、监控、预案、演练、复盘 |
| 深度/广度 | 单点深度 | 广度更大 | 稳定性和应急纵深更深 |
但本质上技术和判断是相通的。开发如果只盯着自己的系统,很容易忽略上下游、部署架构和用户侧体验;架构师和 SRE 的价值,是能从用户入口一路看到基础设施,提前发现单点、容量和依赖风险。
我不觉得架构师一定比开发“高”,只是分工不同。架构师广度更大,SRE 对故障和稳定性的纵深更深,好的开发也可以有全局视角。
注意点:
- 不要背定义,用“视角/目标/产出”三个维度对比。
- 承认“开发也可以有全局视角”,避免显得傲慢。
Q4. 架构师 / SRE 审视一个系统时,会看哪些方面?
推荐回答:
我会按流量路径和系统分层来过一遍,重点看“单点、容量、依赖、变更、可观测、应急”六件事。
| 层次 | 重点看什么 |
|---|---|
| 入口层 | DNS/GSLB、CDN、WAF、LB 是否有单点;多线、多地域、切流能力 |
| 接入层 | 网关限流、鉴权、超时、重试、熔断;长连接和连接池 |
| 应用层 | 无状态、水平扩展、健康检查、优雅上下线、灰度/回滚 |
| 中间件 | Redis/Kafka/MySQL 的部署形态、容量水位、高可用、慢查询、大 key/热 key |
| 数据层 | 主从/分片、备份恢复、RPO/RTO、一致性、数据迁移 |
| 基础设施 | 多可用区、节点池、资源超卖、弹性伸缩、故障域隔离 |
| 可观测 | Metrics/Logging/Tracing 三件套、SLO、告警分级、值班 |
| 应急 | 预案、演练、切流/扩容/限流/降级三板斧、复盘闭环 |
如果是大模型系统,还要额外看:模型厂商依赖、配额和限流、结构化输出兜底、模型降级、Token 成本、内容安全。
核心不是把每一层都讲一遍,而是能指出“这里如果挂了,业务会怎样;有没有兜底;怎么验证”。
注意点:
- 面试官问“会关注哪些”,其实在考你有没有体系,不是让你背组件。
- 最好带一个具体例子,比如“Redis 单点”“DNS 单点”“模型厂商单点”。
Q5. 你说“功能设计不完善”,具体指什么?请举一个真实例子
这题是整场面试的转折点。面试官连续追问了四五次“什么功能”“具体是什么”,我一直在讲抽象原则,没有落到具体系统,导致对方明显不耐烦。
推荐回答:
我举一个电商客服 Agent 的例子。
背景:客户做一个电商客服系统,想把大模型接进来,从历史对话里提取用户当前意图和下一步行为,比如“用户想退货”“用户在比价”“用户要改地址”,然后把结果以结构化 JSON 返回给下游工单/推荐系统。
问题:原设计强依赖大模型按指定 JSON Schema 输出,下游直接解析字段。实际跑下来有几个风险:
- 约束解码只能保证 JSON 语法合法,不能保证字段语义正确,比如
intent给了个不在枚举里的值,或者该填的字段缺失。- JSON Schema 太复杂时,推理引擎编译语法、生成 token mask 会变慢,极端情况下还会触发 xgrammar 的边界 bug,输出非预期内容。
- 下游没有校验和降级,解析失败就直接报错,一个模型输出的长尾问题会变成业务可用性问题。
- 模型版本、prompt、schema 任一变更,都可能让历史 case 回归。
我的建议:
- 把 Schema 拆小、拆稳定,避免深层嵌套和复杂正则。
- 输出后做一层 JSON Schema 校验 + 字段级修复,失败重试或降级到规则抽取。
- 下游不要直接信任模型输出,加默认值和兜底分支。
- 把解析失败率、字段缺失率、重试率做成监控指标,灰度发布。
- 对高风险动作(退款、改地址)不让模型直接执行,只做建议,人工或规则确认。
所以我说“功能设计不完善”,指的不是模型效果不好,而是把不确定性直接透传给了下游,缺少工程兜底。
注意点:
- 先讲背景,再讲问题,再讲建议,最后回扣“为什么不完善”。
- 不要一上来讲 xgrammar 源码,面试官要先听到业务场景。
- 如果一时想不起项目细节,换一个自己真正做过的案例,不要硬编。
Q6. 为什么不能强依赖大模型的 JSON Schema 输出?xgrammar 这类约束解码有什么坑?
推荐回答:
先明确一点:JSON Schema / 约束解码解决的是“格式合法”,不是“内容正确”。
约束解码的原理是在每一步生成时,用语法自动机算出合法 token 的集合,把不合法 token 的 logits 屏蔽掉。它能保证输出符合语法,但保证不了:
- 字段值是否在业务允许的枚举里;
- 数值是否在合理范围;
- 多字段之间是否满足业务约束;
- 模型是否“理解”了输入,还是只是凑了一个合法 JSON。
xgrammar 这类实现还有几个工程坑:
| 坑 | 说明 |
|---|---|
| Schema 太复杂 | 深层嵌套、复杂正则、递归引用会放大编译和匹配开销,部分特性支持不完整 |
| 编译缓存 | 动态 Schema 会导致反复编译;缓存 key 设计不好会内存持续增长,或者命中率很低 |
| 版本差异 | 不同推理引擎/不同 xgrammar 版本对同一 Schema 的行为可能不一致,升级要回归 |
| 过度约束 | 强 mask 会改变模型原始分布,约束太死时生成质量反而下降 |
| 长尾输入 | 模型可能输出合法但语义错误的结果,或者重复字段、空字段 |
| 性能开销 | 复杂语法下的 token mask 计算会增加首 token 和每 token 延迟 |
工程上的做法是分层:
- 约束解码保证语法;
- JSON Schema 校验保证结构;
- 业务规则校验保证语义;
- 失败后重试/修复/降级;
- 全链路埋点,监控解析失败率和字段异常率。
一句话:Schema 是护栏,不是正确性证明。下游必须假设模型会出错。
注意点:
- 这题能体现深度,但不要把所有问题都归给 xgrammar,先讲通用原理。
- 如果面试官继续追问源码,再展开“语法编译、token mask、缓存”这些细节。
Q7. 这件事和稳定性有什么关系?横向稳定性团队会深入到业务场景里吗?
推荐回答:
有关系。稳定性不只是 K8s、主机和中间件,业务架构里的强依赖、同步调用、重试风暴、第三方依赖、结构化输出解析失败,最后都会体现在可用率和错误率上。
我们作为横向稳定性团队,价值不是替业务团队做业务,而是做“第二双眼睛”:
- 用稳定性视角做架构评审,输出风险清单,比如单点、容量、依赖、降级、可观测性;
- 把历史故障沉淀成检查项和预案,推动业务团队落地;
- 在重保、大促、迁移这些关键节点做容量评估和演练;
- 出故障时提供逃逸方案和复盘输入。
但边界要清楚:业务功能是否合理,业务团队是 owner;我们负责指出“这样设计在稳定性上会有什么风险”,以及“怎么验证”。我不会替客户做业务决策,也不会把评审说成是我从 0 到 1 建设的系统。
注意点:
- 这题其实在质疑“你是不是管得太宽/经历不实”,回答要既体现价值,又划清边界。
- 不要把所有功劳揽到自己身上。
Q8. 这个项目简历上没写,你在里面到底是什么角色?
面试官原话大意是“简历上没有写”。这种追问通常不是刁难,而是在确认经历真实性和你的贡献边界。
推荐回答:
这个项目没有单独写在简历上,因为它是我在稳定性团队做架构评审时接触的一个客户案例,不是我主导从 0 到 1 建设的系统。
我的角色是稳定性架构评审:
- 参与客户的客服 Agent 方案评审,重点看大模型调用链路、结构化输出、降级和可观测性;
- 指出强依赖 JSON Schema 输出的风险,给出校验、重试、降级和监控建议;
- 跟客户和内部产研对齐改进项,但具体业务代码由客户/业务团队实现。
我能讲清楚的是:我看到了什么问题、为什么这么判断、建议怎么改、最后哪些落地了。如果面试官想听我主导的项目,我可以展开讲 CI/CD 平台或监控告警体系建设。
注意点:
- 第一时间承认“没写”和“不是我主导”,可信度反而更高。
- 用 STAR 讲清楚边界:背景、任务、我的动作、结果。
- 不要硬把评审说成建设,面试官一追问细节就会穿帮。
- 面试前把简历上的项目各准备一个 3 分钟版本和一个 10 分钟深挖版本。
二、监控与告警体系
Q9. 你做过哪些稳定性体系的工作?
推荐回答:
我做过的主要是四块:
| 体系 | 关键动作 | 产出 |
|---|---|---|
| 监控告警 | 分层监控、指标治理、告警分级、收敛抑制、值班升级 | 统一监控入口、告警规范、MTTA/MTTR 下降 |
| 故障应急 | 故障分级、应急拉群、角色分工、时间线、复盘闭环 | 故障 SOP、应急预案、改进项跟踪 |
| 变更管控 | 发布审批、灰度、回滚、变更窗口、变更关联 | 变更平台、变更成功率/回滚率指标 |
| 容灾演练 | 同城/异地切换、故障注入、预案验证 | 演练报告、RTO/RPO 基线、预案修订 |
另外还做过重保、容量规划、集群运维管控,以及最近的 AI 根因诊断 Agent。
我的体会是:稳定性体系不是堆工具,而是监控发现 → 告警触达 → 应急止血 → 复盘改进这条闭环。每一环都要有 owner、有指标、有演练。
Q10. 监控体系怎么分层建设?
推荐回答:
我会分五层,核心是“能从业务现象逐层下钻到根因”。
| 层次 | 监控什么 | 典型指标 |
|---|---|---|
| 业务监控 | 业务结果和核心链路 | 下单量、支付成功率、GMV、转化率、核心接口成功率 |
| 应用监控 | 服务自身健康和依赖 | RED:Rate、Errors、Duration;线程池、连接池、GC |
| 中间件/云产品 | Redis、Kafka、MySQL、MQ 等 | QPS、RT、连接数、慢查询、水位、复制延迟 |
| 基础设施 | 主机、K8s、网络、存储 | CPU、内存、磁盘、网络、Pod 状态、节点压力 |
| 端侧/体验 | 用户真实体验 | 拨测、RUM、CDN 命中率、首屏/接口耗时 |
建设时重点抓三件事:
- 统一标签:service、env、region、instance、version,保证能聚合和下钻。
- 统一入口:Prometheus/云监控采集,Grafana 展示,Alertmanager 统一告警。
- 统一规范:每个核心服务必须有黄金指标、SLO、看板和告警责任人。
监控分层不是为了好看,而是为了排障时能回答三个问题:业务有没有问题、是哪个服务的问题、是服务自身还是依赖的问题。
Q11. 告警怎么分级、通知和升级?
推荐回答:
我会从“影响面 × 严重度 × 持续时间”三个维度分级,而不是只看单个指标。
| 级别 | 典型场景 | 通知方式 | 响应要求 |
|---|---|---|---|
| P0/重大 | 核心链路大面积不可用、资金损失、数据风险 | 电话 + 短信 + 群 + 管理层 | 立即拉起应急,5 分钟响应 |
| P1/严重 | 核心接口可用率明显下降、多个客户受影响 | 电话 + 短信 + 群 | 10 分钟内响应 |
| P2/一般 | 非核心功能异常、单客户受影响 | 群 + 工单 | 30 分钟内处理 |
| P3/风险 | 指标轻微抖动、趋势异常、资源水位预警 | 机器人/邮件 | 工作时间处理 |
升级机制:
- 告警产生后自动拉群,带上服务 owner、SRE、值班人;
- 超过 N 分钟未响应,自动升级到 backup/leader;
- 超过 N 分钟未恢复,升级故障等级;
- 值班采用轮班,告警必须有人认领,不能“群里刷过去”。
以业务告警为例,下单成功率下降 5% 可能只是风险提醒;下降 20% 且持续几分钟,就要升级;下降 50% 或核心地域大面积失败,直接按重大故障处理。具体阈值要结合业务基线,不能照搬。
注意点:
- 分级不是目的,可执行才是。级别太多、通知太泛,最后大家都会麻木。
- 一定要讲“未响应升级”和“告警认领”,这是值班体系的关键。
Q12. 告警风暴怎么抑制和收敛?
推荐回答:
告警风暴的根因通常是“一个底层故障触发了大量上层告警”。处理思路是先收敛,再定位。
| 手段 | 做法 |
|---|---|
| 依赖拓扑抑制 | Redis 挂了,抑制依赖它的应用告警,只保留根因告警 |
| 时间窗口聚合 | 同一服务/同一指标在窗口内合并成一条,带触发次数 |
| 告警去重 | 相同指纹(服务+指标+实例+错误码)只保留一条 |
| 分级降噪 | 低级别只进群/工单,不打电话 |
| 静默 | 变更窗口、演练期间对已知告警静默,但要有到期时间 |
| 分组路由 | 按服务/团队/地域路由到不同值班人,避免全量广播 |
| 根因告警 | 对核心依赖单独设根因指标,比如 Redis 主从切换、DNS 解析失败 |
关键原则:告警要可执行。一条告警如果没人知道该做什么,它就不应该存在。定期看告警的误报率、漏报率、MTTA、MTTR,持续治理。
Q13. Redis 重点应该监控哪些指标?
推荐回答:
我会分五类看:
| 类别 | 指标 | 关注点 |
|---|---|---|
| 可用性/连接 | connected_clients、blocked_clients、rejected_connections |
连接数是否打满、是否有拒绝 |
| 性能 | QPS、RT P95/P99、slowlog、命令耗时 |
长尾延迟、慢命令、热点 key |
| 资源 | CPU、used_memory、maxmemory、碎片率、evicted_keys |
内存水位、是否触发淘汰 |
| 持久化/复制 | RDB/AOF 状态、fork 耗时、主从 offset 延迟 | 持久化失败、复制延迟 |
| 集群/代理 | cluster_state、slot 覆盖、failover 次数、proxy 连接数/QPS |
集群健康、代理层瓶颈 |
另外要单独治理大 key 和热 key:大 key 会阻塞主线程、拖高 RT;热 key 会把单个分片打满。监控上可以看慢日志、命令分布、分片 QPS 倾斜。
如果只能留三个告警,我会留:RT P99 突增、内存/CPU 水位、主从/集群异常。
Q14. RT 看平均还是 P95/P99?为什么?
推荐回答:
以 P95/P99 为主,平均值只作为趋势参考。
原因很简单:平均值会掩盖长尾。比如 100 个请求,99 个 10ms,1 个 10s,平均 RT 只有 110ms,看起来很正常,但 P99 是 10s,那 1% 的用户体验已经崩了。线上故障往往是长尾先出问题,平均值反应太迟钝。
我的做法:
- SLO 用 P95/P99,比如“核心接口 P99 < 200ms”;
- 告警用 P99 + 错误率 + 流量一起看,避免单指标误判;
- 平均 RT 用来看趋势,比如整体是否缓慢劣化;
- 同时看 Max RT 和慢请求分布,定位极端 case;
- 分维度看:接口、实例、命令、下游依赖,不然全局 P99 会把问题平均掉。
另外,RT 是结果指标,看到 P99 升高还要下钻:是 Redis 慢命令、网络重传、CPU 打满、连接池排队,还是下游拖累。
注意点:
- 平均值不是没用,而是不能单独用于告警和 SLO。
- 分位值要有足够的样本量,低 QPS 接口看 P99 可能只有几条数据,容易误报。
Q15. 自建 Redis 生产环境怎么部署?云上高可用 Redis 是什么架构?
推荐回答:
自建的话,生产环境至少是主从 + Sentinel,单机只能用于测试。
- 主从:一主多从,从库做读扩展和故障备份;
- Sentinel:至少 3 个(quorum 2),推荐 5 个(quorum 3),负责监控、选主和通知客户端;
- 持久化:RDB + AOF 按业务选择,重要数据要定期备份和恢复演练;
- 客户端:支持 Sentinel 地址发现,配置超时、重试和降级;
- 运维:监控 RT、内存、连接数、主从延迟,定期做故障切换演练。
云上高可用版一般是管控面 + 数据面:
- 数据面:主节点 + 备节点,可能再加只读节点;
- 代理层:集群版会有 proxy,客户端连 proxy,由 proxy 做路由;
- 管控面:定时探测节点健康,异常时自动摘除、主备切换,并更新路由;
- 多可用区:主备跨可用区部署,降低单机房故障影响;
- 备份恢复:自动备份、按时间点恢复。
如果是集群版,还会按 slot 分片,每个分片一主多从,proxy 负责路由和聚合。具体内部实现我不一定完全清楚,但设计目标是一样的:故障检测、自动切换、客户端透明、数据不丢或尽量少丢。
注意点:
- 面试中被问“云上内部怎么实现”时,坦白边界:“内部细节我没深入看,但从通用架构看是 proxy + 分片 + 副本 + 管控面切换。”
- 不要编造内部组件名。
三、故障与应急
Q16. 服务可用率下跌一般有哪些原因?“变更没切流”具体怎么导致故障?
推荐回答:
常见原因可以分五类:
| 类别 | 典型原因 |
|---|---|
| 变更 | 发布、配置、缩容、路由/证书变更、数据库变更 |
| 容量 | 突增流量、资源不足、连接池打满、队列积压 |
| 依赖 | Redis/MySQL/MQ/第三方服务故障、DNS 异常 |
| 代码/数据 | 慢查询、死锁、内存泄漏、脏数据、缓存击穿 |
| 环境 | 网络抖动、丢包、机房/可用区故障、攻击 |
“变更没切流”通常指新版本已经发布,但流量没有按预期从旧实例摘除,或者新旧版本同时承载流量导致兼容性问题。典型表现:
- 旧实例还在接流量,但新版本已经改了接口/数据结构;
- 优雅下线没做好,Pod 被删时仍有请求进来;
- 灰度规则配置错误,流量全量打到新版本;
- 数据库 schema 变更不兼容,旧代码读到新数据报错。
所以变更要做三件事:可灰度、可监控、可回滚。发布时按比例切流,观察错误率和 RT,再逐步放量;下线时先摘流量、等连接排空、再停进程。
Q17. 可用率跌 10% 重不重要?下跌多少算故障?怎么定级?
推荐回答:
不能只看百分比,要看基线、影响面、持续时间和业务价值。
- 核心支付链路跌 1%,可能比边缘推荐服务跌 50% 更严重;
- 跌 10% 但只持续 30 秒、自动恢复,和跌 10% 持续 30 分钟,定级完全不同;
- 影响 1 个客户和影响 100 个客户,也不是一个量级;
- 还要看是否触及 SLO / 错误预算,错误预算消耗速度是很好的定级依据。
定级一般用“影响面 × 严重度 × 时长”的矩阵。举个例子:核心产品某地域可用率下跌 5% 以内,可以先按风险事件处理,拉起排查但不起故障;超过 5% 且持续一定时间,再升级为故障。具体阈值因业务而异。
对中小团队,我不建议照搬大厂的分级。大厂有专职应急和值班人力,小团队级别太多反而执行不下去。可以先分三级:风险、故障、重大故障,先把“谁响应、多久响应、怎么升级”跑通,再逐步细化。
注意点:
- 面试官追问“10% 重不重要”,其实在看你有没有业务判断,不要只回答“看情况”。
- 给出一个可执行的矩阵,比背大厂案例更加分。
Q18. 告警、风险事件、故障怎么区分?所有告警都要起事件吗?
推荐回答:
我理解三者是层层收敛的关系:
- 告警:一个监控信号,比如 RT 升高、错误率上涨;
- 事件:把相关告警聚合起来,进入统一处理流程,有人认领;
- 风险事件:可能影响业务,但尚未造成客户影响,或已经自动恢复;
- 故障:已经造成客户可见影响,需要按故障流程应急、通报和复盘。
不是所有告警都要起故障,但核心告警应该进入统一事件流。有些团队会把初始告警叫 F0,先拉起排查,再根据影响升级为风险事件或故障。比如主备切换,业务无损,可以起风险事件,不升级为故障,但仍然要查清“为什么切”,因为下一次可能就没这么幸运。
区分的关键是客户是否受影响。内部告警、云产品告警、测试环境告警要单独路由,不能和客户侧故障混在一起,否则值班会被噪声淹没。
Q19. 云上 DNS 故障,怎么帮客户做逃逸?
推荐回答:
先分故障类型:权威 DNS 故障、LocalDNS 故障、运营商劫持/污染、DDoS 攻击、配置错误。不同类型逃逸手段不同。
短期止血:
- 切换备用 DNS 服务商或公共 DNS;
- 客户端预置备用域名/IP,支持多线路重试;
- 移动端接入 HTTPDNS,绕过 LocalDNS 劫持;
- 调整 TTL:平时用较短 TTL 便于切换,但也不能太短导致解析压力过大;
- 对核心域名做多线 BGP、多地域权威 DNS。
中长期改造:
- 不要单点依赖一家 DNS;
- 端侧使用 HTTPDNS / DoH / DoT,减少运营商劫持;
- 建立域名拨测和解析监控,按地域/运营商看解析结果;
- 把 DNS 切换写进预案并定期演练。
切 114 只是临时手段,能解决一部分 LocalDNS 问题,但解决不了权威 DNS 故障和 HTTPDNS 场景,不能当成长期方案。
Q20. 地域级故障,客户侧怎么逃逸?预案怎么验证有效?
推荐回答:
地域级故障能不能逃逸,主要取决于客户自己的高可用架构:
- 同城双活:两个可用区同时承载流量,单区故障切到另一区;
- 异地多活:多地域单元化部署,按用户/流量维度切流;
- 多云/混合云:一家云故障切到另一家,但数据同步和网络打通是难点;
- 数据层:主从/多活复制,明确 RPO/RTO;异步复制会有数据丢失窗口;
- 流量调度:DNS/GSLB/Anycast,按地域、权重、健康检查切流。
如果客户没做这些,云厂商单方面很难帮他“逃逸”,只能做降级、只读、排队、限流,尽量保住核心链路。
预案验证不能只看文档,要做:
- 桌面演练:角色、决策人、切换步骤、回滚条件;
- 故障注入:模拟可用区/实例/中间件故障;
- 真实切流演练:在低峰期切一部分流量,验证 DNS、数据同步、连接池、会话;
- 二次确认:切换后看业务指标、错误率、RT、数据一致性;
- 复盘修订:把演练中发现的问题写回预案。
预案的价值不是“写得多漂亮”,而是真出事时有人敢按、按了有效。
Q21. 怎么复刻客户环境做验证和交付?
推荐回答:
先明确目标:是复现故障、验证预案,还是做压测/迁移验证。目标不同,环境精度要求不同。
我会按这几步:
- 资源清单:VPC、子网、安全组、LB、容器集群、网关、中间件、数据库、对象存储;
- IaC 化:能用 Terraform/ROS/CloudFormation 就不要手工点,保证可重复;
- 镜像与配置:镜像推到客户/内部镜像仓库,配置脱敏后版本化;
- 数据准备:用脱敏数据或合成数据,注意不要把人生产数据带到测试环境;
- 流量验证:拨测、压测、流量回放,观察 RT、错误率、容量水位;
- 清理与回收:演练结束及时释放资源,避免成本泄漏。
如果客户环境没有 CI/CD,也可以手工拉起,但一定要记录步骤,形成可复用的交付脚本/SOP。复刻的目标不是 100% 一样,而是关键链路和故障域一致。
Q22. 日常排障流程是怎样的?中间件告警和业务告警同时出现,怎么判断因果?
推荐回答:
我的排障顺序是:确认影响面 → 判断告警有效性 → 分层定位 → 止血 → 根因 → 复盘。
- 看业务黄金指标:可用率、错误率、RT、流量,确认是不是真故障;
- 看告警是否有效,排除抖动、探针误报、监控采集异常;
- 按入口 → 应用 → 中间件 → 数据库 → 基础设施逐层下钻;
- 用 TraceID 串日志和调用链,定位到具体服务和依赖;
- 关联最近变更:发布、配置、扩缩容、证书、网络;
- 先止血:回滚、切流、扩容、限流、降级;
- 恢复后做根因分析和复盘。
中间件告警和业务告警同时出现时,不能只看时间先后,要判断谁因谁果:
- 看中间件自身健康:RT、CPU、连接数、慢查询、大 key、主从状态;
- 看业务侧请求特征:QPS 是否突增、是否有大 key/批量命令、连接池是否打满;
- 看依赖拓扑:业务是否强依赖这个中间件,是否还有其他依赖同时异常;
- 看变更:中间件参数、业务发布、数据量变化;
- 必要时做隔离验证:限流/降级一部分流量,看中间件是否恢复。
比如 Redis RT 升高 + 业务错误率升高,可能是 Redis 故障导致业务失败,也可能是业务突发大 key 把 Redis 打爆。要看 Redis 慢日志和命令分布,不能拍脑袋。
四、AI 运维诊断 Agent
Q23. RCA Agent 整体怎么落地?数据怎么接?
推荐回答:
我先把目标说清楚:RCA Agent 不是“让大模型猜根因”,而是把排障专家的证据收集、假设验证、结论输出这个过程自动化。模型只是其中一环,决定效果上限的是数据和工具。
整体我会拆成五层:
| 层次 | 职责 | 关键设计 |
|---|---|---|
| 触发层 | 告警、工单、人工提问、定时巡检 | 统一输入协议,带服务、环境、地域、时间窗、TraceID、错误码 |
| 数据层 | Metrics、Logging、Tracing、CMDB、变更、知识库、历史故障 | 统一 ID 和时间对齐,解决“数据孤岛” |
| 工具层 | 把 Prometheus、Loki、Jaeger、K8s、变更系统封装成工具 | MCP/HTTP、只读优先、超时、分页、截断、限流 |
| 编排层 | 规划、调用工具、维护假设、验证、汇总 | ReAct 或 LangGraph 状态机,限制最大步数和 Token |
| 输出层 | 根因候选、证据链、置信度、处置建议 | 每条结论必须带证据,人工确认入口 |
一次典型的诊断流程:
1
2
3
4
5
6
7
8 告警进入
→ 解析告警:服务、指标、时间窗、TraceID、错误码
→ 规则初筛:已知错误码/已知变更/已知容量问题
→ 并行拉证据:指标、日志、Trace、变更、依赖拓扑
→ LLM 生成 3~5 个候选根因
→ 逐个假设调用工具验证
→ 输出排序后的根因 + 证据 + 缺失信息 + 下一步建议
→ 人工确认,结果回流数据接入的关键不是“接得多”,而是能对齐:
- 统一服务名、环境、地域、实例、TraceID、变更单号;
- 指标、日志、Trace 用同一个时间窗,避免“拿错时间段的日志”;
- CMDB/拓扑提供依赖关系,否则 Agent 只能看到单点;
- 变更系统非常关键,很多故障的根因就是一次发布、配置或扩缩容;
- 历史故障和工单提供“类似 case”,比让模型从零推理可靠得多。
部署可以分两阶段:
- MVP:Cloud SDK / CLI 起一个 Agent Loop,工具先用脚本/HTTP 包一层,验证诊断链路是否跑得通;
- 生产:LangGraph/自研状态机 + MCP 工具服务 + 队列 + 权限 + 审计 + 评估集,把 Agent 当成一个正式服务来运维。
生产上我会重点盯四个指标:诊断采纳率、人工推翻率、单次成本、端到端耗时。如果 Agent 自己不可观测,就没法判断它到底有没有价值。
Q24. 诊断逻辑怎么做?专家经验、知识库、数据飞轮怎么结合?
推荐回答:
我会把诊断能力拆成“规则、知识、推理、反馈”四部分,而不是把所有东西都塞进 prompt。
| 类型 | 内容 | 载体 |
|---|---|---|
| 规则 | 已知错误码、已知故障模式、阈值判断 | 代码/规则引擎 |
| 稳定知识 | 部署架构、依赖拓扑、SOP、排障手册 | skill/工具/结构化配置 |
| 易变知识 | 变更记录、故障案例、工单、产品文档 | 知识库/RAG |
| 反馈数据 | 人工确认结果、误判案例、实际修复动作 | 评估集/数据飞轮 |
诊断逻辑我一般按“先收敛、再假设、后验证”:
- 归一化:把告警转成统一的问题描述,明确服务、时间窗、影响面、异常指标;
- 规则初筛:能直接命中的先命中,比如错误码字典、已知变更、明显的容量问题;
- 假设生成:让 LLM 基于证据生成 3~5 个候选根因,而不是直接给一个结论;
- 证据验证:每个候选根因对应一组验证动作,调用工具确认或排除;
- 置信度排序:输出 Top-N,带证据、反证和缺失信息;
- 人工确认:值班人采纳或修正;
- 回流沉淀:把“告警 + 证据 + 结论 + 人工修正”存成 case。
不同类型的问题,证据清单不一样:
| 现象 | 优先看什么 |
|---|---|
| 错误率上升 | 发布/配置变更、依赖状态、证书/域名、下游错误码 |
| RT 上升 | CPU/内存、连接池、慢查询、网络重传、下游 RT |
| 流量下跌 | 入口/DNS、LB、证书、客户端版本、业务活动 |
| 5xx 增多 | 应用日志、Trace 异常点、依赖超时、限流/熔断 |
| 中间件异常 | 慢日志、大 key/热 key、主从状态、连接数、磁盘 |
单请求诊断和告警诊断要分开:
- 单请求诊断:以 TraceID 为主轴,范围收敛,错误码明确,准确率可以做得比较高;
- 告警诊断:以服务和时间窗为主,噪声多、因果复杂,更适合输出“候选根因 + 排查建议”,而不是拍一个结论。
数据飞轮的关键不是“自动学习”,而是有人工确认和评估集:
- 每次诊断记录:输入、证据、模型输出、人工结论、实际根因、修复动作;
- 建立根因分类体系,方便统计哪类问题错得多;
- 先改规则、工具和知识库,再考虑 prompt,最后才考虑微调;
- 定期回归,防止“修好一个 case,弄坏十个 case”。
Q25. 单请求诊断怎么做?错误码怎么“专家化”?
推荐回答:
单请求诊断和告警诊断是两种不同的产品形态,不能混在一起做。
单请求诊断的输入很明确:
trace_id/request_id、错误码、发生时间、服务名,目标是回答“这一次请求到底错在哪一跳”。它的范围收敛,所以准确率可以做得比较高。我一般按这条链路走:
1
2
3
4
5
6
7 请求上下文
→ 还原 Trace:span 树、首错节点、上下游
→ 错误码映射:含义、层级、owner、常见原因、验证动作
→ 拉取首错节点及上下游日志
→ 检查依赖:DB/Redis/MQ/第三方/网络/DNS
→ 关联变更:版本、配置、灰度、发布记录
→ 输出:错误点 + 根因候选 + 证据 + 建议动作 + owner几个关键点:
- 先找首错节点,不要从入口开始猜。入口报错往往只是下游错误的传导。
- Trace 要能还原完整链路,包括异步调用、重试、超时;重试场景要区分“第一次失败”和“重试后失败”。
- 错误码要结构化,不能只把文档塞进知识库。
- 日志只取相关时间窗和 span,不要把整个服务的日志灌给模型。
- 变更关联非常重要,很多单请求错误是版本/配置不一致导致的。
错误码“专家化”我会做成一张结构化表:
| 字段 | 说明 |
|---|---|
| 错误码 | 业务码 / HTTP 状态 / gRPC 状态 |
| 所属层级 | 入口、应用、中间件、依赖、基础设施 |
| 含义 | 对用户和研发都能看懂的解释 |
| 常见原因 | 按概率排序的 3~5 个原因 |
| 验证动作 | 看哪个指标、哪条日志、哪个 Trace |
| Owner | 服务/中间件/网络/云产品 |
| SOP | 处置步骤、回滚/降级方案 |
| 版本范围 | 适用的服务版本和生效时间 |
常见错误码走规则命中,长尾错误码走 RAG 检索,未知错误码走 Trace + 日志兜底,同时把未知错误码记录下来,作为知识库的补充来源。
单请求诊断的准确率能到 90%~95%,前提是 Trace 完整、错误码覆盖够、日志保留够。如果 Trace 采样缺失、日志被截断,再强的模型也只能猜。
Q26. 产品架构变了,知识库怎么更新?
推荐回答:
核心原则是:skill 放流程,知识库放事实;事实要版本化、可追溯、能自动同步。
两类知识分开处理:
- 稳定流程:怎么查日志、怎么拉 Trace、标准排障步骤、工具调用规范,放在 skill/代码里;
- 易变事实:架构图、部署清单、服务依赖、错误码、变更记录,放在知识库,不要硬编码进 prompt。
更新机制我会做五件事:
- 单一事实源:架构信息尽量来自 CMDB、IaC、服务目录、发布系统,减少手写文档;
- 版本化:每篇知识带文档 ID、版本、生效时间、负责人、适用范围、最后验证时间;
- 变更触发:发布、迁移、拆分服务后,自动把相关知识打上“待复核”,必要时阻断高风险诊断;
- 检索带元数据:RAG 按 service、env、version、时间过滤,优先返回最新且已验证的知识;
- 过期治理:过期文档不一定要删,但必须打标,避免 Agent 拿旧架构做判断。
举个例子:一个单体服务拆成三个微服务,至少要更新:
- 服务拓扑和依赖关系;
- 错误码归属;
- 日志/Trace 的查询入口;
- 值班人和升级路径;
- 相关 SOP 和历史故障的适用范围。
如果这些不同步,Agent 就会拿着旧拓扑去解释新问题,准确率会越来越差。
Q27. 诊断准确率和耗时怎么样?为什么告警诊断准确率上不去?
推荐回答:
先定义口径,不然“准确率”没有意义。我一般看这几个指标:
| 指标 | 含义 |
|---|---|
| Top-1 命中率 | 第一个根因就是实际根因的比例 |
| Top-3 召回率 | 实际根因在前三个候选里的比例 |
| 证据准确率 | 引用的日志/指标/Trace 是否真的支持结论 |
| 建议采纳率 | 值班人是否采纳了处置建议 |
| 人工推翻率 | 人工最终否定的比例 |
| 端到端耗时 | 从触发到输出结论的时间 |
| 单次成本 | Token + 工具调用 + 模型推理成本 |
我的经验是:
- 单请求诊断:有 TraceID、错误码、明确链路,准确率可以做到 90%~95% 以上;
- 告警诊断:面对整个服务和时间窗,噪声多、因果复杂,50% 以上已经是不错的结果,仍然需要人工确认;
- 耗时:数据量不大、ReAct 轮次不多时,大概 5~7 分钟;紧急故障场景等不起,所以要先给止血建议,再慢慢做根因。
告警诊断准确率上不去,主要有六个原因:
- 告警是症状,不是根因:错误率升高可能来自发布、依赖、证书、DNS、容量,任何一个;
- 数据不完整:缺变更、发布、业务上下文,Agent 只能看到表面;
- 因果复杂:一因多果、多因一果,时间相关不等于因果;
- 数据孤岛:指标、日志、Trace、变更各在一套系统,ID 对不上;
- LLM 幻觉:没有证据约束时,模型会编一个“听起来合理”的原因;
- 评估标准不统一:Top-1、Top-3、建议采纳率混着说,没法比较。
提升方向:
- 接入变更系统、CMDB、发布记录,这是准确率提升最大的一步;
- 建立历史故障评估集,按故障类型分层看准确率;
- 先做“辅助定位”,不要一上来追求全自动;
- 给置信度和缺失信息,让值班人知道什么时候不该信;
- 把耗时拆开看:工具调用、模型推理、日志检索,分别优化。
我不会承诺“告警诊断 90% 准确”,因为告警场景本身信息不完整。更合理的承诺是:Top-3 候选覆盖大部分常见故障,并且每条结论都有证据可查。
Q28. Agent 的上下文、成本和延迟怎么控制?
推荐回答:
这三件事其实是一件事:上下文工程。Agent 慢、贵、答得飘,很多时候不是模型不行,而是把太多无关数据塞进了上下文。
我会从五个方面控制:
| 方面 | 做法 |
|---|---|
| 工具输出 | 只返回结构化摘要 + 关键原文 + 查询链接;日志按错误签名聚合,按时间窗截断 |
| 证据板 | 用一个结构化状态维护“假设、证据、反证、缺口”,不要把所有工具结果堆进对话历史 |
| 上下文压缩 | 每一步后总结,丢掉无关输出;保留 TraceID、时间、服务、关键日志行 |
| 模型路由 | 小模型做分类/抽取/摘要,大模型做归因和方案生成 |
| 缓存与并行 | 缓存拓扑、知识、常见查询;独立工具并行调用;设置最大步数和 Token 预算 |
延迟上我会做分层:
- 1 分钟内:先给规则/指标层面的初步判断和止血建议;
- 5~7 分钟:完成多轮证据收集和根因分析;
- 更久:转异步,结果回到工单/群,不阻塞应急。
工具设计也很关键:
- 每个工具必须有超时、分页、最大返回条数;
- 优先返回高信号数据,比如错误日志 Top-N、慢查询 Top-N、异常 Trace;
- 不要让 Agent 自己“翻几万行日志”,而是给它聚合后的特征;
- 工具失败要能降级,返回“缺什么数据”,而不是让整个诊断失败。
Agent 自己也要可观测:每次诊断记录工具调用次数、Token、耗时、失败原因、人工是否采纳。没有这些数据,优化就是盲猜。
Q29. Agent 怎么评测?怎么防止幻觉?
推荐回答:
评测和防幻觉要一起做,因为很多“幻觉”其实是评测没约束住。
离线评测:
- 建一个 100~500 条的历史故障集,每条包含告警、时间窗、证据、实际根因、处置动作;
- 按故障类型分层:发布类、依赖类、容量类、配置类、网络类;
- 指标看 Top-1/Top-3、证据准确率、建议安全性、耗时、成本;
- 每次改 prompt、工具、模型、知识库,都跑回归,防止“修一个坏十个”。
在线评测:
- 影子模式:Agent 只输出建议,不影响实际处置;
- 人工打分:采纳/部分采纳/推翻,记录原因;
- 看人工推翻率和“Agent 说 A、人工确认 B”的混淆矩阵;
- 逐步放量,先覆盖低风险场景。
防幻觉:
- 证据优先:每条结论必须引用具体指标、日志行、Trace 或变更单;没有证据就输出“信息不足”;
- 工具算数:数值、同比环比、阈值判断交给工具,不让 LLM 心算;
- 结构化输出:根因、证据、置信度、缺失信息、建议动作分开字段;
- 检索 grounding:知识库返回文档版本和生效时间,避免旧知识;
- 允许弃权:置信度低时明确说“无法定位”,比编一个答案更有价值;
- 高风险人工确认:涉及变更、重启、切流的建议,必须人工确认。
评测最容易踩的坑是“拿演示 case 当评测集”。演示 case 是挑过的,真实故障的长尾才是难点。
Q30. 能让 Agent 自愈吗?风险怎么控制?
推荐回答:
可以,但要分级,不能一上来就全自动。
| 级别 | 能力 | 例子 |
|---|---|---|
| L0 | 只读诊断,输出建议 | 查指标、查日志、给根因候选 |
| L1 | 人工确认后执行 | 人点确认,Agent 调 SOP 执行 |
| L2 | 受限自动执行 | 低风险、可回滚、有护栏的摘流/重启/扩容 |
| L3 | 全自动 | 不建议,尤其是核心系统和数据操作 |
我倾向于把自愈做成“Agent 提议、策略引擎审批、执行器执行”三段式:
1
2
3
4
5 Agent 输出动作提案
→ 策略引擎校验:动作是否允许、影响面多大、是否在变更窗口、是否需要审批
→ 执行器按预定义 SOP 执行
→ 执行后验证指标
→ 异常则回滚/人工接管动作提案至少包含:动作类型、目标、参数、原因、证据、风险等级、影响面、回滚方案。
适合自愈的操作:摘流、重启、扩容、切流、限流这类有明确 SOP、可回滚、影响面可控的动作。
不适合:删数据、改核心配置、跨地域切换、复杂数据库变更、安全策略变更。
护栏我会重点做:
- 最小权限:Agent 只能调预定义 SOP,不能直接调底层 API;
- 影响面限制:一次只动一个实例/一个分片,保留最小可用副本;
- 前置检查:PDB、健康检查、依赖状态、变更窗口;
- dry-run + 二次确认:先演练,再执行;
- 熔断和 kill switch:异常时一键停止,人工接管;
- 全链路审计:谁触发、改了什么、结果如何、是否回滚;
- 执行后验证:业务指标不恢复或继续恶化,立即回滚。
核心原则:AI 负责判断和编排,执行交给确定性系统;人可以慢一点,但不能把幻觉直接放到生产。
衡量自愈是否成功,不能只看“自动执行了多少次”,要看 MTTR 是否下降、回滚率、Agent 引发的故障数、人工接管率。
薄弱环节专项补强
这一章不再按面试顺序,而是把当时答得虚、被追问、或者明显卡壳的点单独拎出来,给一个可以直接复述的标准回答。面试前可以只看这一章。
薄弱点 1:被追问“具体是什么功能”时,答不出具体案例
面试原问:
你说的“功能设计不完善”,具体是什么功能?什么系统的什么功能?
当时的问题:
一直在讲“使用姿势”“架构评审”这种抽象词,面试官连续追问四五次,最后才落到客服 Agent 的例子,信任感已经被消耗。
标准回答:
我举一个电商客服 Agent 的例子。客户要在客服系统里接入大模型,从历史对话中提取用户当前意图和下一步行为,比如退货、比价、改地址,然后以结构化 JSON 返回给下游工单系统。
原设计强依赖模型按 JSON Schema 输出,下游直接解析。问题是:约束解码只能保证 JSON 语法合法,保证不了字段语义正确;Schema 复杂时还会带来编译和性能问题;下游没有校验和降级,模型的长尾错误会直接变成业务错误。
我的建议是三层兜底:约束解码保证语法,JSON Schema 和业务规则保证语义,失败后重试/修复/降级;同时把解析失败率、字段缺失率做成监控指标,高风险动作不让模型直接执行。
所以我说“功能设计不完善”,指的是把模型的不确定性直接透传给了下游,缺少工程兜底,不是模型效果本身的问题。
回答模板:
- 背景:什么业务、什么系统、什么规模
- 问题:原来怎么做、哪里会出事
- 判断:为什么这是问题
- 动作:我建议/做了什么
- 结果:指标或风险变化
薄弱点 2:项目不在简历上,角色边界说不清
面试原问:
这个项目简历上没写?你是什么时候参与的?你是什么角色?
当时的问题:
先说了“我是以架构师身份参与评审”,但没有主动说明这不是我主导的项目,面试官一追问“简历上没写”,就显得被动。
标准回答:
这个项目没有单独写在简历上,因为它是我在稳定性团队做架构评审时接触的客户案例,不是我主导从 0 到 1 建设的系统。
我的角色是稳定性架构评审:参与方案评审,重点看大模型调用链路、结构化输出、降级和可观测性;指出强依赖 JSON Schema 的风险,给出校验、重试、降级和监控建议;跟客户和内部产研对齐改进项,具体业务代码由客户团队实现。
我能讲清楚的是我看到了什么问题、为什么这么判断、建议怎么改、最后哪些落地了。如果你们想听我主导的项目,我可以展开讲 CI/CD 平台或监控告警体系建设。
要点:
- 先承认边界,再讲贡献
- 用“背景-任务-动作-结果”讲,不要抢 owner
- 面试前给简历上每个项目准备 3 分钟版和 10 分钟深挖版
薄弱点 3:“这和稳定性有什么关系”答得虚
面试原问:
你也会去到业务场景里面看?这跟稳定性有什么关系?
标准回答:
有关系。稳定性不只是 K8s、主机和中间件,业务架构里的强依赖、同步调用、重试风暴、第三方依赖、结构化输出解析失败,最后都会体现在可用率和错误率上。
我们作为横向稳定性团队,价值是做“第二双眼睛”:用稳定性视角做架构评审,输出单点、容量、依赖、降级、可观测性这些风险清单;把历史故障沉淀成检查项和预案;在重保、大促、迁移时做容量评估和演练。
但边界很清楚:业务功能是否合理,业务团队是 owner;我们负责指出“这样设计在稳定性上会有什么风险”和“怎么验证”,不替客户做业务决策。
薄弱点 4:监控体系讲得散,没有分层
面试原问:
监控怎么做?
标准回答:
我会分五层,核心是能从业务现象逐层下钻到根因。
- 业务监控:下单量、支付成功率、核心接口成功率、GMV、转化率;
- 应用监控:RED(Rate、Errors、Duration),线程池、连接池、GC;
- 中间件/云产品:Redis、Kafka、MySQL 的 QPS、RT、连接数、慢查询、水位;
- 基础设施:主机、K8s、网络、存储的 CPU、内存、磁盘、Pod 状态;
- 端侧体验:拨测、RUM、CDN 命中率、首屏和接口耗时。
建设时抓三件事:统一标签(service/env/region/instance/version)、统一入口(Prometheus/云监控 + Grafana + Alertmanager)、统一规范(每个核心服务必须有黄金指标、SLO、看板和责任人)。
分层不是为了好看,而是排障时能回答三个问题:业务有没有问题、是哪个服务的问题、是服务自身还是依赖的问题。
薄弱点 5:告警分级和故障定级被追问
面试原问:
告警怎么分层?下跌多少算正常?10% 重不重要?所有告警都要起事件吗?
当时的问题:
例子给得太绝对,面试官一追问“10% 重不重要”“小公司怎么办”,回答就容易变成“看情况”。
标准回答:
我不会只看百分比,而是看四个维度:基线、影响面、持续时间、业务价值。
- 核心支付链路跌 1%,可能比边缘推荐服务跌 50% 更严重;
- 跌 10% 只持续 30 秒并自动恢复,和持续 30 分钟,定级完全不同;
- 影响 1 个客户和影响 100 个客户,不是一个量级;
- 还要看 SLO/错误预算的消耗速度。
定级用“影响面 × 严重度 × 时长”的矩阵。比如核心产品某地域可用率跌 5% 以内,先按风险事件处理,拉起排查但不起故障;超过 5% 且持续一定时间,再升级为故障。
对中小团队,我不建议照搬大厂分级。可以先分三级:风险、故障、重大故障,先把“谁响应、多久响应、怎么升级”跑通,再细化。
告警、风险事件、故障的关系是:告警是信号,事件是聚合后的处理单元,风险事件是可能影响但未造成客户影响或已恢复,故障是已经造成客户可见影响。不是所有告警都起故障,但核心告警要进统一事件流。
薄弱点 6:Redis 生产部署架构不熟
面试原问:
自建 Redis 生产环境怎么部署?云上高可用 Redis 是什么架构?
当时的问题:
只说了“Sentinel”和“云上有 proxy、主备切换”,被追问内部实现时直接说“没怎么关注”,深度不够。
标准回答:
自建生产至少是主从 + Sentinel,单机只能测试。主从做读扩展和故障备份,Sentinel 至少 3 个(quorum 2)、推荐 5 个(quorum 3),负责监控、选主和通知客户端;持久化按业务选 RDB + AOF,重要数据定期备份和恢复演练;客户端要支持 Sentinel 地址发现、超时、重试和降级。
云上高可用版一般是管控面 + 数据面:数据面是主节点 + 备节点,可能还有只读节点;集群版会有 proxy 做路由,下面按 slot 分片,每个分片一主多从;管控面定时探测健康,异常时自动摘除、主备切换、更新路由;主备跨可用区部署,降低单机房故障影响。
具体内部实现我不一定完全清楚,但设计目标是一样的:故障检测、自动切换、客户端透明、数据不丢或尽量少丢。
薄弱点 7:RT 指标没答清楚
面试原问:
你说的 RT 是哪个 RT?平均 RT 还是 P95?
标准回答:
以 P95/P99 为主,平均值只作为趋势参考。
平均值会掩盖长尾:100 个请求,99 个 10ms,1 个 10s,平均只有 110ms,但 P99 是 10s,那 1% 的用户体验已经崩了。线上故障往往是长尾先出问题。
我的做法是:SLO 用 P95/P99,告警用 P99 + 错误率 + 流量一起看,平均 RT 看趋势,同时看 Max RT 和慢请求分布;还要分接口、实例、命令、下游依赖去看,不然全局 P99 会把问题平均掉。
RT 是结果指标,P99 升高后要下钻:慢命令、网络重传、CPU 打满、连接池排队,还是下游拖累。
薄弱点 8:故障逃逸和预案验证讲得空
面试原问:
云上 DNS 故障怎么逃逸?地域级故障客户侧怎么逃逸?预案怎么验证有效?
标准回答:
DNS 故障先分类型:权威 DNS 故障、LocalDNS 故障、运营商劫持、DDoS、配置错误。
短期止血:切备用 DNS 或公共 DNS、客户端预置备用域名/IP、移动端接 HTTPDNS、调整 TTL、核心域名多线 BGP 和多地域权威 DNS。中长期改造:不单点依赖一家 DNS,端侧用 HTTPDNS/DoH/DoT,建立按地域和运营商的解析拨测,把切换写进预案并演练。
地域级故障能不能逃逸,取决于客户自己的架构:同城双活、异地多活、单元化、多云/混合云,数据层要明确 RPO/RTO,流量层用 DNS/GSLB/Anycast 调度。如果客户没做这些,云厂商单方面很难帮他逃逸,只能降级、只读、排队、限流,保住核心链路。
预案验证不能只看文档:桌面演练、故障注入、低峰期真实切流、切换后二次确认业务指标和数据一致性、复盘修订。预案的价值不是写得多漂亮,而是真出事时有人敢按、按了有效。
薄弱点 9:中间件告警和业务告警同时出现,因果判断不系统
面试原问:
中间件告警和业务告警同时出现,怎么判断是谁的问题?
标准回答:
不能只看时间先后,时间相关不等于因果。我会从五个方面判断:
- 看中间件自身健康:RT、CPU、连接数、慢查询、大 key、主从状态;
- 看业务侧请求特征:QPS 是否突增、是否有大 key/批量命令、连接池是否打满;
- 看依赖拓扑:业务是否强依赖这个中间件,是否还有其他依赖同时异常;
- 看变更:中间件参数、业务发布、数据量变化;
- 必要时做隔离验证:限流/降级一部分流量,看中间件是否恢复。
比如 Redis RT 升高 + 业务错误率升高,可能是 Redis 故障导致业务失败,也可能是业务突发大 key 把 Redis 打爆。要看 Redis 慢日志和命令分布,不能拍脑袋。
薄弱点 10:AI Agent 的准确率和自愈边界讲得不够硬
面试原问:
诊断准确率多少?能让 Agent 自愈吗?风险怎么控制?
标准回答:
先定义准确率口径:Top-1 根因命中率、Top-3 召回率、证据准确率、建议采纳率,不能混着说。
单请求诊断有 TraceID、错误码、明确链路,准确率可以做到 90%~95%;告警诊断面对整个服务和时间窗,噪声多、因果复杂,50% 以上已经不错,仍然需要人工确认。耗时方面,数据量不大、ReAct 轮次不多时大概 5~7 分钟,紧急故障要先给止血建议。
告警诊断准确率上不去,主要是告警是症状不是根因、数据不完整、因果复杂、数据孤岛、LLM 幻觉、评估标准不统一。提升最大的一步是接入变更系统、CMDB、发布记录,然后建立历史故障评估集。
自愈要分级:L0 只读诊断,L1 人工确认后执行,L2 受限自动执行,L3 全自动不建议。适合摘流、重启、扩容、切流、限流这类有 SOP、可回滚、影响面可控的动作;不适合删数据、改核心配置、跨地域切换。原则是 Agent 提议、策略引擎审批、执行器执行,人保留 kill switch。
薄弱点速查表
| 薄弱点 | 标准回答关键词 |
|---|---|
| 追问具体功能 | 客服 Agent、JSON Schema、三层兜底、STAR |
| 项目不在简历 | 先认边界、评审角色、不抢 owner |
| 稳定性关系 | 端到端、业务风险转可用性、第二双眼睛 |
| 监控分层 | 业务/应用/中间件/基础设施/端侧、统一标签 |
| 告警定级 | 基线×影响面×时长、风险事件 vs 故障 |
| Redis 部署 | 主从+Sentinel、集群分片、云上 proxy+管控面 |
| RT 指标 | P95/P99、长尾、SLO、下钻 |
| 故障逃逸 | DNS/HTTPDNS、同城双活/异地多活、RTO/RPO、演练 |
| 中间件因果 | 拓扑、首异常、请求特征、变更、隔离验证 |
| AI Agent | 口径、单请求 vs 告警、数据>模型、证据、L0-L3 |
这一章的使用方式:
面试前不要通读全文,先看这张速查表,再挑自己最容易卡壳的 3~4 个点,用“标准回答”开口讲一遍。能讲顺,才算真的会。
反问
面试最后聊了团队情况,记录一下:
| # | 问题 | 面试官答复要点 |
|---|---|---|
| 1 | 团队主要做什么? | 云平台运维,多云环境,涉及 ECS、RDS 等云产品,也在补外部云/多云能力 |
| 2 | 主要用哪几家云?有海外业务吗? | 国内为主,海外不多 |
| 3 | 团队规模? | 20 多人,下面还有小组分工 |
| 4 | 平时 AI 用得多吗?会接到实际工作场景吗? | 会,AI 已经接入实际工作,但有人卡关;AI 主要做流程编排,不直接控制 |
| 5 | 会让 AI 直接做运维操作吗? | 操作前一定有人确认,AI 更多是编排和辅助 |
反问的收获:
- 团队是云平台运维 + 多云方向,和我的公有云 SRE 经历匹配;
- AI 落地有,但偏“辅助 + 人工卡关”,不是全自动;
- 团队规模不大,值班和故障文化需要进一步了解;
- 如果后续有机会,可以重点问:值班频率、故障复盘机制、AI Agent 的评估方式、多云切流能力。
写在后面
这场面试最大的教训不是某个知识点不会,而是表达方式。
1. 回答要落到具体案例
面试官连续追问“什么功能”“具体是什么”,我一直在讲“使用姿势”“架构评审”这种抽象词。站在面试官角度,他听到的是:
“这个人好像知道一些原则,但说不出自己到底做了什么。”
以后回答这类问题,直接用 STAR:
- S:什么业务、什么系统、什么规模;
- T:我负责什么、目标是什么;
- A:我具体做了哪几件事;
- R:结果是什么、有什么数据。
哪怕项目不大,只要讲得具体、边界清楚,就比空泛的“架构评审”有说服力。
2. 简历上的项目要提前埋点
面试官问“简历上没写”,说明我的项目叙述和简历没有对齐。以后:
- 简历上每个项目准备 3 分钟版和 10 分钟深挖版;
- 明确写清楚角色:owner / 参与 / 评审 / 支持;
- 面试中先说边界,再讲贡献,不要等面试官追问;
- 没写进简历的项目,如果要用,先解释为什么没写,避免被当成编经历。
3. 基础深度要补
这场被追问的几个点,都是“日常用过但没讲透”的:
- Redis 生产部署:主从 + Sentinel、集群分片、云上 proxy + 管控面切换;
- RT 指标:平均值 vs P95/P99,长尾和 SLO;
- 告警分级:影响面 × 严重度 × 时长,未响应升级;
- 故障定级:不能只看百分比,要看业务和错误预算;
- 中间件与业务告警的因果判断:看依赖、看请求特征、看变更、做隔离验证。
4. 稳定性体系要讲成闭环
监控、告警、应急、复盘不是四件事,而是一条闭环:
1 | 监控发现 → 告警触达 → 应急止血 → 根因分析 → 复盘改进 → 监控/预案更新 |
以后讲稳定性,不要只列工具,要讲谁负责、用什么指标衡量、怎么演练、怎么闭环。
5. AI Agent 要讲成工程闭环
这次聊 AI 诊断,我能讲出架构和流程,但准确率、数据完整性、自愈风险这些“边界”还可以更扎实。复盘下来,RCA Agent 不是一个“接个大模型”的项目,而是一条工程闭环:
1 | 数据接入 → 工具封装 → 编排推理 → 证据校验 → 人工确认 → 评测回归 → 知识更新 |
以后讲 AI Agent,我会重点讲清楚六件事:
- 数据比模型重要:没有 Metrics/Logging/Tracing/变更/CMDB,Agent 只能猜;
- 工具要有契约:输入输出、超时、分页、截断、权限,不能把原始日志直接灌给模型;
- 准确率要分口径:Top-1/Top-3、证据准确率、建议采纳率,单请求和告警诊断分开看;
- 评测要先于优化:没有历史故障集和回归,改 prompt 就是碰运气;
- 幻觉要靠证据约束:每条结论必须引用指标/日志/Trace/变更,允许 Agent 说“信息不足”;
- 自愈要有护栏:Agent 提议、策略引擎审批、执行器执行,人保留 kill switch。
持续学习,下次把“做过”讲成“讲得清楚”。