正文凌晨两点,推理集群的内存告警又响了。
这次不是 OOM,而是一条更让人不安的曲线:某台实例的 RSS 持续上涨,重启后恢复,几天后再次逼近上限。堆栈翻遍了,没有泄漏;请求量没变,模型没换,最后定位到的”凶手”是一行看起来人畜无害的 JSON Schema:
1{ "type": "stri...
正文用户在第一轮说:”我对花生过敏。”
二十轮之后,Agent 热情地推荐了一款花生酱饼干。
这不是模型”忘了”,而是它从一开始就没有记住。大模型 API 是无状态的:每一次请求,模型只能看到你这次塞进上下文窗口里的 token。上一轮聊了什么、用户是谁、三天前确认过的偏好,只要没被重新放进 prompt,对模型来说就不存在。
很多...
正文凌晨两点,你的 LLM 应用又挂了。
错误日志很熟悉:json.decoder.JSONDecodeError: Expecting ',' delimiter。又是那个老问题——你让模型以 JSON 格式返回一个函数调用参数,模型”非常配合”地返回了 99% 正确的 JSON,然后在最后一个大括号前少写了一个逗...
前言2026-10-14 这场面试,岗位偏 SRE / 云平台运维 / 架构方向。前半段围绕职业转型和架构师视角,中段深挖监控告警、Redis 和故障应急,后半段几乎全在聊 AI 根因诊断 Agent。
这场暴露的问题很典型:
回答太抽象:面试官连续追问“什么功能”“具体是什么”,我一直在讲“使用姿势”“架构评审”,没有及时落到一...
前言又是两场面试,一场是北京的量化公司好像,感觉很不尊重面试者,被我自己pass了。另一家火山模型的SRE,经历不太匹配没后文了。挺迷茫的。
复盘按主题分四块整理:
一、网络与算法基础
二、容器与 K8s
三、存储与中间件
四、大模型 SRE 与 AI Agent
一、网络与算法基础Q1. TCP 三次握手的过程是怎样的?为...
每年我都会在生日当天写点啥,今年也随便写写。想到啥写啥,比较胡言乱语,抱歉。
最近看了两篇文章,大概意思是用fable 5写代码,感觉是神之一手,把自己都不知道怎么定位的bug解决了,认为ai时代下代码已死。我其实非常认同文章里的观点,我对ai编码的恐惧大概是发生在23年年底24年年初。那时候llm还没有像现在这么广泛,但我依然...
前言最近也是遇到了一个线上问题,比较严重,因此和AI对话了几轮,让他帮我总结下问题。有了AI之后,好像很多系统的工程能力都在减弱。我还是维持我的观点,AI是好,但是他只能帮助你50%的工作,架构师、开发的工作是理解业务、设计整个方案、避免踩坑,然后再把具体的实现抛给AI去做。来看遇到的问题吧。
Lettuce 是 Java 生态...
前言周四晚经历了一场面试,整体来说答得不是很好,总共就面试了20分钟左右。基础知识很多都忘了,写篇文章顺道复习下。至于为什么这篇是2,1的话由于我没录音所以很难整理,但问的没那么基础,有时间再整理下。
复盘这次面试的是一个高级运维岗,除了一个项目外,基本都是围绕运维体系提问。
介绍一下 K8s 集群的核心组件面试的时候回答了...
如果说 KV Cache 是大模型推理的”记忆加速器”,那么 PD 分离架构(Prefill-Decode Disaggregation) 就是把这个加速器搬上了高速公路——但同时也带来了一个新问题:记忆本身要运输了。
今天我们就来聊聊:在 PD 分离架构下,KV Cache 面临哪些挑战,又有哪些优化手段?
先回顾:LLM 推理的...
什么是投机解码 (Speculative Decoding)投机解码(Speculative Decoding)是大语言模型推理加速领域的一项创新技术,它通过”先猜后验”的策略,在保持生成质量不变的前提下,将推理速度提升 2-3 倍。这项技术由 Google 等团队在 2023 年提出,迅速成为推理优化的重要方向。
为什么要提出投机...