2.04 倍的多轮代理任务吞吐、最高 59% 的每字词中位延迟降幅——这是麻省理工学院(MIT)韩松团队联合苏黎世联邦理工学院与加州大学圣迭戈分校,在美东时间 2026 年 11 月 19 日下午公开的推理系统论文《TideCache》给出的实测数据(arXiv 2611.26619)。

这组数字瞄准的是眼下开源大模型部署最头疼的一道坎。过去一年,Kimi K3、Ring-2.6、GLM-5.3-Flash、Qwen3.8 以及 GPT-OSS 等主流开源权重模型陆续放弃纯全局注意力,转投“混合架构”——每隔几层才保留一层全局注意力,其余层换用滑动窗口注意力,或者 Mamba、Gated DeltaNet、Kimi Delta Attention 这类有界状态层(arXiv 2611.26619;LMSYS Blog)。单看纸面参数,这种设计本该很省显存;可真把日常聊天、文档审阅和动辄十几轮工具调用的编程代理塞进同一台服务器,显存池还是频频告急。

显存到底卡死在哪?

问题出在两种缓存的脾气截然相反。全局注意力层的键值缓存(Global-KV)会随着上下文长度一路膨胀,遇到 4 万到 11 万字词的多轮编程代理会话,单条历史前缀就能吃掉大片高带宽显存(HBM);有界状态层的缓存对每条请求占用固定空间,本身不大,可一旦短平快的普通聊天请求涌进来,并发数飙升,状态槽位照样会被瞬间占满(arXiv 2611.26619)。

现有推理框架的解法各有掣肘。最传统的静态切分在启动前就把显存按固定比例划给两类缓存,结果往往是一边空着一大块、另一边已经拒绝新请求;vLLM 的混合键值缓存管理器和 SGLang 的统一内存池虽然支持动态共享,但需要改动底层缓存索引与内存排布,接入不同注意力后端或新模型时工程改造成本偏高(vLLM Docs;arXiv 2611.26619)。至于 SGLang 现有的分级缓存方案 HiCache,虽然能把历史前缀备份到主机内存避免重复计算,可一旦恢复执行,整段前缀在整个回复轮次里都得常驻显存,多路代理并发还是被显存容量死死按住(SGLang Docs;arXiv 2611.26619)。

趁有界层算账的空档,把显存腾出来

TideCache 的思路很直接:盯上 CPU 与 GPU 超级芯片之间那条平时在解码阶段闲着的高速通道。按照论文整理的参数,单卡 CPU 到 GPU 的双向互连带宽五年里翻了一个数量级,从 A100 的 PCIe 4.0(64 GB/s)一路跳到 NVIDIA Grace Hopper(GH200)和 Blackwell Ultra(GB300)的 NVLink-C2C(900 GB/s)(NVIDIA Grace Hopper;NVIDIA Blackwell Ultra;arXiv 2611.26619)。

研究团队在 SGLang 中新增了约 9000 行代码,在不改动模型专用算子和 CUDA Graph 捕获流程的前提下,搭起三个协同模块(arXiv 2611.26619):

透明缓存池(Transparent Cache Pool)借用 CUDA 虚拟内存接口,让各个缓存子池对外维持固定的虚拟地址与原有张量排布,后台每隔 8 次前向传播按需把空闲物理显存页重新映射给吃紧的子池。排队请求卡在状态槽时,就优先抽调未分配页、空闲区或长期未触碰的冷前缀,绝不动正在复用的热前缀(arXiv 2611.26619)。

缓存流式引擎(Cache Streamer)专治长上下文前缀占坑。混合模型在相邻两层全局注意力之间隔着多层有界状态计算,流式引擎恰好利用这段计算空档,通过主机内存到显存的双缓冲通道,提前把下一层全局注意力需要的历史前缀搬进两块全层复用的共享显存槽里。算完一层腾一块,历史前缀的显存占用压到全层常驻的很小一部分,新生成的键值则照旧留在显存里防掉速(arXiv 2611.26619)。

请求调度器负责盯紧显存水位和互连带宽预算,只在常驻区吃紧时挑选部分带长前缀的请求走流式通道,避免把通道挤爆拖慢整批解码(arXiv 2611.26619)。

实测提速多少,边界又在哪?

为了检验这套设计,团队在 GH200(单卡 96 GB HBM3 配 480 GB 主机内存)和四卡 GB300 节点(单卡 288 GB HBM3e 配 960 GB 主机内存,实测单卡主机到设备带宽 211 GB/s)上,用 ShareGPT 聊天流量混跑 SemiAnalysis 公开的 4 万至 11 万字词多轮编程代理轨迹,测试了涵盖 Kimi K3、Ring-2.6-1T、GLM-5.3-Flash、Qwen3.8 与 GPT-OSS-120B 在内的七组配置(arXiv 2611.26619)。

对比经过人工调优的 SGLang 加 HiCache 基线,TideCache 完成了最多 2.04 倍的代理轮次(GH200 最高 2.04 倍,GB300 最高 1.44 倍),整体每字词中位延迟降低 20% 至 59%,代理首字延迟(P50 TTFT)提速 1.40 倍至 3.05 倍(arXiv 2611.26619)。在 Qwen3.8-27B 叠加突发短请求冲击的 900 秒压力测试中,透明缓存池把有界状态显存从约 5.6 GiB 动态扩到 17.6 GiB,高峰过后又回落到 6.0 GiB,最终比 HiCache 多跑出 59% 的代理轮次,代理首字中位等待时间从 25.70 秒压到 5.68 秒,降幅达 78%(arXiv 2611.26619)。

不过论文也把硬件与场景边界摊得很直白。以 GPT-OSS-120B 在 GH200 上跑 29 路 8K 上下文为例,全批全局键值缓存占 8.76 GB,哪怕按 400 GB/s 传输也得花 21.9 毫秒,超过单步解码本身的 19.7 毫秒——通道吞吐一旦不够,硬推全量流式反而会拖慢响应(arXiv 2611.26619)。同等批大小下,引入流式调度与图同步也会带来约 -1.1% 到 +6.3% 的单步开销波动,收益主要来自有效全局缓存从 148K 扩到 260K 字词后,最大并发批从 16 推高到 29、峰值解码吞吐抬升 24%(arXiv 2611.26619)。如果机房用的是常规 PCIe 4.0(64 GB/s)或 PCIe 5.0(128 GB/s)老卡,远低于 NVLink-C2C 的传输速率,流式隐藏延迟的空间就会明显收窄;同样,若推理服务器只跑单一短文本问答、并不缺显存,这套机制也派不上大用场(arXiv 2611.26619)。

游仕观察

对于在北美做 AI 应用开发、跨境电商独立站运营,或是给中小外贸和批发企业搭私有化客服、选品与 ERP 智能体的华人技术团队而言,TideCache 戳中了一笔最实在的算力成本账。过去一年,不少出海华商团队为了省下高昂的闭源 API 按量账单,开始自购或租用云端 GPU 部署 Qwen、GLM、Kimi 这类混合架构开源模型;可真把客服问答和需要反复查库存、对账单、调物流接口的多轮代理放到同一套集群里,往往很快碰到显存明明还有空余、队列却堵死排队、首字响应动辄二三十秒的窘境,最后只能硬着头皮加租昂贵显卡。

眼下这项研究还处于学术预印本与 SGLang 实验分支阶段,中小华商和华人工程团队不必急着把生产环境立刻换血,但完全可以据此调整近半年的硬件采购与架构自查清单。如果团队正在用 SGLang 或 vLLM 混跑聊天与多轮代理业务,建议先拉出监控日志,分别核查全局键值缓存和有界状态槽位的峰值利用率,把静态切分比例调优或开启框架自带的统一内存与分级缓存功能,先止住最明显的排队损耗。在云端选型和采购预算上,建议把“主机内存容量与 CPU-GPU 互连带宽”正式写进评估指标,尤其面对长上下文代码助手、外贸单证审核代理这类重历史前缀负载时,测试租用 GH200 或 GB300 等高带宽超级芯片实例的单位吞吐成本,往往比盲目堆叠低带宽普通卡更划算。同时,建议密切跟踪 SGLang 上游主线对 TideCache 虚拟内存重映射特性的合并进度,待稳定版本发布后再用真实客服与代理回放流量做灰度压测,避免为未经充分验证的实验代码承担线上宕机风险。

来源

---

编辑:Googlezhang|撰稿:小诸葛(AI)