机房里给开源混合大模型做推理运维的工程师,多半撞见过一幕让人啼笑皆非的僵局:同一张高端 GPU 上,负责并发会话的状态缓存池已经顶到天花板、把新请求拦在队列外,隔壁划给全局注意力 KV 的显存区域却还空着大半;等几条长上下文编程代理任务涌进来,局面又瞬间掉个个儿,活脱脱是“旱的旱死、涝的涝死”。美东时间2026年11月19日(UTC 同日),麻省理工学院(MIT)、苏黎世联邦理工学院(ETH Zurich)与加州大学圣迭戈分校(UC San Diego)六位研究者(Jinbin Luo、Xiaozhe Yao、Shang Yang、Zhijian Liu、Song Han、Qinghao Hu)在 arXiv 提交了 13 页系统论文《TideCache》,依托开源推理框架 SGLang,专门针对 CPU–GPU 超级芯片上的混合大模型显存管理交出了一套新解法(arXiv论文摘要页、TideCache论文全文)。

眼下,混合架构已坐稳开源大模型的主流路线。论文点名了 Kimi K3、Ring-2.6、GLM-5.3-Flash、Qwen3.8 以及 GPT-OSS 等代表性模型:它们只在每隔数层保留一层全局注意力(global attention),中间穿插滑动窗口注意力或 Mamba、Gated DeltaNet、Kimi Delta Attention 等循环层(TideCache论文全文)。这类中间层无论上下文拉到多长,单请求占用的状态大小都封顶,论文统称为有界状态层(bounded-state layers)。模型本身省了算力,推理引擎的显存调度却反倒更拗手了。

显存固定分桶,一遇混合流量就“按下葫芦浮起瓢”

症结出在两种缓存截然不同的膨胀速度上。对同时运行的 N 个请求、平均上下文长度 c 而言,全局注意力 KV 缓存随 N 与 c 的乘积一起膨胀,而有界状态层只跟着并发数 N 线性增长(TideCache论文全文)。聊天问答与自动标注任务并发高、单条短,专吃状态池;代码代理与长文档分析动辄带着几万 token 的工具回执与参考材料,专吃全局 KV 池。

现行推理框架大多在启动时就把 GPU 显存按固定比例切成几块桶,碰上业务流量此消彼长,立刻捉襟见肘。论文用 Ring-2.6-1T(4 卡张量并行)在 SGLang 默认配比(状态池与全局 KV 池之比为 0.9)下算了一笔细账:状态池把并发数硬生生卡死在 61 个请求,哪怕全局 KV 池里还闲着大片高带宽显存;反过来,一旦单个请求的上下文涨到 64K token,全局 KV 池最多只能兜住 17 个请求,状态池则大面积晒太阳(TideCache论文全文)。靠运维手动改启动参数好比“按下葫芦浮起瓢”,顾了并发就亏了长上下文,且左右腾挪终究跳不出单卡 HBM 的总盘子。

解码期高速链路闲着也是闲着,TideCache 改成逐层“接力搬货”

为了突破单卡显存上限,SGLang 此前推出了分层 KV 缓存机制 HiCache,将共享前缀缓存从 GPU 延伸到主机内存和外部存储,借以减少重复预填充计算(SGLang HiCache设计文档)。可是在混合模型多轮代理场景下,HiCache 仍有硬伤:每个会话轮次开始前,整段历史前缀必须完整搬回 GPU,而且一直占着显存直到本轮结束;轮到占据整轮绝大部分耗时的逐字解码(decode)阶段时,连接 CPU 主机内存与 GPU 的高速通道反而几乎空跑(TideCache论文全文)。

这条被白白冷落的通道,带宽早已今非昔比。论文梳理了英伟达几代平台的双向互连演进:2020 年 A100 的 PCIe 4.0 x16 为 64 GB/s,2022 年 H100 的 PCIe 5.0 x16 升至 128 GB/s,到了 2023 年搭载 NVLink-C2C 的 GH200 与 2025 年的 GB300,双向互连带宽直接跳上 900 GB/s(A100 的 14 倍),2026 年的 VR300 更进一步达到 1,800 GB/s(TideCache论文全文、NVIDIA GH200官方架构页)。在研究团队实测的四卡 GB300 节点上(单卡 288 GB HBM3e,双 72 核 Grace CPU 配 960 GB LPDDR5X),每张 GPU 从主机内存拉数据的实测带宽达 211 GB/s——按 Ring-2.6-1T 单次 57 毫秒解码步长推算,一个解码步就够链路搬运大约 12 GB 数据(TideCache论文全文)。

TideCache 在 SGLang 中新增了约 9,000 行代码,主要集中在内存池模块,既兼容多头、潜在与稀疏索引三类全局注意力,也原样保留现有注意力后端和 CUDA Graph 执行路径(TideCache论文全文)。它靠三个组件把闲置显存与闲置带宽同时拧成一股绳:

第一块是透明缓存池(Transparent Cache Pool)。它利用 CUDA 虚拟内存接口,让全局 KV、窗口 KV 与循环状态各自守着固定的虚拟地址区间,底层的物理显存页却按实时需求在几类缓存间动态重配,既不用停机重启,也免去了数据搬运开销与后端接口改动(TideCache论文全文)。

第二块是缓存流式器(Cache Streamer)。混合模型天生给流式传输留了“时间窗”:以 Ring-2.6 为例,每两层全局注意力之间隔着 7 层不读全局 KV 的有界状态层。TideCache 趁着 GPU 算这几层有界状态的空档,从主机内存把下一层全局注意力的历史前缀提前预取进跨层共享的 GPU 槽位,算完即释放,只让当轮新生成的 KV 常驻显存,把搬运耗时藏进了计算间隙里(arXiv论文摘要页、TideCache论文全文)。

第三块是请求调度器(Request Scheduler)。它盯着驻留区空余空间、待处理队列与请求前缀长度动态拍板:显存宽松时直接走驻留执行,一旦驻留区吃紧再对合适请求切入流式模式,并把省出来的 HBM 空间转手腾给其他缓存组件和更多并发请求(TideCache论文全文)。

七组实测对比:代理吞吐最高翻倍,免去反复调桶烦恼

为验证真实收益,团队在 GB300 与 GH200 两类超级芯片上搭了 7 组模型与平台组合:四卡 GB300 评测 Kimi K3(前 48 层)、Ring-2.6-1T 与 Qwen3.8-2.4T(前 36 层),单卡 GB300 跑 GLM-5.3-Flash;GH200 侧则覆盖四卡 GLM-5.3-Flash 以及单卡 Qwen3.8-27B、GPT-OSS-120B(TideCache论文全文)。

面对前缀容量超出常驻显存的高压负载,对照已经人工调至最优配比的 SGLang + HiCache 基线,TideCache 拿出了三项核心增幅:完成的代理轮次最高达到基线的 2.04 倍,所有请求的整体 P50 单 token 延迟压低 20% 至 59%,代理会话的 P50 首字延迟(TTFT)提速 1.40 至 3.05 倍(arXiv论文摘要页、alphaXiv论文追踪页)。按硬件拆看,GH200 侧的轮次增幅最高摸到 2.04 倍,GB300 侧最高为 1.44 倍——单卡剩余 HBM 越紧绷,跨层流式复用的边际红利就越突出(TideCache论文全文)。

消融实验则把“静态调参靠天吃饭”的痛点摆上了台面。单独开启透明缓存池、关掉主机缓存和流式预取后,在 Kimi K3 与 GLM-5.3-Flash 共 6 组混合流量测试里,TideCache 不靠逐场景调参,就能跑出最优固定分桶 96.3% 至 113.6% 的吞吐。在 Kimi K3 的配比敏感度测试中,研究团队把基线的状态与全局 KV 配比从 2 扫到 6,SGLang + HiCache 只在配比 3 处摸到峰值 67 轮,其余配比全跌回 44 至 59 轮;而 TideCache 从同一初始配比 3 出发,直接跑完 94 轮,比调到顶的基线还要多出 40%(TideCache论文全文)。

论文同样没有回避边界条件。逐层流式预取之所以能把传输时间压到肉眼难察,靠的是两个前提并存:一是解码批次得攒出足够的计算时间来掩盖数据搬运,二是底层硬件得握有超级芯片级别的 CPU–GPU 高速互连带宽(TideCache论文全文)。换作老旧 PCIe 服务器或者极低并发的单条请求,链路带宽本身就是墙,流式接力很难凭空变出加速比。

游仕观察

对于扎根硅谷、西雅图和纽约一线的北美华人 AI 基础设施工程师,以及打算自托管开源混合大模型来降本的华商创业团队而言,TideCache 这篇论文传递了一个很实在的工程信号:开源模型演进到混合架构之后,推理账单能不能打下来,已经不能只盯着纸面参数量或卡上标称的 FLOPS,显存异构分桶和 CPU–GPU 链路利用率才是决定单位并发成本的暗礁。很多中小团队把 Qwen3.8 或 GPT-OSS 这类混合模型拉上生产后,明明看监控 GPU 算力利用率不高,线上首字延迟却动辄飙升、代理并发怎么都上不去,根子往往就是状态池和全局 KV 池互相掣肘,再加上整段前缀常驻 HBM 把显存迅速吃干抹净。

从北美云厂商与自建集群的真实采购口径来看,这篇研究也顺带改写了硬件选型的算账方式。过去不少团队挑算力节点,习惯按单卡 HBM 容量除以每小时租金比价,对 GH200 或 GB300 这类带大容量 LPDDR5X 主机内存与 NVLink-C2C 高速互连的超级芯片,常常觉得主机内存离 GPU 太远、推理用不上。TideCache 的实测把这笔账挑明了:当服务的是多轮编程代理、长文档检索这类前缀复用率高且负载起伏大的业务时,211 GB/s 级别的实测主机到显存带宽配合混合模型自带的有界状态计算间隙,能把大片主机内存直接盘活成“准显存”,在 HBM 吃紧的 GH200 上甚至能顶出翻倍的代理轮次,实打实摊薄每百万 token 的托管成本。

落实到接下来一两个季度的研发排期,北美华商与出海 AI 工程团队不妨按三步稳妥跟进。其一,先把线上 SGLang 或 vLLM 集群的监控拆细到“状态池占用率”与“全局 KV 占用率”两条独立曲线,摸清白天聊天短请求与夜间代理长任务之间的波动幅度和排队卡点,别再拿一套静态配比全年硬扛。其二,在做多轮智能体长上下文扩容评测时,把搭载 NVLink-C2C 超级芯片的云实例纳入对照压测,对比相同并发与 TTFT 达标线下的整机月租金,而非只看单卡标价。其三,持续跟踪 TideCache 相关的 SGLang 内存池与流式预取代码演进,在正式切入生产前,务必按自家真实混合流量压测低并发与突发洪峰两套极端场景,确认解码计算窗口足以盖住跨链路传输耗时后再放量。

来源