“相同的输入,在不同的并行排布和不同厂商的 GPU 上会产生不同的结果。”美东时间 2026 年 11 月 18 日,这句话写在 CertiSum 研究团队发布于 arXiv 论文 的技术预印本开篇,没有客套,就是一句实话。做大模型训练的人都懂省算力的诱惑:电费高、卡时贵,业界纷纷把目光投向更窄的数值格式。论文引述的行业进展显示,微缩放 4 位浮点格式(MXFP4)已经用于服务 OpenAI 的 `gpt-oss` 等生产级模型;相比 FP8,FP4 能把内存占用砍半,并在现代加速器上将矩阵吞吐量提升至少一倍,配合得当的训练配方,还能以低得多的反向传播估算成本拿到接近 BF16 的模型质量。
省钱归省钱,麻烦紧跟着就来了。数值位宽压窄之后,训练过程变得格外敏感——同一份代码、同一批训练数据,哪怕只是调整一下多卡并行切分方式,或者从英伟达换到 AMD 的加速卡,跑出来的模型权重和损失值就对不上号。这一步跨得过去吗?CertiSum 团队在论文中提出了一套新方法,想让 MXFP4 训练在重复运行、改变并行排布乃至跨厂商换卡时都做到逐位一致(bitwise-identical)。便宜好用的低精度算力,真能从此告别这种随机浮动?
同一份代码和输入,换张显卡怎么就算出两本账?
三个数相加,先算前两个还是先算后两个,中学课本里答案完全一样。可进了计算机的浮点数世界,加法偏偏不满足结合律。这就像菜市场结账时每加一样菜就抹一次零头:先算豆腐白菜再加排骨,和先算排骨再加豆腐白菜,每次抹零的时机不同,最后打出来的收据总价就可能差出一点。CertiSum 研究团队在 arXiv 论文 中拆解了两个底层病根:一是归约求和的顺序会随并行排布而变,数据并行(DP)、张量并行(TP)、上下文并行(CP)怎么把任务切给多张 GPU,算子内核怎么分给流式多处理器(SM),乃至注意力反向传播里原子加法随线程调度的先后,都会打乱加法次序;二是底层算子内核本身就不固定,框架里的自动调优器会根据输入形状、硬件型号和实时测速临场挑实现方案,不同内核各有各的加总路线。
位宽越充裕,抹零的偏差越容易被缓冲;位宽一窄,差之毫厘的波动就会被迅速放大。研究团队在 arXiv 论文 图 1 披露的对照实验里测出了一组直观数据:训练采用张量并行、把同一个模型切分到 4 张 GPU 而不是 2 张 GPU 上运行时,MXFP4 训练下发生变化的输出词元(output tokens)数量,足足是 BF16 训练下的 18 倍。算力账单是瘦下来了,训练轨迹却跟着乱晃。
差几个比特而已,为什么会让训练和审计一起头疼?
外行看热闹,可能觉得小数点尾巴上晃动一下无伤大雅。真放到工业流水线上,这点偏差足以让工程师抓狂。拿大模型常用的强化学习(RL)来说,论文梳理既有实践指出,负责采样生成词元的推理引擎,和负责独立重算对数概率的训练引擎,往往跑在不同的算子内核与并行切分上;两边算出来的概率对不上,原本设计的同策略(on-policy)训练悄没声地就滑向了异策略(off-policy)。日常排错更是苦差事。训练半路损失值突然异常,到底是程序员在 softmax 里写了数值不稳定的朴素指数运算,还是多卡调度的随机抖动?没有确定性做标尺,查错就像在摇晃的船舱里找松动的螺丝。
算子测试和模型安全审计同样吃过这亏。论文作者分析称,因为待测内核与参考实现的求和顺序不一致,测试往往只能设一个容差范围,而宽松的误差带很可能把写错的内核一并放行;到了第三方训练审计环节,审计方往往需要在不同厂商的加速卡上重跑公开代码和数据,核验发布出来的模型权重是不是真由所宣称的材料训出,一旦缺乏跨硬件复现能力,藏在模型里的后门就可能逃过检测。对硅谷和纽约不少精打细算的华人 AI 团队来说,这也不是纸面理论:英伟达高端卡租金一直不便宜,想趁云平台促销租一批 AMD 算力接着跑训练或做合规交付,最怕的就是换卡之后指标飘移、客户验收卡壳。
不强行锁死计算顺序,CertiSum靠什么给结果盖章?
既然乱序加法惹祸,过往的办法无非两条路:要么把加法排队顺序焊死,要么每次归约都掏出高精度算盘重打一遍。可翻开 arXiv 论文 表 1 汇总的既有方案,两边各有硬伤——固定求和顺序的系统只能保住同款配置重复运行一致,换一家芯片厂商立刻失灵,部分方案甚至只管前向传播不管反向;跨硬件重放方案虽然打通了不同厂商,运行耗时却膨胀到 BF16 训练的 5.2 至 6.8 倍;至于不挑顺序的精确求和算法,因为每一回归约都要为精确性买单,最慢能比常规非确定性通用矩阵乘法拖慢 16 倍,而避开高开销的 FoldAttention 又只覆盖了注意力计算。全检太慢,锁死又跨不了卡,怎么破局?
CertiSum 团队在 arXiv 论文 中换了个巧思路:MXFP4 乘积放进硬件原生的 FP32 累加器里求和时,许多计算其实不管按什么顺序加,结果本来就是完全精确的。既然大多数货物天生合格,何必件件拆箱重装?这套方法干脆在海关开了条“绿色通道”:它在量化阶段顺手收集统计信息,给原生矩阵乘法的结果做数学“认证”;拿到合格章的直接放行,没拿到认证的少数输出再拉去精确重算,而在那些认证成功率本就很低的环节,则直接调用精确内核处理。配合跨并行排布保持不变的量化分块,以及注意力与权重梯度计算中的无舍入局部和合并,它把推理输出与训练中的损失、梯度、参数、优化器状态统统锁在了同一套结果上。
跨英伟达和AMD逐位对齐,要付多少算力代价?
机制设计得再巧,拉上真实算力集群跑一圈才算数。研究团队在 arXiv 论文 披露的实测结果显示,在 `Qwen3-8B-Base` 模型的 200 步训练实验里,无论是在 AMD MI350X 与 NVIDIA GB200 两家厂商的加速卡之间切换,还是在 MI350X 上改动数据并行、张量并行和上下文并行的切分方式,CertiSum 都把训练状态保持到了逐比特一致。而在 MI350X 上用 `FineWeb-Edu` 数据集评测三个 8B 至 14B 规模模型时,面对较大的测试输入形状,它比非精确的 MXFP4 基准增加了 11.8% 至 60.5% 的单步训练延迟;不过拿去跟普通 BF16 比,它最高仍有 1.24 倍的加速,对比确定性 BF16 训练最高则能快出 1.70 倍。
这笔买卖划算吗?得看谁在掏腰包。论文作者在文中也坦承,到了生产级的大规模训练场上,哪怕很微小的额外延迟都会化成真金白银的成本。追求极限吞吐的基础模型大厂,未必舍得为了逐位一致让出这部分单步速度,况且这项方案目前公开的跨平台实证还集中在中等参数规模与有限训练步数的实验区间,尚未经过超长周期预训练的摔打。反过来,对那些被强化学习策略偏移折腾得够呛、或者必须向客户与审计方证明权重没被动过手脚的团队来说,能比确定性 BF16 更快地拿到跨硬件铁证,这份速度代价就有人愿意买单。
游仕觀察
前些日子行业拼算力,大家盯着的是谁家显卡攒得多、谁把训练精度压得更低;往后走,算得快只是入场券,算得“可交账”正在变成硬门槛。当一家企业要把大模型塞进医疗理赔、财税审核或金融风控流程里,监管方与付款客户迟早会追问一句:换个机房重跑一遍,你的系统还能给出同一份结果吗?研发团队内部的协作也是一样,把硬件差异和并行调度的随机噪音挡在门外,负责算法的工程师与负责底层算子的工程师才不用每次训练出岔子就互相推责。
对在北美经营 AI 应用公司、做跨境电商智能工具或帮本地律所诊所搭行业模型的华人创业者与技术负责人来说,这类跨硬件确定性研究释放了一个实在的信号:多云比价和混合算力采购的路子正在变宽。眼下不必急着去大改底层训练框架,但在规划算力预算和研发流程时,不妨先把推理采样与训练复算的精度核对写进日常测试清单,省得强化学习训偏了再推倒返工;去谈英伟达与 AMD 混合云租约时,也别光盯着每小时裸卡单价,把模型复现与排错耗掉的工程师工时一块儿算进总账。省下工程师通宵查随机故障的工时费,往往比单纯抠那点裸卡差价管用得多。
来源
---
编辑:Googlezhang|撰稿:小诸葛(AI)