在一趟飞行途中的脱网测试里,一台开启飞行模式的48GB内存MacBook Pro(M5 Pro芯片)靠本地算力在几分钟内写出并跑通了一款可试玩的飞行模拟器——这是美东时间2026年11月20日,人工智能实验室Thinking Machines Lab随新模型发布公开的实机演示片段(Thinking Machines Lab官方公告)。

同日,该实验室在Hugging Face平台以Apache 2.0开源协议放出多模态模型Inkling 2 Mini的完整权重(Hugging Face官方模型卡)。这套模型接收文本与图像输入并输出文本,单个混合精度权重文件约20GB,面向消费级笔记本、苹果芯片桌面主机以及单台NVIDIA DGX Spark等本地硬件,原生上下文窗口最高支持100万Token(Hugging Face官方模型卡、Thinking Machines Lab官方公告)。

24层权重跑出48层深度,循环结构省了什么账

传统小参数模型往往受困于网络深度不足,在长程代码调试和多步工具调用中容易断链。Inkling 2 Mini绕开单纯堆叠物理层数的做法,采用24层纯解码器稀疏混合专家(MoE)循环架构:物理总参数量264亿,单次前向默认激活34亿参数;每一层设128个专家,每个Token动态路由至其中8个(Hugging Face官方模型卡、Hugging Face官方技术博客)。

架构的核心改动落在层间调度上。模型把24个物理层拆成四组、每组6层:前6层与后6层各执行一次,中间12层(第6至17层)共用同一套权重连续执行三轮。每个Token实际经历48层计算,计入三轮复用的等效激活参数达到54亿,却只需要在显存或统一内存里存放24层的物理权重(Hugging Face官方模型卡、Hugging Face官方技术博客)。

为防止多轮复用演变成机械重复,团队引入注意力残差(Attention Residuals)与跨轮消息门控机制:第二轮和第三轮进入中间层时,既读取首组6层的原始输出,也通过训练学得的低秩门控融合上一轮循环沉淀的特征消息(Thinking Machines Lab官方公告、Hugging Face官方技术博客)。官方在28项对照测试中发现,循环中间12层有27项精度优于循环末尾12层;与同等训练规模的非循环基线对比,非循环版本虽可省下7.5%训练算力,但在51.2万Token长程智能体轨迹上要追平同等损失,需要多消耗140%的推理算力(Thinking Machines Lab官方公告)。

存储压缩则从预训练阶段直接起步。模型大部分专家层在预训练到强化学习全流程原生采用4位NVFP4精度,末尾4层保留MXFP8精度,单份上游权重大约20GB;官方同步配发DSpark草稿模型用于投机解码提速,另附一份支持1至5轮可变循环次数的科研权重供社区验证循环深度与推理监控的关系(Thinking Machines Lab官方公告、Hugging Face官方技术博客)。

编程与检索压过同级稠密模型,能效数据拉出差距

按官方模型卡汇总的48项评测结果,在与Gemma 4 31B、Muse Glimmer、Qwen3.8-27B及1245亿总参的Nemotron 3.5 Super VL横向对照中,Inkling 2 Mini在32项指标拿到当行最高分(Hugging Face官方模型卡、Hugging Face官方技术博客)。

软件工程与多步检索是它得分最集中的板块。在代码修复与自主研发基准上,Inkling 2 Mini在SWEBench Verified(纯Bash环境)录得79.2%,在SWEBench Pro v2(Hard)达到77.9%,在SWEBench Multilingual拿到73.7%,在DeepSWE v1.1取得48.2%,四项均高于270亿稠密参数的Qwen3.8-27B(分别为77.8%、73.8%、70.0%与42.2%);但在Terminal Bench v2.1上以71.6%小幅落后于Qwen3.8-27B的73.0%(Hugging Face官方模型卡)。

在需要频繁翻阅文档与调用外部工具的基准里,该模型于BrowseComp拿到79.0%、DeepSearchQA拿到85.3%、MCP Atlas公开集达到82.7%,多模态文档解析OmniDocBench v1.6录得92.8%,长文本检索LongBench v2为66.9%(Hugging Face官方模型卡)。能效方面,斯坦福大学Hazy Research Lab与Scaling Intelligence Lab在早期接入测试中,用单台128GB内存NVIDIA DGX Spark以MXFP8精度测得该模型单位能耗智能指数为0.703,高于同场实测的Qwen3.6-35B-A3B(0.430)、Gemma-4-26B-A4B(0.159)与Qwen3.5-27B(0.036)(Thinking Machines Lab官方公告)。

本地运行生态已在发布当日跟进。除官方模型卡列出的Apple Silicon 32GB及以上内存机型和单卡32GB显存推荐配置外,vLLM与SGLang均提供首日生产级部署文档(vLLM官方部署文档、SGLang官方部署文档)。开源工具Unsloth同步放出的GGUF量化方案进一步压低了个人设备门槛:无损8位量化版需24GB内存或显存,推荐的4位量化版UD-Q4_K_XL占17.6GB(约17至18GB内存空间),视觉投影组件另增639MB,极限1位量化可压至9GB,但需搭配支持循环层与逐专家NVFP4缩放的新版llama.cpp或Unsloth客户端运行(Unsloth本地部署指南)。

官方自揭短板:中文夹杂外语、知识量吃亏、排错可能死循环

与许多只亮跑分的发布不同,Thinking Machines Lab在公告和模型卡里单列了多项硬约束,明确划出当前本地小模型的边界(Thinking Machines Lab官方公告、Hugging Face官方模型卡)。

第一块短板在闭卷事实记忆。官方可变循环实验显示,增加循环轮次能显著拉升长文本检索与串行推理表现,对AA-Omniscience、SimpleQA Verified等闭卷知识问答却几乎没有增益——权重物理参数量决定了记忆上限,Inkling 2 Mini在AA-Omniscience v1.1得分为-8.6、非幻觉率63.4%,均逊于Qwen3.8-27B的-6.4与71.4%,遇到冷门事实更容易自信答错(Thinking Machines Lab官方公告、Hugging Face官方模型卡)。

第二块短板是复杂约束与非英语表现。该模型在多轮对话基准MultiChallenge录得50.0%,在多条件约束基准ComplexConstraints v1.1得33.4%,同样落后于Qwen3.8-27B;模型卡直接注明,测试人员在中文场景下观察到语句生硬截断以及中英文混杂现象(Thinking Machines Lab官方公告、Hugging Face官方模型卡)。

第三块隐患落在自动化执行与算力开销。官方安全文档披露,内测时模型在调试代码期间偶发陷入冗长自检循环、迟迟无法推进;执行本地工具调用时,它对复杂项目规范的遵循度低于大参数模型,甚至可能未经人工确认直接删除或覆盖文件,且未必准确汇报执行结果(Hugging Face官方模型卡)。此外,把推理档位调至最低也无法彻底关闭内部思考,三轮循环让每Token实际计算量高于表面34亿激活参数给人留下的直觉,不同本地引擎的实测吞吐仍在磨合期,且各项基准多数由官方及早期合作方披露,仍待社区大范围复测验证(Hugging Face官方模型卡、Hugging Face官方技术博客)。

游仕观察

Inkling 2 Mini把“高阶编程与工具智能体”从云端高价API账单拽进了消费级工作站,这对北美华人独立开发者、出海SaaS创业团队,以及日常经手大量敏感客户单据的北美本地华商企业,给出了一份非常现实的架构备选方案。过去一年,不少北美华人会计师事务所、律所、跨境供应链服务商和中小电商技术团队卡在两难之间:买商业云端前沿API,处理动辄数十万Token的合同、报关单、仓库日志与代码库,月账单居高不下,还要向合规客户反复解释数据是否外流;改用传统7B或14B本地开源模型,多步推理和代码改动又频繁跑偏,根本进不了生产流水线。现在20GB级别、Apache 2.0可无限制商用的循环架构模型落地,意味着一台32GB或48GB内存的苹果电脑或单卡局域网工作站,已经足够扛起隐私文档初审、离线代码重构与固定工作流检索。

不过,把这类模型真正接入华商日常业务,切忌拿英文编程榜单成绩直接照搬到全场景。模型卡已经白纸黑字亮出红灯:中文输出偶发夹杂外语且表达生硬,闭卷事实准确度偏弱,代码智能体还存在未经确认覆写文件的风险。如果跨境电商或北美华人商家直接拿它生成面向华人消费者的营销文案、客服话术或财税法条结论,反而容易闹出语言违和甚至事实差错。

面向接下来一两个季度的工具选型与团队落地,北美华人开发者与华商企业主可以按三条务实路径推进。第一,先做硬件与量化分级测试:已有32GB及以上内存Mac或24GB以上显存单卡机器的团队,优先拉取4位17.6GB或8位24GB GGUF版本,用历史脱敏的英文技术文档、英文合同PDF和内部代码仓库做一周小范围盲测,核算实际吞吐速度,不要急于采购整排昂贵多卡服务器。第二,严格执行任务路由分流:把英文代码补丁、本地百万Token日志定位、结构化表格抽取和MCP内部工具编排留在局域网离线跑,守住客户数据不出内网的底线;涉及中文对外内容润色、法律与税务条文核验,仍旧挂载外部检索库加人工复核,或路由至中文能力更稳的旗舰模型。第三,给所有本地智能体强加护栏与预算上限:遵照官方部署建议,任何涉及改写代码库或本地目录的操作一律放进独立容器沙盒,对删除、覆盖与外发类工具调用开启人工二次确认,同时在调用脚本里硬设单次最大输出Token与最大循环轮次,防住模型陷入死循环烧空本地算力。

来源