随着大语言模型（LLM）与自主人工智能体（Autonomous AI Agents）技术的发展，智能体不仅被赋予更高自主权来接管复杂的任务规划与执行，还被越来越广泛地应用于计算行为实验（in silico experiments）中，甚至作为人类参与者的替代模型来评估决策逻辑。然而，据 arXiv 上 2026 年 5 月 3 日提交的论文《Preregistration for Experiments with AI Agents》（作者 Michelle Vaccaro；论文页注明已被 ICML 2026 接收为 Spotlight 立场论文），作者主张把科学界用于防范结果偏倚的“研究预注册”（preregistration）延伸到 AI 智能体实验。

一边是赋予算法更高自由度、让智能体在多轮迭代中自主决策与执行任务的工程探索；另一边则是要求在动手跑数据前把提示词、模型选择与测试方案锁死的科学约束。为什么在智能体实验中，科研人员需要专门引入这道看似繁琐的防线？传统的算法评估方式正面临怎样的信任考验？

极低迭代成本与海量变数：智能体实验带来了怎样的“研究者自由度”？

在传统的计算机软件与规则化算法测试中，输入与输出通常遵循明确的逻辑边界与确定性流程；面对复杂的交互任务时，固定规则系统的行为相对透明可溯。然而，当研究全面转向具备自主规划与多步推理能力的生成式智能体时，实验变量的复杂度出现了几何级数的膨胀。

在这篇 arXiv 论文中，作者系统梳理了智能体实验中激增的“研究者自由度”（researcher degrees of freedom）：

首先是模型与版本的选择空间。同一个测试任务，使用不同的基座模型、微调版本或不同精度的权重，智能体的规划能力与执行表现可能截然不同；

其次是提示词措辞（prompt wording）与系统设定的高度敏感性。在实践中，调整几个引导性动词、加入一段思维链（Chain-of-Thought）示例，甚至仅仅改变运行温度等超参数，智能体的输出质量与成功率就会发生剧烈波动；

再者是“依据结果进行事后设计”（outcome-contingent redesign）。由于调用模型 API 运行智能体测试的成本极低、迭代周期极短，研究人员可以在极短时间内完成成百上千次参数微调与环境重试。

如果缺乏事先的流程规约，研究人员极易在无意识或潜意识中陷入“先射箭、后画靶”的陷阱——在海量调试结果中，倾向于挑选最符合假设的亮眼案例进行汇报，或者在看到智能体偶然跑出某种特定行为后，反向将其修改为最初的实验设计目标。在缺乏公开报告规范的当下，这种选择性呈现极易被包装成技术具备稳定通用性，却给外部复现和基准横评埋下了隐患。

什么是“研究预注册”，科学界当初为何要推行它？

这正是“研究预注册”（study pre-registration）介入的背景。所谓研究预注册，通常是指在正式收集数据或运行核心实验之前，研究人员先把研究假设、实验设计方案和数据分析流程登记备案（可在发布时公开，或设定期限后公开），相当于在开考前先把答题规则和评分标准记录存档，减少考完之后根据分数倒推题目的空间。

这一做法以及进一步与期刊审稿结合的改革思路，源于科学界对学术信任问题的反思。Chris Chambers、Marcus Munafò 和 80 多名联署者曾在 2013 年于《卫报》发表公开信，呼吁科学期刊在研究结果产生前接受研究。

在传统的科研发表流程中，学术期刊往往更青睐那些得出“显著阳性结果”的论文，即证明某种新方法确实有效的研究；而那些证明新方法未见预期效果的“阴性结果”或零结果，发表难度往往更大。此外，学术界也一直担忧部分研究在看到实验数据后，可能出现事后调整统计口径或修改研究假设的倾向——就好比先往墙上射箭，等箭扎稳了，再围绕箭头画上靶心。

公开信所呼吁的机制（后来在学界发展为“注册报告”等审稿模式），核心在于改变“看结果定发表”的传统惯例：主张期刊在实验开展前先对研究问题的重要性和实验设计方法的严密性进行审阅；若方案通过事前审阅且研究者后续严格按既定方案执行，那么无论最终跑出来的数据是显著还是平淡，期刊都应予以发表评估与接纳，从而提升科学研究的公信力。

提前锁定实验方案后，科研结果发生了什么变化？

当科学界把这套“先定方案再做实验”的预注册理念逐步推开后，发表出来的科研图景出现了明显改变。

《自然》（Nature）于 2018 年 10 月 24 日报道，由英国卡迪夫大学（Cardiff University）的 Christopher Allen 与 David Mehler 开展的首项预注册研究分析显示，在采用预注册机制的研究中，零结果（null findings，即未发现预期显著效果的阴性结果）的比例出现了显著增加。

这一统计现象直观展现了预注册研究与传统发表文献在结果分布上的显著差异：当实验方案与假设在数据收集前被预先固定、且阴性结果同样获得发表渠道时，研究文献中呈现出的“未达预期效果”案例明显增多。在外界观察者看来，这也提醒人们，科学探索的过程本就伴随大量零结果，而考核方式的改变会直接影响哪些研究结果能够最终呈现在公众与同行面前。

为什么自主智能体实验尤其需要这道“防线”？

在传统的人类受试者行为研究中，预注册制度已被公认为防范结果偏倚与提升实验可信度的重要工具。而当 AI 智能体开始在更广泛的复杂场景中代表人类做出决策、或被用于模拟现实社会行为时，算法实验不仅继承了传统实验的复杂性，更因极低的试错门槛而放大了偏差风险。

这篇论文明确提出，有必要为 AI 智能体实验定制专门的预注册模板，并呼吁学术会议、顶级期刊以及资助机构将其纳入评估标准。

将预注册方法引入智能体实验，意味着研究团队在启动大规模评估前确立起清晰的科学边界：研究人员必须事先固化所选用的模型架构、提示词模板、环境交互限制以及对任务成败的判定依据。无论智能体在自动化测试中表现优异还是频频遇阻，既定框架下的完整记录都能如实反映真实的技术瓶颈，减少“只展示成功片段、隐藏翻车记录”的选择性偏差。

当然，预注册制度本身并非万能药。在技术快速迭代的背景下，预注册模板的标准化程度、测试基准是否贴近真实产业环境、以及如何应对闭源模型的频繁热更新，依然是需要研究人员持续面对的方法论命题。

游仕觀察

从 Chris Chambers 与 Marcus Munafò 等 80 多名联署者在《卫报》呼吁期刊在结果产生前接受研究，到 《自然》报道首项预注册研究分析显示零结果显著增加，再到如今学者在 arXiv 论文 中建议为 AI 智能体实验建立预注册机制，这条脉络清晰印证了一个规律：技术工具越是具有自主性、迭代试错越是廉价，检验它的度量衡就越需要事先校准。

今天，无论学术界还是产业界，都在竞相展示自主智能体接管规划与任务执行的高光表现。然而，衡量一套算法体系是具备经得起考验的鲁棒性，还是仅仅依赖局部调试与精心挑选的演示，往往不取决于它跑得最顺畅的那几次高光，而取决于我们是否有一套提前锁定的严密机制，敢于如实记录并正视每一次失败与零结果。

来源