Jay来自凹非寺报道
徽声在线 | 公众号QbitAI

谷歌在RSI领域又有新突破，其最新成果已正式开源。

这一名为Harness²的系统，赋予了大模型在运行过程中自我修改外挂代码、系统提示词、工具链以及技能库的能力。

没错，这就是Harness层的RSI技术。

其效果令人惊叹。

搭载了这款RSI专精的GLM-5模型，在办公基准WorkBuddy-Bench上的得分直接飙升了11.5分——

瞬间超越了原生Gemini 3.5 Flash模型。

可以说，这是一个极为强大的外挂，任何模型一旦应用，跑分都能显著提升。

image.png

目前，该项目已全面开源，并支持OpenCode与Codex两种平台。

为何“自我改进”常遭遇失败？

过去，为了提升Agent的智能水平，业内尝试了不少递归自我改进（RSI）的方法。

这一思路听起来颇为诱人：让AI自行编写代码、修改提示词、优化系统。然而，一旦投入真实的开放世界，几乎全部以失败告终。

这是为何呢？

主要存在两大难题：

缺乏标准答案。

在实验室环境中，刷题有单元测试和Ground Truth作为评判标准。但在真实的职场场景中，如撰写商业企划案、审核法律合同等，线上往往无人给出评分。

AI自行修改了一版Prompt后，如何判断修改后是变得更聪明了还是在胡编乱造？

过度拟合单次任务。

为了完成某个特定任务，对脚手架进行了大量修改。然而，当下一个任务变为编写爬虫时，之前修改的规则便成了负担。

若直接将修改后的脚手架应用于下一个任务，系统很快就会陷入噪声螺旋，导致性能持续下降。

谷歌团队此次提出的Harness²，正是针对这两大难题而设计的。

他们构建了一套双层递归架构。

双层递归：左手实验，右手记录

Harness² 名称中的“平方”，指的是两层相互嵌套的递归循环：任务级递归（Task-level）和改进级递归（Harnessing-level）。

第一层，任务级递归：在没有标准答案的情况下进行对照实验。

image.png

面对新任务，系统首先使用初始脚手架生成一版参考轨迹。此时，结果是否正确并不重要，关键在于发现模型在执行过程中暴露出的缺陷。

紧接着，系统启动了一套名为Propose–Probe–Compose（提议-探测-合成）的机制：

Propose（提议）：

专门的编辑角色针对参考轨迹提出两套修改方案。

一套是“通用缺陷修补”（Invariant），专注于解决跨领域的通用问题，如规划混乱、工具调用死循环、上下文爆炸等；

另一套是“领域专属修补”（Domain），则针对当前业务的特定知识和约束进行优化。

Probe（探测）：

将这两套修改后的候选脚手架应用于同一任务，分别运行一遍。

在没有裁判的情况下，系统通过对比它们的执行轨迹和参考轨迹进行行为分析。观察改动是否解决了之前卡住的步骤，以及是否引发了新的逻辑退化。

Compose（合成）：

合成器将所有执行证据汇总，挑选出那些被行为证据证明有效的改动，并将它们合并到最终的执行脚手架中。

此外，该系统还支持并行扩展（Parallel Recursion），可以一次性展开 $k$ 个候选方案进行并发探测，从而在更广泛的探索空间中选择最优方案进行合成。

这一设计堪称精妙。

第二层，改进级递归：将修改脚手架的经验转化为元能力。

image.png

完成当前任务并交付成果后，许多系统的生命周期便告一段落。

但Harness² 的真正优势在于——

它将整个调试记录（包括参考轨迹、候选修改、对比证据、合成决策）交给反思模块（Experience Reflector）。

反思模块经过复盘后，会撰写一份EXPERIENCE.md文件，详细记录这次修改的原因、适用条件以及带来的后果，并将其存入持续改进经验库（Harness Improvement Library）。

当下一个新任务到来时：

执行端仍然使用干净的基础脚手架。

但负责修改脚手架的“改进大脑”已经掌握了丰富的历史经验。在提议和合成阶段，它可以直接检索过往相似场景下的有效组件和避坑指南。

这样，改进的不仅仅是当前的脚手架，更是未来修改脚手架的能力。

这将单次任务的临时修补转变为终身学习的认知资产。

实际测试表现

无论机制设计得多么精妙，最终都需要用实际数据来验证。

团队直接采用了三个极具挑战性的职业基准进行测试：

WorkBuddy-Bench：涵盖代码（Code）、网页（Web）、办公套件（Office）三大高难度办公工作流；

JobBench：长程端到端复杂专业岗位任务；

LAB：Harvey开源的顶级法律智能体基准。

底座模型选择了Gemini 3.5 Flash和GLM-5，执行脚手架则选用了开源主流的OpenCode和Codex。

测试结果令人震惊。

在WorkBuddy-Bench测试中，仅进行单步Harness² 改进（$k=1$）：

GLM-5在OpenCode下的综合得分从64.2飙升至75.7，暴涨11.5分；在Codex下也从64.4提升至75.3。

Gemini 3.5 Flash在OpenCode下从72.4提升至77.5，在Codex下从74.5提升至77.5。

image.png

观察这些数据：

经过脚手架优化的GLM-5（75.7分 / 75.3分）直接超越了原版未改脚手架的Gemini 3.5 Flash（72.4分 / 74.5分）。

在端到端岗位任务的JobBench上，单步改进同样带来了全面提升，Gemini 3.5 Flash提升了4.5分，GLM-5提升了3.6分；在法律基准LAB上，GLM-5的部分通过率直接提高了11.8个百分点。

若将并行预算增加至 $k=5$（并发5路候选），性能还将进一步提升：WorkBuddy-Bench最高再涨3.9分，JobBench再涨4.2分，LAB通过率再涨6.7个百分点。

image.png

更令人惊叹的是经验库的跨领域迁移测试。

团队将JobBench上积累的经验库直接应用于WorkBuddy-Bench，在无需额外探测的情况下，直接带来了代码+0.6、网页+0.5、办公+2.9的无痛涨分。

image.png

在过去两年里，大家对AI的期待几乎全部寄托在“底座模型Scaling”上，认为只要等待下一代GPT、下一代Gemini的出现，手头的应用问题就能迎刃而解。

然而，现实却给所有从业者泼了一盆冷水：基座模型的成本越来越高，边际效益却在放缓，而落地场景中的长尾bug依然层出不穷。

无论给模型多大的上下文窗口，它在处理跨文件对账时仍然会偷懒；无论给它多高的跑分，它写完报告后仍然不会主动打开文件校验格式。

这些问题，仅靠预训练参数是无法解决的。

它们需要一套能够在运行中自我感知、自我修补、持续进化的Runtime认知工程。

过去，我们搭建脚手架时，是工程师坐在电脑前一条一条地手写Prompt、配置工具、修复管道，累得半死还到处漏风。

现在，Harness² 证明了一条新路：

将规则制定的权力归还给Agent自己。

论文作者介绍

最后，我们来了解一下论文的作者。

共有9位作者，其中华人占比极高，达到了78%。。。

由于篇幅限制，这里仅介绍三位主要作者。

Ruiyao Xu，论文一作兼通讯作者。

美国西北大学统计与数据科学系博士生，导师为Kaize Ding。

主要研究方向包括大语言模型、图机器学习、异常检测及AI Agent系统。

这篇论文是他在谷歌实习期间的研究成果。

Yanfei Chen，Google Cloud AI Research资深研究工程师。

image.png

本科毕业于北京大学，主修电气工程与经济学，2018年获得美国匹兹堡大学工业工程博士学位。

曾在机器学习公司Qeexo担任研究工程师，2020年加入Google，参与过Vertex AI Search、Gemini Enterprise Deep Research等项目，主要研究大语言模型智能体、检索增强生成及工具学习。

Zhongying CuiZhu，也叫Zoey CuiZhu，Google Cloud AI Research研究工程师。

image.png

2019年获得斯坦福大学电气工程博士学位，主要研究通用智能体、可验证智能体及智能体质量评估。

参考链接：
[1] https://arxiv.org/html/2610.14224v1