随着人工智能技术的飞速发展，AI智能体已不再局限于简单的对话交互，而是开始向更为复杂的浏览器操作场景迈进。然而，在瞬息万变、充满弹窗和频繁改版的真实互联网环境中，AI智能体能否像人类一样独立完成任务，成为了当前AI技术走向实战应用的核心挑战。

近日，徽声在线获悉，明略科技在网络智能体（Web Agent）评测领域取得了重大突破，其研发的大规模综合基准WebRetriever的相关论文已被计算机视觉领域的国际顶级会议ECCV 2026正式接收。这一基准覆盖了800个真实在线网站和1,550项任务，首次在大规模真实网络环境下量化了智能体“到达正确页面”与“任务真正完成”之间的能力差距，为这一快速发展的领域树立了更为贴近真实应用的评测标准。

- Github代码库：https://github.com/Mininglamp-AI/WebRetriever

- WebRetriever评测榜单主页：https://mininglamp-ai.github.io/WebRetriever/

- Huggingface数据集资源：https://huggingface.co/datasets/Mininglamp-2718/WebRetriever

- Mano-P项目主页：https://github.com/Mininglamp-AI/Mano-P

三大系统性创新，破解Web Agent评测难题

当AI从对话交互迈向浏览器操作，如何客观、准确地衡量其任务完成能力，已成为业界亟待解决的关键问题。当前主流的评测方法普遍存在三大局限：一是数据规模有限且领域覆盖单一，难以全面反映智能体的真实能力；二是自动评判过度依赖视觉截图，难以捕捉细粒度的交互语义；三是将“导航成功”等同于“任务完成”，忽视了对最终交付结果的检验。

针对这些行业痛点，WebRetriever提出了一系列系统性的解决方案：

WebRetriever从数据集规模与多样性、自动化评估的可靠性以及面向部署的评估协议三个方面，解决了先前工作的关键局限性。图片来源：明略科技

1、拓展真实网络场景，突破单一评测束缚

WebRetriever构建了一个覆盖800个真实在线网站、1,550项任务的庞大评测集，横跨电商、金融、医疗、政务、教育等多个行业。这一评测集不仅涵盖了普通用户的日常操作，还包含了专业场景下的复杂需求，为智能体的评测提供了更为全面、真实的场景。

与以往同类真实在线（非镜像托管）基准相比，WebRetriever在覆盖广度与意图多样性上实现了显著提升。所有评测均在真实互联网环境中执行，充分考虑了网站的动态更新、改版与偶发弹窗等真实变量，确保评测结果能够最大程度地贴近实际应用场景。

2、融合多维交互信号，提升自动化评估精度

现有的自动评测方法大多仅依赖页面截图作为唯一判据，这种依赖视觉信息的方式难以还原智能体在搜索输入、条件筛选、请求参数等环节的实际操作，存在明显的评判盲区。

为此，明略科技团队创新性地提出了LLM-as-Judge框架——NavEval（导航评估）。NavEval在视觉信息的基础上，通过浏览器自动化工具完整捕获网络请求序列与操作轨迹，经过规则化过滤提取出细粒度的交互信号，再与任务描述、最终截图共同交由大模型进行综合研判。这一创新方法有效突破了仅看截图的评判盲区，提高了自动化评估的精度。

在大规模实验中，NavEval与人类专家判断的一致率达到了91.2%，显著高于此前同类方法的最佳水平（约81%）；并在跨数据集验证中保持了97%的极高一致率，使得大规模场景下的自动化评测首次达到了可信赖的精度水平。

NavEval工作流示意图，图片来源：明略科技

3、设计三个评测协议，揭示导航与完成的本质差异

WebRetriever设计了三个评测协议，系统拆解了Web Agent的能力构成：第一个协议考察基础导航能力，即智能体能否准确到达目标页面；第二个协议测试在操作文档辅助下的导航表现，通过为智能体提供目标网站的操作文档，观察其导航成功率的提升幅度；第三个协议要求智能体从导航到信息提取，端到端独立完成完整任务。

网站操作文档的半自动构建流程图，图片来源：明略科技

实验结果显示，当前主流的Web Agent在纯导航任务上的成功率最高约为45%；但一旦进入端到端的完整任务，即使表现最好的模型，完成率也仅约20%，多数甚至不足15%。这一量化发现揭示了“到达正确页面”与“任务真正完成”之间存在着巨大的鸿沟，也为行业下一阶段的研究指明了重点聚焦的方向。

WebRetriever全球挑战赛即将拉开帷幕

作为一套面向真实互联网的开放评测基准，WebRetriever的价值不仅在于推动理论研究的发展，更在于拓展大模型Web Agent技术的应用边界。

徽声在线了解到，明略科技将于近期正式启动WebRetriever全球挑战赛。此次大赛将面向全球的研究者、开发者与技术团队开放，旨在在最贴近真实应用的评测环境中检验各自Web Agent的实战能力。

赛事的具体规则与报名方式将于近期另行公布，敬请期待！