AI集群规模扩大，算力利用率为何不升反降？华为灵衢互联重构计算架构

来源：未知作者：佚名发布时间：2026-09-28 23:50:03

在过去的数年里，AI行业的目光主要聚焦于单颗芯片的性能提升、算力指标的突破以及制程工艺的进步，竞争的核心在于“谁的芯片运算速度更快”。然而，随着大模型参数规模的不断膨胀，特别是MoE（混合专家模型）、Agent（智能体）以及长上下文推理逐渐成为主流趋势，未来的算力竞争将不再局限于单颗芯片的峰值性能，而是转向如何将庞大的计算、存储和网络资源高效整合，形成强大的系统能力。因此，如何提升计算系统的有效算力利用率，已成为行业面临的主要挑战。

“在传统计算架构下，随着集群规模的持续扩大，资源利用率反而可能下降。例如，一个十万卡集群的实际模型算力利用率可能仅约20%，这意味着大量计算资源并未真正用于模型计算，而是消耗在等待通信完成的过程中。”9月17日，在华为全联接大会2026期间，华为常务董事、ICT BG CEO杨超斌指出。此外，10T参数大模型训练产生的海量中间数据已难以由单卡内存承载；进入Agentic AI时代后，Agent与模型每小时的交互次数可达数百次，进一步加剧了CPU、NPU、内存和存储之间的数据交换需求。

这表明，当AI集群从千卡级别迈向万卡、十万卡甚至百万卡级别时，算力竞争正从单一计算单元的性能比拼，延伸至整个计算系统的协同效率。不仅要解决“有多少算力”的问题，还要解决计算、内存、存储和网络资源如何高效连接，以及如何让如此庞大的计算资源真正作为一个整体运行。

针对这一问题，杨超斌在会上系统阐释了华为面向Agentic AI的新计算架构：华为以灵衢互联为核心，构建了集群+超节点的新计算架构，将CPU、NPU、DPU、DDR、SSD等多种计算与存储单元统一互联、分级池化，实现多样性算力的高效协同。这一架构能够适应未来业务负载的变化，灵活扩展新型异构算力。与此同时，华为还发布了覆盖柜内、跨柜和集群的灵衢互联设备，以及基于灵衢的Agentic AI超节点集群及系列化一体机算力底座。

从“堆砌芯片”到重构计算系统

扩大AI集群规模最直接的方法是增加计算卡。然而，当卡数扩展到一千张、一万张乃至十万张之后，新的问题随之浮现：每颗芯片都具备计算能力，但需要不断与其他芯片交换参数和中间数据。如果通信速度跟不上计算速度，越来越多的时间将消耗在数据传输和等待上，导致整体效率下降。

华为副董事长、轮值董事长汪涛提供的数据显示，一个由8卡服务器组成的10万卡集群，在模型训练过程中，集群内通信时间可能超过训练总时间的40%，严重制约了MFU（模型浮点算力利用率）。根据华为马尔可夫实验室的仿真结果，在同样10万卡规模下，由4K规模超节点组成的集群，相比传统8卡服务器组成的集群，MFU可提升至原来的2.75倍。汪涛表示，MFU每提升1个百分点，模型迭代时间可缩短约3天。

因此，当集群规模进入十万卡甚至更大级别时，亟待解决的问题已不再是如何将更多计算卡“塞进”一个集群，而是如何让它们真正高效协同。

这也是华为提出新计算架构的出发点。在杨超斌的阐释中，灵衢（UnifiedBus）是这套架构的核心互联技术。与传统服务器中CPU、加速器、内存、存储分别通过不同协议连接不同，灵衢首先将十余种互联协议统一为一套协议。在灵衢架构下，互联带宽可从百GB级提升至TB级，RTT通信时延从7微秒压缩至2微秒，并支持超节点内全局内存统一编址。

然而，统一协议和提升带宽仅解决了“数据如何更快流动”的问题。在传统以单台服务器为资源边界的架构中，CPU、NPU、内存等物理资源通常按整机配置，部署后数量和配比相对固定。即使不同AI任务对CPU、NPU、内存的需求不同，计算资源也难以根据任务负载进行动态重组。

而在灵衢架构下，CPU、NPU、内存、SSD等不同计算、存储和网络设备之间可以直接互联，实现去中心化平等访问，CPU和NPU也能够根据实际计算任务进行更灵活的资源配比。

这一变化在Agentic AI场景下尤为明显。传统大模型主要完成问答和内容生成任务，而Agent还需要进行任务规划、工具调用和多轮执行。这意味着，一项任务可能在CPU、NPU、内存和存储之间反复流转，对不同计算资源的需求也会不断变化。

针对这一现状，华为提出了AF分离部署策略。Transformer模型主要由Attention（注意力机制）和FFN（前馈网络）等模块构成，但二者承担的任务和对计算资源的需求并不完全相同。其中，Attention主要负责处理不同Token之间的上下文关联，随着上下文长度增加，对访存和数据交换的需求会持续上升；FFN则承担大量特征变换和矩阵计算任务。

过去，Attention和FFN通常在同一套计算资源中连续执行；华为则通过分层分级Transformer硬加速，将二者解耦，分别部署到不同的算力单元，再根据各自的计算特点配置相应资源。这样一来，CPU和NPU不必再按照固定比例跟随服务器部署，而是可以根据不同业务、不同计算阶段的实际需求灵活组合，从而提升推理效率与资源利用率。

如果说AF分离解决的是“不同计算任务如何更灵活地使用算力”，那么随着模型规模不断扩大，灵衢还需要解决另一个更基础的问题——计算过程中产生的海量数据究竟存储在哪里。

大模型参数量和上下文长度的不断增加，直接导致数据“装不下”的问题。尤其在推理阶段，KV Cache会随着上下文长度增加迅速占用内存；10T参数模型训练产生的中间数据，也进一步增加了单卡HBM的容量压力。

对此，华为提出了分级存储和全局池化方案，通过不同介质之间的资源池化扩展整个计算系统能够调用的存储空间。例如，DDR可以成为NPU的“第二内存”。杨超斌介绍称，在搜推广等业务中，这一架构可以降低业务时延，并使千亿级、数千维向量检索性能翻番；在10T大模型训练场景下，则可以降低模型对单卡HBM容量的要求，进一步提升整个集群的模型浮点算力利用率（MFU）。

由此，灵衢的角色逐渐清晰：它并非简单连接更多计算卡，而是通过统一互联，将原本相对分散的CPU、NPU、内存、存储和网络重新组织为一个计算系统，提出分级存储和全局池化方案，通过不同介质之间的资源池化扩展整个计算系统能够调用的存储空间，让整个超节点能够以更接近“一台计算机”的方式运行。

从柜内到集群，灵衢构建三级互联体系

当一个超节点继续向数千卡、数万卡乃至百万卡规模扩展时，仅仅解决超节点内部的互联问题显然不够。如何让这套架构跨越机柜甚至数据中心级集群继续扩展呢？

对此，华为进一步将灵衢从超节点内部的互联技术，扩展为一套分层分级的互联系统，分别覆盖柜内、跨柜和集群三级互联，试图解决计算规模不断扩大过程中不同距离、不同层级的数据交换问题，并最终支持从单柜到百万卡集群的弹性扩展。

在单个机柜内部，服务器之间距离较短，但芯片密度越来越高，传统线缆连接方式会变得越来越复杂。为此，华为推出了柜内灵衢互联刀片，通过光电互联减少大量线缆连接。据华为介绍，柜内灵衢互联刀片可以实现“零电缆、零电路损耗”。以4096超节点为例，可以节省196公里铜缆。

当一个超节点从单柜扩展至多个机柜之后，距离变长、数据量增加，互联既需要更高带宽，也需要控制通信时延。此次发布的跨柜灵衢互联设备支持176个端口，每端口带宽达到1.6T，单机实现280T全光互联，RTT时延最低达到2微秒，可以将分布在不同机柜中的计算资源继续连接为一个更大的计算系统。

在互联设备之外，华为也开始围绕这套架构构建一个更完整的算力系统。会上，华为发布了基于灵衢的Agentic AI超节点集群，由鲲鹏950、昇腾960超节点、OceanStor M900记忆存储以及星河UBG交换机组成，实现多样算力协同与分级资源池化。

值得注意的是，这套架构并非只面向百万卡级超大型AI基础设施。

华为同时将灵衢向更小规模的计算系统延伸，推出了从1卡到8卡的系列化一体机以及鲲鹏昇腾模组。其中，Atlas 650E风冷服务器通过双机灵衢直连，可以实现16个NPU免交换互联，两台服务器“像一台运行”，并能够继续平滑扩容形成小型超节点，使中小企业也能够在本地运行万亿参数大模型。

硬件之外，生态仍然是国产算力规模商业化绕不开的另一道门槛。

会上，杨超斌公布，自去年8月华为宣布灵衢开源开放以来，来自企业、高校的众多开发者热情参与、踊跃贡献，社区月活开发者达5200多人，业界累计合入超428万行代码。CANN社区已跃升为中国开源项目活跃度第一的社区。同时，昇腾与DeepSeek Harness、OpenCode、openJiuwen等开源框架协同，打造智能管理、推理加速、安全框架等Agent插件化组件并全量开源；已联合50多家客户、伙伴及高校打造26个行业算子库，并与90多家主流开源社区合作，助力伙伴快速完成行业Agent开发与IT系统对接。