作者毛烁AI范式从被动式的大语言模型LLMs向具备持续多步推理、工具调用及沙盒验证能力的代理式 AIAgentic AI跃迁后传统基于x86 架构和松耦合以太网的计算集群正面临“阿姆达尔定律Amdahls Law”与“通信/内存墙Communication/Memory Wall”的钳制。2020-2024年 GPU 算力FLOPS、网络带宽NIC与内存容量HBM的增长趋势对比。可以看出算力的增长28.8x远超带宽2.0x和内存2.4x的增长形成了严重的“通信/内存墙”。来源 论文《DualPath: Breaking the Storage Bandwidth Bottleneck in Agentic LLM Inference》 (arXiv:2602.21548, 2026)前几年的大语言模型无论是训练还是推理都以Transformer 为核心进行大规模矩阵计算。GPU持续执行GEMM 运算而CPU更多承担数据准备、任务调度等辅助工作。因此整个数据中心的设计目标始终围绕“如何让 GPU 跑得更快”展开。然而代理式AI的出现改变了这一前提。AI Agent并不会在生成一次回答后便结束计算而是需要不断进行“思考—调用工具—执行代码—验证结果—再次推理”的循环。在强化学习Reinforcement LearningRL的后训练Post-Training过程中Agent 需要持续生成代码、进入沙盒运行、获取反馈并重新优化策略。此外在多智能体Multi-Agent系统中不同 Agent之间又需要频繁交换上下文、调用外部工具、共享中间状态共同完成复杂任务。由此可见AI 的计算模式已不再是单纯的大规模并行矩阵计算而是演变为计算、访存、网络通信与控制流高度交织的混合负载Hybrid Workload。正是由于这种工作负载的根本性变化传统AI集群体系结构也开始集中暴露出诸多问题一方面是控制流导致的阿姆达尔定律重新成为系统瓶颈。代理式AI需要频繁调用 Python解释器、代码编译器、数据库、搜索引擎等外部工具。这些任务依赖大量条件判断、系统调用和控制流分支只能由CPU串行执行。根据阿姆达尔定律当不可并行化部分不断增加时即使GPU的计算能力继续提升整个系统性能仍将受到CPU串行执行能力的限制导致大量 GPU 计算资源反而会因为等待 CPU而空转。这严重制约了整体效率的提升。LLM在不同任务结构并行、混合、串行下的加速比与阿姆达尔定律Amdahls Law理论上限的对比。实验证明随着任务串行比例增加增加代理数量带来的性能收益迅速饱和。来源论文《Language Model Teams as Distributed Systems》 (arXiv:2603.12229, 2026)另一方面是长上下文带来的通信墙与内存墙问题。随着模型上下文窗口扩展到数十万乃至数百万TokenTransformer的KV Cache持续膨胀占据越来越多的HBM容量。而在多节点推理过程中这些上下文状态还需要频繁同步引发大量网络微突发Micro-bursts。如果是传统基于松耦合以太网的数据中心很容易因此产生拥塞、哈希冲突和丢包最终导致尾端延迟Tail Latency快速放大GPU的计算效率也随之下降。另外传统安全边界也正在逐渐失效。代理式AI的功能不仅是读取数据还能动态生成并执行代码。而传统的EDR等安全软件与AI工作负载共享同一个操作系统内核一旦发生Prompt Injection或权限逃逸攻击便能直接绕过主机安全机制形成直接入侵。这无疑对数据中心的安全防护提出了更高要求。不难发现这三类问题并非单纯源于GPU 算力不足而是CPU、GPU、内存、网络和安全之间传统松散耦合的系统架构已经无法支撑代理式AI的新型工作负载。因此真正需要升级的是整个AI数据中心的体系结构。面对这些系统级危机作为AI“风向标”的NVIDIA在GTC 2026期间给出系列解法。NVIDIA的方案是采用“极致协同设计Extreme Co-design”其核心逻辑是将计算、存储与网络从物理引脚、协议栈到机架互连进行全链路的重新定义。01 控制流瓶颈Vera CPU破解“阿姆达尔定律”其实代理式AI的执行过程充斥着代码编译、脚本执行、工具调用以及奖励函数评估等大量串行任务。这些工作高度依赖控制流和逻辑判断无法像矩阵计算那样交由GPU大规模并行处理而必须依靠CPU完成。当Agent不断在“推理—执行—反馈—再推理”的循环中运行时CPU就成为整个系统新的性能瓶颈。为突破阿姆达尔定律带来的串行挑战NVIDIA推出了专门面向AI沙盒与任务调度设计的Vera CPU。截取自NVIDIA与前代Grace CPU采用Arm Neoverse V2公版核心不同Vera搭载了88个NVIDIA完全自研的Olympus核心兼容Armv9.2指令集。对Agent来说无论代码编译、文本解析还是工具调用都伴随着大量不可预测的条件跳转传统CPU一旦分支预测失败就不得不清空流水线重新执行控制流越复杂性能损失越明显。截取自NVIDIA为此Olympus配备了10宽指令获取与解码前端10-wide Fetch/Decode Front-end提升单位时钟周期内的指令吞吐能力同时引入神经分支预测器Neural Branch Predictor在一个时钟周期内同时评估两条已采取的分支路径进一步降低流水线冲刷Pipeline Flush的开销从而在复杂控制流下依然保持较高的每周期指令数IPC。不过仅提升单线程效率并不能解决代理式AI的全部问题。当数百乃至数千个Agent沙盒同时运行时影响系统吞吐的就变成了大量线程是否能稳定并发执行的问题。针对这一问题Vera引入了空间多线程Spatial Multithreading技术在物理层面对执行资源进行静态隔离与配额分配使每个线程即便在高负载下也能获得稳定且可预测的计算资源从而保证数万个沙盒任务同步完成。这种确定性执行Deterministic Execution正是强化学习大规模并行训练所需要的能力。当控制流与线程调度效率都得到提升后新的瓶颈又会迅速暴露对于ETL、数据库查询以及Agent沙盒而言CPU更多时间并不是在计算而是在等待数据。因此Vera进一步重构了整个内存系统采用第二代LPDDR5X内存子系统并首次引入SOCAMMSmall Outline Compression-Attached Memory Modules小型可插拔压缩附加内存模块封装技术在保留LPDDR高带宽、低功耗优势的同时也具备了服务器所需的可插拔与可升级能力。最终在LPDDR5X内存子系统典型功耗低于30瓦的前提下Vera实现了1.2TB/s的总内存带宽和1.5TB的内存容量每个核心平均可获得约14GB/s的内存带宽较传统x86平台有较大提升。在沙盒容器的代码编译、脚本执行与压缩等典型工作负载中满载插槽下Vera的单核性能较x86平台实现了1.5倍的提升。截取自NVIDIA developer至此代理式AI在控制流、线程调度与内存访问上的瓶颈被Vera CPU从底层架构上逐一进行了针对性优化。02 Scale-UpNVL72一致性互连域AFD异构推理拓扑Vera CPU解决的是单个节点内部的效率问题但是当成千上万颗GPU与CPU需要整体协同工作时芯片之间如何高速互连就成为下一道必须跨过的关口。Vera Rubin NVL72,连同与之配套的Groq 3 LPX异构机架即为这一方向的落地形态。其实NVL72的内部结构是由底板Midplane硬连接构成的物理闭环而非通过以太网松散相连的独立服务器。一个机架内集成72颗Rubin GPU与36颗Vera CPU而让这些芯片实现共享内存与一致性通信的核心支撑就是机架背部的第六代NVLink铜质主干Spine。另外NVL72放弃了传统的复杂布线将Spine拆分为四个模块化的预集成线缆盒排布5000多根特制高频铜缆总长超过2英里计算托盘改用PCB中板设计让超级芯片插槽直接对接后部的NVLink接口。截取自NVIDIA托盘内部实现了“无缆线、无软管、无风扇”无缆化指的是计算托盘内部改用的是板对板连接器组装与维护时间从2小时缩短到5分钟更关键的是整个机架纵向扩展Scale-up的对分带宽被推高到260TB/s。在这套无阻塞全互联All-to-All通信域中每块 Rubin GPU可独占 3.6 TB/s通信通道。对于混合专家模型MoE而言万亿参数MoE在执行推理时专家路由机制会产生巨量参数交互流量倘若这部分流量外溢至高延迟以太网模型性能将会出现断崖式下跌。依托NVLink所有数据交互均可收敛在低延迟物理层内部无需流出机架。截取自NVIDIA不过单机架72卡并不是规模终点。为承载未来千万亿参数模型NVIDIA在Vera Rubin上采用光学技术拓宽NVLink物理边界。Polyphe是NVIDIA内部基于GB200搭建的NVL576多机架原型用于验证这套跨机架NVLink拓扑的可行性。预计到Rubin Ultra世代NVL576将以8个MGX NVL机架、每架72颗GPU的形式落地。机架内部仍走铜缆机架之间则由CPO交换机组成两层全互连网络576颗GPU共享同一NVLink域。再往后的Feynman世代Kyber机架将把单机架NVLink域翻倍至144颗GPU8个Kyber拼成NVL1152。但是即便拥有超大规模GPU集群大模型推理自身仍存在难以回避的算力矛盾。大模型推理在计算特性上存在天然分裂。预填充Prefill阶段属于计算密集型矩阵运算GEMM高度依托 GPU Tensor Core 算力解码Decode阶段采用自回归生成逻辑单次仅输出一个Token计算负载不高却对内存带宽有着极强需求是典型的带宽受限Memory-bandwidth bound任务。NVIDIA 给出的方案是“注意力前馈解耦”Attention-FFN DisaggregationAFDRubin GPU 继续承担预填充同时保留解码阶段的注意力Attention计算这一环节需要访问已积累的全部KV Cache考验的是显存容量配备288GB HBM4的Rubin能够胜任。而前馈网络FFN与MoE 专家计算不依赖大容量显存只对带宽敏感因此交由LPU 执行。需要强调的是两类芯片并非前后接力而是针对每个输出Token的每一层进行协同计算而请求的分类与路由则由NVIDIA Dynamo负责调度。承载这套系统的是Groq 3 LPX 机架其256颗LPU分布在32个液冷计算托盘中每盘8 颗LP30芯片。单颗LPU配备500MB片上SRAM虽然容量远不及 Rubin但其SRAM带宽达到了150TB/s接近Rubin HBM4的22TB/s的7倍。坦白讲解码本就是带宽受限的任务小容量、高带宽的 LPU是更合适的选择。整机架汇总为128GB片上SRAM、40PB/s的SRAM带宽另配12TB DDR5用于承载大模型。托盘之间通过背板的四条ETL 主干互连聚合出640TB/s的scale-up带宽。截取自NVIDIA借助这一解耦方案系统在维持高并发吞吐的基础上可实现每兆瓦推理吞吐量提升 35 倍。而为支撑这一算力密度NVL72在供电上引入了机架级能量存储。当AI同步负载产生剧烈的微秒级瞬态功率峰值Power Spikes时电容瞬间放电补充能量将交流电源的波动大幅降低配合动态 Max-Q 动力转向技术可释放额外的GPU部署容量。截取自NVIDIA03 Scale-OutSpectrum-6 SPX CPO摒弃DSP与重定时器功耗依托NVLink构建起机架内、跨机架的大规模GPU一致性互联和Groq 3 LPX 的异构推理流水线让算力硬件体系的内部通路难题得以解决。但是当 AI工厂的规模从单个POD扩展至包含十万张 GPU的超大规模集群Scale-out时外部物理网络便成为了最大的能效与延迟瓶颈。而NVIDIA的Spectrum-6 SPX以太网机架及其背后的 CPO光电一体化封装硅光技术正是推动集群组网迈入高速光互联的关键。其实在以往400G、800G网络中交换机一般使用前面板可插拔光模块如 OSFP 封装的收发器。而当网络通道SerDes速率提升至 200Gb/s时交换机ASIC专用集成电路到前面板光模块之间的PCB铜线走线会产生严重的信道衰减和信号反射。所以为了补偿信号完整性工程师不得不引入功耗极高的重定时器Retimer和数字信号处理器DSP。这导致网络通信的功耗呈指数级飙升极大地挤占了本应用于GPU计算的能源预算。电信号自ASIC内部生成后仅传输数毫米极短路径就能在封装内部直接调制为光信号送入光纤。这一架构能摒弃长距离PCB走线进而移除功耗高昂的外置DSP与重定时器芯片。当然带来的改变也颇具颠覆性CPO硅光技术令光网络能效提升5 倍受热损耗、复杂器件诱发的系统故障率下降10 倍也就是可靠性提升10 倍同时还能进一步打破限制 AI集群横向扩容的功率天花板。在物理层实现突破后NVIDIA 针对AI流量的特性还设计了MGX ETL机架。该机架内部采用了独特的 Spectrum-X多平面拓扑Multi-plane Topology结构。截取自NVIDIA在1U的 MGX ETL交换机托盘中内部通过短距离铜质Spine连接节点。通过在机架组内提供完全无阻塞的多对多Any-to-Any连接并结合动态负载均衡算法该架构能有效地打散并吸收 AI 训练中产生的同步微突发流量Micro-bursts。这种将光电硬件与自适应路由软件极度融合的设计使得标准以太网实现了媲美 InfiniBand的无损、零抖动Zero Jitter传输质量。04 恪守信任边界BlueField-4接管记忆与安全NVLink全域互联架构与CPO光电组网解决了超大规模AI集群的计算吞吐与横向扩展瓶颈但面向当前快速迭代的代理式AI场景整套基础设施仍面临全新挑战。智能体持续、长周期的自主任务交互对集群计算与网络资源形成持续压力更造成了传统数据存储体系的层级割裂同时催生了AI系统前所未有的内生安全风险。具体看多智能体系统能够连续数小时执行对话与自主任务全程会产生海量上下文记忆数据KV Cache这类数据的存放与调度成为推理性能的关键制约点。不过若将全部上下文记忆托管在显存中那么显存资源会被快速占满大幅压缩模型推理与并发空间而如果将数据卸载至PCIe架构NVMe SSD冗长的I/O软件栈与PCIe总线延迟又会直接阻塞推理流程造成智能体任务卡顿、中断。于是针对这一存储架构矛盾NVIDIA推出的BlueField-4 STX存储机架与CMX上下文内存存储平台在高速HBM与低成本冷存储之间构建出一层大容量、高带宽、AI原生的共享上下文存储层补齐了超长上下文推理的存储短板。截取自NVIDIA在具体的落地架构中每一颗Vera CPU与存储节点均直连800Gb/s的BlueField-4 DPU数据处理器承担全链路的数据调度与卸载工作。当模型需要调取历史KV缓存数据时DPU可依托RDMA远程直接内存访问协议在网络底层则直接从STX存储机架内存抓取数据并以线速无损灌入GPU显存。整套数据调度流程彻底绕过了主机操作系统内核的TCP/IP协议栈既不占用Vera CPU算力也杜绝了内核态与用户态之间的数据拷贝开销依靠硬件级旁路Bypass的极致优化让STX平台的内存页处理数量实现翻倍最终将集群整体Token处理性能与能效同步提升。在突破存储性能瓶颈之外还要解决代理式AI自主规划、自主代码执行能力带来的安全机制失效问题。传统端点安全依托主机系统构建信任边界一旦智能体遭遇Prompt Injection等恶意诱导发生越权操作攻击者便可从内部突破信任体系隐蔽渗透、窃取数据、横向扩散。为从根源解决代理式AI的内生安全漏洞NVIDIA将安全防御体系完全下沉至物理隔离的BlueField-4 DPU硬件层依托DOCA软件栈搭建起全新的芯片级零信任安全架构实现独立于主机、底层可控、硬件隔离的全域安全防护。NVIDIA BlueField-4 DPU 提供芯片内安全功能运行速度与 AI 代理的速度相当。截取自NVIDIA作为核心底层安全能力DOCA Argus实现了基于内存自省的运行时威胁检测该模块独立运行在DPU内部ARM核心完全脱离主机系统管控。借助PCIe DMA直接内存访问能力以零拷贝Zero-copy、非侵入式的带外方式持续采集、分析主机物理内存镜像可精准识别Linux内核运行逻辑通过重构虚拟内存映射VMA与系统页表在主机无感知的前提下完整还原运行进程、Bash命令行参数与程序调用链路。即便攻击者植入Rootkit隐藏恶意进程其在物理内存中留下的执行痕迹也无法隐匿。DOCA Argus 监控 AI 威胁检测截取自NVIDIA developer在此基础上NVIDIA的DOCA Vault与DOCA Flow也进一步形成存储与网络层面的双重安全闭环。DOCA Vault依托DPU存储仿真能力DOCA SNAP将远端网络存储虚拟为本地磁盘供主机调用所有智能体的文件读写请求都会在数据抵达物理介质前被前置拦截通过细粒度授权策略实时阻断越权访问与非法数据调取。专为基于文件的 AI 原生存储而设计的DOCA Vault数据安全框架截取自NVIDIA developerDOCA Flow则将DPU转化为高性能四层防火墙具备精准的连接跟踪能力可实现机架内、跨节点的精细化微隔离Micro-segmentation切断恶意负载在AI工厂集群内部的横向移动路径从内存监测、存储管控、网络隔离三层构筑起适配代理式AI时代的硬件级零信任安全体系。NVIDIA 端到端AI和安全架构贯穿整个智能体 AI 工厂截取自NVIDIA developer05 写在最后重构Token经济学标尺综观NVIDIA 的Vera Rubin及网络、存储、安全等全栈子系统的架构演进可以看到当代理式AI的快速落地单纯依靠先进制程推动晶体管微缩、提升GPU峰值FLOPS已经难以解决复杂AI系统在数据传输、任务调度、存储访问和集群扩展中的综合瓶颈。以单颗芯片性能提升为核心的传统优化路径正在逐渐触及天花板。NVIDIA 的核心思路是打通计算、网络、存储与安全之间长期存在的架构边界通过全栈协同设计释放系统级性能。Vera CPU 通过空间多线程微架构降低复杂AI工作负载下的任务调度延迟NVL72将整机柜中的多颗计算芯片整合为统一逻辑计算单元进一步提升大规模训练与推理效率Spectrum-6 CPO技术借助硅光互连缓解超大规模AI集群在带宽、功耗和扩展能力上的压力BlueField-4 STX存储系统结合DOCA 零信任安全架构重新定义了超长上下文数据的访问机制以及AI数据中心的安全边界。NVIDIA 覆盖CPU微架构、先进封装、光互连、存储架构与安全体系的极致协同设计Extreme Co-design也反映出AI 基础设施竞争逻辑的变化。行业衡量算力价值的尺度正在从单一芯片的理论峰值性能延伸到真实AI工作负载下的系统效率。每Token成本、每兆瓦吞吐量、集群利用率以及端到端响应效率正在成为衡量AI数据中心价值的关键指标。未来十年谁能以更低成本、更高能效持续生产Token谁就能掌握AI基础设施竞争的主动权。而NVIDIA 正通过这套全栈架构加速建立Token的生产力“标尺”。