GPU中专业术语
一、NCCLNCCL = NVIDIA Collective Communications Library(英伟达集合通信库)不是协议,是软件库负责把 AllReduce / AllGather / ReduceScatter 等collective 操作拆分成适合底层硬件的传输方式自动选择走:GPU←→GPU →NVLink / NVSwitchGPU←→NIC →PCIe节点←→节点 →RDMA(RoCE / InfiniBand)✅ 你原文说得很准:NCCL 是在这些边界上做"可执行数据搬运编排"二、NVLinkNVLink = NVIDIA 高速 GPU 互联总线(High-Speed GPU Interconnect)GPU 与 GPU 之间的直接点对点/全连接通道带宽远高于 PCIe(NVLink 单向可达 300~900 GB/s 级别,PCIe 4.0 x16 ≈ 32 GB/s)多