摘要本文从DMA的基本概念出发深入剖析RDMA如何通过零拷贝和内核旁路技术实现远程节点的直接内存访问。文章详细对比了InfiniBand、RoCEv2与iWARP三大协议流派并结合AI大模型训练中的GPUDirect RDMA场景与Verbs API代码示例带你轻松掌握智能网卡与高性能网络的底层逻辑。大家好我是你们的老朋友一名在智能网卡和高性能网络坑里摸爬滚打多年的老兵。今天我们来聊一个在数据中心和AI大模型时代绝对绕不开的核心技术——RDMA远程直接内存访问。在了解RDMA之前大家不妨想象一个场景传统网络通信就像通过邮局寄送包裹你需要打包、填单、经过多个中转站最后收件人还要拆包而RDMA则像是直接给了你对方仓库的钥匙你可以直接存取物品完全不用惊动仓库管理员远程CPU。这其中的底层逻辑到底是什么今天我们就从最基础的DMA讲起一步步揭开RDMA的神秘面纱 一、从DMA到RDMA解放CPU的终极进化1. DMA本地数据的“硬件快递员”在早期的计算机系统中CPU需要亲自参与每一个字节的内存拷贝这简直是对计算资源的极大浪费。于是DMADirect Memory Access直接内存访问技术应运而生。DMA本质上是一个专为数据搬运优化的协处理器。它的工作流程很清晰初始化CPU配置好源地址、目标地址和长度。传输DMA控制器接管总线自主完成数据搬运。中断搬运完成后通过中断通知CPU。通过DMACPU终于从繁重的“搬运工”角色中解放出来了。但是当数据需要跨越网络到达另一台服务器时传统的TCP/IP协议栈又成了新的瓶颈。2. RDMA跨节点的“零拷贝”魔法在传统TCP/IP网络中数据发送需要经过多次缓冲拷贝应用层 - 内核态 - 网卡缓冲区。接收端还要反向重复这一过程。这不仅增加了延迟还让远端节点的CPU疲于奔命。RDMARemote Direct Memory Access的核心思想非常直观允许一台计算机直接访问另一台计算机的内存而无需远程计算机操作系统的介入。它通过两大核心技术实现了性能飞跃零拷贝Zero-Copy数据直接在应用内存和网卡之间传输省去了用户态和内核态之间的拷贝。内核旁路Kernel Bypass数据通路完全绕过内核协议栈在用户态通过硬件直接完成消除了上下文切换的开销。数据流水线对比传统以太网方案需要4步应用写入 - 拷贝到内核 - DMA到网卡 - 发送而RDMA方案只需3步应用写入 - DMA到网卡 - 发送。别小看这省下的1步在微秒级网络中这意味着时延降低了25%以上⚡ 二、RDMA的底层架构控制通路与数据通路要真正理解RDMA我们必须搞懂它的“双通道”设计哲学。通路类型操作特点处理位置典型操作控制通路低频、耗时、需高权限内核态创建MR、QP、CQ等资源数据通路高频、快速、权限低用户态数据收发Send/Recv/Read/Write这种设计的精妙之处在于把耗时的资源创建交给内核而把高频的数据收发直接交给用户态和硬件。核心组件与内存注册MR在RDMA编程中你会频繁遇到以下几个概念QPQueue Pair队列对包含发送队列和接收队列是通信的基本抽象。CQCompletion Queue完成队列用于记录已完成的RDMA操作。MRMemory Region内存注册。这是RDMA安全与性能的基石在使用RDMA访问远程内存前必须先将本地内存“注册”给网卡。系统会锁定物理内存页防止被Swap换出并建立虚拟地址到物理地址的映射表。注册后会生成一个内存密钥Memory Key远程节点必须提供匹配的密钥才能访问这保证了极高的安全性。 三、三大门派论剑IB、RoCE与iWARPRDMA技术在实际网络中有三种主流的实现方式它们各有千秋特性InfiniBand (IB)RoCEv2iWARP网络架构专用网络标准以太网标准以太网/IP协议基础IB原生协议UDP/IPTCP/IP部署成本极高需专用交换机/网卡中等需支持无损网络的交换机较低普通以太网即可延迟与性能最优微秒/亚微秒级优良受TCP拥塞控制影响适用场景超算中心、AI万卡集群通用数据中心、分布式存储广域网、特定有损网络专家划重点目前RoCEv2是数据中心绝对的绝对主流。它将IB报文封装在UDP/IP中支持三层路由。但请注意RoCE对丢包极其敏感因此必须配合无损以太网通过PFC优先级流控制和ECN拥塞通知机制如DCQCN算法才能保证性能。 四、实战场景AI大模型与GPUDirect RDMA在当前的AI大模型训练中多机多卡的分布式训练是标配。GPU之间的通信延迟往往成为拖慢整体训练速度的“罪魁祸首”。传统的RDMA虽然快但数据仍需从GPU显存拷贝到主机系统内存再通过RDMA网卡发送。GPUDirect RDMA技术则彻底打破了这个限制它允许网卡直接通过PCIe总线读写GPU显存。数据在GPU和网卡之间直接流转完全绕过了主机CPU和系统内存。这不仅减少了数据拷贝次数更将跨节点GPU通信的延迟降到了极致是构建万卡算力集群的必备利器。 五、代码初探Verbs API 服务端初始化说了这么多RDMA代码长什么样RDMA的编程接口称为Verbs API类似于网络编程中的Socket。下面是一段简化的服务端初始化C代码#includerdma/rdma_cma.h#includestdio.h#includestdlib.h#includestring.h#includearpa/inet.hintmain(){structrdma_cm_id*listenerNULL;structrdma_event_channel*ecNULL;structsockaddr_inaddr;// 1. 创建事件通道ecrdma_create_event_channel();if(!ec){perror(rdma_create_event_channel);exit(1);}// 2. 创建RDMA标识 (使用TCP语义)if(rdma_create_id(ec,listener,NULL,RDMA_PS_TCP)){perror(rdma_create_id);exit(1);}// 3. 绑定监听地址memset(addr,0,sizeof(addr));addr.sin_familyAF_INET;addr.sin_addr.s_addrhtonl(INADDR_ANY);addr.sin_porthtons(12345);// 监听端口if(rdma_bind_addr(listener,(structsockaddr*)addr)){perror(rdma_bind_addr);exit(1);}// 4. 开始监听if(rdma_listen(listener,10)){perror(rdma_listen);exit(1);}printf( RDMA服务端正在监听端口12345...\n);// 后续还需要处理连接事件、创建QP、注册MR等...return0;}可以看到通过rdma_cma.h提供的API我们可以很方便地建立RDMA连接。真正的数据收发则是在建立连接后通过向QP提交Work Request (WR) 来完成的。 总结与互动今天我们从DMA的本地搬运一路聊到了RDMA的远程直接内存访问。我们明白了RDMA如何通过零拷贝和内核旁路打破传统网络瓶颈对比了IB、RoCEv2和iWARP的优劣并见识了GPUDirect RDMA在AI算力集群中的强大威力。随着智能网卡DPU/SmartNIC的普及RDMA正在从高端超算走向千行百业的通用数据中心。掌握RDMA绝对是通往高性能计算和底层网络架构的必经之路互动时间大家在项目中使用过RDMA吗在配置RoCEv2无损网络时遇到过哪些“坑”欢迎在评论区留言交流我们一起探讨如果觉得文章有帮助别忘了点赞、收藏、关注三连哦❤️ DMA与RDMA：理解远程直接内存访问的工作原理
摘要本文从DMA的基本概念出发深入剖析RDMA如何通过零拷贝和内核旁路技术实现远程节点的直接内存访问。文章详细对比了InfiniBand、RoCEv2与iWARP三大协议流派并结合AI大模型训练中的GPUDirect RDMA场景与Verbs API代码示例带你轻松掌握智能网卡与高性能网络的底层逻辑。大家好我是你们的老朋友一名在智能网卡和高性能网络坑里摸爬滚打多年的老兵。今天我们来聊一个在数据中心和AI大模型时代绝对绕不开的核心技术——RDMA远程直接内存访问。在了解RDMA之前大家不妨想象一个场景传统网络通信就像通过邮局寄送包裹你需要打包、填单、经过多个中转站最后收件人还要拆包而RDMA则像是直接给了你对方仓库的钥匙你可以直接存取物品完全不用惊动仓库管理员远程CPU。这其中的底层逻辑到底是什么今天我们就从最基础的DMA讲起一步步揭开RDMA的神秘面纱 一、从DMA到RDMA解放CPU的终极进化1. DMA本地数据的“硬件快递员”在早期的计算机系统中CPU需要亲自参与每一个字节的内存拷贝这简直是对计算资源的极大浪费。于是DMADirect Memory Access直接内存访问技术应运而生。DMA本质上是一个专为数据搬运优化的协处理器。它的工作流程很清晰初始化CPU配置好源地址、目标地址和长度。传输DMA控制器接管总线自主完成数据搬运。中断搬运完成后通过中断通知CPU。通过DMACPU终于从繁重的“搬运工”角色中解放出来了。但是当数据需要跨越网络到达另一台服务器时传统的TCP/IP协议栈又成了新的瓶颈。2. RDMA跨节点的“零拷贝”魔法在传统TCP/IP网络中数据发送需要经过多次缓冲拷贝应用层 - 内核态 - 网卡缓冲区。接收端还要反向重复这一过程。这不仅增加了延迟还让远端节点的CPU疲于奔命。RDMARemote Direct Memory Access的核心思想非常直观允许一台计算机直接访问另一台计算机的内存而无需远程计算机操作系统的介入。它通过两大核心技术实现了性能飞跃零拷贝Zero-Copy数据直接在应用内存和网卡之间传输省去了用户态和内核态之间的拷贝。内核旁路Kernel Bypass数据通路完全绕过内核协议栈在用户态通过硬件直接完成消除了上下文切换的开销。数据流水线对比传统以太网方案需要4步应用写入 - 拷贝到内核 - DMA到网卡 - 发送而RDMA方案只需3步应用写入 - DMA到网卡 - 发送。别小看这省下的1步在微秒级网络中这意味着时延降低了25%以上⚡ 二、RDMA的底层架构控制通路与数据通路要真正理解RDMA我们必须搞懂它的“双通道”设计哲学。通路类型操作特点处理位置典型操作控制通路低频、耗时、需高权限内核态创建MR、QP、CQ等资源数据通路高频、快速、权限低用户态数据收发Send/Recv/Read/Write这种设计的精妙之处在于把耗时的资源创建交给内核而把高频的数据收发直接交给用户态和硬件。核心组件与内存注册MR在RDMA编程中你会频繁遇到以下几个概念QPQueue Pair队列对包含发送队列和接收队列是通信的基本抽象。CQCompletion Queue完成队列用于记录已完成的RDMA操作。MRMemory Region内存注册。这是RDMA安全与性能的基石在使用RDMA访问远程内存前必须先将本地内存“注册”给网卡。系统会锁定物理内存页防止被Swap换出并建立虚拟地址到物理地址的映射表。注册后会生成一个内存密钥Memory Key远程节点必须提供匹配的密钥才能访问这保证了极高的安全性。 三、三大门派论剑IB、RoCE与iWARPRDMA技术在实际网络中有三种主流的实现方式它们各有千秋特性InfiniBand (IB)RoCEv2iWARP网络架构专用网络标准以太网标准以太网/IP协议基础IB原生协议UDP/IPTCP/IP部署成本极高需专用交换机/网卡中等需支持无损网络的交换机较低普通以太网即可延迟与性能最优微秒/亚微秒级优良受TCP拥塞控制影响适用场景超算中心、AI万卡集群通用数据中心、分布式存储广域网、特定有损网络专家划重点目前RoCEv2是数据中心绝对的绝对主流。它将IB报文封装在UDP/IP中支持三层路由。但请注意RoCE对丢包极其敏感因此必须配合无损以太网通过PFC优先级流控制和ECN拥塞通知机制如DCQCN算法才能保证性能。 四、实战场景AI大模型与GPUDirect RDMA在当前的AI大模型训练中多机多卡的分布式训练是标配。GPU之间的通信延迟往往成为拖慢整体训练速度的“罪魁祸首”。传统的RDMA虽然快但数据仍需从GPU显存拷贝到主机系统内存再通过RDMA网卡发送。GPUDirect RDMA技术则彻底打破了这个限制它允许网卡直接通过PCIe总线读写GPU显存。数据在GPU和网卡之间直接流转完全绕过了主机CPU和系统内存。这不仅减少了数据拷贝次数更将跨节点GPU通信的延迟降到了极致是构建万卡算力集群的必备利器。 五、代码初探Verbs API 服务端初始化说了这么多RDMA代码长什么样RDMA的编程接口称为Verbs API类似于网络编程中的Socket。下面是一段简化的服务端初始化C代码#includerdma/rdma_cma.h#includestdio.h#includestdlib.h#includestring.h#includearpa/inet.hintmain(){structrdma_cm_id*listenerNULL;structrdma_event_channel*ecNULL;structsockaddr_inaddr;// 1. 创建事件通道ecrdma_create_event_channel();if(!ec){perror(rdma_create_event_channel);exit(1);}// 2. 创建RDMA标识 (使用TCP语义)if(rdma_create_id(ec,listener,NULL,RDMA_PS_TCP)){perror(rdma_create_id);exit(1);}// 3. 绑定监听地址memset(addr,0,sizeof(addr));addr.sin_familyAF_INET;addr.sin_addr.s_addrhtonl(INADDR_ANY);addr.sin_porthtons(12345);// 监听端口if(rdma_bind_addr(listener,(structsockaddr*)addr)){perror(rdma_bind_addr);exit(1);}// 4. 开始监听if(rdma_listen(listener,10)){perror(rdma_listen);exit(1);}printf( RDMA服务端正在监听端口12345...\n);// 后续还需要处理连接事件、创建QP、注册MR等...return0;}可以看到通过rdma_cma.h提供的API我们可以很方便地建立RDMA连接。真正的数据收发则是在建立连接后通过向QP提交Work Request (WR) 来完成的。 总结与互动今天我们从DMA的本地搬运一路聊到了RDMA的远程直接内存访问。我们明白了RDMA如何通过零拷贝和内核旁路打破传统网络瓶颈对比了IB、RoCEv2和iWARP的优劣并见识了GPUDirect RDMA在AI算力集群中的强大威力。随着智能网卡DPU/SmartNIC的普及RDMA正在从高端超算走向千行百业的通用数据中心。掌握RDMA绝对是通往高性能计算和底层网络架构的必经之路互动时间大家在项目中使用过RDMA吗在配置RoCEv2无损网络时遇到过哪些“坑”欢迎在评论区留言交流我们一起探讨如果觉得文章有帮助别忘了点赞、收藏、关注三连哦❤️