NVMe-oFNVMe over Fabrics— 网络化 NVMe 存储 什么是 NVMe-oFNVMe-oFNVMe over Fabrics是将 NVMe 协议从本地 PCIe 总线延伸到网络的技术标准让服务器可以像访问本地 SSD 一样通过网络访问远端 SSD——延迟几乎没有损失。 简单说把 SSD 从服务器里搬出来放到网络上但性能感知不到差异。 为什么需要 NVMe-oF传统存储网络的痛点传统 SANiSCSI / FC 协议栈深SCSI → TCP/IP → 以太网 延迟高~100µs ~ 1ms CPU 开销大 ↓ 本地 NVMe SSD 延迟极低~20µs 但只能服务单台服务器 存储资源无法共享 ↓ 矛盾想要低延迟又想要存储池化共享NVMe-oF 正是为了打破这个矛盾而生。⚙️ NVMe-oF 架构┌─────────────────────────────────────────────────┐ │ 主机Host │ │ 应用层 → NVMe 驱动 → NVMe-oF 传输层 │ └─────────────────┬───────────────────────────────┘ │ 网络传输Fabric ┌─────────┴──────────┐ │ │ RoCE v2 TCP/IP RDMA 普通以太网 │ │ ┌───────▼────────────────────▼──────────┐ │ 存储目标Target │ │ NVMe-oF Target → NVMe SSD 阵列 │ │ Solidigm D5 / D7 集群 │ └───────────────────────────────────────┘ NVMe-oF 传输方式对比传输类型底层技术延迟特点适用场景NVMe/RDMARoCE v2RDMA over 以太网~10µs超低延迟需无损网络高频交易、AI训练NVMe/TCP标准 TCP/IP~100µs部署简单无需特殊网卡通用云存储NVMe/FC光纤通道~20µs企业传统环境金融、电信NVMe/InfiniBandIB 网络~5µs最低延迟HPC、超算 NVMe-oF vs 传统存储协议对比维度iSCSIFC SANNVMe-oF协议层数多SCSITCP多SCSIFC少NVMe原生端到端延迟~500µs~200µs10100µs队列深度1×32有限65535×65535CPU 开销高中低RDMA零拷贝部署成本低高中取决于传输层存储池化✅✅✅ 数据中心部署模式模式一计算存储分离架构┌──────────┐ ┌──────────┐ ┌──────────┐ │ 计算节点 │ │ 计算节点 │ │ 计算节点 │ │无本地盘│ │无本地盘│ │无本地盘│ └────┬─────┘ └────┬─────┘ └────┬─────┘ │ │ │ └──────────────┴──────────────┘ │ NVMe-oF 网络 ┌─────────▼──────────┐ │ 存储池 │ │ D5-P5336 × N 盘 │ │ 共享访问 │ └────────────────────┘ 优点存储独立扩展资源利用率高模式二AI 训练存储加速GPU 集群 ──NVMe/RDMA──→ 高速 SSD 存储池 D7 系列 → 训练数据加载延迟从秒级降至毫秒级 → GPU 不再因等待数据而空转️ NVMe-oF 快速体验# 服务端Target配置 NVMe/TCPmodprobe nvmet modprobe nvmet-tcp# 创建 subsystemmkdir/sys/kernel/config/nvmet/subsystems/test-subsysecho1/sys/kernel/config/nvmet/subsystems/test-subsys/attr_allow_any_host# 客户端Host发现并连接nvme discover-ttcp-a192.168.1.100-s4420nvme connect-ttcp-a192.168.1.100-s4420-ntest-subsys# 验证连接nvme list NVMe-oF 与 AI 时代AI 训练集群的存储需求 ├── 海量训练数据PB 级→ 需要存储池化 ├── 高并发数据加载 → 需要低延迟 ├── GPU 利用率最大化 → 不能让存储成为瓶颈 └── 灵活扩展 → 计算存储独立伸缩 ↓ NVMe-oF SSD AI 时代理想存储架构 一句话总结NVMe-oF 打破了高性能存储只能在本地的枷锁——它让整个数据中心的 SSD 变成一个共享的高速存储池为 AI、云计算、高频交易提供本地 NVMe 级别的延迟体验同时实现存储资源的灵活池化与弹性扩展。