一、故障背景某云数据中心部署了一套基于DPDK的软件交换机集群。主要承担VXLAN GatewayEVPN LeafIPv4/IPv6 RoutingACL FilteringTelemetry Export硬件配置项目配置CPUIntel Xeon Gold 6430内存512GB DDR4网卡Intel E810DPDK23.11PMD Core32Hugepage1GB Page上线初期64B PPS 95Mpps稳定运行。三个月后95Mpps ↓ 87Mpps ↓ 79Mpps ↓ 68Mpps持续下降。但CPU 100%始终不变。重启后68Mpps ↓ 95Mpps立即恢复。二、第一次排查首先查看dpdk-proc-infoRX统计imissed 0TX统计oerrors 0RSS均衡Mempool正常FIB正常ACL正常没有任何传统瓶颈。三、发现一个奇怪规律运维团队发现性能下降并非突然发生。而是每天下降一点点这种现象非常不符合Descriptor耗尽RSS倾斜ACL膨胀等典型问题。更像某种资源长期退化四、重新审视DPDK内存体系DPDK启动--huge-dir/dev/hugepages其核心思想不是普通malloc。而是Hugepage ↓ memseg ↓ mempool ↓ mbuf典型结构五、为什么DPDK依赖Hugepage原因很多。但最重要的是TLB覆盖范围。CPU访问内存VA ↓ TLB ↓ PA如果TLB未命中Page Walk开始。延迟几十到数百Cycle六、TLB Reach以Ice Lake为例L1 DTLB64 Entries覆盖4KB页64 × 4KB 256KB而1GB页64 × 1GB 64GB差距262144倍七、问题开始出现进一步分析。发现交换机运行期间控制面持续创建Telemetry对象Flow统计对象Mirror对象这些对象最终进入rte_malloc()体系。虽然最终释放。但长期创建 ↓ 长期销毁形成Hugepage内部碎片八、什么是Hugepage碎片化很多工程师理解碎片化 内存不足其实不是。示意正常Hugepage [连续空间]运行数月[对象] [空洞] [对象] [空洞] [对象]形成Fragmentation九、为什么会影响性能关键来了。DPDK分配新对象时原来连续内存后来跨多个memseg结果CPU访问Flow Table ACL Metadata Route Cache需要更多TLB Entry十、Perf验证使用perf stat统计dTLB-load-misses正常0.2%异常5.8%增长29倍十一、为什么CPU仍然100%因为PMDwhile(1) { rte_eth_rx_burst(); process(); rte_eth_tx_burst(); }不会停。CPU依旧100%但每个包TLB Miss ↑ Page Walk ↑ Cycles ↑结果Cycles/Packet 增加吞吐下降。十二、进一步发现查看cat /proc/pid/smaps发现Hugepage映射数量正常18异常147说明原本少量大块变成大量离散区域十三、验证实验重启交换机。重新压测95Mpps恢复。再运行60天后76Mpps现象复现。十四、根因确认完整链路长期运行 ↓ 对象频繁创建销毁 ↓ Hugepage内部碎片 ↓ Memseg离散 ↓ TLB Miss增加 ↓ Page Walk增加 ↓ Cycles/Packet增加 ↓ PPS下降十五、解决方案方案一对象池化。禁止rte_malloc() rte_free()频繁调用。改预分配 对象复用方案二控制面独立内存区Telemetry独立MemzoneMirror独立Memzone避免污染转发面。方案三定期监控Memseg使用dpdk-proc-info --memzones观察Memseg数量趋势。方案四采用1GB Hugepage而不是2MB Hugepage减少TLB压力。优化结果指标优化前优化后PPS68M94MdTLB Miss5.8%0.3%RTT P995.2ms0.7msMemseg Count14721核心知识点总结1DPDK性能退化不一定来自流量增长。也可能来自内存布局退化2Hugepage不是用了就完事。长期运行后的碎片化同样重要。3CPU 100%不能说明系统健康。真正指标是Cycles Per Packet4TLB Miss是DPDK系统最容易被忽略的性能指标之一。5长期运行交换机的性能管理本质上也是内存生命周期管理6控制面对象频繁创建销毁可能间接影响数据面。7高性能交换机最终优化目标不仅是少拷贝 少锁 少Cache Miss还包括保持长期稳定的内存连续性这个主题与本项目之前涉及的 RSS、ACL、NUMA、FIB、Neighbor、DDIO、PCIe、Flow Affinity、TX Completion 都不同属于DPDK长期运行稳定性与内存体系设计范畴也是很多运营商级软件交换机上线数月后才会暴露出来的隐蔽问题。