1. 项目概述一张PCIe转千兆以太网卡的诞生最近在折腾一个老旧的工控机项目主板上集成的网卡挂了手头又没有现成的PCIe网卡。翻箱倒柜找到几颗RTL8111H千兆以太网PHY芯片和一颗PCIe转接芯片一个念头就冒了出来为什么不自己画一张PCIe转千兆以太网卡呢说干就干这个“PCIe TO Gigabit ETH Board (C)”项目就这么开始了。本质上它就是一张基于PCIe接口的独立千兆以太网扩展卡核心目标是将主板上的PCIe x1通道通过一个桥接芯片转换成一个标准的RJ45千兆网络接口。这玩意儿听起来好像就是市面上几十块钱就能买到的成品但自己动手从零设计的意义完全不同。首先你能完全掌控板卡的尺寸、布局和接口定义可以把它塞进一些非标尺寸的机箱里。其次对于嵌入式开发或者特定工业场景你可能需要定制化的网络功能比如特定的MAC地址烧录、网络唤醒WOL配置甚至是配合FPGA做网络数据包的直接处理自己设计的板卡就提供了这样的底层硬件平台。最后也是最重要的整个过程是对高速数字电路设计、信号完整性、电源完整性以及PCIe协议、以太网PHY配置的一次绝佳实战演练。无论你是硬件工程师想练手还是嵌入式软件开发者想深入理解网卡驱动与硬件的交互这个项目都能让你收获满满。2. 核心芯片选型与方案设计思路一张网卡的核心无非是“接口转换”和“网络收发”两大部分。对于PCIe转千兆以太网市面上成熟的方案非常多我们的设计思路就是在满足功能、保证稳定性的前提下选择最经典、资料最丰富、最容易成功的组合。2.1 桥接芯片PCIe的“翻译官”PCIe接口不能直接驱动以太网PHY中间需要一个“翻译官”这就是PCIe转接芯片或者更专业地说是PCIe to Gigabit Ethernet Controller。这类芯片内部集成了PCIe端点控制器、一个或多个以太网MAC媒体访问控制层以及连接外部PHY的接口通常是RGMII或SGMII。经过一番筛选我最终选择了Realtek RTL8111H。没错虽然RTL8111H常被用作独立的以太网控制器即集成了MAC和PHY的芯片但在很多自设计板卡中我们也可以利用其成熟的PCIe接口和MAC层将其配置为需要外接PHY的模式当然它本身也集成了PHY但我们这里为了学习先按外接PHY的思路来规划。更纯粹和经典的桥接方案其实是像Intel I350、Broadcom BCM5719这类芯片但它们多为企业级产品资料相对封闭采购和调试门槛高。而Realtek的方案消费级资料多Linux内核驱动支持完善是DIY项目的首选。实际上RTL8111系列芯片本身就是一个完整的PCIe千兆网卡解决方案我们设计板卡很大程度上是在为这颗芯片提供正确、稳定的工作环境。注意在正式设计中如果你追求极简和低成本完全可以直接使用RTL8111H它内部已含PHY的典型应用电路设计出的就是最常见的独立网卡。但为了深入理解MAC与PHY的分离设计本项目的思路会偏向于使用需要外接PHY的控制器如RTL8111H的某些特殊配置模式或选用其他如RTL8168等明确支持外接PHY的芯片这增加了复杂性也带来了更大的学习价值。2.2 网络PHY芯片信号的“调制解调器”PHY芯片负责物理层的工作简单说就是把MAC层出来的数字信号转换成能在网线上传输的模拟信号反之亦然。既然桥接芯片或控制器可能外接PHY我们需要一颗千兆以太网PHY。这里我选择了Realtek RTL8211F。这是一个非常经典的单口千兆PHY支持RGMII接口与RTL8111H的MAC层接口兼容性好。选择它的理由很充分数据手册公开易得应用电路参考设计丰富在消费级和工业级产品中经过海量验证稳定性毋庸置疑。RGMIIReduced Gigabit Media Independent Interface是连接MAC和PHY的标准接口之一。它采用双沿采样DDR技术在125MHz时钟频率下用每个时钟的上升沿和下降沿各传输一次数据从而实现1Gbps的数据速率。理解RGMII的时序要求是保证网卡稳定工作的关键。2.3 整体方案架构与设计权衡最终的方案框图在脑海中清晰起来主板的PCIe x1插槽提供通道和供电连接至我们的板卡。板卡上的核心是RTL8111H作为PCIe端点兼MAC它通过RGMII接口连接到RTL8211F PHY芯片。PHY芯片再通过网络变压器Magnetics Module耦合到RJ45接口上。此外还需要为两颗芯片提供稳定、干净的电源以及配置所需的无源元件电阻、电容、晶振等。这里有几个关键的设计权衡点集成度 vs 学习深度直接采用RTL8111H内置PHY的方案最简单但为了彻底搞懂MAC-PHY分离架构、RGMII布线、阻抗匹配等知识我选择了更复杂的“外置PHY”路径。这意味著更多的原理图设计、更复杂的PCB布局布线挑战以及潜在的调试工作量。时钟方案PHY需要一颗25MHz的参考时钟。这个时钟可以由外部有源晶振提供也可以由主芯片通过专用时钟引脚输出。为了保证时钟质量降低抖动我决定使用一颗独立的、高精度的25MHz有源晶振同时为RTL8111H提供所需的100MHz或125MHz时钟可能来自PCIe插槽的参考时钟也可能需要另一颗晶振需查具体芯片手册。电源树设计PCIe插槽提供3.3V和3.3Vaux等电源。RTL8111H和RTL8211F通常需要多种电压如3.3V的IO电压1.0V或1.2V的核心电压以及1.8V、2.5V等模拟电压。需要仔细阅读两片芯片的数据手册设计一个由低压差线性稳压器LDO或开关电源DC-DC构成的电源网络确保每路电源的电压、电流、纹波都满足要求。3. 原理图设计核心要点与避坑指南画原理图不是简单的连线游戏每一个元器件的选择、每一个网络的连接背后都有其电气特性和协议规范的要求。这一步是硬件设计的基础基础不牢地动山摇。3.1 电源电路设计稳定压倒一切高速数字芯片对电源极其敏感。我的电源树设计如下输入来自PCIe金手指的3.3V主要功率来源和3.3Vaux待机电源。核心电压1.0V/1.2V这是芯片内部逻辑电路的工作电压电流需求较大可能达到几百mA且对噪声敏感。我选用了一颗同步降压DC-DC转换器例如TI的TPS54331。它的效率高输出电流能力强但开关噪声较大。因此在布局时必须非常靠近芯片的电源引脚输出滤波电路π型滤波电感电容要严格按照数据手册设计后续PCB阶段还要在芯片电源引脚附近放置大量不同容值的去耦电容。IO电压3.3V/2.5V/1.8V这些电压用于接口电平匹配。电流相对较小但对纹波也有要求。我选用了低噪声LDO如AMS1117系列或其升级型号。LDO噪声小电路简单但效率低需要注意输入输出电压差带来的功耗和发热问题。例如从3.3V降到1.8V压差1.5V如果IO电流100mA那么LDO上就会消耗150mW的功率需要评估散热。PHY模拟电压RTL8211F通常需要非常干净的2.5V或1.8V模拟电源用于内部PLL和模拟电路。这部分电源必须与数字电源隔离通常采用磁珠Ferrite Bead或0Ω电阻进行单点连接并在PHY芯片的模拟电源引脚附近布置高质量的滤波电容。实操心得务必为每一路电源网络都设计测试点TP。在调试阶段用万用表和示波器测量这些测试点的电压和纹波是排查电源问题最快的方法。纹波过大往往是系统不稳定的罪魁祸首。3.2 PCIe接口电路金手指与差分对的讲究PCIe x1接口包含一组发送差分对TXp/TXn和一组接收差分对RXp/RXn以及参考时钟、复位、供电等信号。原理图部分相对直接主要是正确连接金手指的定义。但这里有三个隐藏的坑金手指封装PCB封装必须绝对准确。PCIe金手指有严格的尺寸和间距要求我直接使用了EDA软件如KiCad、Altium Designer自带的PCIe x1连接器库并反复核对机械尺寸图确保能与主板插槽完美契合。耦合电容PCIe协议规定差分信号线上必须串联交流耦合电容容值通常在75nF到200nF之间我选择了业界通用的100nF、0402封装的电容。这个电容必须放置在靠近金手指发送端的位置。对于我们的板卡作为端点设备TX差分对和RX差分对上都需要放置这个电容。PERST#信号这是PCIe的复位信号低电平有效。它需要上拉到3.3Vaux电源。上拉电阻的阻值会影响复位时序通常选择10kΩ即可但最稳妥的方法是查阅主板和芯片手册或者参考公版设计。3.3 RGMII接口与PHY连接时序匹配是关键这是原理图设计的另一个核心。RGMII接口包含以下主要信号TXD[3:0], TX_CTL, TX_CLKMAC发送给PHY的数据、控制信号和时钟。RXD[3:0], RX_CTL, RX_CLKPHY发送给MAC的数据、控制信号和时钟。MDC/MDIO管理接口用于配置PHY芯片的内部寄存器设置工作模式、自协商、读取状态等。连接看起来就是直接连线但玄机在于时钟延迟匹配标准的RGMII接口数据信号TXD/RXD, TX_CTL/RX_CTL需要相对于时钟TX_CLK/RX_CLK有特定的建立和保持时间。为了简化设计RGMII规范提供了一个“延迟模式”RGMII ID通过在时钟线上插入内部延迟来对齐时序。我们的RTL8211F和RTL8111H都支持这个模式。必须在原理图上体现这个配置通常是通过将PHY芯片的某个特定配置引脚如RXDLY_CFG, TXDLY_CFG上拉或下拉到固定的电平VDD或GND来实现。我查阅了两颗芯片的数据手册将相关引脚配置为启用内部延迟模式。MDIO上拉MDIO是开漏双向信号线必须在主机端即RTL8111H侧通过一个4.7kΩ或10kΩ的电阻上拉到3.3V IO电源否则管理通信无法进行。网络变压器接口PHY芯片的模拟输出TX/TX-和输入RX/RX-直接连接到网络变压器通常是一个集成了变压器和共模扼流圈的RJ45插座俗称“带灯带变的网口”。这里要注意变压器中心抽头的接法通常需要接一个到模拟电源的滤波电路电容电阻具体值参考变压器和PHY芯片的推荐电路。4. PCB布局布线实战从图纸到实物的跨越如果说原理图是建筑的蓝图那么PCB布局布线就是施工过程。对于高速数字电路布局布线的质量直接决定了项目的成败。4.1 层叠结构与阻抗控制我决定使用四层板设计这是兼顾成本和性能的最佳选择。层叠结构设计如下Top Layer顶层主要放置关键芯片RTL8111H, RTL8211F、晶振、去耦电容、以及大部分信号线特别是RGMII和PCIe差分对。Inner Layer 1内层2完整的GND平面。为顶层和底层的高速信号提供最短的返回路径这是抑制电磁干扰EMI和保证信号完整性的生命线。Inner Layer 2内层3完整的电源平面。分割为3.3V、1.0V、1.8V、2.5V等多个区域为不同电压需求的芯片供电。Bottom Layer底层放置相对不敏感的无源器件如电阻、较大的电容、电源芯片、以及一些低速信号线如配置电阻、LED指示灯。阻抗控制是必须考虑的。PCIe差分对的特性阻抗要求是100Ω ±10%RGMII单端信号线的特性阻抗通常是50Ω。在PCB加工时需要向板厂提供层叠结构板材型号、每层厚度、铜厚和目标阻抗值板厂会计算出对应的线宽线距。对于四层板PCIe差分对通常走在顶层参考内层的GND平面通过调整差分对的线宽和间距来达到100Ω差分阻抗。4.2 关键区域布局策略芯片与去耦电容RTL8111H和RTL8211F是核心。我将它们放置在板子中央偏上的位置两者尽量靠近以减少RGMII走线长度。去耦电容的摆放是重中之重每个电源引脚附近最好是背面即芯片正下方都必须放置一个0.1uF的陶瓷电容0402封装用于滤除高频噪声。同时在芯片的电源入口处还要并联一个10uF或更大的钽电容或陶瓷电容用于应对低频电流突变。所有去耦电容的GND过孔必须尽可能靠近电容的接地端并且直接打到内层的GND平面形成最短的回路。时钟电路25MHz有源晶振被视为噪声源。我将其放置在靠近PHY芯片的时钟输入引脚处并用一个完整的GND铜皮将其包围起来与其他高速信号区域隔离。晶振的输出走线要尽量短、粗并用地线进行包边屏蔽。电源芯片布局DC-DC开关电源如TPS54331是另一个噪声大户。其电感、输入输出电容必须严格按照数据手册的推荐布局形成紧凑的功率环路。这个区域要远离敏感的模拟电路如PHY的模拟部分和时钟信号。4.3 高速信号布线规则PCIe差分对走线尽可能短、直。避免使用90度直角拐弯改用45度角或圆弧走线。差分对内的两条线P和N必须严格等长长度误差控制在5mil0.127mm以内。这可以通过EDA软件的“差分对等长”功能来实现。保持差分对与其他信号线尤其是时钟线的间距至少为线宽的3倍3W原则以减少串扰。尽量避免换层。如果必须换层要在换层过孔附近放置地孔为返回电流提供通路。RGMII信号虽然速率是125MHz DDR等效250MHz但也是高速信号。所有数据线TXD[3:0], RXD[3:0]和控制线TX_CTL, RX_CTL应作为一组进行组内等长处理。通常要求组内任意两条线的长度差不超过几百mil例如500mil。时钟线TX_CLK, RX_CLK非常重要它们应该单独走线并与其他信号线保持更大间距且最好用地线隔离。RGMII走线也应参考完整的GND平面避免跨分割。电源走线对于大电流路径如3.3V输入到DC-DCDC-DC输出到芯片核心走线要宽或者用铺铜的方式。过孔数量要足够以减小阻抗和压降。完成布线后一定要进行设计规则检查DRC和连通性检查确保没有短路、断路以及所有阻抗控制规则都已满足。5. 打板、焊接与硬件调试实录PCB文件发出去打样一周后绿色的板子到手。看着自己设计的作品从虚拟变成实体成就感满满但真正的挑战才刚刚开始。5.1 焊接流程与技巧我采用的是热风枪烙铁的混合焊接法焊接电源芯片和LDO首先焊接TPS54331和几个LDO。给焊盘上适量的锡膏用热风枪均匀加热看到芯片自动归位由于表面张力后停止加热。冷却后立即用万用表测量各引脚对地电阻防止短路。焊接主芯片RTL8111H和RTL8211F都是QFN封装底部有散热焊盘。这是难点。先在芯片底部的散热焊盘和PCB对应焊盘上涂抹少量锡膏宁少勿多。然后将芯片对准放好用热风枪从上方和侧面均匀加热。看到四周引脚焊锡熔化且芯片轻微下沉后用镊子轻轻推一下芯片边缘若能回弹说明焊接成功。切记不要用力按压否则会导致引脚短路或芯片损坏。焊接无源器件剩下的电阻电容晶振等用烙铁逐个焊接即可。注意有极性的电容钽电容、电解电容方向不要搞错。检查与清理焊接完成后在强光下用放大镜仔细检查每一个焊点特别是QFN芯片的四周引脚看是否有桥连、虚焊。然后用洗板水和无尘布清洁板子上的助焊剂残留。5.2 上电前检查与电源测试在插入主板之前必须进行裸板测试短路测试用万用表蜂鸣档测量所有电源网络3.3V, 1.0V, 1.8V, 2.5V与GND之间的电阻。正常情况下应该有几百欧姆甚至几千欧姆的阻值。如果电阻接近0欧姆说明存在严重短路必须排查。上电测试使用可调直流电源限流100mA电压调到3.3V连接到板卡的PCIe金手指3.3V和GND引脚。观察电流读数。如果电流在几十mA范围内且稳定说明没有明显短路。然后用手触摸各个芯片感受是否有异常发热。如果某个芯片瞬间烫手立即断电。测量各电压如果上电电流正常用万用表测量各个LDO和DC-DC的输出电压是否与设计值一致1.0V, 1.8V, 2.5V, 3.3V。纹波可以用示波器交流耦合档位测量最好控制在50mV以内。5.3 上机功能测试与驱动加载确认电源无误后将板卡插入主板的PCIe x1插槽确保主机已关机。开机识别开机进入BIOS或者直接启动到Linux系统。在Linux下打开终端输入命令lspci。如果你在列表中看到了“Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller”之类的设备那么恭喜你硬件已经被系统识别了这是第一个里程碑。驱动加载现代Linux内核通常自带r8169驱动来支持Realtek系列网卡。系统一般会自动加载。你可以用lsmod | grep r8169查看驱动是否加载。用dmesg | grep -i eth或dmesg | grep -i r8169查看内核日志应该能看到网卡被识别并分配了网络接口名如eth1, enp2s0。链路状态用ethtool [接口名]命令查看链路信息。例如ethtool enp2s0。在输出中寻找“Link detected: yes”。如果显示“no”说明物理链路没通。检查网线、网络变压器、PHY芯片配置。此时可以尝试用ethtool -s enp2s0 speed 1000 duplex full autoneg off强制设置速率和双工模式来测试。网络配置与ping测试给接口配置一个IP地址例如sudo ip addr add 192.168.1.100/24 dev enp2s0然后sudo ip link set enp2s0 up启用接口。最后ping一下同一局域网内的其他设备如路由器192.168.1.1。如果能ping通并且用iperf3测试能达到接近千兆的速率那么整个硬件设计和基础功能就大功告成了6. 深度调试与性能优化经验硬件能工作只是第一步要稳定高效地工作还需要进行深度调试和优化。这个过程会遇到各种各样的问题也是学习收获最大的阶段。6.1 常见问题排查速查表问题现象可能原因排查思路与解决方法lspci找不到设备1. PCIe金手指接触不良或焊接问题。2. 主芯片RTL8111H未正常工作电源、时钟、复位。3. PCIe差分对布线严重不合格信号无法识别。1. 用橡皮擦清洁金手指检查焊接。2. 测量芯片所有电源引脚电压是否正常用示波器检查25MHz/100MHz时钟是否有波形且幅值、频率正确检查PERST#复位信号在上电后的时序应为低电平然后变高。3. 此为硬伤需检查PCB设计。可尝试降低PCIe链路速度在BIOS中设置Gen1看能否识别。驱动加载但链路不通Link down1. 网线或对端设备问题。2. 网络变压器损坏或焊接不良。3. PHY芯片RTL8211F未正确初始化。4. RGMII接口时序问题数据无法正确收发。1. 更换网线连接到确认正常的交换机口。2. 检查变压器各引脚焊接测量中心抽头电压。3. 通过ethtool -p enp2s0让接口LED闪烁看网口灯是否亮初步判断PHY是否活动。用ethtool -d enp2s0dump PHY寄存器检查关键寄存器如控制寄存器、状态寄存器的值是否正常。4. 这是最难查的。需用示波器或逻辑分析仪抓取RGMII的时钟和数据线看波形是否干净时序是否符合规范。重点检查RGMII ID内部延迟模式是否已正确配置。连接速率只有100M或10M1. 网线质量差只支持低速率。2. PHY自协商失败降速工作。3. RGMII某根数据线或时钟线信号质量差导致误码率高链路自动降速。1. 使用Cat5e或以上标准网线。2. 尝试用ethtool -s enp2s0 speed 1000 duplex full autoneg off强制千兆全双工。3. 用示波器查看RGMII信号眼图检查过冲、振铃、噪声是否在可接受范围。可能是阻抗不连续或串扰导致。网络传输不稳定丢包率高1. 电源纹波过大导致芯片工作不稳定。2. 信号完整性差反射、串扰。3. 散热不良芯片过热。4. 驱动或系统设置问题。1. 用示波器仔细测量各电源轨尤其是1.0V核心电压的纹波重点检查DC-DC的输出滤波电容和布局。2. 用网络分析软件如ping -f进行洪水ping测试或iperf3长时间测试结合系统日志dmesg观察。同时用示波器监测电源和关键信号。3. 触摸芯片温度必要时增加散热片。4. 尝试更新或回滚网卡驱动版本调整中断合并参数等。6.2 信号完整性初步分析与优化在没有昂贵网络分析仪的情况下我们可以用示波器进行一些基本的信号完整性检查测量电源纹波将示波器探头设置为10:1衰减带宽限制打开如20MHz使用接地弹簧针而不是长长的接地夹直接点在芯片电源引脚附近的去耦电容上。观察波形稳定的直流电源上叠加的交流噪声峰峰值应小于50mV核心电压要求更严。观察时钟信号测量25MHz晶振输出和RGMII的125MHz时钟。波形应该是干净的正弦波或方波上升/下降沿陡峭没有明显的过冲、振铃或毛刺。过冲过大可能是阻抗不匹配导致可以在信号线上串联一个小电阻如22Ω来阻尼。检查PCIe差分信号可选这需要高速示波器和差分探头。可以粗略看一下差分对上的信号幅度是否对称有没有明显的失真。更专业的分析需要用到PCIe协议分析仪。一个真实的踩坑案例在第一批板卡测试时发现网络传输大文件时偶尔会断流。用iperf3测试吞吐量波动很大。用示波器检查1.0V核心电源发现每当网络流量激增时纹波会从正常的30mV飙升到150mV以上。问题根源是DC-DC输出滤波电容的容量不足且布局时高频去耦电容0.1uF离芯片电源引脚太远。解决方案是在芯片的电源入口处并联了两个大容量的低ESR陶瓷电容22uF并将几个0402封装的0.1uF电容直接放在芯片背面对应的电源引脚过孔上。改造后纹波被控制在40mV以内网络传输立刻变得稳定流畅。6.3 驱动层与系统调优硬件稳定后还可以从软件层面进行微调以适配特定应用场景。调整中断合并高速网络会产生大量中断消耗CPU资源。可以调整中断合并参数让网卡积累一定数量的数据包或等待一段时间再产生一次中断。例如sudo ethtool -C enp2s0 rx-usecs 100 rx-frames 32这表示最多等待100微秒或积累32个帧才产生一个接收中断。这对提升小包吞吐量很有帮助。启用巨帧Jumbo Frame如果是在局域网内进行大数据传输如NAS可以启用巨帧以减少协议开销。sudo ip link set enp2s0 mtu 9000。注意网络中的所有设备交换机、对端网卡都需要支持并配置相同的MTU。优化TCP参数对于高速网络可以调整系统的TCP缓冲区大小。例如在/etc/sysctl.conf中增加net.core.rmem_max 134217728 net.core.wmem_max 134217728 net.ipv4.tcp_rmem 4096 87380 134217728 net.ipv4.tcp_wmem 4096 65536 134217728然后执行sudo sysctl -p生效。从一颗芯片的选型到一张可以稳定工作的网卡这个过程充满了挑战和乐趣。每一次示波器波形变得干净每一次ping通的对端IP都是对之前所有理论学习和工程实践的最佳反馈。这张自制的PCIe千兆网卡其价值早已超出了它本身几十块钱的物料成本它凝结的是对高速电路设计从懵懂到清晰的全过程理解。如果你也对此感兴趣不妨拿起EDA软件从绘制第一个原理图符号开始踏上属于自己的硬件创造之旅。当你的设备在lspci列表中亮起的那一刻你会明白这一切都是值得的。