我第一次帮客户把模型从单机扩到多节点时，心态是乐观的。GPU数量翻倍，训练时间理应大幅缩短。但真正跑起来后，曲线并没有变“陡”，反而GPU利用率开始忽高忽低。
后来我们复盘才发现，GPU其实大部分时间都在“等”——等梯度同步、等参数广播、等其他节点完成通信。算力已经就位，真正拖慢节奏的是网络。
如果你也遇到过**“GPU很贵，但扩容后并不快”**的情况，这篇文章希望能帮你把网络这件事看清楚。
分布式训练，对网络的要求远不止“带宽大”
很多新手在选GPU服务器时，会下意识盯着CPU、显卡型号和显存，却很少花时间理解网络参数。我自己踩过坑之后，通常会从下面四个维度来判断网络是否适合分布式训练。
首先是带宽。模型越大、并行方式越复杂（比如张量并行或专家并行），节点之间需要交换的数据就越多。如果带宽不足，通信时间会迅速放大。
其次是延迟。分布式训练不是一次性大文件传输，而是大量小包、反复同步。延迟哪怕只高一点点，乘以成百上千次同步，也会明显拉长单次迭代时间。
第三个关键点是RDMA能力。RDMA的价值并不只是“更快”，而是绕过内核协议栈，让GPU之间的数据交换更稳定、更可预测。像NCCL这样的通信库，本身就会尽量利用RDMA来降低同步开销。
最后是网络的稳定性和拥塞控制。训练最怕的不是慢一点，而是抖动。一旦出现丢包、重传或队头阻塞，所有GPU都会一起被拖慢。
InfiniBand、RoCEv2、传统以太网，差别到底在哪
我们在实际选型时，通常会把几种常见网络技术放在一张表里对比，而不是只听名字“高不高级”。
| 网络技术 | 常见速率 | 延迟特征 | RDMA支持 | 稳定性与运维感受 |
|---|---|---|---|---|
| InfiniBand QDR | 40Gb/s | 面向低延迟设计 | 原生支持 | 多见于旧HPC或存量集群 |
| InfiniBand HDR | 200Gb/s | 极低延迟、确定性强 | 原生支持 | 更像为AI训练定制的专用网络 |
| RoCEv2 | 100/200/400GbE | 依赖配置，表现差异大 | 支持 | 成败取决于无损与拥塞控制 |
| 传统以太网 | 10–100GbE | 延迟和抖动较高 | 默认不支持 | 易部署，但扩展效率有限 |
如果用一句话总结我的理解：
- InfiniBand更像一条“为训练而生的高速专线”，性能稳定，调优空间小，但体系相对专用。
- RoCEv2是“把以太网改造成能跑RDMA的训练网络”，上限很高，但配置不当时体验也最容易翻车。
- 传统以太网适合小规模或轻通信场景，但当你真的开始追求扩展效率时，网络很快会成为瓶颈。
网络参数是如何直接影响训练效率的
你可以把一次训练迭代简单拆成两部分：计算时间和通信时间。
当模型规模扩大、节点数量增加时，通信时间往往增长得更快。如果网络带宽不足，或者延迟与抖动不可控，All-Reduce这样的同步操作就会频繁“卡住”，导致所有GPU一起空转。
我们在训练中就见过这种情况：理论算力翻倍，但实际吞吐只提升了三四成。网络日志一拉，通信占比已经接近一半。
这也是为什么很多成熟的训练集群，在GPU型号之外，都会非常重视网络拓扑、RDMA和拥塞控制。
按训练规模选网络，比“盲目上最高规格”更重要
并不是所有训练任务都需要一步到顶的网络配置。我更建议你根据自己的规模和并行方式来判断。
| 训练规模与特点 | 更现实的网络选择 |
|---|---|
| 单机多卡或2节点以内 | 100GbE RoCEv2或高质量以太网即可 |
| 2–4节点数据并行 | 200GbE RoCEv2或InfiniBand |
| 8节点以上，多种并行方式混合 | 200/400GbE RoCEv2或InfiniBand HDR |
| 大规模长期训练 | 优先考虑InfiniBand体系 |
我的经验是：当通信已经明显拖慢迭代时，升级网络通常比继续堆GPU更划算。
为什么RoCEv2常被说“好用但难用”
RoCEv2的争议，几乎都来自配置层面。它依赖无损以太网，这意味着你不能只买一张高速网卡就指望万事大吉。
在实际部署中，我们通常会重点检查几件事：
- 端到端是否正确启用了PFC
- 是否配合ECN做拥塞控制，而不是只靠“硬顶”
- MTU、队列与优先级是否一致
- 链路速率是否统一，避免“短板拖全局”
这些事情听起来偏网络工程，但如果忽略它们，RoCE在训练中就很容易表现不稳定。
真实对比：云厂商为什么都在强调高速互连
你如果看过主流云厂商的AI实例说明，会发现一个共同点：它们都在想办法让GPU之间通信更快。
无论是强调专用互连，还是明确支持RDMA和GPUDirect，本质目标都是降低分布式训练的通信成本。这也从侧面验证了一个结论：当模型和规模上来之后，网络就是算力的一部分。
在Hostease场景下，我会怎么选网络配置
如果你让我给建议，我通常不会先谈具体型号，而是先问几个问题：节点数、每节点GPU数量、并行方式、训练周期。
在Hostease的独立GPU服务器选择中，我更倾向于：
- 多节点训练时，优先选支持高速互连的配置
- 不确定网络细节时，提前沟通训练规模，让方案按通信模型来设计
- 训练与推理分离部署，避免互相影响网络稳定性
- 明确是否支持RDMA相关配置与协助，而不是只看端口速率
这样做的目的只有一个：让GPU尽量少等网络，多做计算。
FAQ：新手最常问的几个问题
Q：只有两台GPU服务器，有必要上InfiniBand吗？
A：不一定。很多情况下，配置合理的RoCEv2已经足够，关键是先把通信跑稳。
Q：RoCE是不是插上就能用？
A：不是。RoCE依赖无损网络，需要端到端的配置，否则训练中很容易抖动。
Q：传统以太网还能不能做分布式训练？
A：可以，但更适合小规模或通信占比不高的场景，规模一大就会吃力。
Q：选网络时只看带宽够不够？
A：不够。延迟、尾延迟和稳定性，往往比“标称带宽”更影响训练体验。
写在最后：网络不是配角，而是训练效率的一部分
如果你正在规划分布式训练环境，希望你能记住这一点：GPU独立服务器的网络不是附属配置，而是决定扩展效率的关键资源。
你不一定要追求最贵、最新的网络技术，但一定要选择最匹配你训练形态的那一种。
欢迎你在评论区分享自己的训练规模和网络配置，也可以把你遇到的网络瓶颈写出来。点个赞、转给正在搭集群的朋友，可能就能帮他们少踩几个坑。