分布式训练

分布式训练跑不快，常常不是GPU不够，而是网络拖后腿。本文对比InfiniBandHDR/QDR、RoCEv2与传统以太网的带宽、延迟、RDMA与无损配置，解释它们如何影响NCCL的All-Reduce通信与GPU利用率，并给出从2节点到多节点集群的选型清单，以及在Hostease下单时可用的高速网络选项。