分布式训练

多卡并行(NVLink)技术详解：为什么 GPU 训练里 1+1 有时＞2？

作者
多卡并行(NVLink)技术详解与GPU训练架构 - AIGC计算节点

多GPU训练跑不快，很多时候不是算力不够，而是GPU之间“传数据”太慢。我结合我们排查多卡训练卡顿的经历，讲清NVLink为何能突破PCIe瓶颈、如何影响AllReduce与模型并行，并给出对比表、落地建议与新手FAQ。

GPU服务器网络参数选择：InfiniBand与RoCE在分布式训练中的应用

作者

分布式训练跑不快，常常不是GPU不够，而是网络拖后腿。本文对比InfiniBandHDR/QDR、RoCEv2与传统以太网的带宽、延迟、RDMA与无损配置，解释它们如何影响NCCL的All-Reduce通信与GPU利用率，并给出从2节点到多节点集群的选型清单，以及在Hostease下单时可用的高速网络选项。