使用 Paddle 和 FlagCX 训练模型

FlagCX 现已作为可选的高性能通信后端完全集成到 Paddle 中。此集成支持在多种硬件平台上进行高效的分布式训练，包括在 NVIDIA 和 Iluvatar GPU 上支持异构训练。

使用以下指南快速开始使用 Paddle + FlagCX 训练模型。

同构训练

在单一类型硬件平台上训练：

硬件	用户指南
NVIDIA GPU	在 NVIDIA GPU 环境下使用 Paddle 和 FlagCX 指南
昆仑芯 XPU	在昆仑芯 XPU 机器上使用 Paddle 和 FlagCX 指南
Iluvatar GPU	在天数智芯机器上使用 Paddle 和 FlagCX 指南

异构训练

跨不同硬件平台同时训练：

硬件组合	用户指南
NVIDIA GPU + Iluvatar GPU	在 NVIDIA 和天数智芯 GPU 上训练指南

• 在 NVIDIA GPU 环境下使用 Paddle 和 FlagCX 指南
  • 环境配置
  • 使用 FlagCX 编译 Paddle
  • 使用 Paddle + FlagCX 训练模型
• 在天数智芯机器上使用 Paddle 和 FlagCX 指南
  • 环境配置
  • 使用 FlagCX 编译 Paddle
  • 使用 Paddle + FlagCX 训练模型
• 在昆仑芯 XPU 机器上使用 Paddle 和 FlagCX 指南
  • 环境配置
  • 使用 FlagCX 编译 Paddle
  • 使用 Paddle + FlagCX 训练模型
• 在 NVIDIA 和天数智芯 GPU 上训练指南
  • 环境配置
  • 在异构 AI 加速器上训练（NVIDIA GPU + 天数智芯 GPU）