环境要求#
支持的硬件#
厂商 |
设备 |
后端 |
状态 |
|---|---|---|---|
NVIDIA |
CUDA GPU |
torch + FlagCX |
完全支持 |
华为昇腾 |
NPU |
torch_npu + CANN |
完全支持 |
MetaX |
C500/C550 系列 |
torch_maca + MACA |
已验证 |
摩尔线程 |
MUSA S 系列 GPU |
torch_musa + FlagCX |
已验证(异构) |
CPU |
x86/ARM |
torch (CPU) |
基础支持 |
操作系统#
Linux(官方)
软件#
Python >= 3.10
PyTorch >= 2.4
CUDA 平台:CUDA >= 12.1
MetaX 平台:torch_maca, MACA toolkit
MUSA 平台:torch_musa, MUSA toolkit
NPU 平台:torch_npu, CANN toolkit
FlagOS 依赖#
FlagCX(必需)— 统一跨厂商通信后端
vllm-plugin-FL(可选)— 基于 vLLM 的采样引擎
TransformerEngine-FL(可选)— 基于 TE-FL 的 FSDP 训练引擎
Megatron-LM-FL(可选)— 基于 Megatron 的训练引擎
FlagGems(可选)— 基于 Triton 的算子库