Torch-FL

Torch-FL#

Torch-FL(torch_fl)是面向 FlagOS 软件栈的 PyTorch 设备插件。它对外提供统一的 flagos 设备,并在可复用原生内核、可移植编译器内核、厂商原生实现和显式 CPU 回退之间路由算子,使同一份 PyTorch 程序无需修改即可运行在不同加速器上。

Torch-FL 架构

概览

Torch-FL 是什么、设计理念、能力范围与组件架构。

Torch-FL 概览
快速入门

平台选择、构建要求、环境配置、安装校验与测试标记。

安装
分布式

ProcessGroupFlagOS、FlagCX、厂商回退后端,以及 DDP 与 DataParallel 支持。

分布式集合通信
Profiler

torch.profiler 集成、厂商追踪器、correlation id,以及与 torch.cuda 的对等性。

Profiler 集成
torch.compile

flagos 设备的 Inductor 集成、FlagTree 编译与各平台差异。

torch.compile 集成
参考

分平台能力验证、环境变量与算子路由配置。

兼容性与平台支持