文档中心#

FlagOS

一个统一的开源系统软件栈,专为多种 AI 芯片设计

FlagOS 概览

FlagOS 核心库#

算子库

面向多种硬件后端优化的高性能算子库。

编译器

FlagTree

面向多种 AI 芯片的开源统一编译器,在多种硬件平台上推进和扩展 Triton 生态系统。

训练与推理框架

FlagScale

全面支持大模型全生命周期的工具集,涵盖从训练到推理和部署。

通信库

FlagCX

面向跨芯片环境的可扩展自适应统一通信库,提供高性能集合通信能力。


FlagOS 多芯片插件#

vllm-plugin-FL

vLLM 推理/服务框架插件,基于 FlagOS 统一多芯片后端构建。

Megatron-LM-FL

Megatron-LM 的分支,引入插件化架构以支持多种 AI 芯片,基于 FlagOS 构建。

TransformerEngine-FL

TransformerEngine 的分支,引入插件化架构以支持多种 AI 芯片,基于 FlagOS 构建。

verl-FL

veRL 的分支,通过 FlagOS 生态系统扩展上游库的多芯片/多硬件支持。

PyTorch-Plugin-FL

基于 PrivateUse1 扩展机制的自定义 PyTorch 设备插件,将 FlagGems 高性能 Triton 算子注册为 flagos 设备后端。

sglang-plugin-FL

SGLang 的树外 (OOT) 插件,基于 FlagOS 统一多芯片后端构建,将 SGLang 的推理能力扩展到多种硬件平台。


FlagOS 领域专用项目#

FlagOS-Robo

面向机器人 AI 模型的集成训练与推理框架,即具身智能。

FlagQuantum

基于 PyTorch 构建的高性能分布式量子态矢量模拟器,支持跨多 GPU 的量子电路模拟。


FlagOS 开发者工具#

KernelGen

算子自动生成工具。

KernelGenBench

用于评估跨多硬件平台 LLM 和 Agent 驱动的 Triton kernel 生成的基准测试框架。

FlagOS Skills

兼容 Claude Code、Cursor、Codex 以及任何支持 Agent Skills 标准的 Agent。

https://github.com/flagos-ai/skills
线上实验室

提供云端开发环境的线上实验室。


FlagOS 平台服务#

FlagRelease

开源大模型跨芯片迁移与发布的自动化平台。

FlagPerf

集成式 AI 硬件评测引擎。

FlagCICD

简化跨多种 AI 芯片大模型开发的 CI/CD 工具链。

https://docs.flagos.io/projects/FlagCICD/zh-cn/latest/

开始使用 FlagOS

加入我们,共建开放 AI 芯片开发生态

FlagOS 主页