算子调度用户指南

调度系统提供三层算子替换。您可以独立且灵活地控制每一层。

调度系统支持 YAML 配置和环境变量进行细粒度控制。环境变量优先级高于 YAML 配置。

优先级链如下：

SGLANG_FL_* 环境变量 > YAML 配置（SGLANG_FL_CONFIG）> 平台自动检测 YAML > 代码默认值

• 通过 YAML 配置文件进行调度
  • 配置字段
  • 常用配置方案
• 通过环境变量进行调度
  • 第二层 — 融合算子调度
  • 第一层 — ATen 替换（FlagGems）
  • 第三层 — 分布式通信
  • 系统 / 调试
  • 示例
• 调试与诊断
  • 调度日志
  • ATen 替换日志
  • 通过精度二分法排查数值精度问题
  • 常见问题
• 厂商集成
  • 1. 后端类（my_chip.py）
  • 2. 注册（register_ops.py）
  • 3. 算子实现（impl/）
  • 厂商后端自动发现