什么是 KernelGenBench？#
KernelGenBench 是一个用于评估 LLM 和智能体驱动的 Triton 内核生成的基准框架，支持多种硬件平台。它是 FlagOS 的组成部分——一个统一的开源 AI 系统软件栈。
目的#
KernelGenBench 提供了一种标准化的方法来衡量 AI 模型生成 GPU 内核代码的有效性。生成的 Triton 内核可直接用于生产环境，从而实现对实际应用性的直接评估。
解决的问题#
该基准填补了 AI 生态系统中的一个关键空白：虽然 LLM 在自动化内核开发方面展现出潜力，但之前缺乏一种全面的方法来评估其在多样化 算子 来源和异构硬件平台上的有效性。
组成部分#
KernelGenBench 由两个互补的子基准组成：
子基准 |
描述 |
|---|---|
多源评估，包含 210 个算子 |
|
多芯片评估，覆盖 6 个硬件平台 |