数据集

数据集#

KernelGenBench provides five dataset variants for different evaluation scenarios.

数据集概览#

数据集

算子

来源

平台

KernelGenBench

210

ATen + vLLM + cuBLAS

仅 NVIDIA

KernelGenBench-nocublas

160

ATen + vLLM

仅 NVIDIA

KernelGenBench-aten

110

仅 ATen

所有平台

KernelGenBench-vllm

50

仅 vLLM

仅 NVIDIA

KernelGenBench-cublas

50

仅 cuBLAS

仅 NVIDIA

KernelGenBench（完整版）#

适用于 NVIDIA 平台的完整基准。

组成#

来源

数量

描述

ATen

110

PyTorch 算子

vLLM

50

推理内核

cuBLAS

50

BLAS 例程

使用场景#

  • 综合评估

  • 仅限 NVIDIA 硬件

  • 完整能力评估

KernelGenBench-aten#

跨平台算子集。

组成#

  • 110 个 PyTorch ATen 算子

  • 无外部依赖

使用场景#

  • 多芯片评估

  • 跨平台测试

  • 可移植基准

KernelGenBench-vllm#

LLM 推理内核基准。

组成#

使用场景#

  • 推理优化

  • vLLM 替换测试

  • 复杂内核评估

KernelGenBench-cublas#

线性代数基准。

组成#

  • 50 个 cuBLAS 算子

  • GEMM 变体

  • 多种精度（S/D/C/Z/H）

  • 批处理和步进版本

使用场景#

  • 性能上限测试

  • BLAS 替换

  • 高精度内核

数据集选择#

# Specify dataset
python scripts/generate_kernel_and_verify.py \
    --dataset KernelGenBench-aten \
    --server-type openai

在非 NVIDIA 平台上，会自动选择 KernelGenBench-aten。