参数

LLM 赛道命令行参数。

必需参数

参数	描述
--server-type	LLM 提供商：openai 或 anthropic
--model-name	模型标识符

可选参数

参数	默认值	描述
--op-name	全部	测试单个算子（例如 aten::add）
--single-test	关闭	随机选择 1 个算子进行快速测试
--dataset	自动	数据集：KernelGenBench、KernelGenBench-aten、KernelGenBench-vllm、KernelGenBench-cublas
--max-rounds	10	Pass@K 轮数
--device-count	8	用于验证的 GPU 数量
--timeout	300	每个算子的超时时间（秒）
--temperature	0.8	采样温度
--reflection	关闭	使用前几轮的错误作为反馈
--resume-from	-	从检查点目录恢复
--debug	关闭	调试模式（仅 8 个算子）

参数详情

–op-name

指定要测试的单个算子：

# ATen operator
--op-name aten::add

# vLLM operator
--op-name vllm13::rms_norm

# cuBLAS operator
--op-name cublas::cublasSgemm_v2

–dataset

数据集	算子	平台
KernelGenBench	210	仅 NVIDIA
KernelGenBench-aten	110	所有平台
KernelGenBench-vllm	50	仅 NVIDIA
KernelGenBench-cublas	50	仅 NVIDIA

–temperature

值	用途
0	Pass@1 评估（确定性）
0.8	Pass@5 评估（多样化采样）

–max-rounds

要生成的独立内核样本数量：

• 更高的值 → 更好的 Pass@K 覆盖率

• 更高的成本 → 更多的 API 调用

输出

结果保存到 output/pass_at_k/<timestamp>/：

文件	描述
pass_at_k_results.json	完整结果
kernels/	生成的内核文件
checkpoints/	恢复检查点