命令

智能体赛道评估的 CLI 命令。

基本用法

cd agent_bench

# Single operator
bash test_ops.sh add --device-count 1

# Multiple operators
bash test_ops.sh add,softmax,mul --device-count 4

# All operators
bash test_ops.sh --device-count 8

方法选择

# Naive method (single call)
bash test_ops.sh add -m naive_cc --device-count 1

# Normal method (with verification loop)
bash test_ops.sh add -m normal_cc --device-count 1

# OpenCode methods
bash test_ops.sh add -m naive_opencode --device-count 1
bash test_ops.sh add -m normal_opencode --device-count 1

专用智能体

# AutoKernel
bash test_autokernel.sh add --device-count 1

# AKO4ALL
bash test_ako4all.sh add --device-count 1

# CUDA Optimized Skill
bash test_cuda_optimized_skill.sh add --device-count 1

参数

参数	默认值	描述
[operators]	全部	逗号分隔的算子名称
-d, --dataset	KernelGenBench	要使用的数据集
-m, --method	normal_cc	智能体方法
--device-count	8	GPU 数量
--timeout	600	每个算子的超时时间（秒）
--skip-gen	关闭	跳过提示生成
--skip-verify	关闭	跳过验证
-v, --verbose	关闭	启用详细输出

输出

结果保存到 agent_bench/runs/<run_name>/：

文件	描述
progress.json	实时进度跟踪
kernels/	生成的内核文件
results.json	验证结果
logs/	执行日志

监控进度

# Watch progress file
cat agent_bench/runs/<run_name>/progress.json

分析结果

python scripts/analyze/analyze.py agent_bench/runs/<run_dir>/