硬件平台#
关于支持硬件平台的详细信息。
支持的平台#
平台 |
厂商 |
类型 |
备注 |
|---|---|---|---|
NVIDIA |
NVIDIA |
GPU |
主要基线 |
昇腾 NPU |
华为 |
NPU |
— |
MUSA |
摩尔线程 |
GPU |
— |
海光 DCU |
海光 |
DCU |
— |
天数智芯 |
天数智芯 |
AI 芯片 |
— |
沐曦 |
沐曦 |
GPU |
— |
平台检测#
# Check detected device
python -c "from runtime import get_device_type; print(get_device_type())"
平台特定功能#
NVIDIA#
非 NVIDIA#
安装要求#
NVIDIA#
pip install -r requirements/requirements_nvidia.txt
pip install -e .
昇腾 NPU#
pip install -r requirements/requirements_ascend.txt
pip install -e .
# Use vendor container image
MUSA#
pip install -r requirements/requirements_musa.txt
pip install -e .
# Use vendor container image
海光 DCU#
pip install -r requirements/requirements_hygon.txt
pip install -e .
# Use vendor container image
天数智芯#
pip install -r requirements/requirements_iluvatar.txt
pip install -e .
# Use vendor container image
沐曦#
pip install -r requirements/requirements_metax.txt
pip install -e .
# Use vendor container image
跨平台注意事项#
编译器成熟度#
非 NVIDIA 平台通常具有:
较不成熟的 Triton 编译器
不完整的后端支持
不同的内存模型
性能影响#
平均多消耗 2 倍的 token 和时间
可能需要平台特定的优化
结果因 Operator 复杂度而异
容差设置#
数值容差会根据平台自动调整。