快速入门# 本节介绍安装 vllm-plugin-FL 的要求，并指导您在不同硬件平台上安装 vllm、vllm-plugin-FL 以及运行推理任务。 要求 软件要求 支持的硬件平台 支持的模型 安装运行推理任务所需的软件 从源代码安装 从 Docker 镜像安装 （可选）调度算子 运行推理任务 运行离线批量推理 运行服务推理任务 Qwen2.5-1.5B 在 Iluvatar BI-V150 上的推理 目录 1. 模型概览 2. 环境要求 3. 安装 4. 模型下载 5. 推理脚本 6. 运行说明 7. 参数调优 8. 基准性能 9. 常见问题
