FlagOS-Compressor 文档#
FlagOS-Compressor 是一个用于转换检查点和量化本地 Hugging Face safetensors 模型目录的工具。
使用本文档安装工具、量化模型权重、转换检查点、校准输出，并验证生成的产物。
从这里开始#
执行第一次量化
按照一条完整的检查 -> 量化 -> 验证流程处理本地模型目录。
安装并准备命令行工具
在运行任务前配置依赖、可选扩展和命令行入口。
常见工作流#
量化权重
使用配方或显式的命令行选项执行仅权重量化。
校准模型
收集校准数据，并将其用于量化工作流。
选择层
使用选择器、正则表达式规则和策略约束定位模块。
验证输出
在加载或发布压缩模型前检查生成的产物。
转换 FP4 和 FP8
根据需要将低精度检查点格式转换回 BF16。
排查故障
解决常见的配置、验证和模型系列问题。