评估¶
评估用一次真实推理对带标签数据集给模型版本打分，帮助你判断某个版本是否可部署——还是需要更多 数据、重新训练或换优化目标。它也提供 FP32 与量化版本的对比，让优化结果不仅更快，而且可信。
测量什么¶
对计算机视觉模型，Forge 报告标准检测/分类指标与端到端延迟：
| 指标 | 含义 |
|---|---|
| mAP50 | IoU 0.50 下的平均精度均值——最核心的检测分数 |
| mAP50-95 | IoU 0.50–0.95 平均 mAP——奖励贴合、准确的框 |
| 精确率 Precision | 预测框中正确的比例 |
| 召回率 Recall | 真实目标中被找到的比例 |
| F1 | 精确率与召回率的调和平均 |
| 延迟 Latency | 评估运行时上的单图实测推理耗时 |
对优化（ONNX/int8）版本，与 FP32 源版本对比：精度下降（如 mAP50 差值）正是 优化质量门禁与延迟、体积一起使用的数字。
运行一次评估¶
- 在评估页选择模型版本与数据集。
- 设置参数：
| 参数 | 默认 | 说明 |
|---|---|---|
| 置信度阈值 | 0.25 | 低于阈值的检测被忽略；模型预测偏少时调低 |
| 最大图片数 | 0 | 0 表示全部；快速验证时可设上限 |
| 任务类型 | 取自模型 | 检测 / 分割 / 分类 |
- 提交。数据集会自动转换为评估器所需布局。
- 查看指标表；对优化版本，再看相对 FP32 源的下降值。
用哪份数据评估¶
- 默认使用训练时产生的验证切分（val），可避免误在训练图片上打分（数据泄漏），并让不同 版本可直接比较。
- 也可改指任意其他数据集版本——例如新采集的现场批次——以衡量真实表现。若想要客观数字，请让 该数据集与训练数据隔离。
解读结果¶
- mAP 高、延迟高→ 保留精度，部署到更强硬件，或更激进地优化。
- 量化掉点大→ 复查校准数据，或该目标保留 FP16/FP32。
- 召回低（漏检）→ 把这些场景的样本加入下一数据集版本并重训。
- 精确率低（误检框）→ 提高置信度阈值或加入难负例图片。
不建任务的快速自检¶
在模型页可用用图片试跑直接把一张上传图片送入任意版本——画出检测框（或显示 分类 top-5 与耗时），无需创建 KServe 部署。PyTorch 版本还支持 Grad-CAM 热力图，可视化 检测器/分类器关注的区域。它是交互式检查，不能替代数据集级指标。
LLM / VLM 版本¶
上述基准指标属于计算机视觉评估。微调的 LLM/VLM 版本，请通过训练运行的损失 / eval-loss 曲线 与逐步历史确认收敛，并在服务前用你自己的提示词/参考答案集配合试跑推理验证行为。
常见问题¶
为什么精确率是 0？
要么模型尚未收敛，要么置信度阈值过高、几乎没有框通过。把阈值调低（通常从 0.25 起）重跑； 同时检查评估数据集类别是否与模型类别一致。
默认用哪份数据？
训练时生成的验证切分，从而不把训练数据重复用于打分。
模型需要有 ONNX 产物吗？
评估基于可用模型产物运行，转换由流水线处理。若某版本没有可运行产物，请先训练或上传。