标注¶
标注把原始数据变成带标签的训练集。Forge 不重复造标注工具，而是集成 Label Studio （图片、文本、对话）与 CVAT（视频与跟踪）作为内嵌工作台，并自研 ML Backend 用你 自己的模型做预标注。目标分工是机器先标、人工审核纠错。
在一次内部实测中（128 张街景图、8 个类别），一轮预标注为 75 张图产出了 269 个检测框—— 约 59% 的图片无需从零画框。实际节省比例取决于模型与场景，建议用一批试点数据自行测量。
任务类型¶
| 工作台 | 任务 |
|---|---|
| Label Studio（图片） | 目标检测（矩形框）、分割（多边形/掩码）、分类、关键点、旋转框 |
| Label Studio（文本） | 文本分类、命名实体、生成/对话审核 |
| CVAT（视频） | 跨帧目标跟踪、关键帧插值、点击分割 |
流程¶
- 创建项目——在标注页选择数据集版本与任务类型；项目携带标签 schema（类别清单）。
- 打开工作台——工具内嵌，图片或文本直接打开，不复制数据（工作台引用预签名对象 URL）。
- 选择预标注模型——在项目头部选择一个已注册模型版本（检测/分割；SAM 在视频编辑器 中单独提供）。该选择按项目记忆。
- 运行半自动标注——ML Backend 对未标注任务做预测，把预测作为可编辑草稿写入工作台。
- 审核与修正——人工确认、修改或丢弃每个草稿。
- 导出——导出成为一个新的不可变数据集版本。
预标注模型¶
ML Backend 与具体模型无关，按模型族系路由：
- CNN 模型（RT-DETR 等检测器、SAM 分割、分类器）走 ONNX Runtime / Triton。
- VLM 模型（如 Qwen-VL / Florence-2）走兼容 vLLM 的 OpenAI 端点，把提示词转成标签或 框——适合不规则类别与零样本首轮预标。
- 训练后的模型可回流：模型训练完成后，选它做预标注，会让后续批次更快（飞轮效应）。
低于项目置信度阈值的建议不会强行插入，而是留给人工，避免噪声框。服务注册与健康检查见 ML Backend。
视频到训练帧¶
CVAT 用轨迹和关键帧标注视频，而训练器消费帧图。Forge 内置视频抽帧流水线组件：
CVAT 导出（轨迹 / 关键帧 / 框）
──► 按设定 fps / 策略抽帧（均匀或按标注活动）
──► 关键帧之间插值标签
──► 帧图 + 重新生成的 COCO/TXT 标签
──► 新数据集版本（抽帧一次，可被多次训练复用）
无需手工抽帧；抽帧作为前置步骤运行，产物可被后续多次训练复用。
审核与质量¶
- 把预标注当作草稿：导出前抽检一部分，尤其在类别清单变化或模型较弱时。
- 保持模型类别空间与项目标签 schema 一致——类别不匹配通常是预测为空或错乱的原因。
- 只导出已审核的成果；导出的版本不可变，正是训练器消费的输入。
导出格式¶
| 数据 | 导出 |
|---|---|
| 图片（检测 / 分割） | COCO、TXT（工作台另支持 Label Studio JSON / CSV） |
| 文本分类 | 纯 JSONL（text,label） |
| 生成 / 对话 | sharegpt JSONL——可直接用于 LLM-SFT 训练 |
| 视频 | 经抽帧组件产出帧图 + COCO/TXT |
常见问题¶
预标注没有结果或按钮不可用？
必须在项目头部选一个有权重可用的模型版本，未选择时按钮禁用并给出提示。若跑了但结果 为空，检查模型类别是否与项目标签一致，并降低置信度阈值。首批数据上弱模型建议少属正常。
导出到哪里去了？
成为新的数据集版本（视觉为 TXT/COCO，文本为 JSONL），训练页可立即选择。
标签与模型类别对不上？
用对齐后的标签 schema 重新导出，或选择用相同类别训练出的模型版本。
下一步¶
- 训练——从导出版本发起 CV 或 LLM/VLM 训练。
- ML Backend——注册或排查预标注服务。
- 数据集——版本如何存储与复用。