快速开始¶
NereidForge(Forge)是 NereidAI 套件中私有化部署的模型工厂:用一条生产线把你自己的 数据变成可在现场设备运行的模型——数据准备、标注、训练、优化、评估、注册、部署全部在本地、 完全离线完成。数据不出内网,每个数据集、每个模型版本、每份评估报告都沉淀为组织资产。完整 能力概览见产品页。
Forge 在同一条生产线上覆盖两类模型:
| 路线 | 典型模型 | 产物 |
|---|---|---|
| 计算机视觉(CNN) | RT-DETR 等检测器、SAM(分割)、timm/TorchVision(分类) | 面向 CPU、Intel、NVIDIA、AMD 的 ONNX / 量化运行时 |
| LLM / VLM | Qwen / LLaMA 系列的文本与视觉语言模型 | LoRA / QLoRA 适配器与合并权重,经 vLLM 兼容运行时提供服务 |
生产线全景¶
数据集 ──► 标注 ──► 训练 ──► 优化 ──► 评估
(版本) (预标注)(CV | LLM/VLM)(ONNX/int8)(指标)
│
▼
模型库 ──► 部署(KServe)
│
◄──────────────────── 现场数据 / 新图片回流,开启新一轮 ───┘
每个阶段都产出不可变、带版本的产物,因此任何模型都能回溯到产生它的确切数据集版本与基座 模型。
本手册页面¶
| 阶段 | 页面 | 你要做的事 |
|---|---|---|
| 1 | 数据集 | 建数据集、上传图片/ZIP 或文本语料、管理不可变版本 |
| 2 | 标注 | 在 Label Studio / CVAT 中标注、跑机器辅助预标注、导出 |
| 3 | ML Backend | 注册为标注员预测框/标签的预标注服务 |
| 4 | 训练 | 在多厂商 CPU/GPU 上跑 CV 或 LLM/VLM 训练;用训练器 SDK 接入自有框架 |
| 5 | 优化 | 按目标设备做 ONNX 图优化与 int8 量化 |
| 6 | 评估 | 评估 mAP / 精确率 / 召回率 / F1 与延迟,与基线对比 |
| 7 | 模型 | 浏览版本、用图片试跑、以 KServe 部署 |
核心概念¶
- 数据集版本:每次上传或标注导出都是一个新的不可变版本。训练始终引用某个固定版本, 因此运行可复现。
- 基座模型:模型池中的起点——CV 用检测权重(如 RT-DETR),LLM/VLM 用预训练大模型(如 Qwen)做 微调。
- 任务(Job):一次异步流水线运行(训练、优化、评估、导出)。集群自动调度 CPU/GPU; 进度、日志与曲线在任务详情页查看。
- 模型版本:注册到模型库的产物。训练、优化、手动上传的产物都成为同一模型的版本,并 保留血缘与指标。
- 产物存储:图片、权重、报告都存在本地 S3 兼容存储(SeaweedFS)中;数据库与消息平面 从不承载大块字节。
第一个 CV 模型(15 分钟导览)¶
- 准备数据——在数据集页创建数据集(COCO/TXT),上传 jpg/png 图片或 ZIP(图片可在
压缩包根目录或
images/子目录)。入库是异步的,本次上传成为版本 1。 - 标注——在标注页创建项目(检测、分割或分类),打开内嵌 Label Studio 工作台画一些 标签。可在项目头部选择一个已注册模型并点击半自动标注,再人工修正建议。
- 导出——导出为 TXT。导出物会注册为一个新的、可直接训练的数据集版本。
- 训练——在训练页选择导出的版本、基座模型(RT-DETR-R18 是稳妥起点),采用建议超参 (epochs 100、imgsz 640、batch 16、训练/验证 0.8)。Forge 会切分训练/验证并运行真实 的 Kubeflow Pipelines。
- 优化——在优化页选择训练版本与目标设备(CPU / Intel OpenVINO / NVIDIA TensorRT / AMD / 昇腾)。每个目标独立执行 ONNX 优化与 int8 量化,并回报实测加速比、体积与延迟。
- 评估——在评估页对验证子集打分。查看 mAP50 / 精确率 / 召回率 / F1,以及量化版本的
accuracy_drop。若精确率为 0,把置信度阈值降到 0.25 重试。 - 部署——在模型页选择版本与服务运行时(CPU 用 OpenVINO,GPU 用 Triton),创建 KServe 服务。Forge 会创建 InferenceService 与 Ingress,并返回访问域名。
第一个 LLM / VLM¶
流程相同,差异在两处:
- 数据——创建 LLM-SFT 格式数据集:sharegpt 风格 JSONL 语料(每行一段对话),
VLM 再加一个
images/目录。标注工作台的文本项目可直接导出为该格式。 - 训练——选择 LLM/VLM 基座模型。NVIDIA 与 AMD 走 LLaMA-Factory 训练器;Intel Arc 走原生 transformers + PEFT 路线(LoRA/QLoRA)。在训练表单选择与节点匹配的加速器;没有 GPU 时回退到 CPU。
循环往复
现场数据开启下一轮:作为新版本上传、补标缺口、重训、优化、再评估。每个模型版本都保留 其数据、指标与部署历史——工厂越跑越快。