跳转至

快速开始

NereidForge(Forge)是 NereidAI 套件中私有化部署的模型工厂:用一条生产线把你自己的 数据变成可在现场设备运行的模型——数据准备、标注、训练、优化、评估、注册、部署全部在本地、 完全离线完成。数据不出内网,每个数据集、每个模型版本、每份评估报告都沉淀为组织资产。完整 能力概览见产品页。

Forge 在同一条生产线上覆盖两类模型:

路线 典型模型 产物
计算机视觉(CNN) RT-DETR 等检测器、SAM(分割)、timm/TorchVision(分类) 面向 CPU、Intel、NVIDIA、AMD 的 ONNX / 量化运行时
LLM / VLM Qwen / LLaMA 系列的文本与视觉语言模型 LoRA / QLoRA 适配器与合并权重,经 vLLM 兼容运行时提供服务

生产线全景

        数据集 ──► 标注 ──► 训练 ──► 优化 ──► 评估
        (版本)   (预标注)(CV | LLM/VLM)(ONNX/int8)(指标)
                                                        │
                                                        ▼
                                              模型库 ──► 部署(KServe)
                                                        │
◄──────────────────── 现场数据 / 新图片回流,开启新一轮 ───┘

每个阶段都产出不可变、带版本的产物,因此任何模型都能回溯到产生它的确切数据集版本与基座 模型。

本手册页面

阶段 页面 你要做的事
1 数据集 建数据集、上传图片/ZIP 或文本语料、管理不可变版本
2 标注 在 Label Studio / CVAT 中标注、跑机器辅助预标注、导出
3 ML Backend 注册为标注员预测框/标签的预标注服务
4 训练 在多厂商 CPU/GPU 上跑 CV 或 LLM/VLM 训练;用训练器 SDK 接入自有框架
5 优化 按目标设备做 ONNX 图优化与 int8 量化
6 评估 评估 mAP / 精确率 / 召回率 / F1 与延迟,与基线对比
7 模型 浏览版本、用图片试跑、以 KServe 部署

核心概念

  • 数据集版本:每次上传或标注导出都是一个新的不可变版本。训练始终引用某个固定版本, 因此运行可复现。
  • 基座模型:模型池中的起点——CV 用检测权重(如 RT-DETR),LLM/VLM 用预训练大模型(如 Qwen)做 微调。
  • 任务(Job):一次异步流水线运行(训练、优化、评估、导出)。集群自动调度 CPU/GPU; 进度、日志与曲线在任务详情页查看。
  • 模型版本:注册到模型库的产物。训练、优化、手动上传的产物都成为同一模型的版本,并 保留血缘与指标。
  • 产物存储:图片、权重、报告都存在本地 S3 兼容存储(SeaweedFS)中;数据库与消息平面 从不承载大块字节。

第一个 CV 模型(15 分钟导览)

  1. 准备数据——在数据集页创建数据集(COCO/TXT),上传 jpg/png 图片或 ZIP(图片可在 压缩包根目录或 images/ 子目录)。入库是异步的,本次上传成为版本 1。
  2. 标注——在标注页创建项目(检测、分割或分类),打开内嵌 Label Studio 工作台画一些 标签。可在项目头部选择一个已注册模型并点击半自动标注,再人工修正建议。
  3. 导出——导出为 TXT。导出物会注册为一个新的、可直接训练的数据集版本。
  4. 训练——在训练页选择导出的版本、基座模型(RT-DETR-R18 是稳妥起点),采用建议超参 (epochs 100、imgsz 640、batch 16、训练/验证 0.8)。Forge 会切分训练/验证并运行真实 的 Kubeflow Pipelines。
  5. 优化——在优化页选择训练版本与目标设备(CPU / Intel OpenVINO / NVIDIA TensorRT / AMD / 昇腾)。每个目标独立执行 ONNX 优化与 int8 量化,并回报实测加速比、体积与延迟。
  6. 评估——在评估页对验证子集打分。查看 mAP50 / 精确率 / 召回率 / F1,以及量化版本的 accuracy_drop。若精确率为 0,把置信度阈值降到 0.25 重试。
  7. 部署——在模型页选择版本与服务运行时(CPU 用 OpenVINO,GPU 用 Triton),创建 KServe 服务。Forge 会创建 InferenceService 与 Ingress,并返回访问域名。

第一个 LLM / VLM

流程相同,差异在两处:

  • 数据——创建 LLM-SFT 格式数据集:sharegpt 风格 JSONL 语料(每行一段对话), VLM 再加一个 images/ 目录。标注工作台的文本项目可直接导出为该格式。
  • 训练——选择 LLM/VLM 基座模型。NVIDIA 与 AMD 走 LLaMA-Factory 训练器;Intel Arc 走原生 transformers + PEFT 路线(LoRA/QLoRA)。在训练表单选择与节点匹配的加速器;没有 GPU 时回退到 CPU。

循环往复

现场数据开启下一轮:作为新版本上传、补标缺口、重训、优化、再评估。每个模型版本都保留 其数据、指标与部署历史——工厂越跑越快。