中山达明数据标注有限公司

图版 PLATE NO.04 — 选型手册

数据标注选型与采购指南

这份指南写给第一次采购数据标注服务的算法负责人与项目经理:怎么判断自己需要哪类标注、需求怎么写才不返工、报价怎么比才公平、验收怎么约才不扯皮。读完大约需要十分钟,各服务的具体说明可对照服务项目页查看。

一、先判断标注形态,再谈价格

很多人一上来就问"标注一万元能标多少张",这个问题没法直接回答,因为标注形态决定了工作量级。同样是处理一万张图:二维框选可能几天就能完成,语义分割的工作量可能是框选的数倍,关键点要看点位数量。判断形态的依据是模型的输入要求——检测模型要框或多边形轮廓,分割模型要逐像素掩码,抽取模型要实体边界。如果你自己不确定,把模型训练代码里数据加载的部分截一段发过来,或者直接描述"模型输入是什么格式的数据",专业服务商都能据此反推形态。九类常见形态的对照可以在服务项目页逐条查看,下文第五节还有一张简明对比表。

二、标注需求怎么写才不返工

标注返工的大头不是标注员手误,而是需求没写清。一份能直接开工的需求说明通常包含四块:数据概况(总量、格式、来源)、标注形态与类别清单(每类一个明确的名字和定义)、边界规则(遮挡算不算目标、边界像素归哪边、语气词保不保留)、交付格式(坐标格式、掩码格式、字段结构)。写不清楚的部分不要硬编,直接标注"待讨论",服务商在试标阶段会逐条问。最容易踩的坑是类别定义有歧义:比如"破损件"这一类,边界样例不给出三五张对照图,不同人理解一定不同。与其事后返工,不如把模糊样例找出来先吵清楚。

三、报价口径怎么比较才公平

标注报价常见三种计价口径:按框计价(框选类)、按条或按对计价(文本与问答类)、按面积或按张计价(分割类)。比较报价时先对齐三件事:一是质检要求,两轮质检和一轮质检的成本不同;二是疑难样例怎么算,有的报价把歧义样本的讨论时间摊进单价,有的单独计时;三是返工责任,规则没写清导致的问题由谁承担。拿到一份明显偏低的报价要问清口径——很可能是质检轮次少或者歧义处理方式不同。合理的做法是让几家按同一份需求文档分别报价,报价单里写明计价单位、质检比例和返工条款,这样的比较才有意义。

四、试标与验收怎么安排

试标是整个采购流程里性价比最高的一步。建议给出三百到五百条有代表性的样本(务必包含难例),让服务商按拟定的规则试标,然后逐条核对:理解对不对、边界准不准、格式对不对。试标通常三到五个工作日,费用可与批量合作一并商定。验收环节要在合同里写明三件事:抽检比例(常见按批次抽百分之几)、合格阈值(不合格率超过多少整批返工)、争议裁决方式(疑难样例以哪一版规则文档为准)。有了这三条,验收就不是感觉问题而是对照问题,双方都省心。

五、九类标注形态对比表

常见标注形态对比(工作量与周期为一般情形,随数据与规则复杂度浮动)
形态适用模型相对工作量常见周期关键交付物
二维框选目标检测低数天至数周坐标框与类别标签
多边形轮廓目标检测中周级逐顶点轮廓数据
语义分割分割模型高周级至更长掩码图与类别索引
关键点姿态/测量中周级点位坐标文件
文本分类文本分类低周级结构化标签字段
命名实体信息抽取中周级实体边界与类型
语音转写语音识别中高周级带时间戳转写稿
时间切分说话人分离中周级段落起止时间表
问答对整理对话模型中周级成对问答数据

六、批量阶段的三条注意事项

进入批量阶段后,采购方要做的不是盯人而是盯三样东西。第一盯规则版本:规则文档每改一版都要拿到书面记录,出问题时才知道按哪一版执行;第二盯批次报告:每周的进度报告里应该有产量、抽检不合格率和疑难样例数量,疑难样例突然增多往往说明数据分布和预估不一样,要尽早调整规则;第三盯首批交付:第一批交付的数据尽早接入训练流程跑一遍,格式问题在第一批暴露,比全部交付后再发现便宜得多。如果读到这里对形态选型还有疑问,可以直接看服务项目页的逐条编目,或带着样例到联系我们页发邮件洽谈试标。