一种管材检测模型标注的精修差异分析方法及装置与流程
本发明涉及工业视觉检测数据标注,具体涉及一种管材检测模型标注的精修差异分析方法及装置,用于在管材检测模型"预标注 + 人工精修"的迭代数据生产流程中,将人工修正相对预标注的差异转化为可量化的迭代依据。
背景技术:
1、在工业视觉检测领域,基于深度学习的检测模型已广泛应用于管材生产线的表面缺陷检测、尺寸测量、位置定位等任务。此类检测模型的训练通常依赖大规模高质量标注数据,而人工标注成本高昂、效率低下,已成为制约模型迭代升级的主要瓶颈。
2、为降低标注成本,业界普遍采用"模型预标注+人工精修"的半自动标注模式:先由已有检测模型对采集图像执行预标注,再由标注员对预标注结果进行人工修正,以修正后的精修数据作为训练数据。该模式将标注工作量从"从零绘制"降为"局部修正",可显著提升标注效率。
3、然而,现有技术存在以下不足:
4、第一,差异信息未充分利用。预标注与精修标注之间的差异蕴含丰富的模型缺陷信息——预标注相对于人工精修系统性偏大(过覆盖)或偏小(欠覆盖)、修正集中于目标端部、边缘半可见目标被系统性漏标等,均可为模型优化提供直接指引。但现有方法仅将精修数据作为静态训练样本,未对差异进行系统化量化分析,丢失了宝贵的反馈信号。
5、第二,精修子集选择缺乏数据依据。人工精修资源有限,如何从海量待精修样本中优先选取修正价值最高的样本,现有方法多依赖人工经验或简单随机抽样,缺乏基于分布缺口的量化判定手段,导致精修投入与模型精度提升不成比例。
6、第三,迭代停止判据不完善。现有方法通常以固定轮次或人工目视判断决定是否停止迭代精修,缺乏基于修正率收敛趋势的量化停止判据,易造成过早停止(模型欠拟合)或过度精修(资源浪费)。
7、第四,误检归因不准确。边缘半可见目标依标注约定不标,导致模型在该类目标上产生大量"多检",现有方法未区分"标注约定差异型多检"与"模型幻觉型误检",将前者误判为模型缺陷并触发无效再训练,浪费精修与训练资源。
8、因此,需要一种能够对预标注与精修标注之间的差异进行精确定量分析、并据此生成数据驱动的迭代指引的方法,以提升管材检测模型标注与训练的效率和精度。
技术实现思路
1、鉴于现有技术中存在的技术缺陷和技术弊端,本发明实施例提供克服上述问题或者至少部分地解决上述问题的,具体方案如下;
2、作为本发明的第一方面,提供一种管材检测模型标注的精修差异分析方法,包括:
3、s1:使用检测模型对固定视角连续视频采集的管材图像执行预标注,得到携带检测置信度的预标注数据,所述预标注数据包含管材目标的目标区域表示;
4、s2:接收对所述预标注数据的人工精修,得到精修标注数据,并将同一图像的所述预标注数据与所述精修标注数据关联保存,构成版本对;
5、s3:对所述版本对执行差异分析,得到差异分析结果;所述差异分析包括:实例级增删统计,以及针对配对目标区域表示的几何差异度量;所述几何差异度量用于表征人工精修相对预标注的修正幅度,并指示修正方向为过覆盖或欠覆盖;
6、s4:依据所述差异分析结果生成迭代指引;所述迭代指引包括:基于所述修正幅度确定下一轮精修子集的选择或排序、基于所述修正幅度与检测置信度的关联关系标定预标注置信度阈值、以及基于修正幅度的轮次间收敛趋势确定迭代停止判据,三者中的至少一项;
7、s5:按所述迭代指引执行对应操作,当所述迭代指引涉及训练调整时,利用更新后的训练数据或调整后的训练策略重新训练得到更新后的检测模型,对更新后的版本对复测差异,并将满足所述迭代停止判据的检测模型部署于管材视觉检测工位。
8、在一些实施例中,s1中所述目标区域表示为多边形顶点或四边形顶点;
9、s3中所述实例级增删统计包括:统计仅存在于精修标注数据中的目标区域表示作为漏检实例,统计仅存在于预标注数据中的目标区域表示作为多检实例;
10、s3中所述几何差异度量包括:对版本对中相互配对的目标区域表示,计算精修标注多边形的各顶点到预标注多边形的有符号距离,所述有符号距离为正表示该顶点位于预标注多边形内部,为负表示位于外部,位于多边形边界上为零;
11、其中,有符号距离为负的顶点占比高指示预标注相对于人工精修系统性偏小,即欠覆盖;有符号距离为正的顶点占比高指示预标注相对于人工精修系统性偏大,即过覆盖;
12、将配对目标区域表示内各顶点的有符号距离绝对值的平均值作为该配对目标区域表示的修正幅度;当所述修正幅度超过修正幅度阈值时,判定该配对目标区域表示为大修目标。
13、可选地,有符号距离为负的顶点占比高是指:在某一配对目标区域表示中,有符号距离为负的顶点数占该多边形顶点总数的比例不低于50%,且负顶点占比与正顶点占比的差值不小于10个百分点;或者,负顶点占比高于预设方向比例阈值rdir(例如0.5~0.7,本实施例取0.6)。
14、相对应地,有符号距离为正的顶点占比高是指正顶点占比不低于50%且高于负顶点占比至少10个百分点,或高于rdir。
15、当负、正顶点占比均不占优时,判定为无显著方向偏差;其中,rdir可根据标注精度要求在0.5~0.8范围内设定。
16、可选地,预标注相对于人工精修系统性偏小是指:在统计窗口内(单目标/单图/多图集合),负向有符号距离顶点占比达到方向判定条件,且平均有符号距离μd<0,同时配对目标修正幅度m虽可能未达大修阈值,但方向统计量稳定为负;例如,μd≤-0.1像素可判为轻度内缩,μd≤-1像素判为明显内缩。
17、系统性偏大是指正顶点占比达到方向判定条件且μd>0;μd≥+0.1像素为轻度外扩,μd≥+1像素为明显外扩。
18、系统性指该方向不是单个顶点偶然误差,而是在同一目标或同批目标上重复出现,可用方向一致性比例(同号顶点占比)≥0.6辅助认定。
19、在一些实施例中,s3中所述差异分析还包括修正热区统计,具体包括:
20、以精修标注多边形各顶点在图像平面上的位置坐标为网格索引,以该顶点的有符号距离绝对值为权重,在归一化网格上按网格单元累加得到各网格单元的修正幅度累加值,由全部网格单元的修正幅度累加值构成修正热区图;
21、所述迭代指引包括:将所述修正热区图按网格单元叠加显示于精修界面,其中修正幅度累加值超过热区阈值的网格单元以高亮方式标记,所述热区阈值为全部网格单元修正幅度累加值均值的预设倍数。
22、在一些实施例中,s3中所述差异分析还包括端面与管身分区统计,具体包括:
23、对配对目标区域表示的精修标注多边形,通过对顶点坐标做主成分分析取最大特征值对应方向确定主轴方向,或通过计算目标多边形的最小外接矩形长轴方向或多边形骨架线主延伸方向确定主轴方向;
24、沿所述主轴方向,将精修标注多边形轴向前、后各端面占比分位以外的顶点划分为端面区,其余顶点划分为管身区;
25、分别计算端面区与管身区顶点有符号距离绝对值的均值,将端面区均值与管身区均值的比值作为端面比;
26、当所述端面比超过端面比阈值时,判定修正集中于目标端部, 生成端面靶向的训练指引;
27、所述端面靶向的训练指引包括以下至少一项:
28、其一,端面点加密:对训练样本多边形的端面区域顶点执行加密处理,即在端面弧段按弧长均匀插入附加顶点,增强端部形状约束;
29、其二,非对称损失调整:统计配对目标区域表示内有符号距离为负的顶点占比,当所述负顶点占比超过方向阈值时,将训练损失调整为对欠覆盖方向惩罚更大的tversky损失,所述tversky损失中假阴性即漏检的惩罚权重大于假阳性即多检的权重,所述欠覆盖方向由有符号距离为负的顶点占比确定。
30、在一些实施例中,s3中所述差异分析还包括约定差异型误检甄别,具体包括:
31、针对仅存在于预标注数据中的多检实例,逐一统计该多检实例的检测置信度,得到该类多检实例的置信度均值;并计算该多检实例的质心到图像边缘的归一化距离,所述归一化距离以图像宽度为归一化基准,取各多检实例归一化距离的中位数作为边缘距离中位数;
32、当所述置信度均值超过置信均值阈值、且所述边缘距离中位数低于边缘距离阈值时,判定该类多检实例为标注约定差异型多检;
33、所述迭代指引包括:对判定为标注约定差异型多检的目标,输出约定修正指引以补充标注边缘半可见目标,或在模型评估侧对该类目标执行边缘过滤,将其排除于误检计数之外,而不将其计入模型误检以触发重新训练。
34、在一些实施例中,s4中所述预标注置信度阈值的标定包括:
35、按检测置信度分桶,逐桶统计各桶的桶内修正率,所述桶内修正率为该桶内修正幅度超过所述修正幅度阈值的配对目标区域表示数,与该桶内全部配对目标区域表示数的比值;
36、依据各桶桶内修正率随置信度变化的下降趋势确定预标注质量检测所采用的置信度阈值,具体为:选取桶内修正率首次低于目标修正率的置信度下界作为所述置信度阈值;
37、当任一置信度桶内配对目标区域表示数低于桶样本数阈值时,跨多轮迭代累计各桶的修正目标数与总目标数,以累计后的比值作为该桶的修正率后再行标定。
38、在一些实施例中,s4中所述下一轮精修子集的选择包括:
39、按样本的时间分布与目标数量分布,将全部样本划分为若干分布类别,逐类别统计类别修正率与类别漏检率;所述类别修正率为该分布类别内修正幅度超过所述修正幅度阈值的配对目标区域表示数,与该类别全部配对目标区域表示数的比值;所述类别漏检率为该分布类别内仅存在于精修标注数据中的目标区域表示数,与该类别全部目标区域表示数的比值;
40、计算全部分布类别的类别修正率均值与类别漏检率均值,将类别修正率超过类别修正率均值预设倍数、或类别漏检率超过类别漏检率均值预设倍数的分布类别判定为缺口类别;将缺口类别中的样本优先纳入下一轮精修子集;
41、s4中所述迭代停止判据包括:逐轮统计本轮修正率,所述本轮修正率为该轮全部配对目标区域表示中修正幅度超过所述修正幅度阈值的比例;当以下三个条件同时满足时输出停止迭代指示:相邻迭代轮次的本轮修正率变化小于变化阈值、且当前轮次本轮修正率低于停止阈值、且不存在缺口类别;即迭代收敛并停止。
42、在一些实施例中,s2中所述版本对的保留通过版本标记机制实现,具体包括:
43、预标注数据携带可刷新标记,所述可刷新标记表示该预标注数据可被新一轮预标注覆盖更新;人工精修后的精修标注数据携带保护标记,所述保护标记表示该精修标注数据不可被后续预标注覆盖;两版数据以相同图像标识为关联键并存存储,构成所述的版本对;所述差异分析在该精修标注数据落盘时针对该图像增量执行;
44、s3中所述相互配对的目标区域表示通过以下方式确定:对版本对中两版数据的各目标区域表示两两计算多边形交并比,按交并比从大到小执行贪心配对,将交并比不小于交并比阈值的目标区域表示判定为同一目标的配对;或结合目标质心欧氏距离与定向外接框角度差异,对交并比、质心距离、角度差异进行综合加权后得到综合相似度,按综合相似度从大到小贪心配对。
45、在一些实施例中,所述管材为钢管,所述检测场景包括钢管冷床工序、连轧工序、焊管工序或钢管精整工序中的至少一种;所述目标区域表示为钢管的分割掩码多边形顶点或定向边界框的四边形顶点;所述检测模型为实例分割模型或目标检测模型。
46、作为本发明的第二方面,提供一种管材检测模型标注的精修差异分析装置,应用于上述任一所述的一种管材检测模型标注的精修差异分析方法,其特征在于,所述装置包括:
47、固定视角相机,用于采集连续视频中的管材图像;
48、预标注单元,用于部署检测模型,对所述管材图像执行推理并输出携带检测置信度的预标注数据,所述预标注数据包含管材目标的目标区域表示;
49、版本管理单元,用于以可刷新标记和保护标记分别保留精修前的预标注数据与精修后的精修标注数据,构成版本对,并对存储单元执行读写;
50、差异分析单元,用于对所述版本对执行实例级增删统计与几何差异度量,所述几何差异度量具有指示过覆盖与欠覆盖的方向性,并输出差异分析结果;
51、指引生成单元,用于依据所述差异分析结果生成迭代指引,所述迭代指引包括下一轮精修子集的选择或排序、预标注置信度阈值的标定、迭代停止判据中的至少一项;
52、执行单元,用于按所述迭代指引执行对应操作,利用更新后的训练数据或调整后的训练策略重新训练得到更新后的检测模型,并触发所述差异分析单元对更新后的版本对复测差异;
53、人机交互单元,用于接收人工精修操作并通过所述版本管理单元落盘精修结果,以及展示修正热区与所述迭代指引;
54、部署单元,用于将满足所述迭代停止判据的检测模型部署于管材视觉检测工位;
55、存储单元,用于存储标注数据、版本对、差异统计与指引记录。
56、本发明具有以下有益效果:
57、(1)通过将同一图像的预标注数据与精修标注数据关联保存构成版本对,并对版本对执行实例级增删统计与几何差异度量,能够系统化量化预标注与人工精修之间的差异,获得具有过覆盖/欠覆盖方向性的修正幅度信息,为模型优化提供数据驱动的反馈信号,避免差异信息丢失。
58、(2)通过依据修正幅度与修正方向确定下一轮精修子集的选择或排序,能够将有限的人工精修资源优先投入修正需求最高的样本,避免盲目均匀精修,提升精修投入与模型精度提升的性价比。
59、(3)通过基于修正幅度的轮次间收敛趋势确定迭代停止判据,能够以量化方式判定迭代收敛状态,避免因过早停止导致模型欠拟合或因过度精修造成资源浪费。
60、(4)通过实例级增删统计区分漏检实例与多检实例,能够准确识别模型在实例层面的真实缺陷,为后续针对性优化提供依据,避免误检归因偏差导致的无效再训练。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com