一种用于目标检测的数据错误评分方法与流程

1.本技术涉及汽车电子技术领域，特别涉及一种用于目标检测的数据错误评分方法。


背景技术：

2.目标检测中使用边界框对目标进行标注，在训练中，给算法输入图片和真值目标的边界框坐标，通过多种调参方法最后获得该算法模型；在推理中，将图片数据输入给模型得到结果，该结果包含图片内部的目标的类别、边界框坐标、置信度。通过推理结果和真值比较得到真正例、假正例、假反例，比较前一般将推理结果中置信度小于某个阈值的所有目标删除，不再与真值进行比较，相当于手动将这部分设置为真反例，此外还要设定交并比阈值，即真值边界框和推理边界框的交并比大于阈值才能算匹配上。根据上述评估方法和规则可对数据集进行数据噪声查找，错误标注定位，使得数据得到清洗，提高数据准确度。
3.现行方法中，一般将得到的真正例、假正例、假反例结果绘制于原始图片上，然后进行审核和数据清洗工作。此外也会根据每张图片的精确率和召回率或者真正例、假正例个数等进行图片粒度的错误评分，挑选错误得分超过阈值的图片，再进行后续清洗工作。
4.在上述方法中，推理结果包含目标的类别、边界框坐标、置信度，上述方法直接给出三种box类型结果，未考虑置信度，而置信度反映了该目标伪概率，概率越大表示模型认为此输出更可靠，那么置信度与1的差值越大则模型不确定性更大。此外，数据集错误排序一般是采用一张图的精确率和召回率或者计算真正例、假正例个数等方法进行错误打分，再排序选出超过错误得分阈值的图片。此方法错误得分的粒度为一张图，并未对box进行错误打分，准确度不够。同时，交并比阈值也是一个人工设定值，取值[0,1]，一般认为两个box的交并比若大于0.5则表示两者匹配，而推理结果和真值结果匹配上的box(真正例)中存在0.5-1的取值范围，将0.5和1的交并比置为同等权重存在缺陷。


技术实现要素：

[0005]
本技术为了解决现有技术中的问题，提供了一种用于目标检测的数据错误评分方法。
[0006]
一种用于目标检测的数据错误评分方法，所述方法包括：
[0007]
对多个图片内的目标进行标记处理，生成目标检测数据；并将所述目标检测数据划分为训练集、测试集；
[0008]
将所述测试集通过训练模型进行推理，生成推理结果；
[0009]
将所述推理结果与所述训练集的真值进行配对，获得真正例、假正例、假反例；
[0010]
分别计算所述真正例、假正例、假反例的错误得分，并根据所述错误得分对多个图片进行处理；
[0011]
其中，所述训练模型通过目标检测算法对训练集训练获得。
[0012]
可选地，所述对多个图片内的目标进行标记处理，包括：
[0013]
将图片内的目标通过边界框进行标记，并标注当前边界框的目标类别，生成目标检测数据。
[0014]
可选地，所述训练集与所述测试集的比例为8:2或者所述训练集与所述测试集的比例为7:3。
[0015]
可选地，所述目标检测算法包括yolo系列算法、rcnn系列算法中任一种。
[0016]
可选地，所述推理结果包括每个目标检测数据的目标类别、边界框坐标、置信度。
[0017]
可选地，所述将所述推理结果与训练集的真值进行配对，获得真正例、假正例、假反例，包括：
[0018]
多个所述推理结果按照置信度进行降序排列；
[0019]
将所有推理结果与训练集计算交并比；
[0020]
根据所述交并比、推理结果的置信度，获得真正例、假正例、假反例。
[0021]
可选地，所述根据所述交并比、推理结果的置信度，获得真正例、假正例、假反例，
[0022]
将所述推理结果中置信度小于第二阈值判断判定为真反例；
[0023]
选择所述交并比大于第一阈值且置信度最大的推理结果，与当前训练集组成真正例；
[0024]
将交并比小于等于第一阈值的训练集判定为假反例；
[0025]
将没有配对的推理结果判定为假正例。
[0026]
可选地，根据所述真正例计算错误得分，包括：
[0027]
根据所述推理结果与训练集边界框的交并比、推理结果的置信度，计算第一错误得分，其公式为：mistakenness1＝(1-score 10-3)*(1-iou 10-3)，其中，score为推理结果的置信度，iou为交并比。
[0028]
可选地，根据所述假正例计算错误得分，包括：
[0029]
通过所述推理结果的置信度，计算第二错误得分，其公式为：mistakenness2＝0.5*score 0.4，其中，score为推理结果的置信度。
[0030]
可选地，根据所述假反例计算错误得分，包括：
[0031]
若训练集未找到相匹配的推理结果，则第三错误得分为mistakenness3＝1；
[0032]
若训练集找到交并比大于0.5的推理结果，且训练集与推理结果的目标类别不相同，则第三错误得分计算公式为：mistakenness3＝0.5*score 0.5，其中，score为推理结果的置信度。
[0033]
可选地，所述根据所述错误得分对多个图片进行处理，包括：
[0034]
根据同一图片的多个所述第一错误得分、第二错误得分、第三错误得分，统计当前图片的目标错误得分；
[0035]
将多个图片根据目标错误得分进行排序，选取目标错误评分大于预设阈值的图进行检查、修改。
[0036]
可选地，所述根据同一图片的多个所述第一错误得分、第二错误得分、第三错误得分，统计当前图片的目标错误得分，包括：
[0037]
将多个第一错误得分、第二错误得分、第三错误得分进行排序，形成错误得分序列；
[0038]
选取所述错误评分序列中的部分或全部错误评分，进行求和或求平均统计当前图
片的目标错误评分。
[0039]
本技术的一种用于目标检测的数据错误评分方法，其有益效果在于：本技术实现量化待清洗数据集的错误，并且综合考虑模型输出的不确定性，以及优化错误得分排序，同时，将优化目标定位到每个框，粒度更小，准度更高。
附图说明
[0040]
图1为本技术实施例的方法流程图一。
[0041]
图2为本技术实施例的系统框图。
[0042]
图3为本技术实施例的方法流程图二。
具体实施方式
[0043]
下面结合附图对本技术的较佳实施例进行详细阐述，以使本技术的优点和特征更易被本领域技术人员理解，从而对本技术的保护范围作出更为清楚的界定。
[0044]
本技术实施例的附图中相同或相似的标号对应相同或相似的部件；在本技术的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制。
[0045]
此外，若有“第一”、“第二”等术语仅用于描述目的，主要是用于区分不同的装置、元件或组成部分(具体的种类和构造可能相同也可能不同)，并非用于表明或暗示所指示装置、元件或组成部分的相对重要性和数量，而不能理解为指示或者暗示相对重要性。
[0046]
实施例1，
[0047]
在如图1-2所示的实施例中，本技术公开了一种用于目标检测的数据错误评分方法，本方法包括：
[0048]
100，对多个图片内的目标进行标记处理，生成目标检测数据；并将目标检测数据划分为训练集、测试集；在步骤100中，对多个图片内的目标进行标记处理，包括：将图片内的目标通过边界框进行标记，并标注当前边界框的目标类别，生成目标检测数据。训练集与测试集的比例为8:2或者训练集与测试集的比例为7:3。
[0049]
200，将测试集通过训练模型进行推理，生成推理结果；在步骤200中，在进行测试集推理前，可以先通过训练集对训练模型通过yolo系列算法、rcnn系列算法进行训练，得到训练模型。再通过训练模型对测试集进行推理得到测试结果。推理结果包括每个目标检测数据的目标类别、边界框坐标、置信度
[0050]
300，将推理结果与训练集的真值进行配对，获得真正例、假正例、假反例；在步骤300中，将推理结果与训练集的真值进行配对，获得真正例、假正例、假反例，包括：多个推理结果按照置信度进行降序排列；将所有推理结果与训练集计算交并比；根据交并比、推理结果的置信度，获得真正例、假正例、假反例。根据交并比、推理结果的置信度，获得真正例、假正例、假反例，将推理结果中置信度小于第二阈值判断判定为真反例；选择交并比大于第一阈值且置信度最大的推理结果，与当前训练集组成真正例；将交并比小于等于第一阈值的训练集判定为假反例；将没有配对的推理结果判定为假正例。
[0051]
400，分别计算真正例、假正例、假反例的错误得分，并根据错误得分对多个图片进行处理；在步骤400中，根据真正例计算错误得分，包括：根据推理结果与训练集边界框的交并比、推理结果的置信度，计算第一错误得分，其公式为：mistakenness1＝(1-score 10-3)*(1-iou 10-3)，其中，score为推理结果的置信度，iou为交并比。根据假正例计算错误得分，包括：通过推理结果的置信度，计算第二错误得分，其公式为：mistakenness2＝0.5*score 0.4，其中，score为推理结果的置信度。根据假反例计算错误得分，包括：若训练集未找到相匹配的推理结果，则第三错误得分为mistakenness3＝1；若训练集找到交并比大于0.5的推理结果，且训练集与推理结果的目标类别不相同，则第三错误得分计算公式为：mistakenness3＝0.5*score 0.5，其中，score为推理结果的置信度。根据错误得分对多个图片进行处理，包括：根据同一图片的多个第一错误得分、第二错误得分、第三错误得分，统计当前图片的目标错误得分；将多个图片根据目标错误得分进行排序，选取目标错误评分大于预设阈值的图进行检查、修改。其中，训练模型通过目标检测算法对训练集训练获得。
[0052]
本技术实现量化待清洗数据集的错误，并且综合考虑模型输出的不确定性，以及优化错误得分排序，同时，将优化目标定位到每个框，粒度更小，准度更高。
[0053]
在一些实施例中，对多个图片内的目标进行标记处理，包括：将图片内的目标通过边界框进行标记，并标注当前边界框的目标类别，生成目标检测数据。在本实施例中，本技术可以通过人工或机器对图片进行标记处理。其中，将图片内部的目标使用边界框进行标记，并标注此矩形框的目标类别，标记好的目标为目标检测数据。
[0054]
在上述实施例的一种实施例中，训练集与测试集的比例为8:2。在本实施例中，可以选取多个图片的多个目标检测数据作为训练集，多个图片的另一部分作物测试集。用训练集进行训练模型训练，通过将测试集输入训练模型进行推理。
[0055]
在上述实施例的一种实施例中，训练集与测试集的比例为7:3。在本实施例中，可以选取多个图片的多个目标检测数据作为训练集，多个图片的另一部分作物测试集。用训练集进行训练模型训练，通过将测试集输入训练模型进行推理。
[0056]
在一些实施例中，目标检测算法包括yolo系列算法、rcnn系列算法中任一种。在本实施例中，本技术的目标检测算法可以选择合适的开源算法。yolo系列即you only look once是目标检测算法中，one stage算法的开端。you only look once表达的含义是只用一个步骤就完成目标检测的过程。核心思想就是利用整张图作为网络的输入，直接在输出层回归bounding box的位置和bounding box所属的类别。rcnn系列是一种简单可放缩的目标检测算法。rcnn包含了三个主要的模块：生成类别独立的区域建议，为感知器定义候选区域；cnn提取固定长度的特征；线性svm分类器进行类别的分类。本技术可以通过yolo系列算法、rcnn系列算法中任一种对训练模型进行训练。
[0057]
在一些实施例中，推理结果包括每个目标检测数据的目标类别、边界框坐标、置信度。300，将推理结果与训练集的真值进行配对，获得真正例、假正例、假反例，包括：
[0058]
310，多个推理结果按照置信度进行降序排列；在步骤310中，本技术将多个测试集数量输出到训练模型进行推理，输出多个推理结果，在训练集都推理完成后，将推理结果按照置信度高低进行降序排列。
[0059]
320，将所有推理结果与训练集计算交并比；在步骤320中，在本技术中，本实施例将每个推理结果安装置信度高低依次与训练集的真值计算交并比。
[0060]
330，根据交并比、推理结果的置信度，获得真正例、假正例、假反例。在步骤330中，根据交并比、推理结果的置信度，获得真正例、假正例、假反例，将推理结果中置信度小于第二阈值判断判定为真反例；选择交并比大于第一阈值且置信度最大的推理结果，与当前训练集组成真正例；将交并比小于等于第一阈值的训练集判定为假反例；将没有配对的推理结果判定为假正例。在本实施例中，本技术根据交并比、推理结果的置信度，将推理结果与训练集的真值进行配对，其中，训练集的真值包括边界框坐标、目标类别。第一阈值、第二阈值可以根据需求进行设置。在本实施例中，第一阈值可以是0.5，第二阈值可以是0.01。
[0061]
在一些实施例中，根据真正例计算错误得分，包括：根据推理结果与训练集边界框的交并比、推理结果的置信度，计算第一错误得分，其公式为：mistakenness1＝(1-score 10-3)*(1-iou 10-3)，其中，score为推理结果的置信度，iou为交并比。
[0062]
根据假正例计算错误得分，包括：通过推理结果的置信度，计算第二错误得分，其公式为：mistakenness2＝0.5*score 0.4，其中，score为推理结果的置信度。
[0063]
根据假反例计算错误得分，包括：
[0064]
若训练集未找到相匹配的推理结果，则第三错误得分为mistakenness3＝1；若训练集找到交并比大于0.5的推理结果，且训练集与推理结果的目标类别不相同，则第三错误得分计算公式为：mistakenness3＝0.5*score 0.5，其中，score为推理结果的置信度。
[0065]
在一些实施例中，400，根据错误得分对多个图片进行处理，包括：
[0066]
410，根据同一图片的多个第一错误得分、第二错误得分、第三错误得分，统计当前图片的目标错误得分；在步骤410中，根据同一图片的多个第一错误得分、第二错误得分、第三错误得分，统计当前图片的目标错误得分，包括：将多个第一错误得分、第二错误得分、第三错误得分进行排序，形成错误得分序列；选取错误评分序列中的部分或全部错误评分，进行求和或求平均统计当前图片的目标错误评分。
[0067]
420，将多个图片根据目标错误得分进行排序，选取目标错误评分大于预设阈值的图进行检查、修改。
[0068]
在本实施例中，本技术通过对多个错误得分进行处理，对图片进行检查、修改。
[0069]
实施例2，
[0070]
在如图2所示的实施例中，本技术还提供一种用于目标检测的数据错误评分系统，本系统包括实例1所述的方法，本系统包括以下步骤：
[0071]
步骤1：将图片内部的目标使用边界框bounding box进行标记，并标注此矩形框的目标类别。将已标记好的目标检测数据data划分为训练集traindatasets、测试集testdatasets，通常比例为训练集和测试集的比值可以为8:2或7:3等。
[0072]
步骤2，根据需求选择适合的开源目标检测算法，如：yolo系列，rcnn系列；使用训练集经过算法训练得到训练模型model。
[0073]
步骤3，用训练模型对测试集进行推理inference得到推理结果，这里可使用其他带有真值标签的数据进行推理，输出推理结果。推理结果包含每个矩形框目标的类别、边界框坐标、置信度。
[0074]
步骤4，通过推理结果和真值比较得到真正例tp、假正例fp、假反例fn。具体比较方法是：将推理结果按照置信度降序排列，让每个真值与所有推理结果计算交并比，选择交并比高于0.5且置信度最大的一对为真正例。交并比iou《0.5的训练集真值为假反例，剩下的
推理结果为真反例。比较前一般将推理结果中置信度小于某个阈值的所有目标删除如0.01，不再与真值进行比较，相当于手动将这部分设置为真反例tn，值得一提的是，真值和推理值是唯一匹配，不能多次匹配，此外还要设定交并比阈值，即真值矩形框和推理矩形框的交并比iou大于阈值才能算匹配上，这里暂不比较二者的类别。此评估方法参考公开的coco评估方法，其他特例情况也以它为准。由此得到真正例tps、真反例fps、假反例fns分批处理上步输出的三种结果。
[0075]
步骤5，对于tps，设计公式，使用真值框和推理框的iou和推理框置信度score计算错误得分mistakenness，公式为mistakenness＝(1-score 10-3)*(1-iou 10-3)；对于fps，计算公式为mistakenness＝0.5*score 0.4；对于fns，需要分两种情况进行讨论，一是真值框未找到与之匹配的推理框，二是真值框找到与之iou大于0.5的推理框，但是两个框的类别不相同。那么第一种情况，满足条件一，mistakenness＝1；第二种情况，满足条件二，mistakenness＝0.5*score 0.5。
[0076]
步骤6，使用公式计算出结果，对于一张图，可选mistakenness序列前n项，求和或求平均等方式代表此图的mistakenness，
[0077]
步骤7，最后根据每张图的mistakenness进行排序，数据检查员选取大于阈值的k张图，k就是测试集中最需要检查和修改的，因为k的错误最大
[0078]
步骤8，也可将每个box的mistakenness排序，那么mistakenness＝1的框，一定要进行检查纠错，其他框也可设定mistakenness阈值选出k个进行检查修改
[0079]
实施例3，
[0080]
本技术还公开一种运行终端，且运行终端运行有执行上述实施例1或实施例2的一种用于目标检测的数据错误评分方法的程序。本技术实现量化待清洗数据集的错误，并且综合考虑模型输出的不确定性，以及优化错误得分排序，同时，将优化目标定位到每个框，粒度更小，准度更高。
[0081]
上面结合附图对本技术的实施方式作了详细说明，但是本技术并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本技术宗旨的前提下做出各种变化。