一种快速检测图像样本标注成果数据方法与流程

1.本发明涉及计算机视觉和深度学习等人工智能技术领域，尤其涉及一种快速检测图像样本标注成果数据方法。


背景技术：

2.近年来，基于深度学习的图像目标检测技术日渐成熟，已经智能电网、智能工厂等领域得到应用，并展现了强大的实用性。然而，基于深度学习的模型训练，需要大量标注的样本数据，因此需要耗费大量的人力进行手动标注。但由于标注工作耗时且密集，往往会出现漏标、错标等问题，进而对模型的开发带来了较大的影响。
3.为了检查标注遗漏、标注错误等现象带来的隐患，一些核查的方法被提出，其中使用目标检测算法的效果尤为突出。具体来说，先将标注好的样本数据导入到使用目标检测算法，而后对预处理的样本进行预测，最后将标注结果和算法预测结果，进行精度评定。在此基础上，利用目标检测算法对样本数据进行分析检查，以促进样本准确率的提高。
4.图形标注往往采取传统的人工标注方法，这会带来大量人力资源、时间成本等的浪费，并且由于标注人员的不稳定因素，会存在漏标和误标的情况。深度学习算法对于用户的专业性提出了极高的要求，不仅要求使用者需要懂得其中原理，还得熟悉操作规程，这对检测工作带来了极大的不便，人工检查的方法耗时耗力，质量检查的效果与质检人员的素质成正相关。
5.使用深度学习的方法进行质检，模型的训练、调用，预标注图片的审查，往往都是独立的，不成体系。并且难以检测小目标物体是目标检测算法存在的问题，模型对一些尺度变化较大和一些小目标的物体存在大量漏检误检，这不利于检查标注情况。


技术实现要素：

6.本发明设计了一个快速检测图像样本标注成果数据的方法，包含了数据预处理，模型调用，算法测试，样本评价，预标注图像修改等功能。这使得数据标注成果的检验和评价更为方便，在交互性、可操作性以及实用性等方向有了较大的进步。
7.本发明提供的一种快速检测图像样本标注成果数据方法，包括：
8.对样本图像进行图像预处理；
9.对预处理完成后的样本图像进行测试，得到测试结果；
10.对测试结果进行评价，得到评价结果；
11.将评价结果与样本图像中的标注进行对比分析，并计算map、召回率以及精确度；
12.判断样本图像的map、召回率以及精确度是否低于阈值，若是则认为样本图像合格，并导出，否则认为不合格，就将其导入预标注图像修改模块，将标志信息进行修正后导出。
13.可选的，
14.步骤s1包括对图像样本进行去噪、对比度增强、去水印处理，用以消除图像中的不
相关信息。
15.可选的，步骤s2包括：
16.识别出主体目标；
17.当所述主体目标符合场景逻辑时，对主体目标进行检测和分类，得到最终的结果；
18.当所述主体目标不符合场景逻辑时，将识别结果做误检处理。
19.可选的，
20.步骤识别出主体目标之后，排除置信度较小的目标，以及尺寸占全图比例小于正常尺寸比例的结果，以降低误检。
21.可选的，
22.步骤识别出主体目标之后，将主体目标按照一定的尺寸进行归一化操作，保证推理模型中待识别目标的尺寸一致性。
23.可选的，步骤s2包括：
24.将任务图像通过nfs进行数据共享。
25.可选的，步骤s2包括：
26.根据样本类型从模型调用模块中选取已训练好的测试模型。
27.可选的，步骤s2包括：
28.各测试模型在同类型场景不同批次的数据集上训练和测试，精度指标满足要求；
29.模型推理过程遵循识别目标的业务逻辑。
30.可选的，
31.识别结果信息应包括第一步识别结果和第二步目标识别结果，包括结果返回码、返回描述、类别序号、置信度、位置的坐标信息。
32.可选的，
33.map可接受阈值＝50％；
34.召回率可接受阈值＝60％；
35.精确度可接受阈值＝70％。
36.本技术相对于现有技术具备如下有益效果：
37.本发明提供了一种图像样本标注成功数据的快速检测方法，系统集成了算法测试模块，样本评价模块，模型调用模块，预标注图像修改模块。极大程度上优化了用户的可操作性、交互性等方面，使检测技术不再局限于专业人员。这时使用者只需对样本数据进行导入，大大提高了检测效率，降低了检测所需人力物力，降低了成本。
38.系统集成了算法测试模块，样本评价模块，模型调用模块，预标注图像修改模块，检测人员对于检测任务的一系列操作均可在这个系统内完成，十分简单便捷。
39.利用自主开发的预处理方法进行数据预处理，预处理操作包括高斯滤波、直方图均衡化、小波变换等技术对图像进行去噪、对比度增强、去水印等预处理，消除图像中的不相关信息。
40.使用改进的esrgan算法对图像进行分辨率增强，进一步提升图像的清晰度，提升算法识别的准确率。
41.消除图像中的不相关信息，对数据进行分辨率增强等步骤，进一步提升后面目标检测模型的精度。
42.通过先检测目标位置再进行分类的检测方法进行样本检测，极大提高了检测精度，模型识别的结果精度满足作为判定标注数据质量是否满足要求的依据。
43.使用分布式计算和nfs文件共享系统，将以及效率，大大提高了样本的精度，对漏标、错标具有极高的甄别力。
44.利用系统的预标注图像修改模块，对漏标、错标的样本图像进行修改，避免了标注人员重复劳动带来的人力、时间的损耗，并且极大程度确保了样本图像的准确度。
附图说明
45.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
46.图1为本发明的快速检测图像样本标注成果数据方法的第一实施例流程图；
47.图2为本发明的快速检测图像样本标注成果数据方法的第二实施例流程图。
具体实施方式
48.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
49.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
50.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
51.请参阅图1，本发明提供的一种快速检测图像样本标注成果数据方法的第一实施例包括：
52.101：对样本图像进行图像预处理。
53.在本实施例中，首先将样本图像导入预处理模块进行图像预处理。其中，对样本图像预处理采用与模型训练一致的预处理操作，包括高斯滤波、直方图均衡化、小波变换等技术对图像进行去噪、对比度增强、去水印等预处理，消除图像中的不相关信息。使用改进的esrgan算法对图像进行分辨率增强，进一步提升图像的清晰度，提升算法识别的准确率。
54.需要说明的是，根据图像识别应用实效性要求和模型复杂度，在云端系统部署多个图像识别算法模型计算服务器，将数据传回云端系统，由云端系统统一分析。
55.102：对预处理完成后的样本图像进行测试，得到测试结果。
56.在本实施例中，将预处理完成后的样本图像导入算法测试模块，根据样本类型从模型调用模块中选取已训练好的测试模型。对任务进行拆分，将任务图像通过nfs系统进行数据共享，其中各测试模型在同类型场景不同批次的数据集上训练和测试，精度指标满足
要求。模型推理过程遵循识别目标的业务逻辑，第一步先识别出主体目标，并判断所识别出的主体目标之间是否符合场景逻辑，进而在第一步识别的主体目标上进行目标的检测和分类，得到最终的结果。
57.103：对测试结果进行评价，得到评价结果。
58.在本实施例中，将算法测试模块的输出结果导入样本评价模块。其中，识别结果信息应包括第一步识别结果和第二步目标识别结果，包括结果返回码、返回描述、类别序号、置信度、位置的坐标信息等。
59.104：将评价结果与样本图像中的标注进行对比分析，并计算map、召回率以及精确度；
60.105：判断样本图像的map、召回率以及精确度是否低于阈值，若是则执行106，否则执行107；
61.106：认为样本图像合格，并导出；
62.107：认为不合格，就将其导入预标注图像修改模块，将标志信息进行修正后导出。
63.在本实施例中，若样本图像的map、召回率以及精确度均不低于阈值，则认为样本图像合格，并导出。若样本图像的map、召回率以及精确度存在任一低于阈值，则认为不合格，就将其导入预标注图像修改模块，将标志信息进行修正后导出。
64.需要说明的是，map可接受阈值＝50％，召回率可接受阈值＝60％，精确度可接受阈值＝60％。
65.本实施例中，系统采用nfs(network file system)网络文件系统进行图像共享，以与本地文件系统类似的方式，来通过网络进行访问，实现多计算服务器的共同作业，为了实现快速检测的实现，我们采用分布式计算的方法，将大量计算密集型任务进行任务分配，分配到活跃的计算服务器上进行并行运算，大大降低了运算时间。
66.检测图像样本的时候，首先通过一系列的预处理工作对数据进行处理，消除图像的不相关信息，再通过系统中的算法测试模块自动地确定出图像样本中的物体位置和类别信息，并且将算法预测结果进行写入样本评价模块。根据标注结果和算法预测结果，进行精度评定，其中包含召回率、准确率、map等参考指标。
67.本发明提供的一种快速检测图像样本标注成果数据方法的第二实施例不同于第一实施例在于，包括：步骤对预处理完成后的样本图像进行测试，得到测试结果包括：
68.第一步识别；
69.排除置信度较小的目标以及尺寸占全图比例小于正常尺寸比例的结果；
70.在本实施例，第一步识别完成后，排除置信度较小的目标，以及尺寸占全图比例小于正常尺寸比例的结果，以降低误检。
71.逻辑关系判断。对于第一步识别出来的目标，判断目标之间的关系是否符合场景逻辑，从属关系是否正确，如果不符合场景逻辑，则将第一步识别出的结果当做误检处理。
72.归一化。将第一步识别的目标按照一定的尺寸进行归一化操作，保证推理模型中待识别目标的尺寸一致性。
73.最终目标识别。在第一步识别的主体中进行相应类别的第二步最终目标检测和分类，并排除置信度较小的结果，得到最终的目标输出。
74.请参阅图2，下面以一个实际应用的例子对本实施例的技术方案的流程进行说明，
包括：
75.201：对样本图像进行图像预处理；
76.202：第一步识别，该第一识别可以应用但不限于主体目标的识别；在第一步识别的主体中进行相应类别的第二步最终目标检测和分类。
77.203：排除置信度较小的目标以及尺寸占全图比例小于正常尺寸比例的结果；
78.204：判断目标之间的关系是否符合场景逻辑；
79.若是，则执行步骤205，否则执行步骤206；
80.205：当所述主体目标符合场景逻辑时，对主体目标进行检测和分类，得到最终的结果；
81.206：当所述主体目标不符合场景逻辑时，将识别结果做误检处理。
82.207：最终目标识别，得到最终的目标输出；
83.208：对测试结果进行评价，得到评价结果；
84.209：将评价结果与样本图像中的标注进行对比分析，并计算map、召回率以及精确度；
85.210：判断样本图像的map、召回率以及精确度是否低于阈值，若是则执行211，否则执行212；
86.211：认为样本图像合格，并导出；
87.212：认为不合格，就将其导入预标注图像修改模块，将标志信息进行修正后导出。
88.在本技术的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
89.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
90.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
91.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
92.人工智能是研究计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语音处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
93.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本技术公开的技术方案所期望的结果，本文在此不进行限制。
94.上述具体实施方式，并不构成对本技术保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本技术的精神和原则之内所作的修改、等同替换和改进等，均应包含在本技术保护范围之内。