图像识别方法、模型训练方法和装置与流程

1.本发明涉及互联网技术领域，具体而言，涉及一种图像识别方法、模型训练方法和装置。


背景技术：

2.在工业化的果冻生产过程中，各种有害杂质，例如油漆，金属屑，料垢，头发，虫子，等等，会混淆到果冻中去，对果冻品质造成影响。为了获取合格果冻，需要对成品果冻进行检查，看其是否含有有害杂质，如果含有，则会将其剔除。在果冻的生产流程中，果冻的质量检测是非常关键的一个环节。
3.传统的果冻质检全部依靠人工，需要质检工人逐一拿起果冻，在灯光下反复查看果冻内部是否含有杂质。然而，人工质检存在一些列问题：效果不稳定，容易受人工精力和情绪影响；质检人员需要较长的培训周期；质检工人不能24小时不间断工作，等等。
4.而使用机器视觉对果冻进行质检的过程中，常用的计算机视觉对应的算法极易产生误报率，从而降低了质检的准确率。
5.针对上述由于现有技术在对果冻进行质检的过程中所适用的算法易产生误报率，从而降低了质检的准确率的问题，目前尚未提出有效的解决方案。


技术实现要素：

6.本发明实施例提供了一种图像识别方法、模型训练方法和装置，以至少解决由于现有技术在对果冻进行质检的过程中所适用的算法易产生误报率，从而降低了质检的准确率的技术问题。
7.根据本发明实施例的一个方面，提供了一种图像识别方法，包括：获取待检测对象；通过第一检测网络，对待检测对象进行第一次识别，得到待检测对象对应的识别结果数据集，其中，识别结果数据集用于指示待检测对象所属的检测类别；依据识别结果数据集中满足指定条件的目标框获取图像块，并将图像块输入第二检测网络进行第二次识别，得到目标对象；依据识别结果数据集和目标对象，确定待检测对象是否满足检测需求，得到识别结果。可选的，通过第一检测网络，对待检测对象进行第一次识别，得到待检测对象对应的识别结果数据集包括：通过第一检测网络对待检测对象进行识别，获取待检测对象中属于至少一个尺寸的检测类别；依据至少一个尺寸的检测类别生成待检测对象对应的识别结果数据集。
8.可选的，依据识别结果数据集中满足指定条件的目标框获取图像块，并将图像块输入第二检测网络进行第二次识别，得到目标对象包括：设置第一检测阈值和第二检测阈值；在指定条件包括待检测对象中检测框的置信度位于第一检测阈值和第二检测阈值之间的情况下，以检测框为中心获取图片块；将图像块输入第二检测网络进行第二次识别，得到目标对象；其中，待检测对象包括：果冻。
9.可选的，该方法还包括：将待检测对象所属类别的图像数据输入神经网络中进行
训练，更新神经网络中的批量规范化层的参数。
10.可选的，该方法还包括：对第一检测网络和第二检测网络进行训练和预测，其中，对第一检测网络和第二检测网络进行训练包括：利用包含有无瑕疵的图片数据对定义的检测类别的特征进行学习；对第一检测网络和第二检测网络进行预测包括：利用训练后的第一检测网络和第二检测网络输出分类和检测得分，将检测得分转化为瑕疵框类别和位置。
11.进一步地，可选的，利用包含有无瑕疵的图片数据对定义的检测类别的特征进行学习包括：获取训练集，在线数据增强，得到增强后的数据集，其中，训练集中包括：无瑕疵的图片数据；对增强后的数据集进行特征提取和融合，计算像素分类总的损失，通过反向传播算法更新网络参数。
12.可选的，利用训练后的第一检测网络和第二检测网络输出分类和检测得分，将检测得分转化为瑕疵框类别和位置包括：对待识别对象进行预处理，得到分类和检测得分；通过向前预测计算，将分类中属于正常的待识别对象进行筛选，获取分类中属于瑕疵的待识别对象和对应的检测得分；将检测得分转化为瑕疵框类别和位置。
13.根据本发明实施例的另一方面，还提供了一种模型训练方法，包括：利用包含有无瑕疵的图片数据对定义的检测类别的特征进行学习，对第一检测网络和第二检测网络进行训练；利用训练后的第一检测网络和第二检测网络进行预测，输出分类和检测得分；将检测得分转化为瑕疵框类别和位置。
14.可选的，利用包含有无瑕疵的图片数据对定义的检测类别的特征进行学习，对第一检测网络和第二检测网络进行训练包括：获取训练集，在线数据增强，得到增强后的数据集，其中，训练集中包括：无瑕疵的图片数据；对增强后的数据集进行特征提取和融合，计算像素分类总的损失，通过反向传播算法更新网络参数；依据更新后的网络参数对第一检测网络和第二检测网络进行训练。
15.可选的，利用训练后的第一检测网络和第二检测网络输出分类和检测得分，将检测得分转化为瑕疵框类别和位置包括：对待识别对象进行预处理，得到分类和检测得分；通过向前预测计算，将分类中属于正常的待识别对象进行筛选，获取分类中属于瑕疵的待识别对象和对应的检测得分；将检测得分转化为瑕疵框类别和位置。
16.根据本发明实施例的另一方面，还提供了一种图像识别方法，包括：通过客户端获取上传的待检测对象；通过第一检测网络，对待检测对象进行第一次识别，得到待检测对象对应的识别结果数据集，其中，识别结果数据集用于指示待检测对象所属的检测类别；依据识别结果数据集中满足指定条件的目标框获取图像块，并将图像块输入第二检测网络进行第二次识别，得到目标对象；依据识别结果数据集和目标对象，确定待检测对象是否满足检测需求，得到识别结果；向客户端返回识别结果。
17.根据本发明另一实施例的一方面，还提供了一种图像识别装置，包括：获取模块，用于获取待检测对象；第一识别模块，用于通过第一检测网络，对待检测对象进行第一次识别，得到待检测对象对应的识别结果数据集，其中，识别结果数据集用于指示待检测对象所属的检测类别；第二识别模块，用于依据识别结果数据集中满足指定条件的目标框获取图像块，并将图像块输入第二检测网络进行第二次识别，得到目标对象；结果获取模块，用于依据识别结果数据集和目标对象，确定待检测对象是否满足检测需求，得到识别结果。
18.根据本发明另一实施例的另一方面，还提供了一种模型训练装置，包括：训练模
块，用于利用包含有无瑕疵的图片数据对定义的检测类别的特征进行学习，对第一检测网络和第二检测网络进行训练；预测模块，用于利用训练后的第一检测网络和第二检测网络进行预测，输出分类和检测得分；转化模块，用于将检测得分转化为瑕疵框类别和位置。
19.根据本发明另一实施例的又一方面，还提供了一种图像识别装置，包括：获取模块，用于通过客户端获取上传的待检测对象；第一识别模块，用于通过第一检测网络，对待检测对象进行第一次识别，得到待检测对象对应的识别结果数据集，其中，识别结果数据集用于指示待检测对象所属的检测类别；第二识别模块，用于依据识别结果数据集中满足指定条件的目标框获取图像块，并将图像块输入第二检测网络进行第二次识别，得到目标对象；第三识别模块，用于依据识别结果数据集和目标对象，确定待检测对象是否满足检测需求，得到识别结果；发送模块，用于向客户端返回识别结果。
20.根据本发明另一实施例的一方面，还提供了一种非易失性存储介质，其中，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述方法。
21.根据本发明另一实施例的一方面，还提供了一种处理器，其中，处理器用于运行程序，其中，程序运行时执行权上述方法。
22.在本发明实施例中，通过获取待检测对象；通过第一检测网络，对待检测对象进行第一次识别，得到待检测对象对应的识别结果数据集，其中，识别结果数据集用于指示待检测对象所属的检测类别；依据识别结果数据集中满足指定条件的目标框获取图像块，并将图像块输入第二检测网络进行第二次识别，得到目标对象；依据识别结果数据集和目标对象，确定待检测对象是否满足检测需求，得到识别结果，达到了获得高的检出率和准确率的目的，从而实现了降低误报率，提升质检准确率的技术效果，进而解决了由于现有技术在对果冻进行质检的过程中所适用的算法易产生误报率，从而降低了质检的准确率的技术问题。
附图说明
23.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
24.图1是本发明实施例的一种图像识别方法的计算机终端的硬件结构框图；
25.图2是根据本发明实施例一的图像识别方法的流程图；
26.图3是根据本发明实施例一的图像识别方法中两阶段果冻瑕疵检测算法示意图；
27.图4是根据本发明实施例一的图像识别方法中外扩小目标框示意图；
28.图5是根据本发明实施例一的图像识别方法中改进型fcos果冻瑕疵检测算法网络结构意图；
29.图6是根据本发明实施例一的图像识别方法中果冻瑕疵检测网络预测head结构示意图；
30.图7是根据本发明实施例一的图像识别方法中网络训练过程的示意图；
31.图8是根据本发明实施例一的图像识别方法中网络预测过程的示意图；
32.图8a-d是根据本发明实施例一的图像识别方法中果冻图像中瑕疵的示意图；
33.图9是根据本发明实施例二的模型训练方法的流程图；
34.图10是根据本发明实施例三的图像识别方法的流程示意图；
35.图11是根据本发明实施例四的图像识别装置的示意图；
36.图12是根据本发明实施例五的模型训练装置的示意图；
37.图13是根据本发明实施例六的图像识别装置的示意图。
具体实施方式
38.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
39.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
40.实施例1
41.根据本发明实施例，还提供了一种图像识别方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
42.本技术实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的一种图像识别方法的计算机终端的硬件结构框图。如图1所示，计算机终端10可以包括一个或多个(图中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
43.存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的图像识别方法对应的程序指令/模块，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的图像识别方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
44.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适
配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
45.在上述运行环境下，本技术提供了如图2所示的图像识别方法。图2是根据本发明实施例一的图像识别方法的流程图。
46.首先，将所有待检测类别分成2大类：类别集合a和b，a中是一些尺度比较大类别，例如头发，胶线，果籽等，b中是一些尺度比较小的类别，例如金属，料垢，纤维等。a中的类别尺度较大，单个检测网络可以达到很好的性能(recall和precision同时很高)，b中的类别尺度较小，通常来说在一个大图上检测小目标，是一个较难的任务，单个网络的recall和precision难以同时很高，只能保障一个。本技术实施例提供的图像识别方法具体如下：
47.步骤s202，获取待检测对象；
48.本技术上述步骤s202中，通过客户端，或，用户通过网页直接上传的图片获取该图片中的待检测对象，在本技术实施例中，待检测对象可以包括果冻。
49.步骤s204，通过第一检测网络，对待检测对象进行第一次识别，得到待检测对象对应的识别结果数据集，其中，识别结果数据集用于指示待检测对象所属的检测类别；
50.本技术上述步骤s204中，第一检测网络可以为全卷积一级目标检测(fully convolutional one-stage object detector，简称fcos)大网络，待检测对象可以包括：食用类胶质物质、医用类胶质物质或工业类胶质物质，在本技术实施例中待检测对象以果冻为例进行说明，通过fcos大网络对果冻进行第一次识别，得到该果冻中所有物质所属的全部待检测类别，例如，金属屑，食物纤维；图3是根据本发明实施例一的图像识别方法中两阶段果冻瑕疵检测算法示意图，如图3所示。
51.可选的，步骤s204中通过第一检测网络，对待检测对象进行第一次识别，得到待检测对象对应的识别结果数据集包括：通过第一检测网络对待检测对象进行识别，获取待检测对象中属于至少一个尺寸的检测类别；依据至少一个尺寸的检测类别生成待检测对象对应的识别结果数据集。
52.具体的，通过第一检测网络对待检测对象进行第一次识别，得到待检测对象所属的全部待检测类别。即，由类别集合a为例，对待检测对象进行第一次识别，以果冻图像为例，得到该果冻中所有物质所属的全部待检测类别。
53.步骤s206，依据识别结果数据集中满足指定条件的目标框获取图像块，并将图像块输入第二检测网络进行第二次识别，得到目标对象；
54.可选的，步骤s206中依据识别结果数据集中满足指定条件的目标框获取图像块，并将图像块输入第二检测网络进行第二次识别，得到目标对象包括：设置第一检测阈值和第二检测阈值；在指定条件包括待检测对象中检测框的置信度位于第一检测阈值和第二检测阈值之间的情况下，以检测框为中心获取图片块；将图像块输入第二检测网络进行第二次识别，得到目标对象；其中，待检测对象包括：果冻。
55.具体的，对于属于类别集合b中的目标，设置第一检测阈值和第二检测阈值；
56.当检测框的置信度位于第一检测阈值和第二检测阈值之间时，以检测框为中心获取指定尺寸的局部小图片，使用另一个检测网络重新检测(即，本技术实施例中的第二检测网络)。对于属于集合a中和集合b中置信度大于第二检测阈值的目标，可以直接作出判决，
果冻是否包含瑕疵。
57.其中，对于集合b中类别的目标，在本技术实施例中第一检测阈值记作阈值a，其中，阈值a保证果冻中所有瑕疵的检出率达到要求(即，最低标准，通过降低阈值以保证检出率)；第二检测阈值记作阈值b，其中，阈值b保证果冻中所有瑕疵的准确率(即，最高标准，通过升高阈值以保证不需要重复检测)。
58.本技术上述步骤s206中，第二检测网络可以为全卷积一级目标检测(fully convolutional one-stage object detector，简称fcos)小网络。对于检出的属于类别集合b中的目标，当检出框的置信度c大于阈值a，小于阈值b(即a《c《b)时，以检出框为中心，抠取一个小图片(128*128)，使用第二检测网络重新检测是否含有瑕疵。由于抠取的图片尺寸很小，在此小图片内检测小尺寸目标，相对来说比较简单，可以做到很高的准确率，以使得可以滤掉很多大网络的误报。使用两个检测网络级联，可以保证系统的高检出率和准确率。对于其他的大目标类别，单个大网络可以保证高检出率和准确率，不需要通过小网络了。图4是根据本发明实施例一的图像识别方法中外扩小目标框示意图，如图4所示，使其能框住feature map上的点，从而使其训练时能被匹配上。
59.步骤s208，依据识别结果数据集和目标对象，确定待检测对象是否满足检测需求，得到识别结果。
60.基于步骤s204中得到的识别结果数据集和步骤s206中得到的目标对象，在待检测对象为果冻图像的情况下，判断该果冻图像是否为瑕疵果冻，并依据判断结果生成识别结果，即，识别结果包括：有瑕疵的果冻或无瑕疵的果冻。
61.综上，本技术实施例提供的fcos检测网络如图5所示，图5是根据本发明实施例一的图像识别方法中改进型fcos果冻瑕疵检测算法网络结构意图，其中，fcos检测网络主要包含3部分：主干网络，fpn，预测head。相对于标准型fcos检测算法，其主要改进点如下：
62.1.在果冻数据上直接训练，训练过程中会更新主干网络上bn(batch normal izat ion)层的参数。此外，对于一些非常小的目标框，训练时对其进行外扩(如图4所示)，保证其能被匹配上。如此可以使得网络训练得更好；
63.2.对标准的resnet网络进行了改进，将第一个卷积层后面的maxpooling层去掉，使得主干网络的下采样倍数变大，最终，我们使得feature map下采样倍数为4，8，16，32，这样可以使得果冻瑕疵中的小目标的特征损失较少，有助于提高小目标的检出率。
64.3.fcos的fpn层的不同feature map的预测分支采用独立结构，更适应于不同feature map上不同尺度的目标框预测，提高了整体网络的拟合能力，预测head的结构如图6所示，图6是根据本发明实施例一的图像识别方法中果冻瑕疵检测网络预测head结构示意图。
65.在本发明实施例中，通过获取待检测对象；通过第一检测网络，对待检测对象进行第一次识别，得到待检测对象对应的识别结果数据集，其中，识别结果数据集用于指示待检测对象所属的检测类别；依据识别结果数据集中满足指定条件的目标框获取图像块，并将图像块输入第二检测网络进行第二次识别，得到目标对象；依据识别结果数据集和目标对象，确定待检测对象是否满足检测需求，得到识别结果，达到了获得高的检出率和准确率的目的，从而实现了降低误报率，提升质检准确率的技术效果，进而解决了由于现有技术在对果冻进行质检的过程中所适用的算法易产生误报率，从而降低了质检的准确率的技术问
题。
66.可选的，本技术实施例提供的图像识别方法还包括：将待检测对象所属类别的图像数据输入神经网络中进行训练，更新神经网络中的批量规范化层的参数。
67.可选的，本技术实施例提供的图像识别方法还包括：对第一检测网络和第二检测网络进行训练和预测，其中，对第一检测网络和第二检测网络进行训练包括：利用包含有无瑕疵的图片数据对定义的检测类别的特征进行学习；对第一检测网络和第二检测网络进行预测包括：利用训练后的第一检测网络和第二检测网络输出分类和检测得分，将检测得分转化为瑕疵框类别和位置。
68.进一步地，可选的，利用包含有无瑕疵的图片数据对定义的检测类别的特征进行学习包括：获取训练集，在线数据增强，得到增强后的数据集，其中，训练集中包括：无瑕疵的图片数据；对增强后的数据集进行特征提取和融合，计算像素分类总的损失，通过反向传播算法更新网络参数。
69.本技术实施例提供的图像识别方法分为训练和预测两大部分，训练部分是利用大量数据(有无瑕疵果冻图片)对定义的检测类别的特征进行学习的过程(利用不包含瑕疵图片对模型进行训练，可以降低误报率)。
70.训练网络的时候，我们对果冻数据进行了在线数据增强。除了训练检测网络常见的随机缩放，抠取，旋转等数据增强策略，对较小的目标框(本项目中宽或高小于4)的小边进行了扩大，这样一来可以使得这些小目标框在训练过程中能100％的被匹配到，从而使得网络得到更好的训练。
71.预测部分则是利用训练好的模型输出分类和检测得分，将得分转化为瑕疵框类别和位置的过程。
72.其中，第一阶段：图7是根据本发明实施例一的图像识别方法中网络训练过程的示意图，如图7所示，训练过程具体如下：
73.step1，像素分类分支loss计算：对每个像素点，对预测结果同真实类别进行loss计算，采用多类交叉熵计算损失，每个像素分类损失如下
[0074][0075]
则针对像素分类的总loss可以计算如下
[0076][0077]
其中，n为待分类像素总数目，m为类别总数目，y
o，c
为对应像素o是否为类别c,若属于某一类别c，则y
o，c
为1，否则y
o，c
为0。p
o，c
是模型对像素o属于类别c的概率预测。
[0078]
step2，目标检测分支loss计算：对于每个像素点，若为负样本，则不参与计算，若为正样本，则计算采用如下方式，设目标框位置为(x1,y1,x2,y2),当下目标点位置为(x,y),图片大小为(w,h)，则回归目标为((x-x1)/w,(y-y1)/h,(x2-x)/w,(y2-y)/h)，若预测结果为(pred_x1,pred_y1,pred_x2,pred_y2)并且根据smooth l1 loss计算bbox loss,其中
[0079][0080]
step3，最终loss根据两个loss加权得到
[0081][0082]
可选的，利用训练后的第一检测网络和第二检测网络输出分类和检测得分，将检测得分转化为瑕疵框类别和位置包括：对待识别对象进行预处理，得到分类和检测得分；通过向前预测计算，将分类中属于正常的待识别对象进行筛选，获取分类中属于瑕疵的待识别对象和对应的检测得分；将检测得分转化为瑕疵框类别和位置。
[0083]
第二阶段：图8是根据本发明实施例一的图像识别方法中网络预测过程的示意图，如图8所示，预测过程具体如下：
[0084]
step1，对果冻图像数据进行预处理；
[0085]
step2，使用神经网络前向计算，得到框分类分值预测值，框centerness分支预测值和框坐标分支预测值；
[0086]
step3，结合框分类分值预测值，框centerness分支预测值和框坐标分支预测值进行非极大值抑制(non-maximun suppression，简称nms)得到检测框信息。
[0087]
本技术实施例提供的图像识别方法将易混背景算成检测类别以降低误报率，其中，在果冻瑕疵检测问题中，果冻中的某些正常成分，例如水果的黑籽，果茎，部分果肉，等等，与瑕疵中的黑渣，油漆，纤维，料垢长得非常像。此外，拍摄果冻照片时，由于果冻表面凹凸不平，表面有些地方容易反光，产生阴影，这些阴影与瑕疵中的黑渣长得非常像，如图8a-d所示。这些正常成分与瑕疵长得非常像，如果不对它们进行处理，它们非常容易被误检为瑕疵，而为了将这些误检过滤掉，需要调高对应瑕疵类别的阈值，这样会降低这类瑕疵的检出率。如果将这些容易与瑕疵混淆的类别统统算背景，最终瑕疵检测器的性能会很差，会产生大量误报和漏报，无法满足客户要求。
[0088]
对此，本技术实施例提供的图像识别方法将这些容易与瑕疵混淆的正常成分也进行分类标注，作为瑕疵检测器的检测类别。网络做前向预测的时候，再将预测的正常成分去掉，只有预测中包含真正的瑕疵类别，才算瑕疵果冻。这种方法可以让这些与瑕疵相似的正常成分得到更好的训练，使得网络更好地学习到他们和真正瑕疵之间的差别信息，从而对它们有更好地区分。实验表明，将这些与瑕疵相似的正常成分加入到检测网络的检测目标以后，误报会大幅降低，最终满足客户的要求。
[0089]
其中，图8a为字体阴影，图8b为果肉，图8c为气泡反射，图8d为水滴阴影。
[0090]
实施例2
[0091]
根据本发明实施例的另一方面，还提供了一种模型训练方法，图9是根据本发明实施例二的模型训练方法的流程图，如图9所示，本技术实施例提供的模型训练方法包括：
[0092]
步骤s902，利用包含有无瑕疵的图片数据对定义的检测类别的特征进行学习，对第一检测网络和第二检测网络进行训练；
[0093]
步骤s904，利用训练后的第一检测网络和第二检测网络进行预测，输出分类和检测得分；
[0094]
步骤s906，将检测得分转化为瑕疵框类别和位置。
[0095]
可选的，步骤s902中利用包含有无瑕疵的图片数据对定义的检测类别的特征进行学习，对第一检测网络和第二检测网络进行训练包括：获取训练集，在线数据增强，得到增强后的数据集，其中，训练集中包括：无瑕疵的图片数据；对增强后的数据集进行特征提取和融合，计算像素分类总的损失，通过反向传播算法更新网络参数；依据更新后的网络参数
对第一检测网络和第二检测网络进行训练。
[0096]
其中，训练过程具体如下：
[0097]
step1，像素分类分支loss计算：对每个像素点，对预测结果同真实类别进行loss计算，采用多类交叉熵计算损失，每个像素分类损失如下
[0098][0099]
则针对像素分类的总loss可以计算如下
[0100][0101]
其中，n为待分类像素总数目，m为类别总数目，y
o，c
为对应像素o是否为类别c,若属于某一类别c，则y
o，c
为1，否则y
o，c
为0。p
o，c
是模型对像素o属于类别c的概率预测。
[0102]
step2，目标检测分支loss计算：对于每个像素点，若为负样本，则不参与计算，若为正样本，则计算采用如下方式，设目标框位置为(x1,y1,x2,y2),当下目标点位置为(x,y),图片大小为(w,h)，则回归目标为((x-x1)/w,(y-y1)/h,(x2-x)/w,(y2-y)/h)，若预测结果为(pred_x1,pred_y1,pred_x2,pred_y2)并且根据smooth l1 loss计算bbox loss,其中
[0103][0104]
step3，最终loss根据两个loss加权得到
[0105][0106]
可选的，利用训练后的第一检测网络和第二检测网络输出分类和检测得分，将检测得分转化为瑕疵框类别和位置包括：对待识别对象进行预处理，得到分类和检测得分；通过向前预测计算，将分类中属于正常的待识别对象进行筛选，获取分类中属于瑕疵的待识别对象和对应的检测得分；将检测得分转化为瑕疵框类别和位置。
[0107]
其中，预测过程具体如下：
[0108]
step1，对果冻图像数据进行预处理；
[0109]
step2，使用神经网络前向计算，得到框分类分值预测值，框centerness分支预测值和框坐标分支预测值；
[0110]
step3，结合框分类分值预测值，框centerness分支预测值和框坐标分支预测值进行非极大值抑制(non-maximun suppression，简称nms)得到检测框信息，检测框信息包括：瑕疵框类别和位置。
[0111]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
[0112]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的模型训练方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者
说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0113]
实施例3
[0114]
根据本发明实施例的另一方面，还提供了一种图像识别方法，图10是根据本发明实施例三的图像识别方法的流程示意图，如图10所示，包括：
[0115]
步骤s1002，通过客户端获取上传的待检测对象；
[0116]
本技术上述步骤s1002中，通过客户端，或，用户通过网页直接上传的图片获取该图片中的待检测对象，在本技术实施例中，待检测对象可以包括果冻。
[0117]
步骤s1004，通过第一检测网络，对待检测对象进行第一次识别，得到待检测对象对应的识别结果数据集，其中，识别结果数据集用于指示待检测对象所属的检测类别；
[0118]
本技术上述步骤s1004中，第一检测网络可以为全卷积一级目标检测(fully convolutional one-stage object detector，简称fcos)大网络，待检测对象可以包括：食用类胶质物质、医用类胶质物质或工业类胶质物质，在本技术实施例中待检测对象以果冻为例进行说明，通过fcos大网络对果冻进行第一次识别，得到该果冻中所有物质所属的全部待检测类别，例如，金属屑，食物纤维；图3是根据本发明实施例一的图像识别方法中两阶段果冻瑕疵检测算法示意图，如图3所示。
[0119]
步骤s1006，依据识别结果数据集中满足指定条件的目标框获取图像块，并将图像块输入第二检测网络进行第二次识别，得到目标对象；
[0120]
本技术上述步骤s1006中，第二检测网络可以为全卷积一级目标检测(fully convolutional one-stage object detector，简称fcos)小网络。对于检出的属于类别集合b中的目标，当检出框的置信度c大于阈值a，小于阈值b(即a《c《b)时，以检出框为中心，抠取一个小图片(128*128)，使用第二检测网络重新检测是否含有瑕疵。由于抠取的图片尺寸很小，在此小图片内检测小尺寸目标，相对来说比较简单，可以做到很高的准确率，以使得可以滤掉很多大网络的误报。使用两个检测网络级联，可以保证系统的高检出率和准确率。对于其他的大目标类别，单个大网络可以保证高检出率和准确率，不需要通过小网络了。图4是根据本发明实施例一的图像识别方法中外扩小目标框示意图，如图4所示，使其能框住feature map上的点，从而使其训练时能被匹配上。
[0121]
步骤s1008，依据识别结果数据集和目标对象，确定待检测对象是否满足检测需求，得到识别结果；
[0122]
基于步骤s1004中得到的识别结果数据集和步骤s1006中得到的目标对象，在待检测对象为果冻图像的情况下，判断该果冻图像是否为瑕疵果冻，并依据判断结果生成识别结果，即，识别结果包括：有瑕疵的果冻或无瑕疵的果冻。
[0123]
步骤s1010，向客户端返回识别结果。
[0124]
本技术上述步骤s1010中，基于步骤s1008得到的识别结果，返回客户端，以使得用户能够根据识别结果对相应的果冻执行剔除、淘汰或装箱的处理。
[0125]
实施例4根据本发明实施例，还提供了一种用于实施上述图像识别方法的装置，如图11所示，图11是根据本发明实施例四的图像识别装置的示意图，本技术实施例中的图像识别装置包括：获取模块1102，用于获取待检测对象；第一识别模块1104，用于通过第一检
测网络，对待检测对象进行第一次识别，得到待检测对象对应的识别结果数据集，其中，识别结果数据集用于指示待检测对象所属的检测类别；第二识别模块1106，用于依据识别结果数据集中满足指定条件的目标框获取图像块，并将图像块输入第二检测网络进行第二次识别，得到目标对象；结果获取模块1108，用于依据识别结果数据集和目标对象，确定待检测对象是否满足检测需求，得到识别结果。
[0126]
实施例5
[0127]
根据本发明实施例，还提供了一种用于实施上述模型训练方法的装置，如图12所示，图12是根据本发明实施例五的模型训练装置的示意图，本技术实施例中的模型训练装置包括：训练模块1202，用于利用包含有无瑕疵的图片数据对定义的检测类别的特征进行学习，对第一检测网络和第二检测网络进行训练；预测模块1204，用于利用训练后的第一检测网络和第二检测网络进行预测，输出分类和检测得分；转化模块1206，用于将检测得分转化为瑕疵框类别和位置。
[0128]
实施例6
[0129]
根据本发明另一实施例的又一方面，还提供了一种图像识别装置，如图13所示，图13是根据本发明实施例六的图像识别装置的示意图，包括：获取模块1302，用于通过客户端获取上传的待检测对象；第一识别模块1304，用于通过第一检测网络，对待检测对象进行第一次识别，得到待检测对象对应的识别结果数据集，其中，识别结果数据集用于指示待检测对象所属的检测类别；第二识别模块1306，用于依据识别结果数据集中满足指定条件的目标框获取图像块，并将图像块输入第二检测网络进行第二次识别，得到目标对象；第三识别模块1308，用于依据识别结果数据集和目标对象，确定待检测对象是否满足检测需求，得到识别结果；发送模块1310，用于向客户端返回识别结果。
[0130]
实施例7
[0131]
根据本发明另一实施例的一方面，还提供了一种非易失性存储介质，其中，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述实施例1至3中任意一个所述的方法。
[0132]
实施例8
[0133]
根据本发明另一实施例的一方面，还提供了一种处理器，其中，处理器用于运行程序，其中，程序运行时执行权上述实施例1至3中任意一个所述的方法。
[0134]
实施例9
[0135]
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的图像识别方法所执行的程序代码。
[0136]
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
[0137]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取待检测对象；通过第一检测网络，对待检测对象进行第一次识别，得到待检测对象对应的识别结果数据集，其中，识别结果数据集用于指示待检测对象所属的检测类别；依据识别结果数据集中满足指定条件的目标框获取图像块，并将图像块输入第二检测网络进行第二次识别，得到目标对象；依据识别结果数据集和目标对象，确定待检测对象是否满足检测需求，得到识别结果。
[0138]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：通过第一检测网络，对待检测对象进行第一次识别，得到待检测对象对应的识别结果数据集包括：通过第一检测网络对待检测对象进行识别，获取待检测对象中属于至少一个尺寸的检测类别；依据至少一个尺寸的检测类别生成待检测对象对应的识别结果数据集。
[0139]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：依据识别结果数据集中满足指定条件的目标框获取图像块，并将图像块输入第二检测网络进行第二次识别，得到目标对象包括：设置第一检测阈值和第二检测阈值；在指定条件包括待检测对象中检测框的置信度位于第一检测阈值和第二检测阈值之间的情况下，以检测框为中心获取图片块；将图像块输入第二检测网络进行第二次识别，得到目标对象；其中，待检测对象包括：果冻。
[0140]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：将待检测对象所属类别的图像数据输入神经网络中进行训练，更新神经网络中的批量规范化层的参数。
[0141]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：对第一检测网络和第二检测网络进行训练和预测，其中，对第一检测网络和第二检测网络进行训练包括：利用包含有无瑕疵的图片数据对定义的检测类别的特征进行学习；对第一检测网络和第二检测网络进行预测包括：利用训练后的第一检测网络和第二检测网络输出分类和检测得分，将检测得分转化为瑕疵框类别和位置。
[0142]
进一步地，可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：利用包含有无瑕疵的图片数据对定义的检测类别的特征进行学习包括：获取训练集，在线数据增强，得到增强后的数据集，其中，训练集中包括：无瑕疵的图片数据；对增强后的数据集进行特征提取和融合，计算像素分类总的损失，通过反向传播算法更新网络参数。
[0143]
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：利用训练后的第一检测网络和第二检测网络输出分类和检测得分，将检测得分转化为瑕疵框类别和位置包括：对待识别对象进行预处理，得到分类和检测得分；通过向前预测计算，将分类中属于正常的待识别对象进行筛选，获取分类中属于瑕疵的待识别对象和对应的检测得分；将检测得分转化为瑕疵框类别和位置。
[0144]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0145]
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0146]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0147]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个
网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0148]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0149]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0150]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。