一种产品检测方法、装置、设备及存储介质与流程

1.本技术涉及图像处理技术领域，具体而言，涉及一种产品检测方法、装置、设备及存储介质。


背景技术：

2.目前在对产品进行质检时，可以通过摄像头采集到的产品图像数据，来对产品进行自动化的识别与检测。但是，现有的图像检测方式，通常是针对拍摄到的产品的整体图像进行的识别与检测，此时产品的检测结果对于图像质量的依赖程度较高，因此，当产品的图像质量较低时，按照上述现有的整体图像检测方式，会导致产品的检测结果准确度降低。


技术实现要素：

3.有鉴于此，本技术的目的在于提供一种产品检测方法、装置、设备及存储介质，以解决因产品的图像质量较低导致的产品检测结果不准确的问题。
4.第一方面，本技术实施例提供了一种产品检测方法，所述产品检测方法包括：
5.获取图像采集装置针对目标产品采集后处理得到的目标图像；
6.从所述目标图像中，分别提取所述目标产品的整体图像以及所述目标产品的多个局部图像；
7.将所述目标产品的整体图像输入第一分类模型中，通过所述第一分类模型对所述整体图像所属的检测结果类别进行分类预测，输出得到针对所述目标产品的整体预测结果；
8.将所述多个局部图像输入第二分类模型中，通过所述第二分类模型对每一所述局部图像所属的检测结果类别进行分类预测，输出得到针对所述目标产品的多个局部预测结果；
9.根据所述整体预测结果以及所述多个局部预测结果，确定所述目标产品的最终产品检测结果。
10.第二方面，本技术实施例提供了一种产品检测装置，所述产品检测装置包括：
11.获取模块，用于获取图像采集装置针对目标产品采集后处理得到的目标图像；
12.提取模块，用于从所述目标图像中，分别提取所述目标产品的整体图像以及所述目标产品的多个局部图像；
13.整体检测模块，用于将所述目标产品的整体图像输入第一分类模型中，通过所述第一分类模型对所述整体图像所属的检测结果类别进行分类预测，输出得到针对所述目标产品的整体预测结果；
14.局部检测模块，用于将所述多个局部图像输入第二分类模型中，通过所述第二分类模型对每一所述局部图像所属的检测结果类别进行分类预测，输出得到针对所述目标产品的多个局部预测结果；
15.确定模块，用于根据所述整体预测结果以及所述多个局部预测结果，确定所述目
标产品的最终产品检测结果。
16.第三方面，本技术实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的产品检测方法的步骤。
17.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的产品检测方法的步骤。
18.本技术的实施例提供的技术方案可以包括以下有益效果：
19.本技术实施例提供的一种产品检测方法、装置、设备及存储介质，获取图像采集装置针对目标产品采集后处理得到的目标图像；从目标图像中，分别提取目标产品的整体图像以及目标产品的多个局部图像；将目标产品的整体图像输入第一分类模型中，通过第一分类模型对整体图像所属的检测结果类别进行分类预测，输出得到针对目标产品的整体预测结果；将多个局部图像输入第二分类模型中，通过第二分类模型对每一局部图像所属的检测结果类别进行分类预测，输出得到针对目标产品的多个局部预测结果；根据整体预测结果以及多个局部预测结果，确定目标产品的最终产品检测结果。通过这种方式，本技术能够解决因产品的图像质量较低导致的产品检测结果不准确的问题。
20.为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
21.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
22.图1示出了本技术实施例所提供的一种产品检测方法的流程示意图；
23.图2示出了本技术实施例所提供的一种确定目标产品的最终产品检测结果的方法的流程示意图；
24.图3a示出了本技术实施例所提供的第一种从目标图像中分别提取目标产品的整体图像以及局部图像的方法的流程示意图；
25.图3b示出了本技术实施例所提供的第一种从目标图像中分别提取出目标产品的整体图像以及局部图像的结果示意图；
26.图4a示出了本技术实施例所提供的第二种从目标图像中分别提取目标产品的整体图像以及局部图像的方法的流程示意图；
27.图4b示出了本技术实施例所提供的第二种从目标图像中分别提取出目标产品的整体图像以及局部图像的结果示意图；
28.图5示出了本技术实施例所提供的一种训练第一目标检测模型的方法的流程示意图；
29.图6示出了本技术实施例所提供的一种训练第一分类模型的方法的流程示意图；
30.图7示出了本技术实施例提供的一种产品检测装置的结构示意图；
31.图8示出了本技术实施例提供的一种计算机设备800的结构示意图。
具体实施方式
32.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，应当理解，本技术中附图仅起到说明和描述的目的，并不用于限定本技术的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本技术中使用的流程图示出了根据本技术的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本技术内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
33.另外，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
34.需要说明的是，本技术实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
35.目前在对产品进行质检时，可以通过摄像头采集到的产品图像数据，来对产品进行自动化的识别与检测。但是，现有的图像检测方式，通常是针对拍摄到的产品的整体图像进行的识别与检测，此时产品的检测结果对于图像质量的依赖程度较高，因此，当产品的图像质量较低时，按照上述现有的整体图像检测方式，会导致产品的检测结果准确度降低。
36.基于此，本技术实施例提供了一种产品检测方法、装置、设备及存储介质，获取图像采集装置针对目标产品采集后处理得到的目标图像；从目标图像中，分别提取目标产品的整体图像以及目标产品的多个局部图像；将目标产品的整体图像输入第一分类模型中，通过第一分类模型对整体图像所属的检测结果类别进行分类预测，输出得到针对目标产品的整体预测结果；将多个局部图像输入第二分类模型中，通过第二分类模型对每一局部图像所属的检测结果类别进行分类预测，输出得到针对目标产品的多个局部预测结果；根据整体预测结果以及多个局部预测结果，确定目标产品的最终产品检测结果。通过这种方式，本技术能够解决因产品的图像质量较低导致的产品检测结果不准确的问题。
37.下面对本技术实施例提供的一种产品检测方法、装置、设备及存储介质进行详细介绍。
38.参照图1所示，图1示出了本技术实施例所提供的一种产品检测方法的流程示意图，所述产品检测方法包括步骤s101-s105；具体的：
39.s101，获取图像采集装置针对目标产品采集后处理得到的目标图像。
40.这里，目标产品可以用于表征工业上生产的零器件或者机械产品，还可以用于表征通过食品加工生产出的各类食品(如饺子、蛋糕等)，对于上述目标产品所表征的具体产品类型，本技术实施例不作任何限定。
41.需要说明的是，上述图像采集装置用于采集目标产品的图像数据，上述目标图像中包含目标产品的完整图像，以通过采集到的目标图像来对目标产品进行产品检测；其中，
对于图像采集装置所属的具体设备型号(如，可以是不同型号的相机、摄像头等拍摄装置)以及上述目标图像的图像质量高低(如分辨率高低、清晰度大小等)，本技术实施例不作任何限定。
42.s102，从所述目标图像中，分别提取所述目标产品的整体图像以及所述目标产品的多个局部图像。
43.这里，考虑到不同产品的组成结构可能存在差异，因此，根据目标产品的具体组成结构，在本技术实施例中，上述步骤s102至少可以按照以下两种方式执行，具体的：
44.方式1、当目标产品具有可拆分结构时，也即，当目标产品本身还可以拆分为多个独立的子产品/实体对象时(如，目标产品可以是一盘饺子或是由多个零器件构成的机械产品等)，在执行步骤s102的过程中，可以依据目标产品在目标图像中的轮廓，从目标图像中，提取目标产品所在的图像区域作为目标产品的整体图像；依据每个子产品/实体对象在目标图像中的轮廓，从目标图像中，提取每个子产品/实体对象所在的图像区域作为目标产品的一个局部图像。
45.示例性的说明，以目标产品是一盘饺子为例，若目标产品中共包括12个饺子，则可以从目标图像中，提取装有12个饺子的盘子所在的图像区域作为目标产品的整体图像；从目标图像中，分别提取每一个饺子所在的图像区域作为目标产品的一个局部图像，从而得到目标产品的12个局部图像，且每一个局部图像对应一个饺子(即对应一个独立的子产品/实体对象)。
46.方式2、当目标产品不具有可拆分结构时，也即，当目标产品无法拆分成多个独立的子产品/实体对象时(相当于目标产品本身即为一个独立且不可拆分的实体对象)，在执行步骤s102的过程中，同样可以依据目标产品在目标图像中的轮廓，从目标图像中，提取目标产品所在的图像区域作为目标产品的整体图像；然后，通过对提取出的目标产品的整体图像进行图像切分的方式，得到目标产品的多个局部图像。
47.此时，与上述方式1中得到的局部图像不同的是，在方式2中得到的每一个局部图像仅用于表征目标产品的一个局部，而不再对应一个独立的子产品/实体对象。
48.示例性的说明，同样在食品领域中，以目标产品是一个八寸的圆形蛋糕为例，则与上述示例中“一盘饺子”不同的是，蛋糕本身即为一个独立且不可拆分的实体对象，在执行步骤s102的过程中，在从目标图像中，提取蛋糕所在的图像区域作为目标产品的整体图像之后，可以通过图像切分的方式，将目标图像中蛋糕所在的图像区域切分为多个局部图像，此时，与上述方式1不同的是，切分得到的局部图像的数量并不固定，也即，切分得到的每一个局部图像并不对应一个独立的子产品/实体对象。
49.需要说明的是，在本技术实施例中，无论按照何种方式执行上述步骤s102，目标产品的整体图像以及多个局部图像都是从同一张目标图像中提取得到的，而不必再对目标产品的不同局部分别进行单独拍摄，以便节约目标产品的产品检测时间，有利于提高目标产品的产品检测效率。
50.s103，将所述目标产品的整体图像输入第一分类模型中，通过所述第一分类模型对所述整体图像所属的检测结果类别进行分类预测，输出得到针对所述目标产品的整体预测结果。
51.这里，第一分类模型属于预先训练好的图像分类模型；其中，第一分类模型可以是
基于resnet网络构建的图像分类模型，也可以是基于efficientnet网络构建的图像分类模型；对于第一分类模型的具体模型结构，本技术实施例不作任何限定。
52.在本技术实施例中，第一分类模型用于针对输入的目标产品的整体图像，从预设的多个检测结果类别中，确定目标产品的整体图像属于每种检测结果类别的概率值；其中，预设的检测结果类别的类别数量以及具体类型可以根据实际的产品检测需求设定，对此本技术实施例不作任何限定。
53.具体的，在对不同类型的目标产品进行产品检测时，基于不同的产品检测需求，预设的检测结果类别可以不同，例如，当目标产品属于工业上生产的零器件或者机械产品时，实际的产品检测需求可以是：对目标产品的产品质量进行检测，此时作为一可选实施例，可以预设上述检测结果类别为以下三种类别：好、中、差；从而通过第一分类模型，确定输入的目标产品的整体图像分别属于上述三种类别的概率值。
54.当目标产品属于肉类等生鲜类食品时，实际的产品检测需求可以是：对目标产品的生熟度进行检测，此时作为一可选实施例，可以预设上述检测结果类别为以下四种类别：全熟、七成熟、三成熟、全生；从而通过第一分类模型，确定输入的目标产品的整体图像分别属于上述四种类别的概率值。
55.当目标产品属于蛋糕、披萨等外表面撒有装饰类物料的产品时，实际的产品检测需求可以是：对装饰类物料在目标产品外表面上的分布均匀程度进行检测，此时作为一可选实施例，可以预设上述检测结果类别为以下两种类别：分布均匀、分布不均匀；从而通过第一分类模型，确定输入的目标产品的整体图像分别属于上述两种类别的概率值。
56.除此之外，当目标产品属于蛋糕这类需要保证产品外观符合指定的设计标准(如，蛋糕整体使用什么颜色的奶油、蛋糕表面摆放哪些装饰物、装饰物的外观是否符合指定的设计样式等)的产品时，实际的产品检测需求还可以是：对目标产品的产品外观是否符合指定的设计标准进行检测，此时作为一可选实施例，可以预设上述检测结果类别为以下两种类别：产品外观符合指定的设计标准、产品外观不符合指定的设计标准；从而通过第一分类模型，确定输入的目标产品的整体图像分别属于上述两种类别的概率值。
57.s104，将所述多个局部图像输入第二分类模型中，通过所述第二分类模型对每一所述局部图像所属的检测结果类别进行分类预测，输出得到针对所述目标产品的多个局部预测结果。
58.这里，与上述第一分类模型类似，第二分类模型同样属于预先训练好的图像分类模型；其中，第二分类模型可以是基于resnet网络构建的图像分类模型，也可以是基于efficientnet网络构建的图像分类模型；对于第二分类模型的具体模型结构，本技术实施例同样不作任何限定。
59.具体的，第二分类模型对输入的每一个局部图像进行分类预测的过程与上述第一分类模型对输入的整体图像进行分类预测的过程相同，重复之处在此不再赘述。
60.需要说明的是，步骤s104中第二分类模型同样是用于从预设的多个检测结果类别中，确定目标产品的每一个局部图像属于每种检测结果类别的概率值；其中，上述预设的多个检测结果类别与上述步骤s103中所述预设的多个检测结果类别相同。
61.s105，根据所述整体预测结果以及所述多个局部预测结果，确定所述目标产品的最终产品检测结果。
62.这里，结合上述步骤s103-s104可知，整体预测结果用于表征目标产品整体属于每个检测结果类别的概率值，局部预测结果则用于表征目标产品的每一个局部属于每个检测结果类别的概率值，基于此，在根据整体预测结果以及多个局部预测结果来确定目标产品的最终产品检测结果时，可以有多种不同的可选判别方式，对于步骤s105的具体执行方式，本技术实施例不作任何限定。
63.这里，在一种优选的实施方案中，参照图2所示，图2示出了本技术实施例所提供的一种确定目标产品的最终产品检测结果的方法的流程示意图，在执行步骤s105时，所述方法包括步骤s201-s203；具体的：
64.s201，针对每种检测结果类别，根据所述整体预测结果中所述目标产品属于该种检测结果类别的概率值，确定每一所述局部预测结果中所述目标产品属于该种检测结果类别的最终分数。
65.具体的，以对目标产品进行质量检测为例，若预设的多种检测结果类别为：质量优秀、质量达标以及质量不达标；则针对每种检测结果类别，虽然每个局部预测结果中包含有目标产品分别属于每种检测结果类别的概率值(如，局部预测结果a可以是：目标产品a的局部a属于质量优秀的概率为0.66、属于质量达标的概率为0.12、属于质量不达标的概率为0.22)，但是，通过执行步骤s201，还可以借助于整体预测结果中目标产品属于每种检测结果类别的概率值(如，整体预测结果a1可以是：目标产品a整体属于质量优秀的概率为0.81、属于质量达标的概率为0.13、属于质量不达标的概率为0.06)，来对局部预测结果中目标产品属于每种检测结果类别的概率值进行加权判别，从而确定每一局部预测结果中目标产品属于每种检测结果类别的最终分数。
66.这里，可以按照以下步骤a1-步骤a3，来执行上述步骤s201，具体的：
67.步骤a1、针对每一所述局部预测结果，从该局部预测结果中，获取所述目标产品属于该种检测结果类别的概率值作为第一概率值。
68.示例性的说明，仍以局部预测结果a是：目标产品a的局部a属于质量优秀的概率为0.66、属于质量达标的概率为0.12、属于质量不达标的概率为0.22为例，则针对“质量优秀”这一检测结果类别，在执行步骤a1时，可以从局部预测结果a中，获取目标产品a(相当于局部图像中包含的目标产品a的局部a)属于“质量优秀”这一检测结果类别的概率值“0.66”作为第一概率值。
69.步骤a2、从所述整体预测结果中，获取所述目标产品属于该种检测结果类别的概率值的相反数作为第二概率值。
70.示例性的说明，仍以整体预测结果a1是：目标产品a整体属于质量优秀的概率为0.81、属于质量达标的概率为0.13、属于质量不达标的概率为0.06为例，则针对“质量优秀”这一检测结果类别，在执行步骤a2时，可以从整体预测结果a1中，获取目标产品a(相当于整体图像中包含的目标产品a的整体)属于“质量优秀”这一检测结果类别的概率值“0.81”的相反数
“‑
0.81”作为第二概率值。
71.步骤a3、计算所述第一概率值与目标指数函数值的熵值，将计算结果作为该局部预测结果中所述目标产品属于该种检测结果类别的最终分数。
72.这里，在步骤a3中，所述目标指数函数值用于表征底数为自然常数e且指数为所述第二概率值的指数函数值。
73.具体的，步骤a3可以按照以下公式执行：
[0074][0075]
其中，用于表征上述第一概率值，也即，用于表征局部预测结果中，目标产品属于第i种检测结果类别的概率值；
[0076]
用于表征上述第二概率值，也即，用于表征整体预测结果中，目标产品属于第i种检测结果类别的概率值的相反数；
[0077]
scorei用于表征局部预测结果中目标产品属于第i种检测结果类别的最终分数。
[0078]
示例性的说明，以上述示例中针对“质量优秀”这一检测结果类别，获取到的第一概率值“0.66”以及第二概率值
“‑
0.81”为例，此时，将代入上述公式，即可计算得出：在局部检测结果a中，目标产品a(相当于局部图像中包含的目标产品a的局部a)属于“质量优秀”这一检测结果类别的最终分数＝0.66/e-0.81
＝1.48。
[0079]
s202，针对每一所述局部预测结果，根据该局部预测结果中所述目标产品属于每种检测结果类别的最终分数，从多种检测结果类别中，确定最终分数高于预设阈值的目标检测结果类别作为该局部预测结果对应的所述目标产品的局部检测结果。
[0080]
具体的，仍以上述局部预测结果a以及整体预测结果a1为例，则根据上述公式可以计算得到：在局部预测结果a中，目标产品a(相当于局部图像中包含的目标产品a的局部a)属于“质量优秀”这一检测结果类别的最终分数＝0.66/e-0.81
＝1.48；在局部预测结果a中，目标产品a属于“质量达标”这一检测结果类别的最终分数＝0.12/e-0.13
＝0.14；在局部预测结果a中，目标产品a属于“质量不达标”这一检测结果类别的最终分数＝0.22/e-0.06
＝0.23。
[0081]
此时，若以预设阈值是0.8为例，则可以从上述三种检测结果类别中，确定最终分数高于预设阈值的目标检测结果类别是“质量优秀”这一检测结果类别，也即，可以确定局部预测结果a对应的目标产品的局部检测结果a
′
是：在局部预测结果a中，目标产品a(相当于局部图像中包含的目标产品a的局部a)属于“质量优秀”这一检测结果类别。
[0082]
s203，根据所述目标产品的每一所述局部检测结果，将出现概率最高的局部检测结果表征的检测结果类别作为所述目标产品的最终产品检测结果。
[0083]
示例性的说明，以目标产品a的局部检测结果数量是10个为例(即目标产品a的局部图像的数量是10个)，若目标产品a属于“质量优秀”这一检测结果类别的局部检测结果数量是7个，目标产品a属于“质量达标”这一检测结果类别的局部检测结果数量是2个，目标产品a属于“质量不达标”这一检测结果类别的局部检测结果数量是1个，则可以确定目标产品a的最终产品检测结果为：目标产品a属于“质量优秀”这一检测结果类别。
[0084]
这里，在另一种可选的实施方案中，在执行步骤s105时，除上述步骤s201-s203所述的优选实施方案之外，还可以不必计算上述步骤s201中所述的最终分数，直接使用局部预测结果中目标产品属于每种检测结果类别的概率值来进行计算，具体的：
[0085]
仍以上述局部预测结果a为例，则可以不必按照上述步骤s201中给出计算公式来计算上述最终分数，可以直接使用局部预测结果a中目标产品属于每种检测结果类别的概率值得到：在局部预测结果a中，目标产品a(相当于局部图像中包含的目标产品a的局部a)
属于“质量优秀”这一检测结果类别的概率值＝0.66；在局部预测结果a中，目标产品a属于“质量达标”这一检测结果类别的最终分数＝0.12；在局部预测结果a中，目标产品a属于“质量不达标”这一检测结果类别的最终分数＝0.22。
[0086]
此时，作为一可选实施例，可以直接按照局部预测结果中的最大概率值“0.66”，确定局部检测结果a
′
是：在局部预测结果a中，目标产品a属于“质量优秀”这一检测结果类别；从而，在得到每个局部检测结果之后，按照与上述步骤s203相同的方式，来确定目标产品的最终产品检测结果。
[0087]
下面针对上述各步骤在本技术实施例中的具体实施过程，分别进行详细说明：
[0088]
针对上述步骤s102的具体实施过程，当目标产品具有可拆分结构时，也即，在按照上述方式1来执行步骤s102时，参照图3a所示，图3a示出了本技术实施例所提供的第一种从目标图像中分别提取目标产品的整体图像以及局部图像的方法的流程示意图，所述方法包括步骤s301-s302；具体的：
[0089]
s301，将所述目标图像输入第一目标检测模型中，通过所述第一目标检测模型对所述目标产品进行图像目标检测，输出得到所述目标产品的整体图像。
[0090]
这里，第一目标检测模型属于预先训练好的图像目标检测模型；其中，第一目标检测模型可以是基于ssd目标检测算法构建的图像目标检测模型，也可以是基于yolo目标检测算法构建的图像目标检测模型；对于第一目标检测模型的具体模型结构，本技术实施例不作任何限定。
[0091]
具体的，以目标产品是一盘饺子为例，图3b示出了本技术实施例所提供的第一种从目标图像中分别提取出目标产品的整体图像以及局部图像的结果示意图；如图3b所示，将采集到的一盘饺子(即目标产品)的目标图像300输入第一目标检测模型中，通过第一目标检测模型对目标产品进行图像目标检测，可以输出得到目标产品的整体图像310(即目标图像300中整盘饺子所在的图像区域)。
[0092]
s302，通过所述第一目标检测模型对所述目标图像中包含的每一实体对象进行图像目标检测，输出得到所述目标产品的多个局部图像。
[0093]
这里，在上述步骤s301-s302中，也即，当目标产品具有可拆分结构时，目标产品由多个实体对象组成，且每个实体对象对应目标产品的一个局部图像。
[0094]
具体的，以目标产品是一盘饺子为例，如图3b所示，目标产品中包括9个饺子，也即，目标产品可以拆分为9个独立的子产品/实体对象；此时，通过第一目标检测模型对目标图像300中包含的每一个实体对象(即饺子)进行图像目标检测，可以输出得到目标产品的9个局部图像320；其中，每一个局部图像320对应于目标图像300中一个饺子所在的图像区域。
[0095]
针对上述步骤s102的具体实施过程，当目标产品不具有可拆分结构时，也即，在按照上述方式2来执行步骤s102时，参照图4a所示，图4a示出了本技术实施例所提供的第二种从目标图像中分别提取目标产品的整体图像以及局部图像的方法的流程示意图，所述方法包括步骤s401-s402；具体的：
[0096]
s401，将所述目标图像输入第二目标检测模型中，通过所述第二目标检测模型对所述目标产品进行图像目标检测，输出得到所述目标产品的整体图像。
[0097]
这里，与第一目标检测模型类似，第二目标检测模型也属于预先训练好的图像目
标检测模型；其中，第二目标检测模型同样可以是基于ssd目标检测算法构建的图像目标检测模型，也可以是基于yolo目标检测算法构建的图像目标检测模型；对于第二目标检测模型的具体模型结构，本技术实施例同样不作任何限定。
[0098]
具体的，步骤s401中输出得到目标产品的整体图像的方式与上述步骤s301相同，重复之处在此不再赘述。
[0099]
s402，将所述整体图像裁切为多个图像块，并将裁切得到的所述多个图像块作为所述目标产品的多个局部图像。
[0100]
具体的，以目标产品是一个圆形蛋糕为例，图4b示出了本技术实施例所提供的第二种从目标图像中分别提取出目标产品的整体图像以及局部图像的结果示意图，如图4b所示，将采集到的蛋糕(即目标产品)的目标图像400输入第二目标检测模型中，通过第二目标检测模型对蛋糕进行图像目标检测，可以输出得到蛋糕的整体图像410(即蛋糕的目标图像400中蛋糕所在的图像区域)。
[0101]
这里，在一种优选实施方案中，在对目标产品的整体图像进行裁切时，可以按照相同的图像尺寸进行裁切，也即，可以将整体图像中的目标产品平均裁切为多个尺寸相同的局部，获取每一个目标产品的局部所在的图像区域作为上述局部图像，以降低因局部图像中包含的目标产品的局部大小不一导致的产品检测结果不准确的风险，提高目标产品的产品检测准确率。
[0102]
具体的，仍以目标产品是一个圆形蛋糕为例，如图4b所示，可以按照相同的图像尺寸，将整体图像中的目标产品所在图像区域平均裁切为8个局部图像块420；其中，每一个局部图像块420中都包含有的蛋糕(即目标产品)，以裁切后得到的8个局部图像块420作为蛋糕(即目标产品)的多个局部图像。
[0103]
需要说明的是，在对目标产品的整体图像进行裁切时，既可以按照上述优选实施方案，对整体图像中目标产品所在的图像区域进行平均切分，将整体图像中的目标产品平均裁切为多个尺寸相同的局部；也可以对整体图像中目标产品所在的图像区域进行随机切分，得到多个尺寸不一的目标产品的局部图像；对此，本技术实施例不作任何限定。
[0104]
针对上述步骤s301中出现的第一目标检测模型以及上述步骤s401中出现的第二目标检测模型，需要说明的是，第一目标检测模型与第二目标检测模型都属于用于对输入的图像数据进行目标检测的图像目标检测模型，第一目标检测模型与第二目标检测模型的模型训练方式相同，下面以第一目标检测模型为例，参照图5所示，图5示出了本技术实施例所提供的一种训练第一目标检测模型的方法的流程示意图，所述方法包括步骤s501-s503；具体的：
[0105]
s501，获取多个包含有第一产品的第一样本图像作为第一训练样本数据。
[0106]
这里，第一产品可以拆分为多个独立的样本对象，也即，第一产品用于表征具有可拆分结构的产品，例如，第一产品可以是一盘饺子或是由多个零器件构成的机械产品等；对于第一产品所属的具体产品类型，本技术实施例不作任何限定。
[0107]
需要说明的是，与训练第一目标检测模型不同的是，在训练第二目标检测模型时，由于第二目标检测模型不需要学习如何从输入的图像数据中提取出目标产品的局部图像，也即，第二目标检测模型主要用于在目标产品不具有拆分结构时，从输入的图像数据中提
取出目标产品的整体图像；因此，在训练第二目标检测模型时，除按照步骤s501所述的方式获取第一样本图像作为训练样本数据之外，还可以获取与目标产品同类型的第二产品的图像数据作为训练样本数据；其中，第二产品可以具有拆分结构也可以不具有拆分结构，对此，本技术实施例不作任何限定。
[0108]
s502，在每一所述第一样本图像中，对所述第一产品以及每一所述样本对象在该第一样本图像中的图像位置以及图像尺寸分别进行标记，得到每一所述第一样本图像的检测标记数据。
[0109]
这里，出于训练第一目标检测模型学习对输入的图像数据中包含的第一产品整体/局部进行图像目标检测的目的，因此，在对每一个第一样本图像进行标注时，既需要对每一个第一样本图像中第一产品所在的图像位置以及图像尺寸进行标记，也需要对每一个第一样本图像中第一产品的每一个局部(即拆分后的每一个样本对象)所在的图像位置以及图像尺寸进行标记。
[0110]
具体的，在执行步骤s502时，可以在第一样本图像的像素坐标系下，对第一产品/样本对象在第一样本图像中的x轴坐标以及y轴坐标进行标记，得到第一产品/样本对象在第一样本图像中的图像位置；可以在第一样本图像的像素坐标系下，对第一产品/样本对象在第一样本图像中的宽度w以及高度h进行标记，得到第一产品/样本对象在第一样本图像中的图像尺寸。
[0111]
s503，基于所述第一训练样本数据以及每一所述第一样本图像的检测标记数据，对第一目标检测模型进行训练，直至第一目标检测模型达到收敛。
[0112]
具体的，在执行步骤s503时，将第一训练样本数据输入至第一目标检测模型中，可以得到第一目标检测模型对输入的每一个第一样本图像中的第一产品/样本对象进行图像目标检测的预测结果；从而，根据每一个第一样本图像的检测标记数据(相当于第一产品/样本对象在每一个第一样本图像中的真实图像目标检测结果)与上述预测结果之间的损失值，对第一目标检测模型的模型参数进行调整，得到包括调整好的模型参数在内的第一目标检测模型(也即第一目标检测模型达到收敛)。
[0113]
需要说明的是，在对第一目标检测模型进行模型训练时，既可以使用交叉熵损失函数来计算上述检测标记数据与上述预测结果之间的损失，也可以使用focal loss等其他目标检测模型中可用的损失函数进行计算；对此，本技术实施例不进行任何限定。
[0114]
针对上述步骤s103中出现的第一分类模型以及上述步骤s104中出现的第二分类模型，需要说明的是，第一分类模型与第二分类模型都属于用于对输入的图像数据进行图像分类的图像分类模型，第一分类模型与第二分类模型的模型训练方式相同，下面以第一分类模型为例，参照图6所示，图6示出了本技术实施例所提供的一种训练第一分类模型的方法的流程示意图，所述方法包括步骤s601-s603；具体的：
[0115]
s601，获取多个包含有第二产品的第二样本图像作为第二训练样本数据。
[0116]
这里，第二产品用于表征与目标产品同类型的产品，也即，若目标产品具有拆分结构，则第二产品用于表征具有拆分结构的产品；若目标产品不具有拆分结构，则第二产品用于表征不具有拆分结构的产品。基于此，对于第二产品所属的具体产品类型，本技术实施例同样不作任何限定。
[0117]
s602，在每一所述第二样本图像中，对所述第二产品在该第二样本图像中对应的
检测结果类别进行标记，得到每一所述第二样本图像的分类标记数据。
[0118]
具体的，在执行步骤s602时，可以按照上述步骤s103中预设的多个检测结果类别，来对第二产品在每一个第二样本图像中对应的检测结果类别进行标记。
[0119]
示例性的说明，以预设的多个检测结果类别是：质量优秀、质量达标以及质量不达标为例，则在执行步骤s602时，可以将质量优秀的第二产品所在的第二样本图像标记为“质量优秀”；将质量达标的第二产品所在的第二样本图像标记为“质量达标”；将质量不达标的第二产品所在的第二样本图像标记为“质量不达标”。
[0120]
s603，基于所述第二训练样本数据以及每一所述第二样本图像的分类标记数据，对第一分类模型进行训练，直至第一分类模型达到收敛。
[0121]
具体的，在执行步骤s603时，将第二训练样本数据输入至第一分类模型中，可以得到第一分类模型对输入的每一个第二样本图像中的第二产品进行图像分类的分类预测结果(即预测第二样本图像中的第二产品属于哪一个预设的检测结果类别)；从而，根据每一个第二样本图像的分类标记数据与上述分类预测结果之间的损失值，对第一分类模型的模型参数进行调整，得到包括调整好的模型参数在内的第一分类模型(也即第一分类模型达到收敛)。
[0122]
需要说明的是，在对第一分类模型进行模型训练时，既可以使用交叉熵损失函数来计算上述分类标记数据与上述分类预测结果之间的损失，也可以使用log loss等其他图像分类模型中可用的损失函数进行计算；对此，本技术实施例不进行任何限定。
[0123]
需要说明的是，第二分类模型与第一分类模型的模型训练方式相同，仅需将上述第二样本图像替换为第二产品的局部图像(相当于第二样本图像进行图像裁切后得到的多个局部图像块)即可，重复之处在此不再赘述。
[0124]
本技术实施例提供的上述产品检测方法，获取图像采集装置针对目标产品采集后处理得到的目标图像；从目标图像中，分别提取目标产品的整体图像以及目标产品的多个局部图像；将目标产品的整体图像输入第一分类模型中，通过第一分类模型对整体图像所属的检测结果类别进行分类预测，输出得到针对目标产品的整体预测结果；将多个局部图像输入第二分类模型中，通过第二分类模型对每一局部图像所属的检测结果类别进行分类预测，输出得到针对目标产品的多个局部预测结果；根据整体预测结果以及多个局部预测结果，确定目标产品的最终产品检测结果。通过这种方式，本技术能够解决因产品的图像质量较低导致的产品检测结果不准确的问题。
[0125]
基于同一发明构思，本技术还提供了与上述产品检测方法对应的产品检测装置，由于本技术实施例中产品检测装置解决问题的原理与本技术实施例中上述产品检测方法相似，因此产品检测装置的实施可以参见上述产品检测方法的实施，重复之处在此不再赘述。
[0126]
参照图7所示，图7示出了本技术实施例提供的一种产品检测装置的结构示意图，所述产品检测装置包括：
[0127]
获取模块701，用于获取图像采集装置针对目标产品采集后处理得到的目标图像；
[0128]
提取模块702，用于从所述目标图像中，分别提取所述目标产品的整体图像以及所述目标产品的多个局部图像；
[0129]
整体检测模块703，用于将所述目标产品的整体图像输入第一分类模型中，通过所
述第一分类模型对所述整体图像所属的检测结果类别进行分类预测，输出得到针对所述目标产品的整体预测结果；
[0130]
局部检测模块704，用于将所述多个局部图像输入第二分类模型中，通过所述第二分类模型对每一所述局部图像所属的检测结果类别进行分类预测，输出得到针对所述目标产品的多个局部预测结果；
[0131]
确定模块705，用于根据所述整体预测结果以及所述多个局部预测结果，确定所述目标产品的最终产品检测结果。
[0132]
在一种可选的实施方式中，提取模块702，具体用于：
[0133]
将所述目标图像输入第一目标检测模型中，通过所述第一目标检测模型对所述目标产品进行图像目标检测，输出得到所述目标产品的整体图像；
[0134]
通过所述第一目标检测模型对所述目标图像中包含的每一实体对象进行图像目标检测，输出得到所述目标产品的多个局部图像；其中，所述目标产品由多个所述实体对象组成，且每个所述实体对象对应所述目标产品的一个局部图像。
[0135]
在一种可选的实施方式中，提取模块702，还用于：
[0136]
将所述目标图像输入第二目标检测模型中，通过所述第二目标检测模型对所述目标产品进行图像目标检测，输出得到所述目标产品的整体图像；
[0137]
将所述整体图像裁切为多个图像块，并将裁切得到的所述多个图像块作为所述目标产品的多个局部图像。
[0138]
在一种可选的实施方式中，确定模块705，具体用于：
[0139]
针对每种检测结果类别，根据所述整体预测结果中所述目标产品属于该种检测结果类别的概率值，确定每一所述局部预测结果中所述目标产品属于该种检测结果类别的最终分数；
[0140]
针对每一所述局部预测结果，根据该局部预测结果中所述目标产品属于每种检测结果类别的最终分数，从多种检测结果类别中，确定最终分数高于预设阈值的目标检测结果类别作为该局部预测结果对应的所述目标产品的局部检测结果；
[0141]
根据所述目标产品的每一所述局部检测结果，将出现概率最高的局部检测结果表征的检测结果类别作为所述目标产品的最终产品检测结果。
[0142]
在一种可选的实施方式中，在所述根据所述整体预测结果中所述目标产品属于该种检测结果类别的概率值，确定每一所述局部预测结果中所述目标产品属于该种检测结果类别的最终分数时，确定模块705，用于：
[0143]
针对每一所述局部预测结果，从该局部预测结果中，获取所述目标产品属于该种检测结果类别的概率值作为第一概率值；
[0144]
从所述整体预测结果中，获取所述目标产品属于该种检测结果类别的概率值的相反数作为第二概率值；
[0145]
计算所述第一概率值与目标指数函数值的熵值，将计算结果作为该局部预测结果中所述目标产品属于该种检测结果类别的最终分数；其中，所述目标指数函数值用于表征底数为自然常数e且指数为所述第二概率值的指数函数值。
[0146]
在一种可选的实施方式中，提取模块702，用于通过以下方法，训练得到所述第一目标检测模型：
[0147]
获取多个包含有第一产品的第一样本图像作为第一训练样本数据；其中，所述第一产品可以拆分为多个独立的样本对象；
[0148]
在每一所述第一样本图像中，对所述第一产品以及每一所述样本对象在该第一样本图像中的图像位置以及图像尺寸分别进行标记，得到每一所述第一样本图像的检测标记数据；
[0149]
基于所述第一训练样本数据以及每一所述第一样本图像的检测标记数据，对第一目标检测模型进行训练，直至第一目标检测模型达到收敛。
[0150]
在一种可选的实施方式中，整体检测模块703，用于通过以下方法，训练得到所述第一分类模型：
[0151]
获取多个包含有第二产品的第二样本图像作为第二训练样本数据；其中，所述第二产品用于表征与所述目标产品同类型的产品；
[0152]
在每一所述第二样本图像中，对所述第二产品在该第二样本图像中对应的检测结果类别进行标记，得到每一所述第二样本图像的分类标记数据；
[0153]
基于所述第二训练样本数据以及每一所述第二样本图像的分类标记数据，对第一分类模型进行训练，直至第一分类模型达到收敛。
[0154]
本技术实施例提供的上述产品检测装置，获取图像采集装置针对目标产品采集后处理得到的目标图像；从目标图像中，分别提取目标产品的整体图像以及目标产品的多个局部图像；将目标产品的整体图像输入第一分类模型中，通过第一分类模型对整体图像所属的检测结果类别进行分类预测，输出得到针对目标产品的整体预测结果；将多个局部图像输入第二分类模型中，通过第二分类模型对每一局部图像所属的检测结果类别进行分类预测，输出得到针对目标产品的多个局部预测结果；根据整体预测结果以及多个局部预测结果，确定目标产品的最终产品检测结果。通过这种方式，本技术能够解决因产品的图像质量较低导致的产品检测结果不准确的问题。
[0155]
基于同一发明构思，如图8所示，本技术实施例提供了一种计算机设备800，用于执行本技术中的产品检测方法，该设备包括存储器801、处理器802及存储在该存储器801上并可在该处理器802上运行的计算机程序，其中，上述处理器802执行上述计算机程序时实现上述产品检测方法的步骤。
[0156]
具体地，上述存储器801和处理器802可以为通用的存储器和处理器，这里不做具体限定，当处理器802运行存储器801存储的计算机程序时，能够执行上述产品检测方法。
[0157]
对应于本技术中的产品检测方法，本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述产品检测方法的步骤。
[0158]
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述产品检测方法。
[0159]
在本技术所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连
接，可以是电性，机械或其它的形式。
[0160]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0161]
另外，在本技术提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0162]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0163]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0164]
最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围。都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。