一种标签自动建模的方法及装置、存储介质、电子设备与流程

1.本发明涉及自动建模技术领域，更具体地，涉及一种标签自动建模的方法及装置、存储介质、电子设备。


背景技术：

2.相关技术中，为了把控空调产品包装箱上的标签粘贴质量，避免贴错标签，需要用到视觉检测设备，根据建好的标签模板图来判断当前粘贴标签是否正确。
3.相关技术中，建模形式都是采用人工手动对标签进行画框建模，但由于产品型号很多，每天都有新的型号产生，这就给建模人员带来很大的工作量，同时人为建模带有主观意识，不能保证建模的一致性。
4.针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。


技术实现要素：

5.为了解决现有技术中人为对标签建模效率低，不能保证建模一致性的问题，本发明提供了一种标签自动建模的方法及装置、存储介质、电子设备。
6.根据本技术实施例的一个方面，提供了一种标签自动建模的方法，包括：从目标箱体的包装图片上获取疑似边框图集合；采用卷积神经网络对所述疑似边框图集合进行过滤，得到候选边框图集合；根据先验条件对所述候选边框图集合进行过滤，得到若干个目标边框图，其中，所述目标边框图内包括所述目标箱体的标签信息；采用所述若干个目标边框图和所述包装图片创建所述目标箱体的标签模板，其中，所述标签模板用于定位标签信息在所述目标箱体上的粘贴位置。
7.进一步地，从目标箱体的包装图片上获取疑似边框图集合包括：获取目标箱体的箱体外表面的包装图片；对所述包装图片进行平滑滤波降噪处理，得到第一中间图片；对所述第一中间图片进行边缘检测，提取疑似边框图集合。
8.进一步地，对所述第一中间图片进行边缘检测，提取疑似边框图集合包括：检测所述第一中间图片的边缘直线特征；根据所述边缘直线特征查找所述第一中间图片中的多条短直线，其中，所述短直线为长度小于预设长度的直线；针对所述多条短直线中的每条第一短直线，在其他短直线中查找与其轨迹平行且长度相同的第二直线段，将所述第一短直线和所述第二直线段两两组合后存入平行线组；
9.对所述平行线组中的直线进行平行四边形组合，得到疑似边框图集合。
10.进一步地，采用卷积神经网络对所述疑似边框图集合进行过滤，得到候选边框图集合包括：针对所述候选边框图中的每个疑似边框图，将所述疑似边框图转换为图片向量；采用所述图片向量循环执行以下步骤，直到所述最后一层池化层：将所述图片向量作为输入量通过第一卷积层对所述图片向量进行特征提取，输出第一特征图；将所述第一特征图作为输入量通过在第一池化层对所述第一特征图进行下采样，输出降维后的第二特征图；将所述第二特征图确定为下一个卷积层的输入量；将最后一层池化层输出的目标特征图输
入分类模型，输出所述疑似边框图的分类信息，其中，所述分类信息用于指示对应的疑似边框图是否为候选边框图。
11.进一步地，将所述图片向量作为输入量通过第一卷积层对所述图片向量进行特征提取，输出第一特征图包括：将所述图片向量依次输入第一卷积层的m个滑动窗口，输出m张第一特征图，其中，所述第一卷积层包括m个不同权重的滑动窗口，所述图片向量在每个滑动窗口内执行以下步骤：将当前滑动窗口的权重值和所述疑似边框图的灰度值相乘并求和得到特征值，m为大于1的整数。
12.进一步地，将所述第一特征图作为输入量通过在第一池化层对所述第一特征图进行下采样，输出降维后的第二特征图包括：将所述m张第一特征图输入第一池化层的m个滑动窗口，输出m张第二特征图，其中，所述第一池化层包括m个相同权重的滑动窗口，所述m张第一特征图在每个滑动窗口内执行以下步骤：获取当前滑动窗口内第一特征图的第一特征值，比较第一特征值与上一滑动窗口内第二特征图的第二特征值，将特征值最大的特征图确定为降维后的第二特征图，m为大于1的整数。
13.进一步地，根据先验条件对所述候选边框图集合进行过滤，得到若干个目标边框图包括：针对所述候选边框图集合中的每个候选边框图，计算所述候选边框图的标签参数；判断所述标签参数是否满足先验条件，其中所述先验条件包括以下至少之一：标签的最小宽高、标签的最大宽高、标签的最大宽高比、标签的最小宽高比、标签内具有字符、标签整体色调与箱体的色调差异比；若满足所述先验条件，则判断所述候选边框图为目标边框图。
14.进一步地，计算所述候选边框图的标签参数包括：计算所述候选边框图中两平行直线的间距值，将横向间距确定为宽度值，纵向间距确定为高度值，所述横向间距与所述纵向间距之间的比值确定为宽高比，其中，所述标签参数包括：宽度值，高度值，宽高比；通过光学字符识别ocr判断所述候选边框图内是否包含字符；计算所述候选边框图的第一灰度值，以及计算所述包装图片的第二灰度值，将所述第一灰度值与所述第二灰度值之间的比值确定为色调差异比。
15.根据本技术实施例的另一方面，还提供了一种标签自动建模装置，包括：获取模块，用于从目标箱体的包装图片上获取疑似边框图集合；第一过滤模块，用于采用卷积神经网络对所述疑似边框图集合进行过滤，得到候选边框图集合；第二过滤模块，用于根据先验条件对所述候选边框图集合进行过滤，得到若干个目标边框图，其中，所述目标边框图内包括所述目标箱体的标签信息；创建模块，用于采用所述若干个目标边框图和所述包装图片创建所述目标箱体的标签模板，其中，所述标签模板用于定位标签信息在所述目标箱体上的粘贴位置。
16.进一步地，所述获取模块包括：获取单元，用于获取目标箱体的箱体外表面的包装图片；处理单元，用于对所述包装图片进行平滑滤波降噪处理，得到第一中间图片；提取单元，用于对所述第一中间图片进行边缘检测，提取疑似边框图集合。
17.进一步地，所述提取单元包括：检测子单元，用于检测所述第一中间图片的边缘直线特征；查找子单元，用于根据所述边缘直线特征查找所述第一中间图片中的多条短直线，其中，所述短直线为长度小于预设长度的直线；存储子单元，用于针对所述多条短直线中的每条第一短直线，在其他短直线中查找与其轨迹平行且长度相同的第二直线段，将所述第一短直线和所述第二直线段两两组合后存入平行线组；组合子单元，用于对所述平行线组
中的直线进行平行四边形组合，得到疑似边框图集合。
18.进一步地，所述第一过滤模块包括：转换单元，用于针对所述候选边框图中的每个疑似边框图，将所述疑似边框图转换为图片向量；执行单元，用于采用所述图片向量循环执行以下步骤，直到所述最后一层池化层：将所述图片向量作为输入量通过第一卷积层对所述图片向量进行特征提取，输出第一特征图；将所述第一特征图作为输入量通过在第一池化层对所述第一特征图进行下采样，输出降维后的第二特征图；将所述第二特征图确定为下一个卷积层的输入量；输出单元，用于将最后一层池化层输出的目标特征图输入分类模型，输出所述疑似边框图的分类信息，其中，所述分类信息用于指示对应的疑似边框图是否为候选边框图。
19.进一步地，所述执行单元包括：第一输出子单元，用于将所述图片向量依次输入第一卷积层的m个滑动窗口，输出m张第一特征图，其中，所述第一卷积层包括m个不同权重的滑动窗口，所述图片向量在每个滑动窗口内执行以下步骤：将当前滑动窗口的权重值和所述疑似边框图的灰度值相乘并求和得到特征值，m为大于1的整数。
20.进一步地，所述执行单元还包括：第二输出子单元，用于将所述m张第一特征图输入第一池化层的m个滑动窗口，输出m张第二特征图，其中，所述第一池化层包括m个相同权重的滑动窗口，所述m张第一特征图在每个滑动窗口内执行以下步骤：获取当前滑动窗口内第一特征图的第一特征值，比较第一特征值与上一滑动窗口内第二特征图的第二特征值，将特征值最大的特征图确定为降维后的第二特征图，m为大于1的整数。
21.进一步地，所述第二过滤模块包括：计算单元，用于针对所述候选边框图集合中的每个候选边框图，计算所述候选边框图的标签参数；判断单元，用于判断所述标签参数是否满足先验条件，其中所述先验条件包括以下至少之一：标签的最小宽高、标签的最大宽高、标签的最大宽高比、标签的最小宽高比、标签内具有字符、标签整体色调与箱体的色调差异比；确定单元，用于若满足所述先验条件，则判断所述候选边框图为目标边框图。
22.进一步地，所述计算单元包括：第一计算子单元，用于计算所述候选边框图中两平行直线的间距值，将横向间距确定为宽度值，纵向间距确定为高度值，所述横向间距与所述纵向间距之间的比值确定为宽高比，其中，所述标签参数包括：宽度值，高度值，宽高比；判断子单元，用于通过光学字符识别ocr判断所述候选边框图内是否包含字符；第二计算子单元，用于计算所述候选边框图的第一灰度值，以及计算所述包装图片的第二灰度值，将所述第一灰度值与所述第二灰度值之间的比值确定为色调差异比。
23.根据本技术实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，程序运行时执行上述的方法步骤。
24.根据本技术实施例的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述的方法步骤。
25.本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。
26.通过本发明，从目标箱体的包装图片上获取疑似边框图集合；采用卷积神经网络对所述疑似边框图集合进行过滤，得到候选边框图集合；根据先验条件对所述候选边框图
集合进行过滤，得到若干个目标边框图，其中，所述目标边框图内包括所述目标箱体的标签信息；采用所述若干个目标边框图和所述包装图片创建所述目标箱体的标签模板，其中，所述标签模板用于定位标签信息在所述目标箱体上的粘贴位置，通过采用卷积神经网络和先验条件从包装图片的疑似边框图集合中筛选目标边框图，并采用目标边框图创建所述目标箱体的标签模板，保证了标签模板的一致性和准确性，同时也实现了一种标签模板的自动创建方案，解决了现有技术中人为对标签建模效率低，不能保证建模一致性的技术问题，增加了建模效率，确保建模的一致性，能自动标注标签，产品型号和条码。
附图说明
27.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
28.图1是本发明实施例的一种标签自动建模装置的硬件结构框图；
29.图2是根据本发明实施例的一种标签自动建模的方法的流程图；
30.图3是本发明实施例的场景示意图；
31.图4是本发明实施例的工作流程图；
32.图5是根据本发明实施例的一种标签自动建模装置的结构框图。
具体实施方式
33.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
34.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
35.实施例1
36.本技术实施例一所提供的方法实施例可以在计算机、服务器、控制设备或者类似的运算装置中执行。以运行在计算机上为例，图1是本发明实施例的一种标签自动建模的硬件结构框图。如图1所示，标签自动建模可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，可选地，上述识别装置还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述标签自动建模的结构造成限定。例如，标签自动建模还可包括比图1中所示更多或者更少
的组件，或者具有与图1所示不同的配置。
37.存储器104可用于存储操作标签自动建模的程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种标签自动建模的方法对应的自动建模程序，处理器102通过运行存储在存储器104内的自动建模程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至标签自动建模装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
38.传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括标签自动建模装置的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
39.在本实施例中提供了一种标签自动建模的方法，图2是根据本发明实施例的一种标签自动建模的方法的流程图，如图2所示，该流程包括如下步骤：
40.步骤s202，从目标箱体的包装图片上获取疑似边框图集合；
41.本实施例的一个实施方式中，目标箱体的外包装表面上附带有多个边框图的图形，如条形码图，能效标识图，产品logo，注意事项图标等，这些所有的边框图即为疑似边框图，从目标箱体的包装图片上获取所有的疑似边框图并组建一个集合。可选的，本实施例的边框图可以时正方形，长方形，矩形，六边形等，在一些特殊的场景中，也可以是梯形，菱形，三角形，五边形等。
42.步骤s204，采用卷积神经网络对所述疑似边框图集合进行过滤，得到候选边框图集合；
43.本实施例的一个实施方式中，采用卷积神经网络二分类模型来对所述疑似边框图集合进行过滤，其中二分类模型先通过训练数据进行训练，训练数据为两类数据，一类为纸箱的背景局部图片，二类为标签的图片。最后得到区分这两类数据的模型，通过模型过滤疑似边框图集合得到候选边框图集合。候选边框图即为对疑似边框图集合经过二分类模型分类过滤后符合条件的部分标签边框图，通过进一步过滤可获得目标边框图。
44.步骤s206，根据先验条件对所述候选边框图集合进行过滤，得到若干个目标边框图，其中，所述目标边框图内包括所述目标箱体的标签信息；
45.本实施例的一个实施方式中，先验条件用于判断候选边框图集合中符合条件的目标边框图，先验条件包括标准标签框的尺寸，比例等参数，其中目标边框图包括目标箱体的标签信息。
46.步骤s208，采用所述若干个目标边框图和所述包装图片创建所述目标箱体的标签模板，其中，所述标签模板用于定位标签信息在所述目标箱体上的粘贴位置。
47.本实施例的一个实施方式中，标签模板即包括目标边框图在目标箱体上的坐标位置信息，将坐标信息和对应的包装图片保存至数据库中，即完成了标签自动建模。
48.得到了边框位置信息后，目标边框图内附带条码图，通过进行条码识别可以获得产品条码，同时因为产品型号与条码关联，只要扫到条码内容，就可以联网查询到产品型
号，上述步骤解决了如何自动标注产品型号、条码和标签。
49.同时，因为目标边框图附带有产品型号，条码，标签坐标位置等信息数据，本实施例同样可实现判断标签边框是否粘贴正确，因为标签上的字符内容，尺寸已经提前提供给包装产线，贴附上后，可通过已经建模成功的标签边框图模板来判断是否标签内容模糊，或者有标志、条码等字迹不清楚的地方。
50.通过上述步骤，从目标箱体的包装图片上获取疑似边框图集合；采用卷积神经网络对所述疑似边框图集合进行过滤，得到候选边框图集合；根据先验条件对所述候选边框图集合进行过滤，得到若干个目标边框图，其中，所述目标边框图内包括所述目标箱体的标签信息；采用所述若干个目标边框图和所述包装图片创建所述目标箱体的标签模板，其中，所述标签模板用于定位标签信息在所述目标箱体上的粘贴位置，通过采用卷积神经网络和先验条件从包装图片的疑似边框图集合中筛选目标边框图，并采用目标边框图创建所述目标箱体的标签模板，保证了标签模板的一致性和准确性，同时也实现了一种标签模板的自动创建方案，解决了现有技术中人为对标签建模效率低，不能保证建模一致性的技术问题，增加了建模效率，确保建模的一致性，能自动标注标签，产品型号和条码。
51.在本实施例中，从目标箱体的包装图片上获取疑似边框图集合包括：获取目标箱体的箱体外表面的包装图片；对所述包装图片进行平滑滤波降噪处理，得到第一中间图片；对所述第一中间图片进行边缘检测，提取疑似边框图集合。
52.在上述步骤中，通过相机获取目标箱体外表面的包装图片后，传送给电脑处理，对所述包装图片进行平滑滤波降噪处理，如均值滤波和中值滤波进行降噪处理，获得第一中间图片，并进行边缘检测，获取包装图片上的各个疑似边框图，并集合在一起。
53.在本实施例中，对所述第一中间图片进行边缘检测，提取疑似边框图集合包括：检测所述第一中间图片的边缘直线特征；根据所述边缘直线特征查找所述第一中间图片中的多条短直线，其中，所述短直线为长度小于预设长度的直线；针对所述多条短直线中的每条第一短直线，在其他短直线中查找与其轨迹平行且长度相同的第二直线段，将所述第一短直线和所述第二直线段两两组合后存入平行线组；对所述平行线组中的直线进行平行四边形组合，得到疑似边框图集合。
54.在上述步骤中，根据图片边缘的直线特征找到每条短直线，然后沿着每条短直线轮廓进行计算找出两两平行的直线段作为平行线组，其中，两两平行的直线段长度相同，轨迹平行，接着对平行线组里的所有直线进行平行四边形组合，选择任意多组相邻且可以闭合的平行线组，组合为一个疑似边框图，最后得到很多个疑似边框图。
55.在本实施例中，采用卷积神经网络对所述疑似边框图集合进行过滤，得到候选边框图集合包括：针对所述候选边框图中的每个疑似边框图，将所述疑似边框图转换为图片向量；采用所述图片向量循环执行以下步骤，直到所述最后一层池化层：将所述图片向量作为输入量通过第一卷积层对所述图片向量进行特征提取，输出第一特征图；将所述第一特征图作为输入量通过在第一池化层对所述第一特征图进行下采样，输出降维后的第二特征图；将所述第二特征图确定为下一个卷积层的输入量；将最后一层池化层输出的目标特征图输入分类模型，输出所述疑似边框图的分类信息，其中，所述分类信息用于指示对应的疑似边框图是否为候选边框图。
56.在上述步骤中，通过采用卷积神经网络二分类模型对疑似边框图进行过滤得到候
选边框图集合，其中二分类模型共7层，其中，第一层为25*7*7卷积层，第二层为25*7*7池化层，第三层为75*9*9卷积层，第四层为75*9*9池化层，第五层为25*7*7卷积层，第六层为25*7*7池化层，最后一层为分类层。
57.卷积神经网络二分类模型在训练过程中，用两类数据来对该模型进行训练，最后得到区分这两类数据的模型。这两类数据是：若干张标签图片和纸箱局部图片。当模型训练好后，将待检测的图片输入到模型中，模型会判断出该图片是标签还是纸箱局部图片。模型内部的处理为，图片输入后经过卷积和池化得到降维的特征图，然后送给分类层，例如softmax分类器进行分类，来确定输入图片属于哪一类，即属于标签图片还是属于纸箱局部图片。
58.在本实施例中，卷积层的作用是对输入变量进行特征提取，得到一张特征图。池化层的作用是对上一层卷积层得到的特征图进行下采样，得到降维的特征图。分类层的作用是对输入的降维特征图进行分类，如采用softmax进行逻辑回归。
59.在本实施例中，将所述图片向量作为输入量通过第一卷积层对所述图片向量进行特征提取，输出第一特征图包括：将所述图片向量依次输入第一卷积层的m个滑动窗口，输出m张第一特征图，其中，所述第一卷积层包括m个不同权重的滑动窗口，所述图片向量在每个滑动窗口内执行以下步骤：将当前滑动窗口的权重值和所述疑似边框图的灰度值相乘并求和得到特征值，m为大于1的整数。
60.在一个实例中，m＝25，如25*7*7卷积层，7*7表示用7*7个带有权重的窗口在输入图片上进行窗口滑动，将窗口内每个权重值和对应的图片灰度值相乘，再求它们的和作为输出，等对整张输入图片进行窗口滑完后，就得到一张特征图，25表示25个不同权重的窗口，最后得到25张不同的特征图。
61.在本实施例中，将所述第一特征图作为输入量通过在第一池化层对所述第一特征图进行下采样，输出降维后的第二特征图包括：将所述m张第一特征图输入第一池化层的m个滑动窗口，输出m张第二特征图，其中，所述第一池化层包括m个相同权重的滑动窗口，所述m张第一特征图在每个滑动窗口内执行以下步骤：获取当前滑动窗口内第一特征图的第一特征值，比较第一特征值与上一滑动窗口内第二特征图的第二特征值，将特征值最大的特征图确定为降维后的第二特征图，m为大于1的整数。
62.在上述步骤中，对于25*7*7池化层，7*7表示用7*7的窗口在输入特征图中进行滑动，取窗口中最大的灰度值作为输出，得到一张降采样的特征图，25表示对上层中25张特征图进行降采样。
63.在本实施例中，根据先验条件对所述候选边框图集合进行过滤，得到若干个目标边框图包括：针对所述候选边框图集合中的每个候选边框图，计算所述候选边框图的标签参数；判断所述标签参数是否满足先验条件，其中所述先验条件包括以下至少之一：标签的最小宽高、标签的最大宽高、标签的最大宽高比、标签的最小宽高比、标签内具有字符、标签整体色调与箱体的色调差异比；若满足所述先验条件，则判断所述候选边框图为目标边框图。
64.在上述步骤中，针对候选边框图，通过计算标签参数来判断候选边框图是否是标签边框图，即预先通过先验条件来对比标签参数来判断，当满足先验条件至少其中一个时，即可判断为标签边框，即为目标边框图。
65.本实施例的一个实施方式中，目标箱体的包装图片上获取了多个疑似边框图集合，包括各种标志图，条码图，产品注意事项图，产品logo等，通过卷积神经网络二分类模型过滤后获得了候选边框图，但还是有部分不符合要求的非标签候选边框图，通过判断先验条件进一步筛选符合要求的标签边框图。且不同的产品包装可以设置不同的先验条件，虽然标签多种多样，但是每一款产品的标签类型会提前在包装线生产前确定，可以直接运用于实际生产中。
66.在本实施例中，计算所述候选边框图的标签参数包括：计算所述候选边框图中两平行直线的间距值，将横向间距确定为宽度值，纵向间距确定为高度值，所述横向间距与所述纵向间距之间的比值确定为宽高比，其中，所述标签参数包括：宽度值，高度值，宽高比；通过光学字符识别(optical character recognition，ocr)判断所述候选边框图内是否包含字符；计算所述候选边框图的第一灰度值，以及计算所述包装图片的第二灰度值，将所述第一灰度值与所述第二灰度值之间的比值确定为色调差异比。
67.在上述步骤中，通过计算候选边框图的两平行直线间求距离的方法可以获得标签的宽高，与此和先验条件的标签的最小宽高、最大宽高、最大宽高比、最小宽高比来比较，再通过光学字符识别ocr来识别候选边框图内是否带有字符，此时目标箱体具有一个灰度值，候选边框图内也有一个灰度值，通过两个灰度值对比，差异大的即色调差异比大，如果对比的灰度差异大就删除该候选边框图。
68.图3是本发明实施例的场景示意图，通过相机获得箱体的疑似边框图，其中带有标签边框图，通过上传至电脑处理最后显示在显示器界面上，并完成自动建模。
69.图4是本发明实施例的工作流程图，先拍照获取图片后，获取疑似四边形框，之后通过深度学习模型，即卷积神经网络二分类模型过滤掉非标签的四边形框，再根据标签的先验条件过滤掉不符合的四边形框，最后得到标签的四边形框图。
70.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用机械设备的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分可以以软件控制机械设备的形式体现出来，该软件存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台机械设备(标签自动建模装置等)执行本发明各个实施例所述的方法。
71.实施例2
72.在本实施例中还提供了一种标签自动建模装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
73.图5是根据本发明实施例的一种标签自动建模装置的结构框图，如图5所示，该装置包括：获取模块50，第一过滤模块52，第二过滤模块54，创建模块56，其中，
74.获取模块50，用于从目标箱体的包装图片上获取疑似边框图集合；
75.第一过滤模块52，用于采用卷积神经网络对所述疑似边框图集合进行过滤，得到候选边框图集合；
76.第二过滤模块54，用于根据先验条件对所述候选边框图集合进行过滤，得到若干
个目标边框图，其中，所述目标边框图内包括所述目标箱体的标签信息；
77.创建模块56，用于采用所述若干个目标边框图和所述包装图片创建所述目标箱体的标签模板，其中，所述标签模板用于定位标签信息在所述目标箱体上的粘贴位置。
78.可选的，所述获取模块包括：获取单元，用于获取目标箱体的箱体外表面的包装图片；处理单元，用于对所述包装图片进行平滑滤波降噪处理，得到第一中间图片；提取单元，用于对所述第一中间图片进行边缘检测，提取疑似边框图集合。
79.可选的，所述提取单元包括：检测子单元，用于检测所述第一中间图片的边缘直线特征；查找子单元，用于根据所述边缘直线特征查找所述第一中间图片中的多条短直线，其中，所述短直线为长度小于预设长度的直线；存储子单元，用于针对所述多条短直线中的每条第一短直线，在其他短直线中查找与其轨迹平行且长度相同的第二直线段，将所述第一短直线和所述第二直线段两两组合后存入平行线组；组合子单元，用于对所述平行线组中的直线进行平行四边形组合，得到疑似边框图集合。
80.可选的，所述第一过滤模块包括：转换单元，用于针对所述候选边框图中的每个疑似边框图，将所述疑似边框图转换为图片向量；执行单元，用于采用所述图片向量循环执行以下步骤，直到所述最后一层池化层：将所述图片向量作为输入量通过第一卷积层对所述图片向量进行特征提取，输出第一特征图；将所述第一特征图作为输入量通过在第一池化层对所述第一特征图进行下采样，输出降维后的第二特征图；将所述第二特征图确定为下一个卷积层的输入量；输出单元，用于将最后一层池化层输出的目标特征图输入分类模型，输出所述疑似边框图的分类信息，其中，所述分类信息用于指示对应的疑似边框图是否为候选边框图。
81.可选的，所述执行单元包括：第一输出子单元，用于将所述图片向量依次输入第一卷积层的m个滑动窗口，输出m张第一特征图，其中，所述第一卷积层包括m个不同权重的滑动窗口，所述图片向量在每个滑动窗口内执行以下步骤：将当前滑动窗口的权重值和所述疑似边框图的灰度值相乘并求和得到特征值，m为大于1的整数。
82.可选的，所述执行单元还包括：第二输出子单元，用于将所述m张第一特征图输入第一池化层的m个滑动窗口，输出m张第二特征图，其中，所述第一池化层包括m个相同权重的滑动窗口，所述m张第一特征图在每个滑动窗口内执行以下步骤：获取当前滑动窗口内第一特征图的第一特征值，比较第一特征值与上一滑动窗口内第二特征图的第二特征值，将特征值最大的特征图确定为降维后的第二特征图，m为大于1的整数。
83.可选的，所述第二过滤模块包括：计算单元，用于针对所述候选边框图集合中的每个候选边框图，计算所述候选边框图的标签参数；判断单元，用于判断所述标签参数是否满足先验条件，其中所述先验条件包括以下至少之一：标签的最小宽高、标签的最大宽高、标签的最大宽高比、标签的最小宽高比、标签内具有字符、标签整体色调与箱体的色调差异比；确定单元，用于若满足所述先验条件，则判断所述候选边框图为目标边框图。
84.可选的，所述计算单元包括：第一计算子单元，用于计算所述候选边框图中两平行直线的间距值，将横向间距确定为宽度值，纵向间距确定为高度值，所述横向间距与所述纵向间距之间的比值确定为宽高比，其中，所述标签参数包括：宽度值，高度值，宽高比；判断子单元，用于通过光学字符识别ocr判断所述候选边框图内是否包含字符；第二计算子单元，用于计算所述候选边框图的第一灰度值，以及计算所述包装图片的第二灰度值，将所述
第一灰度值与所述第二灰度值之间的比值确定为色调差异比。
85.需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
86.实施例3
87.本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
88.可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
89.s1，从目标箱体的包装图片上获取疑似边框图集合；
90.s2，采用卷积神经网络对所述疑似边框图集合进行过滤，得到候选边框图集合；
91.s3，根据先验条件对所述候选边框图集合进行过滤，得到若干个目标边框图，其中，所述目标边框图内包括所述目标箱体的标签信息；
92.s4，采用所述若干个目标边框图和所述包装图片创建所述目标箱体的标签模板，其中，所述标签模板用于定位标签信息在所述目标箱体上的粘贴位置。
93.可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
94.本发明的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
95.可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
96.可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
97.s1，从目标箱体的包装图片上获取疑似边框图集合；
98.s2，采用卷积神经网络对所述疑似边框图集合进行过滤，得到候选边框图集合；
99.s3，根据先验条件对所述候选边框图集合进行过滤，得到若干个目标边框图，其中，所述目标边框图内包括所述目标箱体的标签信息；
100.s4，采用所述若干个目标边框图和所述包装图片创建所述目标箱体的标签模板，其中，所述标签模板用于定位标签信息在所述目标箱体上的粘贴位置。
101.可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
102.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
103.在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
104.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互
之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
105.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
106.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
107.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
108.以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。