密集悬挂纸片的清点系统、方法、装置、设备及存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种密集悬挂纸片的清点系统、方法、装置、设备及存储介质。


背景技术：

2.在许多零售商铺中，会设置一面墙壁，用于悬挂商品。例如首饰店，也会将饰品嵌入纸片然后悬挂在墙上的钉子上进行售卖。但是悬挂数量繁多，清算复杂，通过人工对每个钉子上的纸片数目进行清点，这样即费时又容易出错。
3.因此，为了提高针对密集悬挂纸片的清点效率，需要一种更加智能化的清点方法。


技术实现要素：

4.本发明目的在于，提供一种能够提高针对密集悬挂纸片的清点效率的密集悬挂纸片的清点系统、方法、装置、设备及存储介质。
5.为实现上述目的，本发明实施例一种密集悬挂纸片的清点系统，包括拍摄装置和处理器；
6.所述拍摄装置用于获取被检测图像；其中，所述被检测图像中包括悬挂钉信息和悬挂在悬挂钉上的纸片信息；
7.所述处理器用于根据所述被检测图像，进行深度学习，计算得到纸片数目。
8.优选地，密集悬挂纸片的清点系统，还包括可伸缩支撑杆，用于支撑悬挂所述拍摄装置。
9.优选地，密集悬挂纸片的清点系统，还包括设置在所述可伸缩支撑杆下方的移动滑轮，用于带动所述可伸缩支撑杆平行移动。
10.优选地，密集悬挂纸片的清点系统，还包括若干设置在所述拍摄装置上方和下方的白色遮挡片，用于调整所述拍摄装置的拍摄视野。
11.本发明实施例还提供一种密集悬挂纸片的清点方法，包括：
12.获取被检测图像；
13.利用检测模型对所述被检测图像中的钉子头进行目标跟踪，并扩展跟踪矩形区域得到目标区域信息；
14.对所述目标区域信息进行结构检测，标注得到纸片的边缘信息；
15.根据所述边缘信息，得到纸片数目。
16.优选地，所述根据所述边缘信息，得到纸片数目，包括：
17.对所述边缘信息中的边缘点集合利用最小二乘法直线拟合算法进行直线拟合，得到拟合直线集合；
18.对所述拟合直线集合中的拟合直线进行线性非极大值抑制，筛除错误的拟合直线后得到纸片数目。
19.优选地，所述对所述拟合直线集合中的拟合直线进行线性非极大值抑制，筛除错
误的拟合直线后得到纸片数目，包括：
20.对所述拟合直线集合中的拟合直线利用检测模型进行打分；
21.依次分析所述拟合直线集合中的拟合直线之间的相似度，并在具有高相似度的若干拟合直线中，删除分数较低的拟合直线；
22.对所述拟合直线集合中保留下来的拟合直线进行计数，得到纸片数目。
23.本发明实施例还提供一种密集悬挂纸片的清点装置，包括：
24.采集模块，用于获取被检测图像；
25.目标跟踪模块，用于利用检测模型对所述被检测图像中的钉子头进行目标跟踪，并扩展跟踪矩形区域得到目标区域信息；
26.结构检测模块，用于对所述目标区域信息进行结构检测，标注得到纸片的边缘信息；
27.边缘分析模块，用于根据所述边缘信息，得到纸片数目。
28.本发明实施例还提供一种计算机终端设备，包括一个或多个处理器和存储器。存储器与所述处理器耦接，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述任一实施例所述的密集悬挂纸片的清点方法。
29.本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一实施例所述的密集悬挂纸片的清点方法。
30.与现有技术相比，本发明具有以下有益效果：
31.本发明公开了一种密集悬挂纸片的清点系统，包括拍摄装置和处理器；所述拍摄装置用于获取被检测图像；其中，所述被检测图像中包括悬挂钉信息和悬挂在悬挂钉上的纸片信息；所述处理器用于根据所述被检测图像，进行深度学习，计算得到纸片数目。此外，密集悬挂纸片的清点方法，包括：获取被检测图像；利用检测模型对所述被检测图像中的钉子头进行目标跟踪，并扩展跟踪矩形区域得到目标区域信息；对所述目标区域信息进行结构检测，标注得到纸片的边缘信息；根据所述边缘信息，得到纸片数目。本发明能够快速对密集纸片的数目进行清点，提高在实体经济运营过程中的清点效率。
附图说明
32.为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1是本发明某一实施例提供的密集悬挂纸片的清点系统的结构示意图；
34.图2是本发明某一实施例提供的密集悬挂纸片的清点方法的流程示意图；
35.图3是本发明某一实施例提供的密集悬挂纸片的清点方法中跟踪区域扩展后直线检测结果示意图；
36.图4是本发明某一实施例提供的密集悬挂纸片的清点装置的结构示意图；
37.图5是本发明某一实施例提供的计算机终端设备的结构示意图。
具体实施方式
38.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.应当理解，文中所使用的步骤编号仅是为了方便描述，不作为对步骤执行先后顺序的限定。
40.应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
41.术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
42.术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
43.请参阅图1，图1是本发明某一实施例提供的密集悬挂纸片的清点系统的结构示意图。本实施例提供的密集悬挂纸片的清点系统包括拍摄装置1和处理器；所述拍摄装置1用于获取被检测图像；其中，所述被检测图像中包括悬挂钉信息和悬挂在悬挂钉上的纸片信息；所述处理器用于根据所述被检测图像，进行深度学习，计算得到纸片数目。
44.在某一实施例中，统计人员通清点系统对所有的钉子进行拍摄，清点系统可以包含多个拍摄装置，每个拍摄装置负责拍摄一行钉子，该行拍摄完成后通过伸缩杆调整摄像头高低拍摄其它未拍摄的行。所有行拍摄完成后，将视频保存至本地，再通过http将视频发送至后台算法服务进行识别。
45.在本发明实施例中，处理器执行时实现密集悬挂纸片的清点方法，包括获取被检测图像；利用检测模型对所述被检测图像中的钉子头进行目标跟踪，并扩展跟踪矩形区域得到目标区域信息；对所述目标区域信息进行结构检测，标注得到纸片的边缘信息；根据所述边缘信息，得到纸片数目。拍摄前需要调整每个拍摄装置的角度，由每一行的第一个钉子开始单方向移动。直到该组拍摄完成，拍摄下一组。
46.在本发明实施例中，密集悬挂纸片的清点系统，还包括可伸缩支撑杆2，用于支撑悬挂所述拍摄装置。
47.在本发明实施例中，密集悬挂纸片的清点系统，还包括设置在所述可伸缩支撑杆下方的移动滑轮3，用于带动所述可伸缩支撑杆平行移动。移动滑轮3可以是电动滑轮，安装在支撑杆下方，让设备可以匀速直线移动。
48.在本发明实施例中，密集悬挂纸片的清点系统，还包括若干设置在所述拍摄装置上方和下方的白色遮挡片4，用于调整所述拍摄装置的拍摄视野。下面的用以遮挡下一排的目标，防止摄像头拍摄到两行的目标，上排的遮挡片用于“捞”起上一排摆放的首饰以免遮挡当前拍摄视线。
49.在本发明实施例中，密集悬挂纸片的清点系统，还包括补光装置，便于拍摄装置获取更加清晰的照片。
50.请参阅图2，图2是本发明某一实施例提供的密集悬挂纸片的清点方法的流程示意
图。在本实施例中，密集悬挂纸片的清点方法，包括以下步骤：
51.s110，获取被检测图像；
52.s120，利用检测模型对所述被检测图像中的钉子头进行目标跟踪，并扩展跟踪矩形区域得到目标区域信息；
53.s130，对所述目标区域信息进行结构检测，标注得到纸片的边缘信息；
54.s140，根据所述边缘信息，得到纸片数目。
55.在本发明实施例中，步骤s140，包括：对所述边缘信息中的边缘点集合利用最小二乘法直线拟合算法进行直线拟合，得到拟合直线集合；对所述拟合直线集合中的拟合直线进行线性非极大值抑制，筛除错误的拟合直线后得到纸片数目。
56.进一步地，在某一实施例中，所述对所述拟合直线集合中的拟合直线进行线性非极大值抑制，筛除错误的拟合直线后得到纸片数目，包括：对所述拟合直线集合中的拟合直线利用检测模型进行打分；依次分析所述拟合直线集合中的拟合直线之间的相似度，并在具有高相似度的若干拟合直线中，删除分数较低的拟合直线；对所述拟合直线集合中保留下来的拟合直线进行计数，得到纸片数目。跟踪区域扩展后直线检测结果图如图3所示。
57.在某一具体实施例中，数据采集实际应用场景钉子图片标注并利用标注的数据训练检测模型，检测模型可以为常用的深度学习模型如yolo v5。将视频解码成一帧帧图片流，对每一帧利用上叙的检测模型进行钉子头的检测。对检测到的目标(矩形区域)利用传统的目标跟踪方法进行跟踪，本文使用核相关滤波算法(kernel correlation filter，kcf)进行钉子目标跟踪。
58.为了跟踪的目标更为明确，本方法设定钉子头为跟踪的目标，为了在跟踪的区域识别到钉子上悬挂的纸片，需要扩展跟踪区域，将跟踪目标的矩形框表示为左上角的点(x0,y0)和右下角的点(x1,y1)，视频帧的宽高分别表示为w,h，则扩展的区域的矩形框表示为：左上角点(x0
‑
w/4,y0
‑
h/2)，右下角点(x1 w/4,y1)。
59.用直线拟合算法对mask检测的点进行直线拟合，直线的非极大值抑制去除多余的检测，具体操作如下：
60.训练样本采集：利用拍摄设备采集多段视频样本，利用上叙跟踪算法对视频样本目标跟踪，保存跟踪扩展区域的图片。
61.对采集到的待检测图像进行mask检测的标注，标注纸片上边缘；训练mask检测器(实际应用中，常用mask rcnn结构深度学习模型)。
62.利用中训练好的mask检测器多扩展区域的上边缘进行检测，检测后不进行框的非极大值抑制过程，即尽可能多的检测出纸片的上边缘的目标。
63.对检测出来的每一个纸片的边缘点集合利用最小二乘法直线拟合算法进行直线拟合。
64.对中拟合出来的直线进行线的非极大值抑制(non
‑
maximum suppression，nms)排除错误检测的直线，操作如下，假设共拟合出n条直线表示为yi＝ki*xi bi,其中i＝1,2,...,n，ki为直线的斜率,bi为直线的截距，则：
65.(1)对所有拟合到的直线利用mask检测得分由大到小进行排序，即第一条直线得分最高最后一条直线得分最低；
66.(2)对于第i条直线循环进行以下处理(刚开始i＝1)；
signal processor，简称dsp)、数字信号处理设备(digital signal processing device,简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的密集悬挂纸片的清点方法，并达到如上述方法一致的技术效果。
82.在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述任意一个实施例中的密集悬挂纸片的清点方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器，上述程序指令可由计算机终端设备的处理器执行以完成上述的密集悬挂纸片的清点方法，并达到如上述方法一致的技术效果。
83.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。