一种标签检测方法、装置、电子设备及存储介质与流程

1.本发明涉及机器视觉技术领域，尤其涉及一种标签检测方法、装置、电子设备及存储介质。


背景技术：

2.视觉基准系统通常由为自动检测而设计的人工视觉特征和相应的检测方法组成。人工视觉特征通常采用标签，标签带有唯一的标识信息，以彼此区分。视觉基准系统通过检测方法检测标签，提供标签的标识信息、标签相对于图像采集设备的位置和姿态信息，可以在无特征的环境中实现目标识别和姿态估计，在计算机视觉、增强现实和机器人等领域都有着广泛的应用。
3.其中，视觉基准系统在对标签进行检测时首先需要对目标图像进行预处理操作，以获取目标图像中的标签所在区域图像。现有技术中，采用全图搜索策略对目标图像进行预处理操作，即对整个目标图像进行搜索，以确定目标图像中的标签所在区域。然而，这种方法由于计算量较大导致处理速度过慢，从而延长了整个标签检测流程的时间，在某些特定领域，例如在医疗领域无法满足更快的标签检测匹配需求。


技术实现要素：

4.本发明提供一种标签检测方法、装置、电子设备及存储介质，用以解决现有技术对整个目标图像进行搜索，确定目标图像中的标签所在区域导致处理速度过慢的问题，实现对标签进行快速检测。
5.本发明提供一种标签检测方法，包括：
6.获取上一时刻由标签检测得到的第一标签检测区域；
7.根据所述第一标签检测区域，确定当前时刻获取的目标图像中的第二标签检测区域；
8.对第二标签检测区域图像进行去噪和降采样，得到符合预设显示区域大小的去噪图像，所述去噪图像包含候选标签；
9.根据所述去噪图像，将所述候选标签确定为目标标签。
10.可选的，根据所述第一标签检测区域，确定当前时刻获取的目标图像中的第二标签检测区域，包括：
11.根据所述第一标签检测区域在上一时刻获取的目标图像中的位置信息，确定当前时刻获取的目标图像中的第二标签检测区域。
12.可选的，还包括：
13.根据上一时刻获取目标图像与当前时刻获取目标图像的时间间隔，对所述第一标签检测区域进行修正，确定当前时刻获取的目标图像中的第二标签检测区域。
14.可选的，所述根据上一时刻获取目标图像与当前时刻获取目标图像的时间间隔，对所述第一标签检测区域进行修正，包括：
15.根据上一时刻获取目标图像与当前时刻获取目标图像的时间间隔，确定所述第一标签检测区域所能运动的最大像素距离；
16.根据所述最大像素距离，对所述第一标签检测区域进行修正。
17.可选的，所述对第二标签检测区域图像进行去噪和降采样，得到符合预设显示区域大小的去噪图像，包括：
18.基于三维匹配滤波算法对所述第二标签检测区域图像进行去噪，并根据预设采样间隔对去噪后的第二标签检测区域图像进行降采样，得到符合预设显示区域大小的去噪图像。
19.可选的，根据所述去噪图像，将所述候选标签确定为目标标签，包括：
20.基于梯度检测算法，检测所述去噪图像中的所有线段；
21.根据预设分组规则对所述线段进行分组，并基于四边形检测算法对每组线段进行检测和筛选，确定所述去噪图像中的闭环四边形；
22.对所述闭环四边形进行解码和编码，得到所述候选标签的标识码，并根据所述标识码将所述候选标签确定为目标标签。
23.本发明还提供一种标签检测装置，包括：
24.获取模块，用于获取上一时刻由标签检测得到的第一标签检测区域；
25.第一处理模块，用于根据所述第一标签检测区域，确定当前时刻获取的目标图像中的第二标签检测区域；
26.第二处理模块，用于对第二标签检测区域图像进行去噪和降采样，得到符合预设显示区域大小的去噪图像，所述去噪图像包含候选标签；
27.第三处理模块，用于根据所述去噪图像，将所述候选标签确定为目标标签。
28.可选的，所述第一处理模块，具体用于：
29.根据所述第一标签检测区域在上一时刻获取的目标图像中的位置信息，确定当前时刻获取的目标图像中的第二标签检测区域。
30.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述标签检测方法的步骤。
31.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述标签检测方法的步骤。
32.本发明提供的标签检测方法、装置、电子设备及存储介质，首先获取上一时刻由标签检测得到的第一标签检测区域，然后根据第一标签检测区域，确定当前时刻获取的目标图像中的第二标签检测区域，之后对第二标签检测区域图像进行去噪和降采样，得到符合预设显示区域大小的去噪图像，所述去噪图像包含候选标签，并根据所述去噪图像，将所述候选标签确定为目标标签。由此可知，本发明根据上一时刻由标签检测得到的标签检测区域，可以快速确定当前时刻获取的目标图像中的标签检测区域，同时通过对获取的检测区域图像进行降采样和去噪处理，减少了标签检测过程中的计算量，使得标签检测更加迅速。
附图说明
33.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术
描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1是本发明提供的标签检测方法的流程示意图之一；
35.图2是本发明提供的标签检测方法的流程示意图之二；
36.图3是本发明提供的标签检测装置的结构示意图；
37.图4是本发明提供的电子设备的结构示意图。
具体实施方式
38.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.如图1所示，本发明提供的标签检测方法，包括：
40.步骤101：获取上一时刻由标签检测得到的第一标签检测区域；
41.在本步骤中，所获取的第一标签检测区域为上一次标签检测过程中得到的，例如在首次对目标图像进行标签检测时得到的标签检测区域用于下一次在标签检测过程确定标签检测区域。
42.步骤102：根据所述第一标签检测区域，确定当前时刻获取的目标图像中的第二标签检测区域；
43.在本步骤中，可选的，可以根据第一标签检测区域在上一时刻获取的目标图像中的位置信息，确定当前时刻获取的目标图像中的第二标签检测区域，还可以根据上一时刻获取目标图像与当前时刻获取目标图像的时间间隔，对第一标签检测区域进行修正，确定当前时刻获取的目标图像中的第二标签检测区域。例如，在首次进行标签检测时，通过对目标图像的全局检测确定目标图像中的标签位置，并根据标签位置，记录标签外接正矩形对角顶点在图像中的二维坐标，从而确定标签外接正矩形的位置信息，在下一次进行标签检测时，以首次确定的外接正矩形位置信息作为基准，进行合理扩展得到当前目标图像中需要检测的矩形的大致位置，也即当前的标签检测区域。由此可见，本发明根据上一时刻由标签检测得到的标签检测区域，可以快速确定当前时刻获取的目标图像中的标签检测区域，无需对目标图像全图进行检测，缩小了在检测时需要参与检测运算过程的图像大小，从而缩短了检测需要的时间。
44.步骤103：对第二标签检测区域图像进行去噪和降采样，得到符合预设显示区域大小的去噪图像，所述去噪图像包含候选标签。
45.在本步骤中，在得到目标图像的标签检测区域图像后，对标签检测区域图像进行去噪和降采样处理。可选的，可以采用三维块匹配算法bm3d(block-matching 3d)对标签检测区域图像进行去噪，具体的，通过搜索相似块并在变换域进行滤波，得到块评估值，最后对图像中每个点进行加权得到最终去噪效果。之后通过“抽取”做降采样处理，即在多个采样点中抽取一个点来达到降采样的作用。每隔d-1个点抽取1个点，这里的d为整数，就使得采样率从fs降为fs/d。
46.步骤104：根据所述去噪图像，将所述候选标签确定为目标标签。
47.在本步骤中，首先基于梯度检测算法，检测去噪图像中的所有线段，然后根据预设分组规则对线段进行分组，并基于四边形检测算法对每组线段进行检测和筛选，确定去噪图像中的闭环四边形，最终对闭环四边形进行解码和编码，得到候选标签的标识码，并根据标识码将候选标签确定为目标标签。
48.本发明提供的标签检测方法，首先获取上一时刻由标签检测得到的第一标签检测区域，然后根据第一标签检测区域，确定当前时刻获取的目标图像中的第二标签检测区域，之后对第二标签检测区域图像进行去噪和降采样，得到符合预设显示区域大小的去噪图像，所述去噪图像包含候选标签。由此可知，本发明根据上一时刻由标签检测得到的标签检测区域，可以快速确定当前时刻获取的目标图像中的标签检测区域，同时通过对获取的检测区域图像进行降采样和去噪处理，减少了标签检测过程中的计算量，使得标签检测更加迅速。
49.基于上述实施例的内容，在本实施例中，根据所述第一标签检测区域，确定当前时刻获取的目标图像中的第二标签检测区域，包括：
50.根据所述第一标签检测区域在上一时刻获取的目标图像中的位置信息，确定当前时刻获取的目标图像中的第二标签检测区域。
51.在本实施例中，需要说明的是，根据上一时刻获取的目标图像中标注好的矩形区域，在其长宽方向上可以扩展一定的大小，该大小可以根据标注好的矩形区域(第一标签检测区域)进行相应调整，例如对标注好的矩形区域扩展四分之一或者其他大小，将其作为当前时刻获取的目标图像中的第二标签检测区域。
52.基于上述实施例的内容，在本实施例中，根据上一时刻获取目标图像与当前时刻获取目标图像的时间间隔，对所述第一标签检测区域进行修正，确定当前时刻获取的目标图像中的第二标签检测区域。
53.基于上述实施例的内容，在本实施例中，所述根据上一时刻获取目标图像与当前时刻获取目标图像的时间间隔，对所述第一标签检测区域进行修正，包括：
54.根据上一时刻获取目标图像与当前时刻获取目标图像的时间间隔，确定所述第一标签检测区域所能运动的最大像素距离；
55.根据所述最大像素距离，对所述第一标签检测区域进行修正。
56.在本实施例中，当上一时刻获取目标图像与当前时刻获取目标图像之间的检测时间间隔过长时，可以根据检测时间间隔，确定第一标签检测区域在该时间间隔内所能运动的最大像素距离，从而将第一标签检测区域扩展为更大的区域作为第二标签检测区域。
57.基于上述实施例的内容，在本实施例中，所述对第二标签检测区域图像进行去噪和降采样，得到符合预设显示区域大小的去噪图像，包括：
58.基于三维匹配滤波算法对所述第二标签检测区域图像进行去噪，并根据预设采样间隔对去噪后的第二标签检测区域图像进行降采样，得到符合预设显示区域大小的去噪图像。
59.基于上述实施例的内容，在本实施例中，在得到符合预设显示区域大小的去噪图像后，还包括：
60.基于梯度检测算法，检测所述去噪图像中的所有线段；
61.根据预设分组规则对所述线段进行分组，并基于四边形检测算法对每组线段进行检测和筛选，确定所述去噪图像中的闭环四边形；
62.对所述闭环四边形进行解码和编码，得到所述候选标签的标识码，并根据所述标识码将所述候选标签确定为目标标签。
63.在本实施例中，如图2所示，在得到符合预设显示区域大小的去噪图像后首先进行边缘检测，具体的，对梯度边缘进行聚类，根据边的权值对所有的边进行增序排列，最后会根据边的权值做边的合并。给定一个合并完成边的集合n，边的梯度方向最大值与最小值之差是d(n)，梯度强度最大值与最小值之差是m(n)，d(n)必须在0～2π之间，所以要对d(n)做取余的处理。给定两个边集合n和m，当它们满足以下条件，合并这两组边为一组边：
64.d(n∪m)＝min(d(n),d(m)) kd/|n∪m|
65.d(n∪m)＝min(m(n),m(m)) km/|n∪m|
66.完成了图像中所有点的聚类，就可以使用加权最小二乘法来拟合直线的方程，每一点的权值就是该点的梯度的强度。
67.在本实施例中，在检测得到所有的线段后，下一步需要挑选线段，对线段分组，每一组线段都是能够构成四边形的候选者。分组遵循以下规则：前一条边的末端点应该和下一条边的始端点之间的距离小于一个阈值，并且相接的线段要构成逆时针的方向。分组成功后，所有的线段会构成一个树，该树的第一层为所有的有向线段，第二层到最后一层的节点为同一组候选者线段，应用深度优先搜索遍历整个树，若在树的深度为4的时候，最后一条边与第一条边构成一个闭环，则说明它们是符合二维码四边形的要求，遍历到该闭环节点的路径就构成了该四边形，从而得到去噪图像中的闭环四边形。
68.在本实施例中，在得到去噪图像中的闭环四边形，需要对闭环四边形进行解码和编码，得到候选标签的标识码，并根据标识码将所述候选标签确定为目标标签。具体的，在二维码的解码过程中，首先将二维码中每一块的坐标通过单应性矩阵映射到图像平面，判断图像平面上映射后的点的像素值是否大于某一个阈值，若大于该阈值，二维码这个坐标上为1，相反，小于该阈值则判定为0。完成二维码的解码后，下一步需要检测该二维码是否有效。确定检测到的四边形的内部点阵，编码方式由使用者对物体进行标定时确定，根据编码方式不同，生成不同的内点坐标，得到候选标签的标识码，并与编码库中预设的标识码进行匹配，若匹配成功则确定候选标签为目标标签。
69.基于上述实施例的内容，在本实施例中，在对目标图像进行预处理时，还可以采用并行程序，将相机获取目标图像并显示的任务单独放入子线程，与检测程序并行，增加图像显示时的流畅度，优化程序。
70.由此可见，本发明提供的标签检测方法，标签识别过程变短，节约了时间，也更好地和项目需求匹配，可以满足特定领域中更快的标签检测匹配需求。本发明使用了基于相邻标签检测时间的优化和前期对图像的预处理，使得处理的时候计算量变小，在转入四边形筛选与检测的时候时间缩短。
71.下面对本发明提供的标签检测装置进行描述，下文描述的标签检测装置与上文描述的标签检测方法可相互对应参照。
72.如图3所示，本发明提供的一种标签检测装置，包括：
73.获取模块1，用于获取上一时刻由标签检测得到的第一标签检测区域；
74.第一处理模块2，用于根据所述第一标签检测区域，确定当前时刻获取的目标图像中的第二标签检测区域；
75.第二处理模块3，用于对第二标签检测区域图像进行去噪和降采样，得到符合预设显示区域大小的去噪图像，所述去噪图像包含候选标签；
76.第三处理模块4，用于根据所述去噪图像，将所述候选标签确定为目标标签。
77.在本实施例中，所获取的第一标签检测区域为上一次标签检测过程中得到的，例如在首次对目标图像进行标签检测时得到的标签检测区域用于下一次在标签检测过程确定标签检测区域。
78.在本实施例中，可选的，可以根据第一标签检测区域在上一时刻获取的目标图像中的位置信息，确定当前时刻获取的目标图像中的第二标签检测区域，还可以根据上一时刻获取目标图像与当前时刻获取目标图像的时间间隔，对第一标签检测区域进行修正，确定当前时刻获取的目标图像中的第二标签检测区域。例如，在首次进行标签检测时，通过对目标图像的全局检测确定目标图像中的标签位置，并根据标签位置，记录标签外接正矩形对角顶点在图像中的二维坐标，从而确定标签外接正矩形的位置信息，在下一次进行标签检测时，以首次确定的外接正矩形位置信息作为基准，进行合理扩展得到当前目标图像中需要检测的矩形的大致位置，也即当前的标签检测区域。由此可见，本发明根据上一时刻由标签检测得到的标签检测区域，可以快速确定当前时刻获取的目标图像中的标签检测区域，无需对目标图像全图进行检测，缩小了在检测时需要参与检测运算过程的图像大小，从而缩短了检测需要的时间。
79.在本实施例中，在得到目标图像的标签检测区域图像后，对标签检测区域图像进行去噪和降采样处理。可选的，可以采用三维块匹配算法bm3d(block-matching 3d)对标签检测区域图像进行去噪，具体的，通过搜索相似块并在变换域进行滤波，得到块评估值，最后对图像中每个点进行加权得到最终去噪效果。之后通过“抽取”做降采样处理，即在多个采样点中抽取一个点来达到降采样的作用。每隔d-1个点抽取1个点，这里的d为整数，就使得采样率从fs降为fs/d。
80.本发明提供的标签检测装置，首先获取上一时刻由标签检测得到的第一标签检测区域，然后根据第一标签检测区域，确定当前时刻获取的目标图像中的第二标签检测区域，之后对第二标签检测区域图像进行去噪和降采样，得到符合预设显示区域大小的去噪图像，所述去噪图像包含候选标签，并根据所述去噪图像，将所述候选标签确定为目标标签。由此可知，本发明根据上一时刻由标签检测得到的标签检测区域，可以快速确定当前时刻获取的目标图像中的标签检测区域，同时通过对获取的检测区域图像进行降采样和去噪处理，减少了标签检测过程中的计算量，使得标签检测更加迅速。
81.基于上述实施例的内容，在本实施例中，所述第一处理模块，具体用于：
82.根据所述第一标签检测区域在上一时刻获取的目标图像中的位置信息，确定当前时刻获取的目标图像中的第二标签检测区域。
83.图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communications interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行标签检测方法，该方法包括：获取
上一时刻由标签检测得到的第一标签检测区域；根据所述第一标签检测区域，确定当前时刻获取的目标图像中的第二标签检测区域；对第二标签检测区域图像进行去噪和降采样，得到符合预设显示区域大小的去噪图像，所述去噪图像包含候选标签，根据所述去噪图像，将所述候选标签确定为目标标签。
84.此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
85.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的标签检测方法，该方法包括：获取上一时刻由标签检测得到的第一标签检测区域；根据所述第一标签检测区域，确定当前时刻获取的目标图像中的第二标签检测区域；对第二标签检测区域图像进行去噪和降采样，得到符合预设显示区域大小的去噪图像，所述去噪图像包含候选标签，根据所述去噪图像，将所述候选标签确定为目标标签。
86.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的标签检测方法，该方法包括：获取上一时刻由标签检测得到的第一标签检测区域；根据所述第一标签检测区域，确定当前时刻获取的目标图像中的第二标签检测区域；对第二标签检测区域图像进行去噪和降采样，得到符合预设显示区域大小的去噪图像，所述去噪图像包含候选标签，根据所述去噪图像，将所述候选标签确定为目标标签。
87.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
88.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
89.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；
而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。