一种违禁品检测方法、装置、设备及计算机可读存储介质与流程

1.本技术涉及计算机技术领域，特别涉及一种违禁品检测方法、装置、设备及计算机可读存储介质。


背景技术：

2.对于现有的安检机设备，在尽量少的改变原有系统运行的前提下，采用外接视频采集系统获取画面进行智能分析。采用目前主流的深度学习方法，可以检测识别到图像帧中的违禁品。但在实际应用场景中，现场工作人员需要观察实时视频画面，所以得保证检测框稳定准确的跟随物体在画面中移动。单纯采用深度学习方法，无法保证每一帧画面都能准确无误地将所有违禁品都检测出来，通常情况是对于某个违禁品(同一个违禁品通过安检机设备过程)有时能检测到，有时检测不到，因此不能在结果展示时平稳顺滑，表现出闪烁现象，极大影响安检人员观看。
3.综上，深度学习模型对图像噪声较为敏感，导致最终呈现的目标检测框往往存在闪烁抖动的现象，影响安检人员观看。如何克服这个缺点，是亟待本领域技术人员解决的技术问题。


技术实现要素：

4.本技术的目的是提供一种违禁品检测方法、装置、设备及计算机可读存储介质，用以解决在目前的基于深度学习的目标检测方案中，目标检测框往往存在闪烁抖动的现象的问题。其具体方案如下：
5.第一方面，本技术提供了一种违禁品检测方法，包括：
6.提取当前图像帧的边缘特征信息；
7.选取所述边缘特征信息中每列像素点的最优特征值，得到所述当前图像帧的特征线；
8.确定所述当前图像帧的特征线与历史图像帧的特征线的偏移距离；
9.将所述历史图像帧的目标检测框移动所述偏移距离，得到所述当前图像帧的目标检测框，以作为所述当前图像帧的违禁品检测结果。
10.可选的，所述提取当前图像帧的边缘特征信息，包括：
11.利用sobel算子计算当前图像帧在y方向上的梯度，得到边缘特征信息。
12.可选的，所述选取所述边缘特征信息中每列像素点的最优特征值，得到所述当前图像帧的特征线，包括：
13.选取所述边缘特征信息中每列像素点的最大特征值，得到所述当前图像帧的特征线。
14.可选的，在所述选取所述边缘特征信息中每列像素点的最优特征值之后，还包括：
15.对所述最优特征值进行连续性判断，丢弃偏离值超过预设偏离范围的最优特征值。
16.可选的，所述确定所述当前图像帧的特征线与历史图像帧的特征线的偏移距离，包括：
17.在预设偏移范围内，确定所述当前图像帧的特征线与历史图像帧的特征线的偏移距离。
18.可选的，所述确定所述当前图像帧的特征线与历史图像帧的特征线的偏移距离，包括：
19.通过滑动的方式，在预设偏移范围内计算不同偏移距离下所述当前图像帧的特征线与历史图像帧的特征线的匹配度，得到匹配度最高的偏移距离。
20.可选的，在所述确定所述当前图像帧的特征线与历史图像帧的特征线的偏移距离之前，还包括：
21.获取与所述当前图像帧的采集时间相差预设时间阈值的图像帧，以作为历史图像帧。
22.第二方面，本技术提供了一种违禁品检测装置，包括：
23.特征提取模块，用于提取当前图像帧的边缘特征信息；
24.特征线生成模块，用于选取所述边缘特征信息中每列像素点的最优特征值，得到所述当前图像帧的特征线；
25.偏移距离确定模块，用于确定所述当前图像帧的特征线与历史图像帧的特征线的偏移距离；
26.检测结果输出模块，用于将所述历史图像帧的目标检测框移动所述偏移距离，得到所述当前图像帧的目标检测框，以作为所述当前图像帧的违禁品检测结果。
27.第三方面，本技术提供了一种违禁品检测设备，包括：
28.存储器：用于存储计算机程序；
29.处理器：用于执行所述计算机程序，以实现如上所述的违禁品检测方法。
30.第四方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的违禁品检测方法。
31.本技术所提供的一种违禁品检测方法，包括：提取当前图像帧的边缘特征信息；选取边缘特征信息中每列像素点的最优特征值，得到当前图像帧的特征线；确定当前图像帧的特征线与历史图像帧的特征线的偏移距离；将历史图像帧的目标检测框移动所述偏移距离，得到当前图像帧的目标检测框，以作为当前图像帧的违禁品检测结果。可见，该方法通过计算图像偏移量，保证最终呈现的目标检测框在画面内的平稳滑动，方便人为观察，大大提升安检实际运行和智能分析的效率。
32.此外，本技术提供了一种违禁品检测装置、设备及计算机可读存储介质，其技术效果与上述方法的技术效果相对应，这里不再赘述。
附图说明
33.为了更清楚的说明本技术实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根
据这些附图获得其他的附图。
34.图1为正常画面；
35.图2为完整物理发生分裂的画面；
36.图3为本技术所提供的违禁品检测方法实施例一的流程图；
37.图4为本技术所提供的违禁品检测方法实施例二的流程图；
38.图5为本技术所提供的违禁品检测装置实施例的示意图；
39.图6为本技术所提供的违禁品检测设备实施例的示意图。
具体实施方式
40.为了使本技术领域的人员更好地理解本技术方案，下面结合附图和具体实施方式对本技术作进一步的详细说明。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
41.为保证违禁品目标检测框在视频画面每一帧中都准确显示，现有的解决方案主要从两个方向展开：
42.第一种是基于纯深度学习的方法，对每一帧画面进行检测，将结果显示在图像上，这类方法的问题主要体现在：
43.1、实时性：现有硬件条件下，每一帧都进行模型推理，耗时太久，导致画面延迟。
44.2、视觉效果：同样物体在不同帧中得到的检测框大小不一，导致框不断晃动，而且同一物体不一定在每帧画面中都能检测到，框可能会不断闪烁出现，视觉效果很差，给现场观察带来很大不便。
45.第二种是基于深度学习和跟踪算法的结合方法，隔一定时间间隔进行一次检测，中间的时间，让检测框自动跟踪物体。目前比较主流的方法有以下几种：
46.1、基于传统的跟踪算法，采用opencv自带的跟踪算法，这种算法的优点是位移计算精准，亚像素精度，缺点是由于实际获取到的视频有缺陷，有局部画面“撕裂”的现象，会导致检测框左右抖动，(本来是0的位移静止，却判断成在
‑
1和1之间跳动)影响视觉效果。同时跟踪也只关注到局部单个物体信息，不能获取全局信息。图1为正常画面，图2为图像“撕裂”，完整物体产生错位分裂，跟踪不上产生叠加框。
47.2、基于其他图像特征进行跟踪，提取特征进行匹配的方法，有sift、fast、hog等，这些方法的优点都是匹配能力强，前后两帧的物体都能比较好的匹配上，缺点是，实际视频画面运动变化是简单的平移运动，没有复杂变化，采用特征匹配的方法，太耗时且一定程度上有些浪费资源。而且特征点数量也不稳定。
48.3、简单的像素统计方法，对每一列像素求平均和，获取全局信息，对极值点进行帧与帧之间的匹配拟合。这种方法的优点是获取到的是全局信息，在图像稳定时计算准确。缺点是实际应用场景下，安检机外接视频采集卡获取到的画面会有图像"撕裂"的现象，会干扰距离匹配的结果，造成跟踪结果不准的结果。
49.总之，单就安检机的画面特点，简单的平移运动来说，现有的跟踪算法其实已经足够成熟，能够实现画面位移的计算。但在实际开发中，通过实验发现，由于硬件条件等一系列相关因素，最终系统所获取到的视频画面，存在“撕裂”现象，肉眼在视频播放下难以察
觉。这也就是为什么采用传统跟踪算法，检测框会频繁抖动。
50.针对上述问题，本技术的核心在于提供一种违禁品检测方法、装置、设备及计算机可读存储介质，通过计算图像偏移量，保证最终呈现的目标检测框在画面内的平稳滑动，方便人为观察，大大提升安检实际运行和智能分析的效率。
51.下面对本技术提供的违禁品检测方法实施例一进行介绍，参见图3，实施例一包括：
52.s11、提取当前图像帧的边缘特征信息；
53.本实施例不限定特征提取算法，作为一种可行的实施方式，可以利用sobel算子计算当前图像帧在y方向上的梯度，得到边缘特征信息。
54.s12、选取边缘特征信息中每列像素点的最优特征值，得到当前图像帧的特征线；
55.上述最优特征值具体是指最典型的最具有参考价值的特征值，实际应用中，可以选用最大特征值，次大特征值，最小特征值等，本实施例对此不做限定。值得一提的是，实际应用中特征值可能存在误差，因此需要注意丢掉明显的误差数据，以保证整个检测方案的可靠性。作为一种具体的实施方式，在选出每列像素点的最优特征值之后，对最优特征值进行连续性判断，丢弃偏离值超过预设偏离范围的最优特征值。
56.s13、确定当前图像帧的特征线与历史图像帧的特征线的偏移距离；
57.安检机中，采集到的图像帧是水平移动的物体的图像，所以本实施例主要考虑图像在水平方向上的偏移情况。由于上述步骤已经提取到当前图像帧的特征线，通过对当前图像帧的特征线和历史图像帧的特征线进行滑动匹配，并计算匹配度，得到匹配度最高的偏移距离即二者的偏移距离。
58.上述历史图像帧是指在当前图像帧的采集时刻之前所采集的图像帧，历史图像帧的目标检测框为已知信息，至于当前图像帧与历史图像帧的采集时间间隔，可以根据实际情况自行设置和调整，本实施例对此不做限定。
59.作为一种具体的实施方式，可以提前设置当前图像帧的特征线与历史图像帧的特征线的预设偏移范围，以减少部分不必要的计算，加速得到二者的偏移距离，提升目标检测效率。
60.s14、将历史图像帧的目标检测框移动偏移距离，得到当前图像帧的目标检测框，以作为当前图像帧的违禁品检测结果。
61.针对安检机视频画面的平移特点，本实施例对每一帧图像进行特征提取，找出每一列的最明显特征生成该图片的特征线。再基于统计学的方法，将帧与帧之间的特征分布进行像素平移比较，找出匹配程度最高的偏移距离。本实施例结合全局信息，能够有效减少局部画面波动带来的影响，避免目标检测框抖动。
62.本实施例所提供的违禁品检测方法，包括：提取当前图像帧的边缘特征信息；选取边缘特征信息中每列像素点的最优特征值，得到当前图像帧的特征线；确定当前图像帧的特征线与历史图像帧的特征线的偏移距离；将历史图像帧的目标检测框移动所述偏移距离，得到当前图像帧的目标检测框，以作为当前图像帧的违禁品检测结果。可见，该方法通过计算图像偏移量，保证最终呈现的目标检测框在画面内的平稳滑动，方便人为观察，大大提升安检实际运行和智能分析的效率。
63.下面开始详细介绍本技术提供的违禁品检测方法实施例二，参见图4，实施例二具
体包括：
64.s21、利用sobel算子计算当前图像帧在y方向上的梯度，得到边缘特征信息；
65.s22、选取边缘特征信息中每列像素点的最大特征值；
66.s23、对最大特征值进行连续性判断，丢弃偏离值超过预设偏离范围的最大特征值，得到当前图像帧的特征线；
67.对于每一帧画面，使用常见的sobel算子计算y方向上的梯度，获取边缘特征信息。之后先进行阈值筛选，保留明显的特征值，然后对每一列选取一个最大值横坐标。考虑到图像的撕裂现象和局部噪声，本实施例需要的是稳定且连续的明显特征，所以还要对最大特征坐标进行连续性判断，偏离较大的特征点丢弃掉。至此便提取出了一帧图像的特征线，特征线长度与图像宽度保持一致。
68.s24、获取与当前图像帧的采集时间相差预设时间阈值的图像帧，以作为历史图像帧；
69.s25、通过滑动的方式，在预设偏移范围内计算不同偏移距离下当前图像帧的特征线与历史图像帧的特征线的匹配度，得到匹配度最高的偏移距离；
70.在实际的应用场景中，视频画面中的物体均是向左或向右进行平移运动，在工作人员不进行放大缩小的操作时，图像不会上下移动，所以本实施例计算得到的只是画面向左或向右偏移像素点距离。
71.根据这个规律，本实施例利用统计的方法确定偏移距离。将一帧图像帧的尺寸设为w*h，那么一帧图像的特征线长度就是w。本实施例预设一个两帧之间最大的像素偏移量为s，那么从[
‑
s,s]这个范围(往左是负，往右是正)，遍历取一个距离a：当a<0，取上一帧特征line的[w a,w]和当前帧的[0,w a]两个部分，当a>0时，取上一帧的[0,w
‑
a]和当前帧的[a,w]两部分，对这两个部分进行匹配，看有多少对应位置的特征点坐标是相同的，最终对于每一个距离a，都能得到一个统计数(0～w)，遍历结束后，通过比较得到最大统计数对应的偏移距离a，便是前后两帧图像水平方向上偏移的距离。
[0072]
但只考虑前后两帧还不足以获取最佳的偏移距离，因为图像是离散像素点，实际偏移是连续的，介于两个离散值之间，会存在累计误差。所以，作为一种具体的实施方式，本实施例每五帧进行一次偏移检查，用五帧之前的图像和当前进行匹配，把误差补上。可以理解的是，实际应用中，也可以设置为每隔预设时间阈值进行一次偏移检查。
[0073]
s26、将历史图像帧的目标检测框移动所述偏移距离，得到当前图像帧的目标检测框，以作为当前图像帧的违禁品检测结果。
[0074]
本实施例的核心是在智能违禁品检测系统中准确计算安检机视频帧之间的画面偏移量，保证智能分析结果显示平稳流畅。除了平移之外，由于本实施例统计的是全局信息，对于场景变化也有比较好的敏感度，如果操作人员对画面进行放大缩小，前后帧能匹配上的坐标点就很少，当最大的特征匹配数不超过图像宽度的一半时，便可以判定为场景有变化，及时清除画面已有的框，用深度学习模型重新检测。
[0075]
下面对本技术实施例提供的违禁品检测装置进行介绍，下文描述的违禁品检测装置与上文描述的违禁品检测方法可相互对应参照。
[0076]
如图5所示，本实施例的违禁品检测装置，包括：
[0077]
特征提取模块51，用于提取当前图像帧的边缘特征信息；
[0078]
特征线生成模块52，用于选取所述边缘特征信息中每列像素点的最优特征值，得到所述当前图像帧的特征线；
[0079]
偏移距离确定模块53，用于确定所述当前图像帧的特征线与历史图像帧的特征线的偏移距离；
[0080]
检测结果输出模块54，用于将所述历史图像帧的目标检测框移动所述偏移距离，得到所述当前图像帧的目标检测框，以作为所述当前图像帧的违禁品检测结果。
[0081]
本实施例的违禁品检测装置用于实现前述的违禁品检测方法，因此该装置的具体实施方式可见前文中的违禁品检测方法的实施例部分，这里不再赘述。
[0082]
此外，本技术还提供了一种违禁品检测设备，如图6所示，包括：
[0083]
存储器100：用于存储计算机程序；
[0084]
处理器200：用于执行所述计算机程序，以实现如上文所述的违禁品检测方法。
[0085]
最后，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上文所述的违禁品检测方法。
[0086]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0087]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、或技术领域内所公知的任意其它形式的存储介质中。
[0088]
以上对本技术所提供的方案进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。