基于图像校正的切图方法、电子设备及介质与流程

1.本发明涉及图像处理领域，具体涉及基于图像校正的切图方法、电子设备及介质。


背景技术：

2.在安检场景中，有把x光机视频信号转换成图片的需求。在这个需求场景下，就涉及到需要对视频进行连续的切图，使得进入安检机的物品的x光机成像图片能够不重复，无遗漏的切割下来。
3.在x光机的视频中，一个像素信息点从一边移动到另外一边的过程中，很有可能不是完美的直线，当一个s框中的像素点移动到e框中的时候，有可能会向上或者向下移动两个像素点位，甚至三个，还有可能向左或者向右快进或者慢进几个像素点位，也有可能两者都有，这种一个像素的变化和周围其他点位的像素变化联动，就会造成像素平移、旋转、缩放误差。


技术实现要素：

4.本发明的目的在于提供一种基于图像校正的切图方法、电子设备及介质，采用池化pooling处理，比对一定范围内相邻的一组像素，输出这组像素的一个最小值，用以解决现有x光机视频信号转换成图片时，像素平移、旋转、缩放误差的问题。
5.基于图像校正的切图方法，具体包括以下步骤：
6.s1、获取x光机发送的视频流；
7.s2、根据所述视频流截取每一帧视频图片，获得视频图片序列；
8.s3、根据包裹进入x光机的时间先后顺序，依次从所述视频图片序列中调取与时间对应的视频图片，以所述视频图片为基准，遍历所述基准的视频图片之后的每一张视频图片，基于图形校正进行剪切对比，直到遍历的视频图片的特征值与所述基准的视频图片的特征值相匹配时，将所述匹配的视频图片保存至x光图片集合，并循环步骤s3；
9.s4、根据预设规则，将所述x光图片集合中的视频图片进行合并，获得所述视频流中所有包裹的信息。
10.进一步地，所述步骤s3具体包括如下步骤：
11.s301、根据所述视频图片序列获得待剪切对比的视频图片fm；
12.s302、根据第一预设区域对所述视频图片fm进行剪切，获得像素矩阵s，将所述像素矩阵s进行最小值池化，获得特征矩阵ωs；；
13.s303、依次遍历视频图片fm之后的每一张视频图片,每遍历一张视频图片时，根据第二预设区域对当前遍历的视频图片进行剪切，获得与所述当前遍历的视频图片对应的像素矩阵e；
14.s304、将所述像素矩阵e进行最小值池化，获得特征矩阵ωe；
15.s305、判断所述特征矩阵ωs与特征矩阵ωe是否匹配，若匹配，则转步骤s306；若不相等，则转步骤s307；
16.s306、遍历结束，将所述特征值ωe对应的视频图片保存至x光图片集合中,并获取下一包裹进入x光机时的视频图片对视频图片fm进行更新，循环步骤s302-s305；
17.s307、继续遍历下一帧视频图片，并计算其对应的特征值ωe，直至找到其对应的特征值ωe与所述特征值ωs相等的视频图片。
18.进一步地，所述最小值池化为用边长为a正方形窗口，以步长为b对所述像素矩阵s或像素矩阵e进行水平方向与竖直方向扫描。
19.进一步地，所述第一预设区域与第二预设区域根据x光机传送带的方向进行设置，且基于所述视频图片fm的中心线对称。
20.进一步地，所述当x光机传送带传送的方向为从右至左进行时，设置视频图片fm中最左上角的坐标为(0,0)，所述第一预设区域为左上角坐标为(w,h)，宽为c像素，高为r像素的矩形区域，所述w、h、c、r满足：w c＝当前帧视频图片fm的横向像素，c r＝当前帧视频图片fm的纵向像素。
21.进一步地，所述步骤s305中的所述匹配的判断依据为：统计特征矩阵ωs与特征矩阵ωe相对应位置中不同的元素数目，当不同的元素数目小于规定的阈值时，则判定为匹配，否则判定为不匹配。
22.进一步地，所述所述步骤s2与步骤s3之间还包括色彩信息降阶步骤：
23.提取所述视频图片序列中每一张视频图片的每个像素点的rgb颜色信息，并对所述每个像素点的rgb颜色信息进行降阶，获得降阶后的视频图片序列。
24.进一步地，所述步骤s4预设规则为：
25.从最先保存至所述x光图片集合中的视频图片开始遍历，依次提取一张视频图片以及与其相邻的后一张视频图片；
26.根据所述相邻的两张视频图片，提取前一张视频图片的第一预设区域的像素信息与后一张视频图片的第二预设区域的像素信息；
27.将所述第二预设区域的像素信息与第一预设区域的像素信息进行区域图像融合，生成融合包裹信息；
28.将所有融合包裹信息与最先保存至所述x光图片集合中的视频图片对应的的第二预设区域的像素信息，进行合成处理，获得所述视频流中所有包裹的信息。
29.基于图像校正的的切图电子设备，包括：
30.一个或多个处理器；
31.存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据权利要求1至8中任意一项所述的基于色彩补偿的切图方法，所述一个或多个程序包括：
32.采集模块，用于获取x光机发送的视频流；
33.图片序列模块，用于根据所述视频流截取每一帧视频图片，获得视频图片序列；
34.剪切对比模块，用于根据包裹进入x光机的时间先后顺序，依次从所述视频图片序列中调取与时间对应的视频图片，以所述视频图片为基准，遍历所述基准的视频图片之后的每一张视频图片，基于图形校正进行剪切对比，直到遍历的视频图片的特征值与所述基准的视频图片的特征值相匹配时，将所述匹配的视频图片保存至x光图片集合，并循环；
35.合并模块，用于根据预设规则，将所述x光图片集合中的视频图片进行合并，获得
所述视频流中所有包裹的信息。
36.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时能实现所述的基于图像校正的切图方法。
37.本发明具有的有益效果：
38.1、通过池化pooling处理，保留像素矩阵主要特征的同时减少参数和计算量，通过池化后的相对不变性，降低像素平移、旋转、缩放误差，同时防止过拟合，由于x光机的视频是白底的rgb，而物品是用橙、绿、蓝几种颜色表示的，在这种情况下，有价值的像素信息应该是白色以外的信息，因此rgb24像素信息中，白色的像素值是最大的，因此使用最小值池化，提取出更有用的信息。
39.2、根据x光机的工作原理，对每一张视频图片的通过预设区域进行剪切与特征值对比，获得包含所有包裹信息的x光图片集合，减少了多余图片的重复冗余信息，同时避免包裹信息的遗漏。
附图说明
40.图1为本发明的基于图像校正的切图方法流程示意图；
41.图2为本发明的基于图像校正的切图电子设备结构示意图；
42.图3为本发明的实施例1像素矩阵s示意图；
43.图4为本发明的实施例1像素矩阵e某个像素变化示意图；
44.图5为本发明的降阶后的像素矩阵s与像素矩阵e对比示意图；
45.图6为本发明的实施例1的fm帧视频图片剪切对比示意图；
46.图7为本发明的实施例1的fm 1帧视频图片剪切对比示意图；
47.图8为本发明的实施例1的fm n-1帧视频图片剪切对比示意图；
48.图9为本发明的实施例1的fm n帧视频图片剪切对比示意图；
49.图10为本发明的切图方法数据流程图；
具体实施方式
50.下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不限于此。
51.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖向”、“纵向”、“侧向”、“水平”、“内”、“外”、“前”、“后”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
52.在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“开有”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
53.实施例1
54.本实施例的目的在于提供一种基于色彩补偿、图形校正的切图方法，具体包括以下步骤：
55.s1、获取x光机发送的视频流；
56.s2、根据所述视频流截取每一帧视频图片，获得视频图片序列；
57.s3、提取所述视频图片序列中每一张视频图片的每个像素点的rgb颜色信息，并对所述每个像素点的rgb颜色信息进行降阶，获得降阶后的视频图片序列；
58.具体地，所述步骤s3中的降阶具体包括以下步骤：
59.s301、将所述视频图片每个像素点的rgb颜色信息除以2n，获得对应的每个像素点的rgb商值；
60.s302、根据所述每个像素点的rgb商值刷新对应的rgb颜色信息，获得降阶后的视频图片。
61.由于色彩是二进制表示，所以，在降低像素色彩信息阶数的时候，可以使用现有像素色彩信息除以2的倍数的方式，在这里，我们设像素色彩信息为l，降低后的像素色彩信息为o，降低前的亮度阶数为n，降低后的亮度阶数为m，那么：
62.o＝l/2
(n-m)
63.o是商，余数被舍弃，比如，我们将b为60和61的两个8bit数据，即256阶色彩的像素变成2bit共4阶色彩的像素，那么56和57对应的降低阶数的计算式分别为：
64.60/2
(8-2)
65.61/2
(8-2)
66.两个计算式算出的商都是0，两个像素的r色彩信息在降低阶数后变得一样了。
67.同样，在rgb中，像素g和b也可以通过此种方法各降低到4个阶数，这样的话，整个像素的色彩就从1678万种，变成了4*4*4＝64种。
68.根据实际情况，我们可以选择合理的降低阶数，使得原本由于像素色彩信息的变化导致的色彩误差被消除掉，使得特征值由原本像素组成的不相等的像素矩阵s和e，变成了像素色彩信息阶数降低后的相等的特征矩阵s和e。
69.s4、根据包裹进入x光机的时间先后顺序，依次从所述降阶后的视频图片序列中调取与时间对应的视频图片，以所述视频图片为基准，遍历所述基准的视频图片之后的每一张视频图片，基于图形校正进行剪切对比，直到遍历的视频图片的特征值与所述基准的视频图片的特征值相匹配时，将所述匹配的视频图片保存至x光图片集合，并循环步骤s4；
70.具体地，所述步骤s4具体包括如下步骤：
71.s001、根据所述降阶后的视频图片序列获得待剪切对比的视频图片fm；
72.s002、根据第一预设区域对所述视频图片fm进行剪切，获得像素矩阵s，将所述像素矩阵s进行最小值池化，获得特征矩阵ωs；；
73.s003、依次遍历视频图片fm之后的每一张视频图片,每遍历一张视频图片时，根据第二预设区域对当前遍历的视频图片进行剪切，获得与所述当前遍历的视频图片对应的像素矩阵e；
74.s004、将所述像素矩阵e进行最小值池化，获得特征矩阵ωe；
75.s005、判断所述特征矩阵ωs与特征矩阵ωe是否匹配，若匹配，则转步骤s306；若不相等，则转步骤s307；
76.s006、遍历结束，将所述特征值ωe对应的视频图片保存至x光图片集合中,并获取下一包裹进入x光机时的视频图片对视频图片fm进行更新，循环步骤s002-s005。
77.s007、继续遍历下一帧视频图片，并计算其对应的特征值ωe，直至找到其对应的特征值ωe与所述特征值ωs相等的视频图片。
78.具体地，在一种光机场景中，x光视频中的包裹等物品是从右向左跟着传送带运动的，我们可以从视频中取出一帧信号fm(整个视频的第m帧信号，当前帧视频图片fm为待检测包裹完全进入x光机时的视频图片)，在帧所对应的rgb24像素中，从最右边截取一个像素矩阵，矩阵的列，也就是矩阵在视频中的宽，记为c，起始左位在整帧中是从左往右第w位，矩阵的行，也就是矩阵在视频中的高，记为r，起始高位在整帧中是从上往下第h位，矩阵本身记为s，记帧中最左上角的位置为(0,0)，那么矩阵中拥有的像素个数为r*c，矩阵对应的四边形左上角位置为(w,h)。
79.在fm帧中截取最右边的的像素矩阵之后，在fm帧之后的帧fm 1,fm 2,fm 3......fm n中，从和矩阵s对称的最左边位置截取一个同样大小的矩阵，记为e。
80.将s和e两个像素矩阵的特征值ω进行对比，通过选取合适的r值和c值，使得在有限范围的像素集合中(一个x光视频中的物品从右边移动到左边的过程中)，非同一个信息矩阵拥有同样的ω在统计学中是不可能事件，当fm n帧中的e的ωe等于fm帧中的s的ωs，则此时fm帧中最右边的像素矩阵s在fm n帧中已经移动到了最左边，帧中的信息已经全部替换为新的信息。从逻辑上理解，我们可以认为，旧的包裹物品已经从最左边出去，新的包裹物品已经从最左边进来占据了整个画面。
81.若fm n中的ωe不等于fm中的ωs，则继续剪切对比第fm n 1帧视频图片，直到找到为止。
82.当在fm n帧，ωe＝ωs时，我们选取fm n整帧作为一张x光图片，记为p1，加入x光图片集合之中，同时，我们将包含下一个包裹信息的帧视频图片为新的待剪切对比帧fm，将其对应的的最右边像素框中记录下一个新的ωs，继续往下寻找，从fm 1，fm 2，fm 3中获取到新的ωe，并判断ωe是否等于ωs，直到找到为止，把找到ωe＝ωs的fm k帧作为第二张图片给截取下来，记为p2。
83.将p1和p2两种图片视为连续的两张视频图片，两张图片含有以什么位置进行粘连的这种像胶水一样的特殊功能(胶水信息：拥有相同特征值ω的像素矩阵s和像素矩阵e)。
84.按照如此方法，继续切下p3,p4,p5......pn图片，那么所有图片组成一个图片集合。
85.x光机的工作原理为：当被检物品进入检查通道，将遮住包裹检测传感器(光障),检测信号被送到控制单元，产生x射线触发信号，触发x射线发射源发射x射线，x射线经过准直器形成非常薄的扇形x射线束，穿过被检物品后到达探测器。探测器把x射线的光信号转换为电信号，然后通过图像处理软件再现包裹内物品的轮廓、构成及材料属性。当被检物品通过检测区域后，射线发生器会停止产生射线。
86.当物品被检查时，非常薄的扇形x射线束会一层一层地扫过被检物，相当于对被检物进行切片，图像采集系统收集并存储每一层扫描线的图像信息，当传送带将被检物品输送通过检测区域后，将得到被检物品的整个图像信息，包括被检物品进入的时间戳信息，因此根据被检物品进入的时间戳信息获得视频中对应的时间的帧视频图片。
87.我们设池化的窗口边长为a，步长为b，那么，在列为c，行位r的像素矩阵s中，我们可以通过池化获取到池化后的特征矩阵ωs，ωs中每个元素都对应着每一个池化窗口，设ωs的行为n，列为m，那么：
88.n＝(r-a)/b 1
89.m＝(c-a)/b 1
90.同理，我们也能够得到池化的特征矩阵ωe。
91.s5、根据预设规则，对所述x光图片集合中的视频图片进行合并，获得所述视频流中所有包裹的信息。
92.在图片集合中，所有图片的像素信息并集，p1∪p2∪p3∪p4......∪pn，就是整个视频的所有包裹的信息，没有包裹信息的遗漏。
93.而在图片集合中，所有的像素信息的两两交集的并集的集合p＝(p1∩p2)u(p2∩p3)u(p3∩p4)......∪(pn-1∩pn)，p为该视频流中所有包裹信息的集合e1,e2,e3......en,也就是说，该集合p没有多余的重复冗余包裹信息。
94.实施例2
95.本实施例的目的在于提供一种基于图形校正的切图方法，具体包括以下步骤：
96.s1、获取x光机发送的视频流；
97.s2、根据所述视频流截取每一帧视频图片，获得视频图片序列；
98.s3、根据包裹进入x光机的时间先后顺序，依次从所述视频图片序列中调取与时间对应的视频图片，以所述视频图片为基准，遍历所述基准的视频图片之后的每一张视频图片，基于图形校正进行剪切对比，直到遍历的视频图片的特征值与所述基准的视频图片的特征值相匹配时，将所述匹配的视频图片保存至x光图片集合，并循环步骤s4；
99.具体地，所述步骤s3具体包括如下步骤：
100.s001、根据所述视频图片序列获得待剪切对比的视频图片fm；
101.s002、根据第一预设区域对所述视频图片fm进行剪切，获得像素矩阵s，将所述像素矩阵s进行最小值池化，获得特征矩阵ωs；；
102.s003、依次遍历视频图片fm之后的每一张视频图片,每遍历一张视频图片时，根据第二预设区域对当前遍历的视频图片进行剪切，获得与所述当前遍历的视频图片对应的像素矩阵e；
103.s004、将所述像素矩阵e进行最小值池化，获得特征矩阵ωe；
104.s005、判断所述特征矩阵ωs与特征矩阵ωe是否匹配，若匹配，则转步骤s306；若不相等，则转步骤s307；
105.s006、遍历结束，将所述特征值ωe对应的视频图片保存至x光图片集合中,并获取下一包裹进入x光机时的视频图片对视频图片fm进行更新，循环步骤s002-s005。
106.s007、继续遍历下一帧视频图片，并计算其对应的特征值ωe，直至找到其对应的特征值ωe与所述特征值ωs相等的视频图片。
107.池化的具体原理为：如表1所示，表示的就是对一个4*4的矩阵，用一个2*2的池化窗口，以步长为2进行
‘
扫描’，选择最小值输出为特征矩阵，如表2所示。
108.表1矩阵a
109.1124
567832101234
110.表2池化矩阵a
111.1210
112.我们设池化的窗口边长为a，步长为b，那么，在列为c，行位r的像素矩阵s中，我们可以通过池化获取到池化后的特征矩阵ωs，ωs中每个元素都对应着每一个池化窗口，设ωs的行为n，列为m，那么：
113.n＝(r-a)/b 1
114.m＝(c-a)/b 1
115.同理，我们也能够得到池化的特征矩阵ωe。
116.s4、根据预设规则，对所述x光图片集合中的视频图片进行合并，获得所述视频流中所有包裹的信息。
117.在图片集合中，所有图片的像素信息并集，p1∪p2∪p3∪p4......∪pn，就是整个视频的所有包裹的信息，没有包裹信息的遗漏。
118.而在图片集合中，所有的像素信息的两两交集的并集的集合p＝(p1∩p2)u(p2∩p3)u(p3∩p4)......∪(pn-1∩pn)，p为该视频流中所有包裹信息的集合e1,e2,e3......en,也就是说，该集合p没有多余的重复冗余包裹信息。
119.实施例3
120.本实施例的目的在于提供一种基于图像校正的的切图电子设备，包括：
121.一个或多个处理器；
122.存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现所述的基于图形补偿的切图方法，所述一个或多个程序包括：
123.采集模块，用于获取x光机发送的视频流；
124.图片序列模块，用于根据所述视频流截取每一帧视频图片，获得视频图片序列；
125.剪切对比模块，用于根据包裹进入x光机的时间先后顺序，依次从所述视频图片序列中调取与时间对应的视频图片，以所述视频图片为基准，遍历所述基准的视频图片之后的每一张视频图片，基于图形校正进行剪切对比，直到遍历的视频图片的特征值与所述基准的视频图片的特征值相匹配时，将所述匹配的视频图片保存至x光图片集合，并循环；
126.合并模块，用于根据预设规则，将所述x光图片集合中的视频图片进行合并，获得所述视频流中所有包裹的信息。
127.实施例4，一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时能实现所述的基于图像校正的切图方法。
128.以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。