一种物流货仓内监控图像处理系统

1.本发明涉及一种物流货仓内监控图像处理系统，属于图像处理技术领域。


背景技术：

2.仓储是现代物流的一个重要组成部分，在物流系统中起着至关重要的作用，是厂商研究和规划的重点。高效合理的仓储可以帮助厂商加快物资流动的速度，降低成本，保障生产的顺利进行，并可以实现对资源的有效控制和管理。物流货仓内，部分货物对温度要求较高，温度的变化可能直接影响货物外形或货物本质属性的变化，因此，及时发现货仓内温度变化尤为重要。由于红外检测设备具有远距离、不接触、实时、快速等特点，因而对货仓内温度检测具有重要意义。
3.红外成像技术虽然具有诸多优点，但与普通图像相比，红外热成像图因为工作原理、外界环境及其自身器件等因素的影响，视觉效果不够清晰，不利于后续的货仓管理。


技术实现要素：

4.为了克服现有技术的不足，本发明提供了一种物流货仓内监控图像处理系统。
5.本发明提供了一种物流货仓内监控图像处理系统，包括图像采集单元、图像融合单元、温度计算单元、异常温度定位单元及预警单元；所述图像采集单元用于获取目标场景的红外热图像和rgb图像，并将所述红外热图像和所述rgb图像上传至所述图像融合单元；所述图像融合单元用于对所述红外热图像和所述rgb图像进行融合处理，得到融合后图像；所述温度计算单元用于对所述融合后图像及其温宽条进行相同的灰度化处理，得到融合后图像及其温宽条的灰度图；并根据所述灰度图对融合后图像中的各像素进行插值处理，提取出所述融合后图像中的各像素的温度值；所述异常温度定位单元用于根据所述温度值确定所述融合后图像中异常温度出现的区域，并根据所述异常温度出现的区域发送预警指令；所述预警单元用于在收到所述预警指令后进行报警。
6.可选的，所述图像融合单元包括：预处理子单元、分解子单元及融合子单元；所述预处理子单元用于对所述红外热图像和所述rgb图像分别进行图像增强及图像滤波处理，得到红外预处理图像和rgb预处理图像；所述分解子单元用于分别将所述红外预处理图像和所述rgb预处理图像分解为低频分量和高频分量；所述融合子单元用于对所述红外预处理图像和所述rgb预处理图像的所述低频分量进行融合，得到低频融合系数，对所述高频分量进行融合，得到高频融合系数，并根据所述低频融合系数和所述高频融合系数得到融合后图像。
7.可选的，所述预处理子单元具体用于：
将所述红外热图像或所述rgb图像均匀分割为一组互不重叠的子图像；采用第一公式对所述子图像分别进行局部增强，所述第一公式为：；式中；；n表示子图像大小，ni表示灰度级为i的像素个数，l表示图像灰度级数；通过双线性内插法对相邻的所述子图像进行处理，得到增强后图像；通过中值滤波器对所述增强后图像进行滤波处理，得到红外预处理图像或rgb预处理图像。
8.可选的，所述分解子单元具体用于：根据二维正交小波分解的算法分别将所述红外预处理图像和所述rgb预处理图像分解为低频分量和高频分量；其中，所述高频分量包括垂直方向上的高频分量、水平方向上的高频分量和对角线方向上的高频分量。
9.可选的，所述二维正交小波分解的算法为：其中，为的低频分量，为垂直方向上的高频分量，为水平方向上的高频分量，为对角线方向上的高频分量；为所述红外预处理图像或所述rgb预处理图像在分辨率为2-j
时的近似分量，表示标准正交尺度函数的双尺度方程系数，表示小波函数的双尺度方程系数。
10.可选的，所述融合子单元具体用于：利用平均算子对所述低频分量进行融合，得到融合后图像的低频带小波系数；通过基于特征的融合方式对所述高频分量进行融合，得到融合后图像的高频带小波系数；
根据所述低频带小波系数和所述高频带小波系数进行所述二维正交小波分解算法的逆变换，得到融合后图像。
11.可选的，所述温度计算单元还用于：对所述温度值进行校准补偿处理，得到校准后的温度值；所述异常温度定位单元具体用于：根据校准后的所述温度值确定所述融合后图像中异常温度出现的区域。
12.可选的，所述异常温度定位单元包括异常温度识别子单元和区域确定子单元；所述异常温度识别子单元用于将所述温度值与预设温度阈值进行对比，对超出所述温度阈值的所述温度值对应的像素进行染色标记，并识别出所述染色标记聚集的位置；所述区域确定子单元内预设有目标场景的区域划分图，所述区域确定子单元用于根据所述区域划分图和所述染色标记聚集的位置确定异常温度出现的区域，并根据所述异常温度出现的区域发送预警指令。
13.可选的，所述区域划分图根据目标场景的功能区域进行划分。
14.可选的，所述预警单元包括现场预警子单元和/或远程预警子单元；所述现场预警子单元为声光报警器，用于接收所述预警指令并根据所述预警指令进行预警；所述远程预警子单元包括通讯子单元和远程监控端，所述通讯子单元用于将所述预警指令传输到所述远程监控端，所述远程监控端用于根据所述预警指令进行预警。
15.本发明能产生的有益效果包括：本发明通过对同一目标场景、同一时间点获取的红外热图像和rgb图像融合处理得到融合后图像，并计算出图像各像素点的温度值；根据温度值确定出异常温度出现的准确区域，并进行报警；基于此，本发明不仅能准确得出异常温度出现的区域，及时进行异常温度预警，而且能得到视觉效果清晰的监控图像，方便后续对货仓进行管理。
附图说明
16.图1为本发明实施例提供的一种物流货仓内监控图像处理系统的系统框图。
17.部件和附图标记列表：1、图像采集单元；11、红外图像采集子单元；12、可见光图像采集子单元；3、图像融合单元；31、预处理子单元；32、分解子单元；33、融合子单元；4、温度计算单元；5、异常温度定位单元；51、异常温度识别子单元；52、区域确定子单元；6、预警单元；61、现场预警子单元；62、远程预警子单元。
具体实施方式
18.下面结合实施例详述本发明，但本发明并不局限于这些实施例。
19.本发明实施例提供了一种物流货仓内监控图像处理系统，如图1所示，监控图像处理系统包括图像采集单元1、图像融合单元3、温度计算单元4、异常温度定位单元5及预警单元6。
20.图像采集单元1包括红外图像采集子单元11及可见光图像采集子单元12。
21.红外图像采集子单元11用于获取目标场景的红外热图像，并将红外热图像上传至
图像融合单元3。可见光图像采集子单元12用于获取目标场景的rgb图像，并将rgb图像上传至图像融合单元3。
22.红外图像采集子单元11为红外监控摄像机，可见光图像采集子单元12为可见光监控摄像机；红外图像采集子单元11与可见光图像采集子单元12也可为可见光红外一体监控摄像机。
23.目标场景为装有红外监控摄像机和可见光监控摄像机的物流货仓，或装有可见光红外一体监控摄像机的物流货仓。
24.图像融合单元3用于对红外热图像和rgb图像进行融合处理，得到融合后图像。
25.图像融合单元3包括预处理子单元31、分解子单元32及融合子单元33。
26.预处理子单元31用于对红外热图像和rgb图像分别进行图像增强及图像滤波处理，得到红外预处理图像和rgb预处理图像。
27.具体的，预处理子单元31用于将红外热图像或rgb图像均匀分割为一组互不重叠的子图像；采用第一公式对子图像分别进行局部增强，第一公式为：；式中；；n表示子图像大小，ni表示灰度级为i的像素个数，l表示图像灰度级数；通过双线性内插法对相邻的子图像进行处理，得到增强后图像；通过中值滤波器对增强后图像进行滤波处理，得到红外预处理图像或rgb预处理图像。
28.分解子单元32用于分别将红外预处理图像和rgb预处理图像分解为低频分量和高频分量。
29.具体的，分解子单元32用于根据二维正交小波分解的算法分别将红外预处理图像和rgb预处理图像分解为低频分量和高频分量；其中，高频分量包括垂直方向上的高频分量、水平方向上的高频分量和对角线方向上的高频分量。
30.二维正交小波分解的算法为：
其中，为的低频分量，为垂直方向上的高频分量，为水平方向上的高频分量，为对角线方向上的高频分量；为红外预处理图像或rgb预处理图像在分辨率为2-j
时的近似分量，表示标准正交尺度函数的双尺度方程系数，表示小波函数的双尺度方程系数。
31.融合子单元33用于对红外预处理图像和rgb预处理图像的低频分量进行融合，得到低频融合系数，对高频分量进行融合，得到高频融合系数，并根据低频融合系数和高频融合系数得到融合后图像。
32.具体的，融合子单元33用于利用平均算子对低频分量进行融合，得到融合后图像的低频带小波系数。低频带小波系数反应了图像的近似信息，并且低频分量部分的图像比较光滑，因此采用平均算子进行融合，具体融合规则为：其中，a（x,y）、b（x,y）分别为a和b两个待融合图像，、、、分别为分辨率2-j
时a图像的低频分量、水平方向上的高频分量、垂直方向上的高频分量和对角线方向上的高频分量，、、、分别为分辨率2-j
时b图像的低频分量、水平方向上的高频分量、垂直方向上的高频分量和对角线方向上的高频分量，为低频带小波系数。
33.通过基于特征的融合方式对高频分量进行融合，得到融合后图像的高频带小波系数。
34.具体的，和对应方向和分辨率上的局部区域能量分别为e
j a
和e
j b
，根据高频分量的小波系数矩阵计算对应的高频区域能量，具体公式为：（1）其中，为分辨率为2-j
时，水平方向上以为中心位置的局部区域能量，l、k为局部区域的长和宽，是与高频分量相对应的加权系数。
35.根据（1）得到的区域能量，计算水平方向和对应分辨率上局部区域的匹配度，具体公式为：（2）定义匹配度阈值为，取值为0.5-1.0。
36.若则：（3）（3）其中，为融合后的图像f在分辨率为2-j
时水平方向上的高频分量。
37.若则：
（4）根据（1）-（4）得到融合后图像在水平方向上的高频分量小波系数矩阵，同理得到融合后图像在垂直方向上和对角线方向上的高频分量小波系数矩阵。融合后图像在水平方向上、垂直方向上和对角线方向上的高频分量小波系数矩阵即为高频带小波系数。
38.根据低频带小波系数和高频带小波系数进行二维正交小波分解算法的逆变换，得到融合后图像。
39.温度计算单元4用于对融合后图像及其温宽条进行相同的灰度化处理，得到融合后图像及其温宽条的灰度图；并根据灰度图对融合后图像中的各像素进行插值处理，提取出融合后图像中的各像素的温度值。
40.具体的，温度计算单元4还用于：对温度值进行校准补偿处理，得到校准后的温度值。
41.本实施例中，对融合后图像及其温宽条进行相同的灰度化处理，得到融合后图像及其温宽条的灰度图具体为获取融合后图像及其温宽条中各像素的r分量、g分量和b分量，并将像素的r分量、g分量和b分量中的最大值作为像素的灰度值输出，生成红外热图像及其温宽条的灰度图。
42.异常温度定位单元5用于：根据校准后的温度值确定融合后图像中异常温度出现的区域。
43.具体的，异常温度定位单元5用于根据温度值确定融合后图像中异常温度出现的区域，并根据异常温度出现的区域发送预警指令。
44.异常温度定位单元5包括异常温度识别子单元51和区域确定子单元52。其中，异常温度识别子单元51用于将温度值与预设温度阈值进行对比，对超出温度阈值的温度值对应的像素进行染色标记，并识别出染色标记聚集的位置。
45.区域确定子单元52内预设有目标场景的区域划分图，其中区域划分图根据目标场景的功能区域进行划分，即按照货仓内存储货物的类别对目标场景进行人为的区域划分；区域确定子单元52用于根据区域划分图和染色标记聚集的位置确定异常温度出现的区域，并根据异常温度出现的区域发送预警指令。
46.本实施例中，预设的温度阈值为50℃-60℃，当温度值小于50℃时，为异常低温，对应的像素点以蓝色染色标记，确定染色标记聚集的位置对应区域划分图上的区域，发送该区域异常低温预警。当温度值大于60℃时，为异常高温，对应的像素点以红色染色标记，确定染色标记聚集的位置对应区域划分图上的区域，发送该区域异常高温预警。
47.预警单元6用于在收到预警指令后进行报警，具体的，预警单元6包括现场预警子单元61和/或远程预警子单元62。
48.其中，现场预警子单元61为声光报警器，用于接收预警指令并根据预警指令进行声光预警，及时提醒现场工作人员货仓内出现异常高温或异常低温的区域，保障货仓内生产的顺利进行。
49.远程预警子单元62包括通讯子单元和远程监控端，通讯子单元用于将预警指令传输到远程监控端，远程监控端用于根据预警指令进行预警，方便远程监控人员对货仓进行
管理。
50.以上，仅是本技术的几个实施例，并非对本技术做任何形式的限制，虽然本技术以较佳实施例揭示如上，然而并非用以限制本技术，任何熟悉本专业的技术人员，在不脱离本技术技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。