图像融合方法和装置、系统

1.本发明涉及太赫兹成像领域，特别是涉及太赫兹图像的图像融合方法、装置以及系统。


背景技术：

2.太赫兹(thz)波是指频率在0.1～10thz(波长为3000～30μm)范围内的电磁波，在长波段与毫米波相重合，在短波段与红外光相重合。太赫兹成像技术是利用太赫兹辐射作为信号源进行成像的一种技术，一般是通过透射或反射获得检测对象的信息来成像。
3.太赫兹成像技术能够实现对旅客进行非配合、快速、无感安检，已经在海关、民航机场等的安检场景下得到了广泛的应用。太赫兹被动成像的基本原理是通过接收人体在太赫兹波段的热辐射能量进行焦平面成像。人体辐射的太赫兹波段的能量强度又称为辐射亮温，与人体温度有关。当人处于一个干净的环境中时，由于周围环境的辐射亮温低于人体的辐射亮温，因此在太赫兹图像中，可以对人体和环境进行明显区分，形成人体的体表亮温图像。当人身上携带了嫌疑物时，嫌疑物会对该区域人体辐射的太赫兹能量阻挡，使得在太赫兹图像中嫌疑物所在区域接收到的辐射能量低，即亮温低，因此与周围人体区域图像形成对比，凸显出嫌疑物的轮廓。


技术实现要素：

4.当太赫兹被动成像设备部署于开放式环境中时，如果存在复杂的背景辐射和反射，会对人体成像质量造成严重干扰，降低安检的准确性。
5.由于太赫兹成像设备的焦距和景深较短，在安检通道内处于焦距以外的人体在成像时会散焦，这样也会严重影响太赫兹安检设备的成像质量和安检效果。
6.为了弥补复杂环境和非最佳成像距离等因素带来的影响，现有技术中采用的方法是给太赫兹安检设备提供一个最优的使用场景，比如专为太赫兹安检设备搭建一个“房子”，控制环境辐射，目标成像距离等。但是，该方法所具有的明显缺点就是对部署场地提出了较高要求，增加了部署成本。
7.本发明提供一种能够提高太赫兹图像的成像质量和安检效果的图像融合方法、装置以及系统。
8.根据本发明的第一方式，提供一种图像融合方法，包括：从掩膜提取用图像中提取检测对象的掩膜图像；以及将掩膜图像融合到太赫兹图像来形成太赫兹融合图像。
9.在上述第一方式中，从掩膜提取用图像中提取检测对象的掩膜图像包括：对掩膜提取用图像适用基于深度学习的语义分割算法，将与检测对象对应的部分和背景部分分离，并将与检测对象对应的部分作为掩膜图像。
10.在上述第一方式中，基于深度学习的语义分割算法为轻量级的实例/语义分割模型yolocat 。
11.在上述第一方式中，将掩膜图像融合到太赫兹图像来形成太赫兹融合图像包括：
将掩膜图像直接映射到太赫兹图像，形成太赫兹融合图像。
12.在上述第一方式中，将掩膜图像融合到太赫兹图像来形成太赫兹融合图像包括：将掩膜图像和太赫兹图像输入到编码器-解码器形式的神经网络中，形成太赫兹融合图像。
13.在上述第一方式中，将掩膜图像和太赫兹图像拼接成一个两通道的图像数据作为输入而输入到神经网络中，神经网络为融合了低级特征和高级特征的语义分割网络。
14.在上述第一方式中，将掩膜图像和太赫兹图像分别作为两个输入而输入到神经网络中；将掩膜图像匹配到神经网络的解码器部分，并将掩膜图像作为注意力引导信息，合并到神经网络。
15.在上述第一方式中，还包括：对掩膜提取用图像和太赫兹图像进行配准。
16.在上述第一方式中，还包括：对掩膜提取用图像和太赫兹图像进行同步。
17.在上述第一方式中，掩膜提取用图像包括可见光图像、深度图像、红外图像中的至少一个。
18.在上述第一方式中，掩膜提取用图像为可见光图像。
19.在上述第一方式中，掩膜提取用图像为深度图像。
20.在上述第一方式中，掩膜提取用图像为红外图像。
21.在上述第一方式中，还包括：基于深度图像，按照深度值对所提取的掩膜图像进行过滤处理，将经过滤处理后的掩膜图像与太赫兹图像进行融合，形成太赫兹融合图像。
22.在上述第一方式中，过滤处理包括：设定最近阈值，针对掩膜图像中的每个对象，在该对象中的最近点的深度值大于深度阈值时，将该对象从掩膜图像中去掉。
23.在上述第一方式中，过滤处理包括：设定深度阈值以及面积阈值，针对掩膜图像中的每个对象，当该对象中深度值大于深度阈值的区域面积大于面积阈值，或者，当该对象中深度值大于深度阈值的区域面积占该对象的整个掩膜的比例大于面积阈值，则将满足条件的对象从掩膜图像中去掉。
24.在上述第一方式中，过滤处理包括：设定最近阈值、深度阈值以及面积阈值，从掩膜图像中去掉同时满足第一条件和第二条件的对象，其中，第一条件为该对象的内部的最近点的深度值大于最近阈值，第二条件为该对象中深度值大于深度阈值的区域面积大于面积阈值，或者该对象中深度值大于深度阈值的区域面积占该对象的整个掩膜的比例大于面积阈值。
25.根据本发明的第二方式，提供一种图像融合装置，包括：掩膜提取模块，从掩膜提取用图像中提取检测对象的掩膜图像；以及图像融合模块，将掩膜图像融合到太赫兹图像来形成太赫兹融合图像。
26.根据本发明的第三方式，提供一种图像融合系统，包括：用于获取掩膜提取用图像的相机；太赫兹相机；以及上述的图像融合装置。
27.因此，在本发明中，通过掩膜图像，能够对太赫兹图像中的背景进行实时过滤、优化，提升太赫兹图像的成像效果和目标检测准确率。换言之，通过将从掩膜提取用图像中提取的掩膜融合到太赫兹图像上，提高成像质量和安检效果。
附图说明
28.图1是示出本发明的实施方式所涉及的图像融合装置的功能框图；
29.图2是示出本发明的实施方式所涉及的图像融合方法的流程图；
30.图3是示出安装有本发明的图像融合系统的安检通道的一个示例的示意图；
31.图4是示出实施例1的图像融合方法的流程图；
32.图5的(a)～(c)是用于说明将可见光掩膜直接映射到太赫兹图像时存在的问题的图；
33.图6的(a)和(b)是示出用于进行图像融合的神经网络模型的示意图；
34.图7是示出安装有本发明的图像融合系统的安检通道的一个示例的示意图；
35.图8是示出实施例2的图像融合方法的流程图；
36.图9的(a)～(f)是用于说明将深度掩膜直接映射到太赫兹图像时存在的问题的图；
37.图10是示出安装有本发明的图像融合系统的安检通道的一个示例的示意图；
38.图11是示出实施例3的图像融合方法的流程图；
39.图12是示出实施例4的图像融合方法的流程图；
40.图13是示出实施例5的图像融合方法的流程图；
41.图14的(a)～(f)是用于说明实施例5的图像融合方法及其成像效果的图。
具体实施方式
42.以下，参照附图，说明本发明的实施方式所涉及的图像融合装置和图像融合方法。
43.图1是示出图像融合装置100的功能框图。如图1所示，图像融合装置100包括：配准模块10、同步模块10、掩膜提取模块30、图像融合模块40。
44.图像融合装置100用于对掩膜提取用图像和太赫兹图像进行融合。图像融合(image fusion)是指，将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成像为高质量的图像。
45.在这里，太赫兹图像是通过被动式太赫兹成像技术获得的图像。被动式太赫兹成像技术是被动接收人体散发的太赫兹波来成像的技术。掩膜提取用图像是通过其他图像传感器等获得的能够从中提取掩膜的图像，例如，可见光图像、深度图像、红外图像。掩膜表示作为安检的对象物的检测对象的外部轮廓。检测对象可以是人、动物、货物等。
46.配准模块10用于对掩膜提取用图像和太赫兹图像进行配准。在这里，配准(registration)是指同一区域内以不同成像手段所获得的不同图像图形的地理坐标的匹配。
47.同步模块20用于对掩膜提取用图像和太赫兹图像进行同步。在这里，同步是指掩膜提取用图像和太赫兹图像在时间上保持一定的相对应关系。
48.掩膜提取模块30从掩膜提取用图像中提取检测对象的掩膜图像。例如，从可见光图像中提取表示人体的外部轮廓的掩膜图像。
49.图像融合模块40将掩膜图像融合到太赫兹图像，形成太赫兹融合图像。例如，将从可见光图像中提取的掩膜图像融合到太赫兹图像上。
50.图2示出图像融合装置100所执行的图像融合方法。
51.在s10步骤中，对掩膜提取用图像和太赫兹图像进行配准。
52.在s20步骤中，对掩膜提取用图像和太赫兹图像进行同步。
53.在s30步骤中，从掩膜提取用图像中提取检测对象的掩膜图像。
54.在s40步骤中，将掩膜图像融合到太赫兹图像，形成太赫兹融合图像。
55.以下，利用具体的实施例说明包含图像融合装置100的图像融合系统。
56.(实施例1)
57.图3是示出安装有图像融合系统的安检通道的一个示例的示意图。在实施例1中，图像融合系统包括：可见光相机rgb-a、太赫兹相机tera-c、图像融合装置100。
58.换言之，在实施例1中，掩膜提取用图像包括可见光图像。
59.图4是示出实施例1中图像融合装置100所执行的图像融合方法的流程图。
60.在s11步骤中，配准模块10对可见光图像和太赫兹图像进行配准。配准模块10可以调节用于可见光相机rgb-a和太赫兹相机tera-c的参数，实现可见光图像和太赫兹图像的配准。
61.此时，配准模块10例如如下进行配准。(1)在使得检测对象位于检测区域的合适的位置，例如，使作为检测对象的人在合适的安检场景中保持静止站立的情况下，同时采集tera-c和rgb-a的图像，进行视场对齐。(2)对rgb-a的图像用hog变换提取其纹理信息，并以一定的比例叠加到太赫兹图像上，判断rgb-a和tera-c的对齐效果。(3)调节配准参数，反复执行步骤(2)，直到近似配准，存储所有的配准参数。
62.在这里，由于太赫兹图像成像分辨率低，可参考可见光相机标定的参数精度差，通过调节缩放比和平移旋转等参数，达到最优视觉配准即可。
63.在s12步骤中，同步模块20对可见光图像和太赫兹图像进行同步。
64.同步模块20例如如下进行同步。(1)在获取tera-c和rbg-a图像时，同时保存其获取时间；(2)tera-c和rgb-a如有明确的时间延迟，对应的获取时间向前追溯；(3)将获取时间最为相近的两张图像认为是同步采集的图像；(4)也可以在时间戳同步后，再对时间戳附近的图像按图像内容进行二次匹配，进一步提高同步准确性。
65.在s13步骤中，掩膜提取模块30从可见光图像中提取检测对象的可见光掩膜。
66.具体来说，掩膜提取模块30对所述掩膜提取用图像适用基于深度学习的语义分割算法，将与检测对象对应的部分和背景部分分离，并将与检测对象对应的部分作为所述掩膜图像。基于深度学习的语义分割算法可以是轻量级的实例/语义分割模型yolocat 。在该深度学习的语义分割算法中，在模型学习阶段，可以采集足够数量的安检场景数据，根据需求标注掩膜，用标注的数据集对分割模型进行调优。
67.在s14步骤中，图像融合模块40将可见光掩膜图像融合到太赫兹图像，形成太赫兹融合图像。
68.在这里，太赫兹融合图像是将掩膜图像融合到太赫兹图像上得到的图像。在将本发明的图像融合装置应用到安检装置中的情况下，可以基于该太赫兹融合图像来判断检测对象是否携带可疑物品。
69.进行融合的方式可以是直接映射。即，将可见光掩膜图像直接映射到太赫兹图像，形成太赫兹融合图像。通过直接映射的方式进行图像融合，能够对背景强噪声进行过滤，也可以避免如现有技术那样通过建造“房子”等的物理隔离方式所带来的场地占用问题。
70.然而，如果将语义分割模型预测的人体掩膜结果直接映射到太赫兹图像上，也可以得到去除背景噪声后的太赫兹图像，但是，这种方式容易出现以下问题。(1)在环境复杂
的安检环境或人与背景区别不突出的情况下，语义分割提取的掩膜易缺较多，若直接映射到太赫兹图像上会造成最终的太赫兹图像中的检测对象(例如人像)出现明显偏差(如图5的(a))。(2)由于太赫兹图像分辨率低的缺点，并且太赫兹相机和可见光相机、深度相机成像原理的不同，从而容易出现掩膜缺失(如图5的(b))的问题，(3)由于掩膜是包含衣服的外部轮廓，而太赫兹图像是穿透衣物的图像，从而掩膜比太赫兹图像中的检测对象“胖”的问题(如图5的(c))，从而给太赫兹图像显示及检测带来的不良影响。
71.因此，更为优选的是，作为图像融合方式，采用神经网络等机器学习方法。例如，图像融合模块40可以将掩膜图像和太赫兹图像输入到编码器-解码器形式的神经网络中，获得融合后的太赫兹图像。在模型学习的过程中，就加入可见光图像提取的掩膜信息，而不是直接映射。
72.作为利用神经网络进行图像融合的具体方式，图像融合模块40可以采用例如如图6的(a)或(b)所示的方式。
73.在图6的(a)、(b)中，神经网络中的各个方框表示表示特征提取的步骤，方框从大到小的部分表示编码器，方框从小到大的部分表示解码器。在本发明中，优选采用编码器-解码器形式的神经网络。在编码阶段可以获得低级纹理特征和高级语义特征，在解码阶段将低级特征和高级特征进行更好的特征融合及解码，提高了语义分割的精度，提高了模型识别背景和前景的能力。图6的(a)和(b)分别示出两种神经网络模型。
74.第一种模型：如图6的(a)所示，将掩膜图像和太赫兹图像拼接成一个两通道的图像数据作为输入而输入到融合了低级特征和高级特征的语义分割网络中，获得融合后的太赫兹图像。
75.第二种模型：如图6的(b)所示，将掩膜图像和太赫兹图像分别作为两个输入而输入到神经网络，将掩膜图像匹配到神经网络的解码器部分，并将掩膜图像作为注意力引导信息，合并到该神经网络。
76.上面虽然利用图6的(a)和(b)分别给出了两种神经网络模型，但是本发明所适用的神经网络模型不限于这两种，只要是能够实现图像融合的模型即可。上述的图6的(a)和(b)的模型是经过了实际验证的太赫兹融合图像的成像效果较好的模型。
77.在本发明中，在模型在学习的时候，不只考虑太赫兹图像的灰度值信息，也结合可见光图像提取的掩膜所提供的空间信息作为参考，使得最终的分割效果更倾向于太赫兹图像。从而，能够避免直接映射掩膜图像带来的“偏”、“胖”及掩膜缺失给太赫兹图像显示及检测带来的不良影响。
78.(实施例2)
79.图7是示出安装有图像融合系统的安检通道的一个示例的示意图。在实施例2中，图像融合系统包括：深度相机depth-b、太赫兹相机tera-c、图像融合装置100。
80.在实施例2中，可以将由深度相机depth-b获得的深度图像作为掩膜提取用图像，提取深度掩膜。
81.图8是示出实施例2中图像融合装置100所执行的图像融合方法的流程图。
82.在s21步骤中，配准模块10对深度图像和太赫兹图像进行配准。
83.在s22步骤中，同步模块20对深度图像和太赫兹图像进行同步。
84.上述的s21步骤和s22步骤的具体处理方法分别与实施例1的s11步骤和s22步骤类
似，区别在于进行配准或同步的对象是深度图像和太赫兹图像，因此省略具体说明。
85.以下，对从深度图像提取深度掩膜的处理(s23步骤)、以及将该深度掩膜融合到太赫兹图像上的处理(s24步骤)进行说明。
86.在s23步骤中，掩膜提取模块30从深度图像提取深度掩膜。
87.具体来说，掩膜提取模块30将深度图像中不属于检测对象的部分过滤掉，比如远距离背景、近距离地面及通道左右遮挡物等，从而提取与检测对象对应的部分，将该部分作为深度掩膜。更为具体来说，(1)设置远距离阈值，过滤掉安检通道外的深度图像背景；(2)采集无人无遮挡的安检背景，对地面进行建模，用于地面过滤；(3)若通道两侧有障碍物，也通过建模的方法对其进行过滤；(4)对去背景的深度图像进行聚类，提取带深度距离值的深度掩膜。
88.在s24步骤中，图像融合模块40将从深度图像提取的深度掩膜融合到太赫兹图像上，形成太赫兹融合图像。
89.与实施例1同样地，进行融合的方式可以是直接映射。然而，针对从深度图像提取的深度掩膜，如果将其直接映射到太赫兹图像上，则如图9的(a)～(f)所示，可能出现过滤不干净的情况。
90.具体来说，出现过滤不干净的原因主要有两个：(1)深度图像的精度有限制，在检测对象的边界处容易出现颗粒状的缺失或多余，将这样的深度掩膜直接映射到太赫兹图像上，会出现部分太赫兹背景不能被滤掉，部分太赫兹图像中的检测对象(例如，人体)被去掉太多的情况；(2)深度图像对于部分颜色不成像，比如部分材质的黑色的物体不成像，这样，会出现部分检测对象(例如，人体)被过滤太多的情况。
91.具体来说，为了清楚地示出深度掩膜直接映射到太赫兹图像上时的过滤不干净的问题，在图9中，与将可见光掩膜直接映射到太赫兹图像上的情况进行比较说明。在图9中，(a)为原始的太赫兹图像；(b)为可见光图像；(c)为从可见光图像提取的掩膜；(d)为用(c)对(a)做背景过滤的结果，即将可见光掩膜直接映射太赫兹图像的结果；(e)为设定的阈值之外的深度图像中的人体部分，即，深度掩膜；(f)为在(d)中将(e)包含的部分去掉的结果。
92.因此，在实施例2中，优选的是，使用神经网络模型对深度掩膜和太赫兹图像进行融合。具体来说，针对深度掩膜和太赫兹图像适用基于实例语义分割的神经网络模型，获得融合了深度掩膜后的太赫兹融合图像。由此，解决直接映射带来的偏差及过滤不干净的问题。基于实例语义分割的神经网络模型可以与实施例1中相同，省略具体说明。
93.(实施例3)
94.图10是示出安装有图像融合系统的安检通道的一个示例的示意图。在实施例3中，图像融合系统包括：可见光相机rgb-a、深度相机depth-b、太赫兹相机tera-c、图像融合装置100。
95.实施例3为上述的实施例1和实施例2的结合。在实施例3中，图像融合装置100所执行的图像融合方法的流程图可以认为是上述的图4和图8的结合。在实施例3中可以并行地进行实施例1中的图4的处理和实施例2中的图8的处理。
96.其中，在同时存在可见光相机rgb-a和深度相机depth-b的情况下，由于有时rgb-a和depth-b已经由相机开发商实现了配准和同步。因此，此时，配准模块10和同步模块20只要将tera-c和rgb-a的图像配准和同步、或者将tera-c和depth-b的图像配准和同步即可。
即，如图11所示，实施例1中的图4的s11步骤和实施例2中的图8的s21步骤可以合并为一个s31步骤仅执行其中一个处理、实施例1中的图4的s12步骤和实施例2中的图8的s22步骤可以合并为一个s32步骤仅执行其中一个处理。
97.在实施例3中，掩膜提取模块30分别针从可见光图像和深度图像提取掩膜。图像融合模块40分别将从可见光图像中提取的可见光掩膜融合到太赫兹图像上，将从深度图像中提取深度掩膜融合到太赫兹图像上，从而，分别获得融合了可见光掩膜的太赫兹图像、以及融合了深度图像的太赫兹图像，根据不同的检测对象或检测环境，这两种融合后的太赫兹图像的效果会有所差异，因此，可以根据其效果或者不同需求，选择其中之一来使用，从而减少环境影响，提高安检可靠性。另外，两种输出也可以互相对照比对来进行最终判断，从而能够提高安检可靠性。
98.(实施例4)
99.在实施例4中，图像融合系统包括：可见光相机rgb-a、深度相机depth-b、太赫兹相机tera-c、图像融合装置100。但是，图像融合装置100的处理与实施例3不同。
100.在实施例4中，在实施例3的基础上，图像融合模块40同时将可见光掩膜、深度掩膜融合到太赫兹图像上，而不是分别将可见光掩膜融合到太赫兹图像、深度掩膜融合到太赫兹图像上。如图12所示，可以在图11的基础上，用s44步骤来代替s14步骤和s24步骤。
101.在s44步骤中，将可见光掩膜、深度掩膜融合到太赫兹图像上，形成太赫兹融合图像。
102.具体来说，例如，如图6的(a)所示，图像融合模块40可以将可见光掩膜、深度掩膜、太赫兹图像拼接成一个三通道的图像数据作为输入而输入到融合了低级特征和高级特征的语义分割网络中，获得融合后的太赫兹图像。
103.如上所述，在本发明中，掩膜的数量不限于一个，可以是两个或两个以上。基于实例语义分割的神经网络模型，可以将多个掩膜和太赫兹图像作为输入，作为输出而获得融合后的太赫兹图像。
104.在掩膜数量不只是一个的情况下，能够进一步提高安检的准确性。
105.(实施例5)
106.在实施例5中，图像融合系统包括：可见光相机rgb-a、深度相机depth-b、太赫兹相机tera-c、图像融合装置100。但是，图像融合装置100的处理与实施例3、4不同。
107.在实施例5中，图像融合装置100还包括：深度过滤模块。
108.在实施例5中，仅将可见光图像作为掩膜提取用图像，而深度图像用于进行过滤处理。
109.图13是示出实施例5中图像融合装置100所执行的图像融合方法的流程图。
110.在实施例5中，如图13所示，s51步骤和实施例1的s51步骤相同，s52步骤与实施例1的s52步骤相同，s53步骤和实施例1的s53步骤相同，因此省略说明。
111.在s54步骤中，深度过滤模块利用深度图像中的深度值对s32步骤所提取的可见光掩膜进行深度过滤处理。
112.在s53步骤所提取的可见光掩膜中可能有多个对象的掩膜，例如，多个人体的掩膜，每个对象都是一个独立的区域。从深度图像中获得每个对象的深度距离，在每个对象的内部，不同位置的深度距离可能是不同的。
113.具体来说，深度过滤模块针对每个对象，可以设定最近阈值，判断该对象的内部的最近点的深度值是否大于设定的最近阈值，若是，则将该对象从可见光掩膜中去掉。其中，最近点是指在深度图像中，该对象内部的点之中深度距离值最小的点。该最近阈值是深度距离的阈值。
114.另外，深度过滤模块也可以设定深度阈值和面积阈值，其中，面积阈值可以是关于面积大小的阈值，此时，当该对象中深度值大于深度阈值的区域面积大于所述面积阈值时，将该对象从可见光掩膜中去掉。或者，面积阈值也可以是关于面积比例的阈值，此时，当该对象中深度值大于深度阈值的区域面积占该对象的整个掩膜的比例大于该面积阈值时，将该对象从可见光掩膜中去掉。
115.另外，深度过滤模块也可以在同时满足第一条件和第二条件时，从可见光掩膜中去掉该对象。其中，第一条件为该对象的内部的最近点的深度值是否大于设定的最近阈值。第二条件为该对象中深度值大于深度阈值的区域面积大于所述面积阈值，或者该对象中深度值大于深度阈值的区域面积占该对象的整个掩膜的比例大于该面积阈值。
116.在s55步骤中，利用在s54步骤中进行了过滤之后的掩膜图像与太赫兹图像进行图像融合，进行融合的具体模型和算法与实施例1相同。
117.由于在深度图像中，同一对象内部的距离值是不同的，尤其在安检场景中，例如作为检测对象的人是走动的，这种距离差异会更明显。直接通过固定距离阈值把不在焦距范围内的人过滤掉，会存在过滤偏差及过滤不干净的问题。在本发明中，通过针对可见光掩膜上的每个对象只赋予一个最近阈值，或者同时设定深度阈值和面积阈值，能够无偏差且干净地过滤检测对象以外的对象，例如焦距外等远处的对象。
118.以下，再利用图14的(a)～(f)，对实施例5的整个流程和相比于实施例1的成像效果进行具体说明。
119.在图14中，(a)为原始太赫兹图像，(b)为可见光图像，(c)为可见光掩膜，(d)是将(a)和(c)基于神经网络模型融合后的结果，(e)是根据深度距离，对(c)中的可见光图像进行过滤，去掉远距离的人体后的掩膜，(f)是将(a)和(e)基于神经网络融合后的结果。
120.如上所述，图14的(d)相当于实施例1的结果，由此可知，如果只进行实施例1的处理，即，不进行过滤处理而直接将可见光掩膜融合到太赫兹图像上，可能出现无法过滤掉除检测对象外的其他远处的人体等外物的情况。
121.图14的(e)示出通过上述s33步骤对可见光掩膜进行过滤处理、去掉了位于远处的除检测对象外的其他人体之后的掩膜图像。
122.在实施例5中，将如图12的(e)所示的掩膜图像融合到太赫兹图像上，从而作为结果获得图12的(f)的图像。
123.由此可知，在实施例5中，通过利用深度图像中的深度值进行过滤处理，能够去除检测对象外的物体，例如对焦距外的人体进行筛选过滤，从而能够有效地过滤掉背景噪声，提高太赫兹图像的显示效果。
124.在上述的实施例1～5中，如果采用将可见光掩膜或者深度掩膜直接映射到太赫兹图像上的方式，会对可见光图像或深度图像和太赫兹图像的配准精度有要求，但是太赫兹图像的分辨率较低，难以通过相机标定或图像配准的方式达到像素级的配准精度。采用通过神经网络进行学习的方式，让神经网络学习如何融合这种配准精度不高的图像，则可以
减少对配准精度的要求。
125.另外，在上述的实施例1～5中，将可见光掩膜或者深度掩膜与太赫兹图像进行基于神经网络学习的图像融合，可以提高去背景模型的泛化能力。这是由于，虽然针对同样的环境背景或者不同的环境背景，采集足够多的太赫兹数据来进行人体标注，按道理也可以实现背景过滤，但是，存在需要在每种环境背景下都采集足够多的数据进行标注训练、从而工作量庞大的问题。引入可见光掩膜或者深度掩膜，相当于通过其他设备引入去背景后的信息，从而减少了要在不同的环境背景下都进行数据采集的数量，提高了去背景模型的泛化能力。
126.另外，在上述的实施例1～5中，说明了掩膜提取用图像为可见光图像或深度图像的情况，然而，掩膜提取用图像不仅限于这两种，也可以是其他图像，例如红外图像，只要是能提取掩膜图像，并能够与太赫兹图像融合的图像即可。在掩膜提取用图像为红外图像时，对应的获取掩膜提取用图像的相机可以是红外线相机。
127.另外，在上述的实施方式和实施例中，以将图像融合方法和装置应用到安检中的场景进行了说明，然而，本发明的太赫兹图像的图像融合方法和装置不仅限于安检，也可以适用于利用太赫兹成像的其他应用领域，例如医疗领域。
128.以上，虽然结合附图描述了本发明的实施方式和具体实施例，但是本领域技术人员可以在不脱落本发明的精神和范围的情况下做出各种修改和变形，这样的修改和变形均落入由所述权利要求所限定的范围之内。