一种融合了可见光图像、深度图像和太赫兹图像的安检系统和方法与流程

技术特征：
1.一种融合了可见光图像、深度图像和太赫兹图像的安检系统，包括：多个传感器模块，被配置为采集包含一个或多个目标对象在内的场景的可见光图像、深度图像以及太赫兹图像；图像同步模块，被配置为对采集的可见光图像、深度图像和太赫兹图像进行同步；图像配准模块，被配置为对同步后的可见光图像、深度图像和太赫兹图像进行配准；图像融合模块，被配置为对配准后的可见光图像、深度图像和/或太赫兹图像进行融合；以及识别模块，被配置为基于融合后的图像来识别所述目标对象携带的目标物品。2.根据权利要求1所述的安检系统，其中，所述多个传感器模块被配置为：在同一时刻采集所述可见光图像、所述深度图像和所述太赫兹图像。3.根据权利要求1所述的安检系统，其中，所述多个传感器模块被配置为：以不同的帧率来采集可见光视频流、深度视频流和太赫兹视频流，并且其中，所述同步模块被配置为：选择所述可见光视频流、所述深度视频流和所述太赫兹视频流中以最低的帧率来采集的一种视频流中的一个图像；以及针对另外两种视频流中的每一种视频流，选择相应视频流中的采集时间与所述一个图像的采集时间最接近的图像。4.根据权利要求1所述的安检系统，其中，所述多个传感器模块被配置为：以不同的帧率来采集可见光视频流、深度视频流和太赫兹视频流，并且其中，所述同步模块被配置为：选择所述可见光视频流、所述深度视频流和所述太赫兹视频流中以最低的帧率来采集的一种视频流中的一个图像；以及针对另外两种视频流中的每一种视频流：确定相应视频流中采集时间与所述一个图像的采集时间最接近的图像；获取以所确定的图像为中心的前n个图像和后n个图像；以及选择所述前n个图像、所确定的图像以及所述后n个图像中与所述一个图像的相似度最高的图像。5.根据权利要求1-4中任一项所述的安检系统，其中，所述图像融合模块被配置为：对所述配准后的可见光图像进行分割，以得到所述配准后的可见光图像中的目标对象的mask；以及利用所述目标对象的mask来过滤所述配准后的太赫兹图像中的背景。6.根据权利要求1-4中任一项所述的安检系统，其中，所述图像融合模块被配置为：提取所述配准后的深度图像中的位于所述太赫兹图像的焦距范围以外的目标对象的mask，利用所述目标对象的mask来去除所述配准后的可见光图像中的对应目标对象，以及对去除所述对应目标对象后的可见光图像进行分割，以得到所述可见光图像中的其余目标对象的mask；以及利用所述其余目标对象的mask来过滤所述配准后的太赫兹图像。7.根据权利要求1-4中任一项所述的安检系统，其中，所述识别模块还被配置为：基于
所述配准后的太赫兹图像来识别所述目标对象携带的目标物品；并且其中，所述图像融合模块还被配置为：对所述配准后的可见光图像中的目标对象进行部位解析；以及将包含所述目标物品的所述太赫兹图像映射到经过了所述目标对象的部位解析后的可见光图像中。8.一种融合了可见光图像、深度图像和太赫兹图像的安检方法，包括：采集包含一个或多个目标对象在内的场景的可见光图像、深度图像以及太赫兹图像；采集的可见光图像、深度图像和太赫兹图像进行同步；对同步后的可见光图像、深度图像和太赫兹图像进行配准；对配准后的可见光图像、深度图像和/或太赫兹图像进行融合；以及基于融合后的图像来识别所述目标对象携带的目标物品。9.根据权利要求8所述的安检方法，其中，所述采集的步骤包括：在同一时刻采集所述可见光图像、所述深度图像和所述太赫兹图像。10.根据权利要求8所述的安检方法，其中，所述采集的步骤包括：以不同的帧率来采集可见光视频流、深度视频流和太赫兹视频流，并且其中，所述同步的步骤包括：选择所述可见光视频流、所述深度视频流和所述太赫兹视频流中以最低的帧率来采集的一种视频流中的一个图像；以及针对另外两种视频流中的每一种视频流，选择相应视频流中的采集时间与所述一个图像的采集时间最接近的图像。11.根据权利要求8所述的安检方法，其中，所述采集的步骤包括：以不同的帧率来采集可见光视频流、深度视频流和太赫兹视频流，并且其中，所述同步的步骤包括：选择所述可见光视频流、所述深度视频流和所述太赫兹视频流中以最低的帧率来采集的一种视频流中的一个图像；以及针对另外两种视频流中的每一种视频流：确定相应视频流中采集时间与所述一个图像的采集时间最接近的图像；获取以所确定的图像为中心的前n个图像和后n个图像；以及选择所述前n个图像、所确定的图像以及所述后n个图像中与所述一个图像的相似度最高的图像。12.根据权利要求8-11中任一项所述的安检方法，其中，所述融合的步骤包括：对所述配准后的可见光图像进行分割，以得到所述配准后的可见光图像中的目标对象的mask；以及利用所述目标对象的mask来过滤所述配准后的太赫兹图像中的背景。13.根据权利要求8-11中任一项所述的安检方法，其中，所述融合的步骤包括：提取所述配准后的深度图像中的位于所述太赫兹图像的焦距范围以外的目标对象的mask，利用所述目标对象的mask来去除所述配准后的可见光图像中的对应目标对象，以及对去除所述对应目标对象后的可见光图像进行分割，以得到所述可见光图像中的其余
目标对象的mask；以及利用所述其余目标对象的mask来过滤所述配准后的太赫兹图像。14.根据权利要求8-11中任一项所述的安检方法，其中，所述识别的步骤包括：基于所述配准后的太赫兹图像来识别所述目标对象携带的目标物品；并且其中，所述融合的步骤包括：对所述配准后的可见光图像中的目标对象进行部位解析；以及将包含所述目标物品的所述太赫兹图像映射到经过了所述目标对象的部位解析后的可见光图像中。15.一种存储指令的计算机可读存储介质，所述指令当由安检系统的处理器执行时，使所述处理器执行根据权利要求8-14中的任一项所述的方法。

技术总结
本申请提供了一种融合了可见光图像、深度图像和太赫兹图像的安检系统和方法，用于提升安检过程的准确率，优化安检图像(太赫兹图像)的质量。该安检系统包括：多个传感器模块，被配置为采集包含一个或多个目标对象在内的场景的可见光图像、深度图像以及太赫兹图像；图像同步模块，被配置为对采集的可见光图像、深度图像和太赫兹图像进行同步；图像配准模块，被配置为对同步后的可见光图像、深度图像和太赫兹图像进行配准；图像融合模块，被配置为对配准后的可见光图像、深度图像和/或太赫兹图像进行融合；以及识别模块，被配置为基于融合后的图像来识别所述目标对象携带的目标物品。的图像来识别所述目标对象携带的目标物品。的图像来识别所述目标对象携带的目标物品。


技术研发人员：陈志强 赵自然 李元景 顾建平 张经纬 耿星杰 刘阔
受保护的技术使用者：清华大学
技术研发日：2020.05.15
技术公布日：2021/11/19