一种便携式多模态防偷拍检测装置及其智能识别方法与流程

本发明属于数据表征以及信号监测，尤其涉及一种便携式多模态防偷拍检测装置及其智能识别方法。

背景技术：

1、随着技术的发展以及数字化时代的到来，个人隐私信息泄露的风险显著增加。

2、随着个人隐私保护意识的增强，防偷拍产品的需求激增。据市场研究报告显示，在全球范围内，防偷拍市场的规模正在以每年超过10%的速度增长。从市场规模的角度来看，全球范围内的防偷拍设备市场在过去几年持续增长。预测在未来五年内将维持稳定上升的趋势。2019年全球防偷拍设备市场规模约为5亿美元，预计到2026年有望超过8亿美元规模。

3、当前主流防偷拍技术主要分为三类：红外光滤镜探测、红外热成像和可见光检测。红外滤镜类产品，如某品牌探测器采用850nm红外led主动照射原理，通过观察镜面反光进行识别。这类设备虽然成本低廉（单价约200元），方便小巧；检测摄像头红外发射源，红外感应器识别后报警；滤镜检测：主动发射红外光，利用红外光反射原理，红外光照在镜头上会反射，透过滤镜看反射光斑来判断摄像头位置。但存在三大缺陷：1）用户需持续贴近滤镜观察目标，超过3分钟即会产生视觉疲劳或眩晕；2）环境光强度超过300lux时反射光斑识别率下降40%以上；3）无法识别关闭红外补光的摄像头，实验数据显示其对市面常见偷拍设备的综合检出率仅为62%。实际使用效果不好，误检率较高。防窥视功能单一，没有可视化检测、热成像检测、没有图像处理。

4、红外热成像如某热像仪通过检测0.5-2℃的温差来定位隐藏摄像头。市场调研显示，高端型号在理想环境下可实现90%的检出率，但存在两个致命弱点：(1)当环境存在多个热源（如路由器、充电器等）时，误报率高达35%；(2)对采用低功耗设计的微型摄像头（工作温度与环境温差＜0.3℃）几乎无效。某实验室测试表明，该技术对直径小于5mm的针孔摄像头检出率不足20%。产品特点：方便小巧，操作简单，手机下载app，设备插在手机上进行查看。产品技术手段为热成像检测：利用热辐射工作原理，摄像头工作时，会有热量产生，探测器能识别区域内±2度以内的温差，通过查找异常热源，来判断隐藏摄像头位置。产品缺点：低分辨率产品，识别距离短，温度敏感性差；高分辨率产品，识别效果好，但是价格高昂，价格2000-6000元不等。接口：设备需要插在手机上进行查看，手机和设备接口容易松动且设备有跌落风险。功能：摄像头在复杂热源场景工作时，比如同时有电视机、插排、路由器在同一狭小区域时，不易识别，容易漏检。场景匹配度：另外功能单一，只能显示热源。可见光检测设备如某品牌探测仪利用850nm主动光源配合cmos成像，虽能实现实时图像显示，但存在如下使用限制：有效检测距离不超过30cm且持续工作15分钟后设备表面温度超过50℃；功耗高达3.5w，导致该产品的续航时间难以超过2小时。

5、双光检测设备存在如下特点：通过视频播放器，将设备插在笔记本上进行查看，能够看到实时图像；利用可见光反射工作原理，灯珠主动发射850nm光源，光源照射在镜面会反射回来，通过摄像头滤光后成像；设备缺点是可视反射范围小：由于受反射距离和光线强弱及角度影响，可视化的范围比较小。设备镜头和被测物互相水平对视情况下，以被测物为中心，向四周扩散20cm左右。功耗：由于需要主动发射红外光照射，led灯功率比较大，设备工作时功耗大，升温快，工作15分钟后，设备温度在50度左右。场景匹配度及防窥视功能单一，只有红外可见光查看。

6、现有复合型产品如某品牌双光探测仪虽结合了热成像和可见光技术，但暴露出了新的问题：设备体积普遍超过200×100×50mm，重量达500g以上；操作界面需要专业培训才能使用，普通用户学习成本过高；价格区间在3000-8000元，远超个人消费者的承受能力。市场反馈显示，这类产品的用户满意度仅为58%，主要问题集中在便携性和易用性方面。

7、红外热成像+可见光：具备可见光+红外热成像功能，能清晰看到实时图像和热源显示；红外热成像：热成像功能一致，利用热辐射原理搜索热源。产品特点：尺寸偏大、偏厚，不方便携带。操作界面：操作页面太专业，不易上手，没做双光融合设计。

8、总之，通过调研当前产品，得出如下结论：

9、1）当前全球防偷拍设备市场仍以单一功能产品为主（如红外滤镜或热成像仪），（红外热成像+可见光+ai图像处理）覆盖尽量多比例的隐蔽摄像头类型（包括无红外发射的针孔摄像头）并用于酒店、更衣室等典型场景中，设备漏检率高达30%倒50%）；迫切需要加速研发有效设备并在高端商旅、政企安防领域率先实现规模化渗透。

10、2）根据market research future报告，2023年全球隐私保护硬件市场中，多功能集成设备的年复合增长率达18.7%，远超单一功能设备（9.2%）；急需填补性价比高的低端设备（200元以下）及专业级设备（2000元以上）的市场空白。

11、3）现有设备无法同时适配智能家居、公共安全以及企业服务；智能家居，公共安全为政府机构提供定制化版本，支持执法记录仪联动，用于反间谍侦查；企业服务开发会议室专用型号，集成无线信号检测功能，防止商业机密泄露。

12、技术瓶颈，主要体现在如下四方面：多模态检测的融合算法效率低下，现有设备的图像处理延迟普遍超过200ms；环境适应性差，在复杂光环境（如酒店客房）下的误报率比实验室条件高出3倍；功耗控制不足，连续工作模式下电池续航难以突破4小时；人机交互体验差，83%的用户反映需要反复查阅说明书才能完成基本操作。

13、综上所述，现有技术的这些缺陷严重制约了防偷拍技术的普及应用，亟需通过技术创新予以突破。

技术实现思路

1、本发明的目的在于改善现有防偷拍设备及方法存在多模态检测融合检测效率低、环境适应性差、功耗控制不足以及人机交互体验差的技术缺陷，提出了一种便携式多模态防偷拍检测装置及其智能识别方法。

2、为了实现上述目的，本发明采取如下技术方案。

3、作为本发明的第一方面，提出了一种便携式多模态防偷拍检测装置，依次连接的异构感知模块、智能分析模块及交互优化模块；其中：

4、所述异构感知模块，包括红外感知单元、补光单元及光学感知单元；所述红外感知单元用于采集红外热成像图像，所述补光单元用于发射主动红外光，所述光学感知单元用于采集可见光反射图像；

5、所述智能分析模块，包括依次连接的特征提取单元、特征匹配单元及轻量化网络模型；

6、所述特征提取单元，用于从红外感知单元接收红外热成像图像并提取热源特征，以及从光学感知单元接收可见光反射图像并提取可见光反射图像特征；

7、所述特征匹配单元，用于对所述热源特征与所述可见光反射图像特征进行实时比对和匹配；

8、所述轻量化网络模型，包括输入预处理层、浅层特征提取层、瓶颈倒置残差特征层、注意力多尺度残差层、横向抑制约束层、全局池化因子分解层及输出判别层；

9、所述交互优化模块，包括显示单元及报警单元；所述显示单元与所述智能分析模块信号连接，用于输出检测结果；所述报警单元与所述轻量化网络模型的输出端信号连接。

10、具体实施时，红外感知单元为外热成像传感器，其分辨率优于160×120，温差灵敏度±0.5℃；所述补光单元为850nm主动红外补光灯，该补光灯的功率可调范围为5到20w；所述光学感知单元为fov大于等于120°的广角光学镜头；

11、所述特征匹配单元对所述热源特征与所述可见光反射图像特征进行匹配包括纹理分析；所述纹理分析包括小波变换及gabor滤波，计算纹理方向、频率及对比度。

12、所述纹理包括灰度共生矩阵、粗糙度、对比度、方向度、线像度、规整度及粗略度。

13、所述热源特征，包括形状、轮廓、纹理、发射率、辐射强度、辐射峰值波长、模式及轨迹、同心圆热分布特征；所述发射率，指物体在一定温度下发射的辐射强度与同温度下黑体发射的辐射强度之比；具体实施时，金属表面发射率范围是0.1到0.2，而人体皮肤的发射率超过0.9；不同物体的发射率不同，发射率高的物体发射的红外辐射强度也会更强；所述辐射强度与温度的四次方成正比；目标物体的温度高于背景环境温度时，其辐射强度更强，在红外图像中会呈现出比背景更亮的区域；反之则表现为较暗区域；所述辐射峰值波长，因目标物体温度不同而不同；具体实施时，人体的辐射峰值波长约为9.35μm，温度约为310k；

14、所述模式及轨迹指的是目标或物体直线、曲线、加速、减速、方向及速度，在红外图像中为一系列连续的点或线，即为轨迹；具体实施时，如通过分析目标物体的运动轨迹，可判断设备类型、目标类型及行为；复杂运动模式下，可依据目标物体的行为信息，辅助识别目标；

15、具体实施时，所述形状特征：虽然红外图像的对比度和信噪比较低，但目标物体形状一定程度上仍可辨识；通过分析目标物体的边缘及角点特征，提取出如圆形、矩形、三角形的目标形状信息；所述轮廓特征，指的是物体亮度变化的边界；通过边缘检测可提取物体的轮廓信息，进而分析目标的形状和大小；轮廓特征如在安防监控中，通过分析物体轮廓，可判断其是否为人员或车辆；

16、所述纹理特征，指的是目标物体的表面纹理；具体实施时，纹理与材料及表面处理相关；通常金属纹理光滑，木材纹理粗糙；所述纹理，包括灰度共生矩阵、粗糙度、对比度、方向度、线像度、规整度及粗略度。

17、所述可见光反射图像特征，包括纹理、颜色、形状、空间关系、统计以及镜面反光斑点特征；所述颜色特征，包括颜色矩和直方图；所述颜色矩，为用矩表示的图像颜色分布，所述矩，包括一阶矩即均值、二阶矩即方差以及三阶矩即歪斜率；所述直方图为图像颜色的全局分布，即不同色彩在整幅图像中所占的比例，适用于描述难以自动分割的图像和不需要考虑物体空间位置的图像；

18、所述形状特征，包括边界、几何及空间关系特征；所述边界特征：通过对边界特征的描述来获取图像的形状参数；具体实施时，所述边界特征，为hough变换检测平行直线以及边界方向直方图；进一步地，边界特征还包括傅里叶形状描述符：利用区域边界的封闭性和周期性，将二维问题转化为一维问题，由边界点导出曲率函数、质心距离及复坐标函数等形状表达；

19、所述几何特征，指的是图像进行形状描述和匹配的特征，包括但不限于形状的定量测度，如矩、面积及周长特征；

20、所述空间关系特征，包括包含或包容、交叠或重叠以及连接或邻接关系特征；

21、所述包含或包容特征，体现一个目标物体是否包含在另一目标或物体内部，或一个目标或物体是否包容了其他目标或物体；

22、所述交叠或重叠特征，反映目标之间在空间上是否存在交叠或重叠；所述连接/邻接，描述分割出来的多个目标或物体间相互连接或邻接的如上下左右关系；

23、所述统计特征，包括均值、中值、灰度方差及图像灰度数值值域；所述均值，指的是像素值的均值，反应平均反射强度；所述中值：指的像素灰度级中处于中间的值，表示一个反差状况；所述灰度方差：反映各像元灰度值与图像平均灰度值的总的离散程度，是衡量一幅图像信息量大小的重要度量；所述图像灰度数值值域：是图像最大灰度值和最小灰度值的差值，反映图像灰度值的变化程度，间接反映图像的信息量；

24、所述交互优化模块，包括显示单元及报警单元。所述显示单元为支持双光融合显示模式；所述报警单元支持震动/声音双模报警。

25、所述轻量化网络模型，包括含下述特征的网络：1）采用深度可分离卷积替代传统卷积；或引入分组卷积、池化、逐点卷积和跳步连接；2）引入瓶颈层和倒置残差块、基于注意力的多尺度残差或通过弱连接搜索和自动化网络；3）用全局平均池化和全连接层或扩展系数和因子分解；4）基于反馈及复用或基于特征提取网、级联记忆群卷积网和重建网；5）采用横向抑制网络。

26、具体实施时，有如下措施：1）采用深度可分离卷积替代传统卷积，引入瓶颈层和倒置残差块，还采用全局平均池化和全连接层或扩展系数和因子分解；2）通过弱连接搜索和自动化网络；3）引入分组卷积、池化、逐点卷积和跳步连接；4）基于特征提取网、级联记忆群卷积网和重建网；5）基于反馈及复用；6）基于注意力的多尺度残差；7）横向抑制网络；8）多尺度大感受野特征蒸馏。

27、所述浅层特征提取层采用深度可分离卷积替代传统卷积，所述深度可分离卷积包括逐通道卷积与逐点卷积；

28、所述瓶颈倒置残差特征层包括瓶颈层与倒置残差块，所述瓶颈层采用1×1卷积降维、3×3卷积特征提取、1×1卷积升维的三段式结构；所述倒置残差块采用先升维、深度卷积、逐点降维的结构，并通过短路残差连接；

29、所述注意力多尺度残差层设置多尺度感受野，并行提取红外图像大尺度轮廓、热分布特征与可见光图像微小镜面反光斑点及细粒度纹理特征，并通过通道注意力机制对双模态特征通道进行自适应权重分配。

30、具体实施时，所述显示单元支持双光融合显示模式；所述报警单元支持震动/声音双模报警；所述震动/声音双模报警的阈值自定义设置；阈值自定义设置的设定原则：所述震动/声音双模报警的阈值可自定义设置为热源面积≥3mm²且反射光强度≥200lux时触发报警；

31、本发明的第二方面，提出了一种防偷拍检测装置的智能识别方法，包括如下步骤：

32、s1、通过红外感知单元及光学感知单元分别提取红外热成像图像及可见光反射图像；

33、s2、特征提取：从红外热成像图像中提取热源特征及从可见光反射图像中提取可见光反射图像特征；

34、s3、特征匹配：对提取的热源特征以及可见光反射图像特征进行实时比对与匹配；

35、s4、采用轻量化网络模型实现轻量化网络检测识别；

36、s5、通过显示单元输出检测结果，并通过报警单元进行报警提示。

37、步骤s1中，红外热成像传感的分辨率优于160×120，温差灵敏度±0.5℃；热成像传感需要红外补光，所述红外补光的功率范围为5w至20w；所述光学感知通过fov≥120°的广角光学镜头实现。

38、步骤s3中的特征匹配还包括纹理分析，所述纹理分析采用小波变换及gabor滤波，得到纹理方向、频率及对比度。

39、具体实施时，所述实现异构感知为提取红外图像以及可见光图像；红外分辨率优于160×120，温差灵敏度±0.5℃；热成像传感需要红外补光，所述红外补光的功率范围为5到20w；所述光学感知通过fov大于等于120°的广角光学镜头实现；

40、所述特征提取，提取红外图像的热源特征以及可见光反射图像特征；所述特征匹配，对特征提取获取的热源特征以及镜面反光斑点特征进行实时比对；

41、所述轻量化网络识别，包括采用下述特征网络实现：1）采用深度可分离卷积替代传统卷积，引入瓶颈层和倒置残差块，还采用全局平均池化和全连接层或扩展系数和因子分解；2）通过弱连接搜索和自动化网络；3）引入分组卷积、池化、逐点卷积和跳步连接；4）基于特征提取网、级联记忆群卷积网和重建网；5）基于反馈及复用；6）基于注意力的多尺度残差；7）横向抑制网络；8）多尺度大感受野特征蒸馏。

42、所述热源特征，包括形状、轮廓、纹理、发射率、辐射强度、辐射峰值波长、模式及轨迹、同心圆热分布特征。

43、所述纹理，包括灰度共生矩阵、粗糙度、对比度、方向度、线像度、规整度及粗略度。

44、所述可见光反射图像特征，包括纹理、颜色、形状、空间关系、统计以及镜面反光斑点特征；

45、所述交互优化，包括显示及报警；所述显示为支持双光融合显示模式的oled触摸屏；所述报警，支持震动/声音双模报警；所述震动/声音双模报警的阈值自定义设置。

46、有益效果

47、本发明提出的一种便携式多模态防偷拍检测装置及其智能识别方法，与现有技术相比，具有如下有益效果：

48、1.所述检测装置解决了多模态检测融合问题，具体通过整合红外光滤镜探测、热成像检测及可见光反射，解决了单一技术如仅用红外滤镜误检率高的问题；

49、2.所述检测装置实现了人机交互优化，具体通过双光融合可视化界面热成像与可见光叠加显示和智能报警，使得用户无需长时间肉眼观察滤镜；

50、3.所述检测装置能适应动态环境，具体通过自适应调节检测参数如红外光强度、热成像灵敏度；

51、4. 所述检测方法在复杂热源场景如酒店房间含电器设备下，仍能通过热源特征匹配和图像分析区分摄像头与其他热源，漏检率降低至10%以下；

52、5.所述检测方法解决了漏检率高如热成像在复杂热源环境及检测范围受限如可见光反射的问题。