基于边缘推理的便携式周界入侵目标分类识别方法与流程

摘要: 本技术实施例涉及周界安防与多模态感知边缘计算,具体地说,涉及一种基于边缘推理的便携式周界入侵目标分类识别方法。背景技术:1、野外物资临时堆放场、施工工地、抢险驻...
基于边缘推理的便携式周界入侵目标分类识别方法与流程

本技术实施例涉及周界安防与多模态感知边缘计算,具体地说,涉及一种基于边缘推理的便携式周界入侵目标分类识别方法。

背景技术:

1、野外物资临时堆放场、施工工地、抢险驻勤点与边境临时管控点,这些场所的周界防护要求防护手段能够快速布设、快速撤收并适应无人值守的运行方式。便携式周界设备通常由电池供电、经无线链路回传信息,部署点的供电能力与通信带宽均受到严格限制;同时,周界入侵可能发生在夜间、雨雾与强光逆光条件下,单纯依赖肉眼值守或单一传感手段难以兼顾发现及时性与目标判明的准确性,值守人员需要在第一时间获知入侵目标是人员、动物、车辆还是环境扰动,以便分级处置。

2、现有技术中存在一种基于震动电缆与光纤震动传感的周界报警方法,该类方法沿周界布设震动传感部件,对采集到的震动信号提取幅值或能量特征,当特征超过设定阈值时触发报警,报警后由值守人员调阅现场录像复核目标类型。另有中国专利申请文献公开了一种基于可见光视频监控的周界入侵检测方法,该类方法将现场视频流回传至监控中心服务器,在服务器上运行运动目标检测与图像分类算法,输出入侵目标的类别。

3、上述现有技术存在以下不足:单一震动传感的阈值报警仅能指示”有扰动”,无法区分人员、动物、车辆与环境扰动,风雨与牲畜活动均会引发大量误报;依赖监控中心服务器的视频分类方案要求持续回传视频流,在通信带宽受限或链路中断的临时部署场景下时延大甚至完全失效;可见光视频在夜间与雨雾条件下成像质量显著下降,单一图像模态的分类可靠性随之恶化;并且,即便在现场同时配置震动、声音、可见光与热红外四类传感部件,由于各模态数据的采样率、量纲与视角不同,缺乏统一的时间基准与空间对齐手段时,多模态数据难以在算力受限的便携设备上被有效融合。因此,如何在算力与通信条件受限的便携式周界设备上,对多模态感知数据进行时间与空间两个维度的对齐融合,在本地准确、及时地分类识别周界入侵目标并按可信度分级输出,是本领域亟待解决的技术问题。

技术实现思路

1、有鉴于此,本技术的目的是提供一种基于边缘推理的便携式周界入侵目标分类识别方法,可以实现在便携式周界设备本地对周界入侵目标的准确分类识别,并按分类置信度对识别结果进行分级输出。

2、根据本技术的第一方面,提供一种基于边缘推理的便携式周界入侵目标分类识别方法,包括:

3、s100:确定便携式周界设备的部署姿态数据与多模态感知数据,多模态感知数据包括周界扰动信号、可见光图像与热红外图像;

4、s200:当周界扰动信号的扰动能量首次连续预设数量个采样周期超过预设扰动阈值时,判定存在疑似入侵事件,并确定疑似入侵事件对应的目标采样时段;

5、s300:从多模态感知数据中截取目标采样时段内的目标多模态数据,目标多模态数据包括目标扰动信号、目标可见光图像与目标热红外图像;

6、s400:根据部署姿态数据确定视场补偿参数,按视场补偿参数建立目标可见光图像的像素与目标热红外图像的像素之间的空间对应关系,按空间对应关系将目标可见光图像与目标热红外图像对齐至同一空间坐标,得到对齐图像数据;

7、s500:在便携式周界设备上,将对齐图像数据与目标扰动信号输入预训练的多模态融合分类网络,得到入侵目标分类结果与入侵目标分类结果的分类置信度;

8、s600:当分类置信度低于预设置信度阈值时,根据入侵目标分类结果与目标可见光图像生成告警数据并输出;当分类置信度达到预设置信度阈值时,输出入侵目标分类结果。

9、在一些实施例中,所述确定便携式周界设备的部署姿态数据与多模态感知数据的具体方式为:确定便携式周界设备在部署状态下的三轴加速度分量与三轴磁力分量,由三轴加速度分量与三轴磁力分量组成部署姿态数据,确定周界震动信号与周界声音信号,由周界震动信号与周界声音信号组成周界扰动信号,同步确定周界扰动信号、可见光图像与热红外图像,为周界扰动信号的各采样点、可见光图像的各帧与热红外图像的各帧附加统一时间戳,按统一时间戳对齐组成多模态感知数据。

10、在一些实施例中,所述当周界扰动信号的扰动能量首次连续预设数量个采样周期超过预设扰动阈值时,判定存在疑似入侵事件的具体方式为:以预设采样周期为帧长,分别对周界震动信号与周界声音信号分帧,得到各采样周期的震动信号帧与声音信号帧;将各震动信号帧内全部采样点的幅值平方和作为对应采样周期的震动帧能量,将各声音信号帧内全部采样点的幅值平方和作为对应采样周期的声音帧能量;将震动帧能量与预设震动基准值的比值作为归一化后的震动帧能量,将声音帧能量与预设声音基准值的比值作为归一化后的声音帧能量,按预设震动权重与预设声音权重对归一化后的震动帧能量与归一化后的声音帧能量进行加权求和,将加权求和结果作为对应采样周期的扰动能量,预设震动权重与预设声音权重之和为1。

11、在一些实施例中,所述确定疑似入侵事件对应的目标采样时段的具体方式为:以设备启动时刻为首个统计起点,并以前一疑似入侵事件对应的目标采样时段的终止时刻为后续统计起点,将统计起点之后扰动能量首次连续预设数量个采样周期超过预设扰动阈值时的首个采样周期作为起始时刻;将起始时刻之后扰动能量首次连续预设数量个采样周期均低于预设扰动阈值时的首个采样周期作为候选终止时刻,当候选终止时刻与起始时刻之间的时段小于预设最短采样时段时,将自起始时刻起经过预设最短采样时段的时刻作为终止时刻,当候选终止时刻与起始时刻之间的时段不小于预设最短采样时段时,将候选终止时刻作为终止时刻;当自起始时刻起的时段达到预设最长采样时段且扰动能量未连续预设数量个采样周期均低于预设扰动阈值时,将自起始时刻起经过预设最长采样时段的时刻作为终止时刻;将由起始时刻向前扩展预设前向窗长得到的扩展时刻至终止时刻之间的时段作为目标采样时段。

12、在一些实施例中,所述根据部署姿态数据确定视场补偿参数的具体方式为:按三轴加速度分量确定重力方向在以便携式周界设备为基准的设备坐标系中的指向,按重力方向的指向解算便携式周界设备的俯仰角与横滚角,按俯仰角与横滚角将三轴磁力分量投影至水平面得到水平面内的两个磁场分量,根据两个磁场分量与磁北方向之间的夹角解算便携式周界设备的航向角,由俯仰角、横滚角与航向角组成设备姿态角;按设备姿态角与预设相对安装参数分别确定可见光成像视场在周界地面上的可见光投影关系与热红外成像视场在周界地面上的热红外投影关系,由可见光投影关系与热红外投影关系组成视场补偿参数;预设相对安装参数表征可见光图像的成像光轴与热红外图像的成像光轴之间的相对位置与相对朝向。

13、在一些实施例中,所述按空间对应关系将目标可见光图像与目标热红外图像对齐至同一空间坐标,得到对齐图像数据的具体方式为:按可见光投影关系将目标可见光图像的各像素映射至周界地面,按热红外投影关系将目标热红外图像的各像素映射至周界地面,将映射至周界地面上同一地面点的目标可见光图像的像素与目标热红外图像的像素确定为对应像素组,由全部对应像素组组成空间对应关系;将同一空间坐标设定为目标可见光图像的图像坐标系,按空间对应关系确定目标热红外图像的各像素在图像坐标系中的映射坐标,对各映射坐标就近取整得到目标热红外图像的各像素对应的整数像素坐标,将目标热红外图像的各像素的像素值赋予对应整数像素坐标处的像素;在目标热红外图像的多个像素对应同一整数像素坐标时,将多个像素中映射坐标与对应整数像素坐标距离最小的像素的像素值赋予对应整数像素坐标处的像素;在图像坐标系中存在未被赋予像素值的整数像素坐标时,按对应整数像素坐标的邻域像素的像素值对对应整数像素坐标进行插值填充;剔除整数像素坐标超出图像坐标系范围的目标热红外图像的像素,得到配准热红外图像,由目标可见光图像与配准热红外图像组成对齐图像数据。

14、在一些实施例中,所述将对齐图像数据与目标扰动信号输入预训练的多模态融合分类网络,得到入侵目标分类结果与入侵目标分类结果的分类置信度,具体方式为:多模态融合分类网络包括可见光分支、热红外分支、扰动信号分支与门控注意力融合层,可见光分支、热红外分支与扰动信号分支均为卷积神经网络分支;对目标扰动信号进行时频变换,得到扰动信号时频图,将扰动信号时频图输入扰动信号分支,得到扰动信号特征,将对齐图像数据中的目标可见光图像输入可见光分支,得到可见光特征,将对齐图像数据中的配准热红外图像输入热红外分支,得到热红外特征;通过门控注意力融合层对可见光特征、热红外特征与扰动信号特征分别进行映射与归一化,生成可见光特征、热红外特征与扰动信号特征各自的门控权重,可见光特征、热红外特征与扰动信号特征的门控权重之和为1;分别将可见光特征、热红外特征与扰动信号特征归一化至同一幅值范围,按门控权重对归一化后的可见光特征、归一化后的热红外特征与归一化后的扰动信号特征加权求和,得到融合特征,根据融合特征确定入侵目标分类结果,入侵目标分类结果包括目标类型,目标类型为人员、动物、车辆与环境扰动中的一种,将对融合特征归一化得到的各类别概率中的最大概率值作为分类置信度。

15、在一些实施例中,所述当分类置信度低于预设置信度阈值时,根据入侵目标分类结果与目标可见光图像生成告警数据并输出,具体方式为:以预置密钥按预设加密规则对入侵目标分类结果与目标可见光图像加密,得到加密告警数据,将加密告警数据、目标采样时段与预置的设备标识组成告警数据并输出。

16、上述申请中的一个实施例具有如下优点或有益效果:

17、针对临时布设、无人值守且供电与通信条件受限的周界防护需求,本技术将疑似入侵判定、多模态数据截取、跨模态空间对齐、多模态融合分类与分级输出全部集中在便携式周界设备本地完成,无需向监控中心持续回传原始感知数据,在弱网甚至断网条件下仍可独立完成周界入侵目标的分类识别,兼顾了发现及时性与部署灵活性,满足了临时周界快速布设、快速撤收的使用方式。

18、相较于单一震动传感的阈值报警与依赖监控中心服务器的视频分类方案,本技术利用部署姿态数据解算视场补偿参数,将目标可见光图像与目标热红外图像在像素级对齐至同一空间坐标,使两类异源图像中的同一地面目标在空间上严格对应,再由多模态融合分类网络融合图像信息与扰动信号信息输出入侵目标分类结果与分类置信度,既克服了夜间与雨雾条件下单一可见光模态分类可靠性下降的问题,也克服了两类图像视场不一致导致的融合失效问题,从而显著抑制了环境扰动引起的误报。

19、本技术通过统一时间戳与视场补偿将采样率、量纲与视角各不相同的多模态感知数据转化为时间对准、空间对齐的可融合数据,使算力受限的便携设备仅需对疑似入侵事件对应的目标采样时段内的目标多模态数据执行一次边缘推理,即可获得带有分类置信度的入侵目标分类结果,并以分类置信度为尺度将输出划分为直接采信与加密告警两个层级,把持续的视频回传与人工复核转化为按需回传的少量告警数据,实现了从单模态阈值报警到本地多模态融合认知的本质跨越,使周界防护由”发现扰动”升级为”判明目标”。

20、上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。