一种基于无人机遥感影像及边缘计算的自适应识别系统的制作方法
本发明涉及视觉与边缘计算,具体而言,涉及一种基于无人机遥感影像及边缘计算的自适应识别系统。
背景技术:
1、在输电线路巡检、地质灾害监测等室外作业场景中,利用无人机平台搭载高分辨率相机获取遥感影像并执行目标识别已成为常规技术手段,随着相机传感器像素分辨率的不断提高,生成的单帧图像数据量增加。
2、传统的无人机视觉检测系统通常采用全局静态处理逻辑,在执行识别任务时,需要将相机采集的全尺寸高分辨率图像数据经由系统总线完整搬运至边缘计算设备的显存内部,随后调用视觉神经网络进行特征提取。由于无人机搭载的边缘计算设备在总线带宽、显存容量以及张量计算算力方面受到限制,持续的全图数据读取与计算会导致系统资源占用过高,进而造成数据处理帧率下降,难以维持目标跟踪过程的时间连续性。
3、在实际的高空作业环境中,无人机平台受到外部风载荷干扰会产生姿态的高频抖动,同时被测目标本身也存在受风力影响的不规则摆动,这种观测端与目标端的双重动态变化,导致目标在相机二维成像平面中的坐标呈现非线性的剧烈位移。现有的常规识别算法由于缺乏对空间多源运动状态的联合反演与先验预估,当目标在相邻视频帧间的像素位移量超出局部搜索范围时,系统容易丢失目标特征,造成检测中断。
4、此外,空间中剧烈的相对运动会导致成像设备捕获的图像产生高频特征衰减,表现为边缘区域的像素模糊,现有的视觉识别方案在面对此类由于运动直接引发的底层图像退化时,未能在送入网络前进行针对性的图像频域补偿处理,模糊的像素输入导致神经网络提取的特征张量产生偏移,造成输出的二维质心检测坐标偏离目标的真实位置,最终导致系统反馈的三维定位信息产生较大误差。
技术实现思路
1、本发明的主要目的在于公开一种基于无人机遥感影像及边缘计算的自适应识别系统,包括:
2、多源数据解析模块:获取无人机空间位置向量、机身姿态旋转矩阵与云台旋转矩阵,结合相机内参矩阵构建外参矩阵;
3、其中,多源数据解析模块包括:
4、姿态获取单元:用于接收当前时刻空间位置向量、机身姿态旋转矩阵与云台旋转矩阵;
5、矩阵相乘单元:通过机身姿态旋转矩阵与云台旋转矩阵,依次进行矩阵乘法与转置处理,获得外部旋转矩阵和外部平移向量;
6、外参构建单元:通过外部旋转矩阵与外部平移向量拼接,生成外参矩阵。
7、误差反演建模模块:检测二维质心坐标与理论二维质心坐标,生成误差向量并转化为位移增量,计算目标的摆动速度向量和摆动加速度向量;
8、其中,误差反演建模模块包括:
9、误差向量生成单元:计算上一时刻实际检测二维质心坐标与理论二维质心坐标的差值向量作为误差向量;
10、位移映射单元:根据误差向量增维转换为三维齐次形式向量,依据逆透视映射模型结合相机内参矩阵的逆矩阵与上一时刻的外参矩阵,将三维齐次形式向量转化为位移增量;
11、动力学差分单元:根据连续历史时刻的位移增量计算摆动速度向量与摆动加速度向量;
12、进一步的,计算摆动速度向量的计算过程包括:动力学差分单元将当前时刻的位移增量减去上一历史时刻的位移增量,生成位移差值向量;将位移差值向量同相邻两帧图像的固定时间间隔进行除法计算获得当前时刻的摆动速度向量;摆动加速度向量的计算过程包括:动力学差分单元将当前时刻的摆动速度向量减去上一时刻的摆动速度向量生成速度差值向量;将速度差值向量同固定时间间隔进行除法计算获得当前时刻的摆动加速度向量。
13、前馈投影解算模块:根据摆动速度向量与摆动加速度向量,根据运动学补偿获得预测三维世界坐标,结合相机内参矩阵与外参矩阵投影解算得到理论二维质心坐标;
14、其中,前馈投影解算模块包括:
15、状态前馈单元:根据上一时刻的目标的三维世界坐标,结合摆动速度向量与摆动加速度向量进行运动学位置补偿,获得预测三维世界坐标;
16、正向映射单元:根据预测三维世界坐标,依次左乘外参矩阵与相机内参矩阵,执行降维归一化处理解算,得到理论二维质心坐标。
17、显存动态分配模块:根据摆动加速度向量,计算容错余量,将理论二维质心坐标结合容错余量生成边界框与读取掩码;其中,所述读取掩码用于丢弃背景数据,聚焦感兴趣区域;
18、具体的,显存动态分配模块包括:
19、余量自适应单元:对摆动加速度向量进行欧几里得范数计算,获得向量模长,计算容错余量;
20、边界拓展单元:将理论二维质心坐标作为几何中心,结合目标的基准尺寸与容错余量,确定水平坐标区间和垂直坐标区间,生成边界框;
21、底层截取单元:将边界框转化为直接内存访问控制器的读取掩码,将位于读取掩码内部的感兴趣区域载入显存,丢弃位于读取掩码外部的背景数据;
22、进一步的,显存动态分配模块通过内存访问控制器触发显存的写使能信号,将与自适应边界框对应的感兴趣区域载入显存。
23、闭环提取模块:从感兴趣区域提取特征,输出实际检测二维质心坐标,结合外参矩阵修正预测并输出三维世界坐标;
24、其中,闭环提取模块包括:
25、模糊判定与检测单元:判断系统综合相对位移评判指标是否大于高频锐化触发阈值,当大于时,对感兴趣区域执行空间域拉普拉斯算子特征强化处理,输出实际检测二维质心坐标;当小于或等于时,输出实际检测二维质心坐标;
26、坐标修正单元:根据实际检测二维质心坐标与理论二维质心坐标的偏差量,结合外参矩阵的转置矩阵,修正预测三维世界坐标;
27、具体的,模糊判定与检测单元,根据当前时刻与上一时刻的绝对空间位置向量的差值范数获得绝对平移量;根据摆动速度向量的模长与固定时间间隔的乘积获得目标位移量,将绝对平移量与目标位移量相加获得系统综合相对位移评判指标;
28、进一步的,判定综合相对运动程度,当超出预设阈值时,自动调用空间域拉普拉斯算子对截取进显存的感兴趣区域进行高频边缘强化,抵消相对运动带来的图像模糊。
29、根据本发明,通过结合视觉残差与逆透视映射模型反演目标的位移增量并计算摆动速度与加速度,实现了对目标成像位置的提前预估,降低了连续巡检中因目标不规则位移引发的特征丢失概率;通过根据摆动加速度向量模长动态计算容错余量生成边界框并转化为读取掩码,在底层总线传输阶段仅将感兴趣区域载入显存并丢弃背景数据,降低了边缘计算节点的无效显存占用与无效特征检索计算;通过判断综合相对位移评判指标与高频锐化触发阈值的关系,在超出阈值时调用空间域拉普拉斯算子对感兴趣区域进行高频边缘强化,削弱了相对运动模糊对底层像素纹理的破坏,保障了视觉识别网络输出质量的可靠性。
1.一种基于无人机遥感影像及边缘计算的自适应识别系统,其特征在于,包括:
2.根据权利要求1所述的一种基于无人机遥感影像及边缘计算的自适应识别系统,其特征在于,所述多源数据解析模块包括:
3.根据权利要求1所述的一种基于无人机遥感影像及边缘计算的自适应识别系统,其特征在于,所述误差反演建模模块包括:
4.根据权利要求3所述的一种基于无人机遥感影像及边缘计算的自适应识别系统,其特征在于,所述计算摆动速度向量的计算过程包括:动力学差分单元将当前时刻的位移增量减去上一历史时刻的位移增量,生成位移差值向量;将位移差值向量同相邻两帧图像的固定时间间隔进行除法计算获得当前时刻的摆动速度向量;
5.根据权利要求1所述的一种基于无人机遥感影像及边缘计算的自适应识别系统,其特征在于,所述前馈投影解算模块包括:
6.根据权利要求1所述的一种基于无人机遥感影像及边缘计算的自适应识别系统,其特征在于,所述显存动态分配模块包括:
7.根据权利要求1所述的一种基于无人机遥感影像及边缘计算的自适应识别系统,其特征在于,所述闭环提取模块包括:
8.根据权利要求7所述的一种基于无人机遥感影像及边缘计算的自适应识别系统,其特征在于,所述模糊判定与检测单元,根据当前时刻与上一时刻的绝对空间位置向量的差值范数获得绝对平移量;根据摆动速度向量的模长与固定时间间隔的乘积获得目标位移量,将绝对平移量与目标位移量相加获得系统综合相对位移评判指标。
9.根据权利要求1所述的一种基于无人机遥感影像及边缘计算的自适应识别系统,其特征在于,所述显存动态分配模块,通过内存访问控制器触发显存的写使能信号,将与自适应边界框对应的感兴趣区域载入显存。
10.根据权利要求1所述的一种基于无人机遥感影像及边缘计算的自适应识别系统,其特征在于,所述闭环提取模块,判定综合相对运动程度,当超出预设阈值时,自动调用空间域拉普拉斯算子对截取进显存的感兴趣区域进行高频边缘强化,抵消相对运动带来的图像模糊。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com