一种基于无人机俯视图像的地理坐标确定方法
本技术涉及计算机视觉,特别是涉及一种基于无人机俯视图像的地理坐标确定方法。
背景技术:
1、随着无人机技术的发展,其已广泛应用于地理测绘、环境监测、灾害评估、交通巡检以及军事侦察等领域。在上述应用场景中,往往需要根据无人机获取的地面图像确定目标区域的地理位置,从而实现目标定位、地图构建或空间信息分析。因此,如何根据无人机获取的俯视图像准确确定其对应的地理坐标,成为无人机遥感与计算机视觉领域的重要研究问题。
2、现有技术中,无人机图像的地理定位通常依赖全球定位系统(gps)或其他卫星导航系统,通过机载定位模块获取无人机的经纬度信息并与图像数据进行关联。然而,在城市高楼密集区域、森林覆盖区域或电磁干扰较强环境下,gps信号容易出现遮挡、漂移或失效,从而导致定位精度下降,影响无人机图像地理定位的可靠性。
3、为提高定位鲁棒性,部分研究尝试利用视觉方法进行图像定位,如图像特征匹配或视觉里程计等技术,但这些方法通常依赖连续帧运动关系或预先构建的高精度地图,在飞行路径变化较大或环境特征变化明显时容易出现累计误差或匹配失败。同时,一些方法依赖特定区域数据库,难以实现跨区域泛化。因此,亟需提出一种新的无人机图像地理定位方法,在减少对实时gps依赖的同时,能够充分利用无人机俯视图像信息,实现稳定可靠的地理坐标确定,并提升跨区域环境下的定位能力。
技术实现思路
1、基于此,有必要针对上述技术问题,本发明提出一种基于无人机俯视图像的地理坐标确定方法,所述方法包括:
2、步骤s1、采集无人机对目标区域多次飞行所获取的地面视频数据以及对应的gps时间戳信息,并根据视频帧时间戳与gps时间戳之间的时间对应关系,基于最小时间差准则及预设时间阈值,建立视频图像帧与gps数据之间的一一对应关系;
3、步骤s2、将匹配后的图像帧与对应的经纬度数据建立映射关系,构建图像-地理坐标数据集;
4、步骤s3、将所述地理坐标通过预设地图投影模型转换为平面投影坐标;
5、步骤s4、统计训练数据集中平面投影坐标的全局均值和标准差,并据此对平面投影坐标进行标准化处理得到归一化平面坐标标签;
6、步骤s5、针对每一目标时刻,从视频数据中选取包含该时刻在内的连续多帧图像序列作为输入,通过共享参数的图像特征提取网络提取各帧图像特征,经时序特征融合网络进行时间维度建模,获得融合后的时序特征表示;
7、步骤s6、将所述时序特征输入双分支坐标回归网络进行坐标预测,其中,第一分支用于预测目标位置的全局粗略坐标,第二分支用于预测相对于所述全局粗略坐标的局部偏移量,所述第二分支基于第一分支输出进行条件建模,并将全局粗略坐标与局部偏移量进行残差融合,得到最终归一化平面坐标预测值;
8、步骤s7、基于真实归一化平面坐标与预测归一化平面坐标构建组合损失函数,通过反向传播算法对模型参数进行优化,所述组合损失函数至少包括全局坐标预测误差损失、局部偏移预测误差损失以及全局坐标与局部偏移一致性约束损失;
9、步骤s8、对预测得到的归一化平面坐标进行反标准化处理,并通过逆投影变换恢复为对应的地理坐标,输出目标无人机俯视图像对应的地理坐标。
10、进一步的,步骤s1包括:
11、步骤s101、设第条gps记录的时间戳为,视频第帧图像的时间戳为,计算二者的时间差:
12、;
13、步骤s102、对于每一条gps记录,选择满足以下条件的视频帧索引:
14、;
15、即选取与所述gps记录时间差最小的视频帧作为候选匹配帧;
16、步骤s103、当步骤s101所述时间差满足如下条件建立该gps记录与对应视频帧之间的匹配关系;
17、;
18、其中,为预设时间阈值;
19、步骤s104、将满足时间差阈值条件的gps记录及其对应的视频帧组成有效样本对,构建图像帧与地理坐标的一一对应关系;若某gps记录在预设时间阈值范围内未找到对应视频帧,则舍弃该gps记录。
20、进一步的,步骤s3包括:
21、步骤s301、设无人机图像对应的地理坐标为:
22、;
23、其中,表示纬度,表示经度;
24、步骤s302、确定地球参考半径,所述地球参考半径为地球椭球模型的等效球半径,;
25、步骤s303、将所述纬度与经度由角度单位转换为弧度表示:
26、,;
27、其中,和分别表示弧度形式的纬度与经度;
28、步骤s304、采用墨卡托投影模型将经纬度坐标转换为平面投影坐标:
29、;
30、;
31、其中,表示东西方向的平面坐标,表示南北方向的平面坐标,为参考经线;
32、步骤s305、根据上述得到无人机图像对应的平面投影坐标为:
33、。
34、进一步的,步骤s4包括:
35、步骤s401、设训练集中共有个平面投影坐标样本,第个样本表示为:
36、;
37、分别计算平面坐标在两个维度上的全局均值:
38、,;
39、步骤s402、分别计算平面坐标在两个维度上的全局标准差:
40、,;
41、步骤s403、对每一个平面投影坐标样本进行标准化处理得到归一化平面坐标标签:
42、,;
43、步骤s404、得到对应的归一化平面坐标表示:
44、;
45、其中,表示用于模型训练的归一化平面坐标标签。
46、进一步的,步骤s5包括:
47、步骤s501、设视频帧序列为:
48、;
49、其中,表示第帧图像,其对应时间戳为,表示视频序列总帧数;
50、步骤s502、对于任一目标时刻对应的视频帧索引,以该帧为中心构建长度为的多帧序列,定义时间窗口为:
51、;
52、其中,,为时间窗口半径;
53、步骤s503、根据所述时间窗口,从视频序列中选取对应的多帧图像,构建输入序列:
54、;
55、步骤s504、将所述多帧图像序列与目标时刻对应的归一化平面坐标标签进行关联,构建训练样本:
56、;
57、其中,为步骤s404中得到的归一化平面坐标标签;
58、步骤s505、对所有满足条件的目标帧索引,构建多帧输入样本集合:
59、;
60、其中,表示满足时间匹配条件的有效帧索引集合;
61、步骤s506、构建图像特征提取网络,所述图像特征提取网络采用现有深度神经网络实现,为resnet、dinov2中的任意一种;将多帧图像分别输入所述图像特征提取网络,得到对应的高维图像特征表示:
62、;
63、其中,为对应图像的特征向量,为特征向量维度,为图像特征提取网络的参数;
64、步骤s507、对所述多帧图像采用共享参数策略进行特征提取,即对于任意两帧图像和,满足和使用相同参数;
65、步骤s508、将所有帧对应的特征向量按照时间顺序进行排列,构建时序特征序列:
66、;
67、其中,,;
68、步骤s509、构建时序特征融合网络,所述时序特征融合网络用于对连续多帧图像之间的时间关联关系进行建模,通过聚合不同时间位置的视觉特征信息,获得包含时序上下文信息的融合特征表示;将所述时序特征序列输入所述时序特征融合网络得到融合后的时序特征表示:
69、;
70、其中,融合后的时序特征表示,为融合后特征维度,为时序特征融合网络的参数;
71、所述时序特征融合网络采用以下至少一种方式实现:基于注意力机制的时序加权融合、基于循环神经网络的时序状态建模、基于三维卷积网络的时域特征建模;
72、步骤s510、当所述时序特征融合网络采用注意力机制实现时,通过注意力权重对各帧特征进行加权融合:
73、;
74、其中,权重满足:
75、;
76、;
77、其中,表示第帧特征对应的重要性评分;为评分函数,用于衡量当前帧特征对最终时序特征表示的贡献程度,其由线性映射、全连接网络、注意力网络任一种实现;
78、当所述时序特征融合网络采用循环神经网络实现时,将所述时序特征序列输入循环神经网络,得到最终隐藏状态作为融合特征:
79、;
80、当所述时序特征融合网络采用三维卷积网络实现时,将多帧特征重构为时序张量后输入三维卷积网络进行建模:
81、。
82、进一步的,步骤s6包括:
83、步骤s601、对于步骤s509得到的融合时序特征:
84、;
85、分别将其作为第一分支全局坐标预测网络和第二分支局部偏移预测网络的输入特征;
86、步骤s602、构建全局坐标预测网络,所述全局坐标预测网络采用多层感知机(multi-layer perceptron,mlp)构建,包括至少两层全连接层,相邻全连接层之间采用非线性激活函数,用于建立融合时序特征与全局坐标之间的映射关系;将融合时序特征表示输入所述全局坐标预测网络,得到全局粗略坐标预测值:
87、;
88、其中,表示归一化平面坐标空间中的全局粗定位结果,为全局坐标预测网络的参数;
89、步骤s603、基于全局粗略坐标预测结果,构建局部偏移网络的输入特征:
90、;
91、其中,表示特征融合函数,用于将全局位置信息嵌入原始特征中,所述特征融合函数采用以下任一种方式实现:特征拼接、线性映射后相加、注意力引导融合;
92、步骤s604、构建局部偏移预测网络,所述局部偏移预测网络采用多层感知机构建,包括至少两层全连接层,用于预测相对于全局粗略坐标的局部偏移量,将局部偏移分支输入特征输入所述局部偏移预测网络得到局部残差预测值:
93、;
94、其中,表示相对于全局粗定位坐标的局部偏移量,为局部偏移预测网络参数;
95、步骤s605、将全局粗略坐标与局部偏移量进行融合,得到最终预测结果:
96、;
97、即:
98、,。
99、进一步的,步骤s7包括:
100、步骤s701、从步骤s5构建的数据集中选取训练样本,将输入样本依次经过步骤s5至步骤s6的网络结构得到全局粗略坐标预测、局部偏移预测、最终融合坐标;
101、步骤s702、基于由步骤s404得到的真实归一化坐标标签,构建组合损失函数:
102、;
103、其中,全局损失,残差损失,一致性约束损失,,,为权重系数;
104、步骤s703、基于真实标签与预测结果之间的误差,对所有训练样本的组合损失函数求和、取平均,对所有训练样本求和得到整体优化目标函数:
105、;
106、步骤s704、基于所述损失函数,采用反向传播算法对模型参数进行优化
107、;
108、;
109、其中,为学习率,表示对参数的梯度;
110、步骤s705、重复执行步骤s701至步骤s704,直至满足预设收敛条件或达到最大训练轮数。模型训练完成后,在推理阶段,仅输入待定位无人机图像,无需真实坐标标签即可得到预测结果。
111、进一步的,在步骤s8中,所述方法包括:
112、步骤s801、获取待定位无人机图像,经步骤s5、步骤s6得到归一化平面坐标预测值:
113、;
114、步骤s802、基于步骤s4中计算得到的全局均值与标准差,对归一化坐标进行反标准化处理,恢复为平面投影坐标:
115、,;
116、得到
117、;
118、步骤s803、基于步骤s3中定义的投影模型,对平面投影坐标进行逆变换,恢复为经纬度坐标:
119、;
120、;
121、步骤s804、将弧度形式的经纬度转换为角度表示:
122、,;
123、步骤s805、输出目标无人机俯视图像对应的地理坐标:
124、。
125、有益效果,与现有技术相比,本发明的技术方案具有如下有益技术效果:
126、1、提高地理坐标预测精度,通过采用连续多帧无人机俯视图像进行联合建模,并利用时序特征融合网络充分挖掘相邻帧之间的时序关联信息,相较于单帧图像定位方式,能够有效提升无人机地理坐标预测的准确性和稳定性。
127、2、降低大范围坐标回归难度,通过将坐标预测划分为全局粗略坐标预测和局部偏移预测两个阶段,降低了直接回归全局坐标的学习难度,使模型能够同时兼顾全局定位能力和局部定位精度,从而提高坐标回归精度。
128、3、提高模型训练稳定性,对平面投影坐标进行标准化处理,有效减小了不同坐标维度之间的数值差异,提高了模型训练过程中的数值稳定性和收敛速度。
129、4、降低gps依赖,对平面投影坐标进行标准化处理,有效减小了不同坐标维度之间的数值差异,提高了模型训练过程中的数值稳定性和收敛速度。
130、5、网络结构具有较好的扩展性,图像特征提取网络和时序特征融合网络均采用模块化设计,可兼容卷积神经网络、视觉transformer以及其他视觉编码网络,具有良好的可扩展性和工程应用价值。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com