一种基于多模态学习的无人机视频地图构建方法与流程
本发明涉及无人机视频地图构建,尤其涉及一种基于多模态学习的无人机视频地图构建方法。
背景技术:
1、随着无人机在城市精细化巡查、应急现场复核、工程建设监管、河道岸线巡检和园区安全管理等场景中的持续应用,历史飞行视频已经成为重要的空间过程记录资料。此类视频在采集过程中通常会在画面中叠加经纬度、朝向、时间等帧载空间信息,能够反映每一视频帧对应的采集位置和观察方向,为无人机视频与二维地图之间建立空间化关联提供了数据基础。
2、现有无人机视频管理方式多以文件存储、航迹线展示、采集点挂接或视频列表检索为主,二维地图通常仅作为视频来源位置或飞行路径的展示载体。此类方式虽然能够满足历史视频的基础归档和粗粒度定位需求,但无法充分利用视频帧中连续变化的空间信息,也难以将无人机视频从“按文件管理”转化为“按地图位置管理”。
3、但是在实际应用中普遍存在以下问题:视频帧中的经纬度和朝向等帧载空间信息多以画面叠加文字形式存在,缺少稳定的结构化识别、格式规整和帧序绑定处理;整段视频或单一航迹点与二维地图挂接的方式,不能表达每一视频帧在二维地图中的基准位置、投射方向和覆盖范围;多个无人机历史视频覆盖同一地图位置时,缺少面向地图位置单元的覆盖归并、分层叠加和图层构建处理;用户从二维地图中的某一位置发起查询时,难以直接回溯覆盖该位置的全部历史视频及对应视频片段,导致无人机历史视频的空间检索效率和复核利用价值受到限制。
4、因此,如何提供一种基于多模态学习的无人机视频地图构建方法是本领域技术人员亟需解决的问题。
技术实现思路
1、本发明的一个目的在于提出一种基于多模态学习的无人机视频地图构建方法,本发明针对无人机历史视频难以按地图位置管理和回溯的问题,将无人机历史视频数据、二维地图数据和视频地图构建规则组织为视频地图构建数据集,生成视频帧序列和地图位置单元数据。
2、本发明通过改进svtr模型识别视频帧中的帧载空间信息,生成视频帧空间记录;结合地图位置单元数据和视频地图构建规则,确定每一视频帧的地图基准位置、投射方向和覆盖边界,生成视频帧投影单元。
3、在此基础上,对视频帧投影单元执行位置覆盖归并和分层整理,生成历史视频叠加图层和位置关联视频索引,最终生成视频地图构建结果,实现历史视频逐帧落图、多层叠加和按位置回溯。
4、根据本发明实施例的一种基于多模态学习的无人机视频地图构建方法,包括如下步骤:
5、步骤一:响应视频地图构建指令,从数据存储端调取无人机历史视频数据和二维地图数据,并读取视频地图构建规则,生成视频地图构建数据集;
6、步骤二:对视频地图构建数据集中的无人机历史视频数据执行逐帧解析,并按照视频地图构建规则对二维地图数据执行地图位置单元划分,生成视频帧序列和地图位置单元数据;
7、步骤三:将视频帧序列输入改进svtr模型,对视频帧中的帧载空间信息进行识别、格式规整和帧序绑定,生成视频帧空间记录;
8、步骤四:基于视频帧空间记录、地图位置单元数据和视频地图构建规则,确定每一视频帧对应的地图基准位置、投射方向和覆盖边界,生成视频帧投射参数记录;
9、步骤五:按照视频帧投射参数记录将视频帧序列中对应的视频帧映射至地图位置单元数据,生成视频帧投影单元;
10、步骤六:基于地图位置单元数据对视频帧投影单元执行位置覆盖归并,生成地图位置覆盖记录;
11、步骤七:将地图位置覆盖记录中覆盖同一地图位置单元的视频帧投影单元按照无人机历史视频来源和帧序关系进行分层整理,生成历史视频叠加图层;
12、步骤八:基于地图位置覆盖记录和历史视频叠加图层,建立地图位置单元与无人机历史视频数据、视频片段之间的位置关联视频索引,并根据历史视频叠加图层和位置关联视频索引生成视频地图构建结果。
13、可选的,所述步骤一具体为:
14、接收视频地图构建指令,对视频地图构建指令中的数据调用范围和构建目标进行完整性校验;
15、校验通过后,从数据存储端调取与数据调用范围对应的无人机历史视频数据和二维地图数据;
16、对无人机历史视频数据进行可解析状态校验,并对二维地图数据进行可投射状态校验;
17、读取与构建目标对应的视频地图构建规则,将视频地图构建规则拆分为逐帧解析规则、帧载信息识别规则、地图位置单元划分规则、视频帧投射规则和覆盖归并规则;
18、将无人机历史视频数据、二维地图数据和拆分后的视频地图构建规则建立调用关联,生成视频地图构建数据集。
19、可选的,所述步骤二具体为:
20、读取视频地图构建数据集中的无人机历史视频数据和逐帧解析规则,按照无人机历史视频数据对应的无人机历史视频来源建立视频解析任务;
21、对无人机历史视频数据进行逐帧读取和帧序校验,将读取到的视频帧与对应无人机历史视频来源和帧序关系进行绑定,生成视频帧序列;
22、读取视频地图构建数据集中的二维地图数据和地图位置单元划分规则,对二维地图数据进行地图承载范围确定、地图位置单元划分和位置单元编码;
23、将编码后的地图位置单元与二维地图数据建立位置对应关系,生成地图位置单元数据。
24、可选的,所述改进svtr模型包括帧载区域定位层、视觉文本识别层、空间格式规整层和帧间连续校验层,具体为:
25、所述帧载区域定位层接收视频帧序列和视频地图构建规则,根据视频帧中的叠加信息显示特征确定帧载候选区域;
26、对帧载候选区域执行边界定位、区域截取、背景干扰抑制和图像规整,生成与视频帧逐一对应的帧载区域图像集合;
27、所述视觉文本识别层接收帧载区域图像集合,对帧载区域图像集合执行图像块切分,形成视觉标记序列;
28、对视觉标记序列执行字符组件编码、局部视觉关系混合和全局视觉关系混合,生成字符组件表征;根据字符组件表征执行字符序列预测和字符排列校验,生成帧载文本识别结果;
29、所述空间格式规整层接收帧载文本识别结果,按照帧载信息识别规则中的帧载空间信息格式,对帧载文本识别结果执行文本片段定位、文本片段分组、异常字符修正和空间信息归类,生成供视频帧投射处理调用的帧载空间信息;
30、所述帧间连续校验层接收帧载空间信息和视频帧序列,按照无人机历史视频来源和帧序关系对相邻视频帧对应的帧载空间信息执行连续性比对;
31、对缺失、突变或识别置信不足的帧载空间信息执行异常标记,并调用相邻视频帧对应的帧载空间信息进行补全;
32、将补全后的帧载空间信息与对应视频帧建立绑定关系,生成视频帧空间记录。
33、可选的,所述步骤四具体为:
34、读取视频帧空间记录、地图位置单元数据和视频地图构建规则,按照视频帧空间记录中的帧序关系逐帧调取对应的帧载空间信息;
35、将帧载空间信息中的空间定位内容与地图位置单元数据进行坐标匹配,确定每一视频帧对应的地图基准位置;
36、按照帧载空间信息中的姿态指向内容和视频地图构建规则中的视频帧投射规则,确定每一视频帧在二维地图中的投射方向;
37、以地图基准位置和投射方向为约束,结合地图位置单元数据确定每一视频帧覆盖的地图位置单元范围,生成覆盖边界;
38、将每一视频帧对应的地图基准位置、投射方向、覆盖边界和帧序关系进行绑定,生成视频帧投射参数记录。
39、可选的,所述步骤五具体为:
40、读取视频帧投射参数记录、视频帧序列和地图位置单元数据,按照视频帧投射参数记录中的帧序关系调取对应视频帧;
41、将对应视频帧的覆盖边界与地图位置单元数据进行空间匹配,确定覆盖边界落入的地图位置单元,并建立对应视频帧与地图位置单元之间的帧地图映射关系;
42、按照帧地图映射关系生成地图位置单元关联项;当同一视频帧覆盖多个地图位置单元时,按照覆盖边界与地图位置单元之间的覆盖关系,分别生成对应的地图位置单元关联项;
43、将对应视频帧、地图位置单元关联项、地图基准位置、投射方向、覆盖边界和帧序关系进行绑定,生成视频帧投影单元。
44、可选的,所述步骤六具体为:
45、读取地图位置单元数据和视频帧投影单元,按照地图位置单元数据中的位置单元编码建立位置覆盖归并表;
46、读取视频帧投影单元中的地图位置单元关联项,并读取视频帧投影单元关联的无人机历史视频来源和帧序关系;
47、将地图位置单元关联项与位置覆盖归并表中的位置单元编码进行匹配,将匹配到相同位置单元编码的视频帧投影单元归入同一位置覆盖集合;
48、按照无人机历史视频来源和帧序关系对位置覆盖集合中的视频帧投影单元建立覆盖记录关联,生成地图位置覆盖记录。
49、可选的,所述步骤七具体为:
50、读取地图位置覆盖记录,按照位置单元编码提取覆盖同一地图位置单元的视频帧投影单元,并读取视频帧投影单元关联的无人机历史视频来源和帧序关系;
51、将属于同一无人机历史视频来源的视频帧投影单元划分至同一视频覆盖层;
52、按照帧序关系对同一视频覆盖层中的视频帧投影单元进行连续片段归并,生成视频片段覆盖层;
53、将多个视频片段覆盖层与对应地图位置单元建立叠加对应关系,并按照地图位置单元与视频片段覆盖层之间的叠加对应关系生成历史视频叠加图层。
54、可选的,所述基于地图位置覆盖记录和历史视频叠加图层,建立地图位置单元与无人机历史视频数据、视频片段之间的位置关联视频索引具体为:
55、读取地图位置覆盖记录和历史视频叠加图层,按照位置单元编码提取覆盖同一地图位置单元的覆盖记录和叠加图层记录;
56、从覆盖记录中提取视频帧投影单元、无人机历史视频来源和帧序关系,并从叠加图层记录中提取与无人机历史视频来源对应的视频片段;
57、将无人机历史视频来源与无人机历史视频数据建立数据指向关系;以位置单元编码作为索引入口,将覆盖同一地图位置单元的无人机历史视频数据、视频片段、帧序关系和视频帧投影单元建立关联,生成位置关联视频索引。
58、可选的,所述根据历史视频叠加图层和位置关联视频索引生成视频地图构建结果具体为:
59、读取历史视频叠加图层、位置关联视频索引和二维地图数据,将历史视频叠加图层与二维地图数据建立图层显示关联,生成历史视频覆盖显示数据;
60、按照位置关联视频索引建立地图位置单元、无人机历史视频数据和视频片段之间的查询调用关系,生成位置视频回溯数据;
61、将历史视频覆盖显示数据、位置视频回溯数据和位置关联视频索引进行结果封装,生成视频地图构建结果;
62、视频地图构建结果包括基于二维地图展示的历史视频叠加图层、基于地图位置单元调用的无人机历史视频数据、与无人机历史视频数据对应的视频片段以及位置关联视频索引。
63、本发明的有益效果是:
64、本发明针对无人机历史视频中空间信息长期停留在画面叠加层、难以被地图系统直接调用的问题,利用改进svtr模型对帧载空间信息进行识别、规整和帧序绑定,将经纬度、朝向等非结构化画面信息转化为视频帧空间记录,为后续逐帧投射提供稳定的数据基础。
65、在视频帧地图化处理过程中,将视频帧空间记录与地图位置单元数据结合,确定每一视频帧对应的地图基准位置、投射方向和覆盖边界,从而形成视频帧投影单元,避免传统方式仅将整段视频挂接到航迹线或单一坐标点,能够更准确表达视频帧在二维地图中的实际覆盖关系。
66、针对多个无人机历史视频覆盖同一地图位置后难以统一管理的问题,基于地图位置单元对视频帧投影单元进行位置覆盖归并,并按照无人机历史视频来源和帧序关系进行分层整理,形成地图位置覆盖记录和历史视频叠加图层,使同一地图位置的多视频覆盖状态能够被直观呈现。
67、在检索回溯方面,位置关联视频索引将地图位置单元、无人机历史视频数据和视频片段建立关联,用户从二维地图中的具体位置发起查询时,能够反向定位覆盖对应位置的历史视频及片段,提高历史视频检索、现场复核和空间追溯效率。
68、整体而言,本发明实现了无人机历史视频的逐帧落图、多层叠加展示和按位置回溯,提升了视频资产的空间化管理能力和应用价值。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com