一种基于语言和影像大模型的情报快速理解方法及系统

摘要: 本发明属于情报快速理解,尤其涉及一种基于语言和影像大模型的情报快速理解方法及系统。背景技术:1、复杂艰险地区的自然资源调查监测一直是行业难题。这些地区往往峰谷交...
一种基于语言和影像大模型的情报快速理解方法及系统

本发明属于情报快速理解,尤其涉及一种基于语言和影像大模型的情报快速理解方法及系统。

背景技术:

1、复杂艰险地区的自然资源调查监测一直是行业难题。这些地区往往峰谷交错,地形复杂多变,导致部分区域难以到达,且缺乏地面通信设施。这大大影响了相关地区自然资源监测工作的开展,严重限制了监测工作的效率。

2、针对人工作业成本高、安全风险大、数据获取受限等痛点,中国地质大学(武汉)王力哲教授团队研发了集成多模态传感器的车载自然资源调查系统—landexplorer-1。该系统采用了“车−空−地”三维协同的架构,集成了可收放式无人机和四足机器人等地质调查设备,可以实现灵活机动高效的自然资源外业调查,降低了人工作业成本和自然资源调查人员的外业安全风险。该系统集成了多个模块。

3、比亚迪以开放生态联合华为、大疆等巨头,打造dmo电驱越野平台+华为乾崑智驾ads 3.0+“灵鸢”系统的技术铁三角,推动车载无人机从小众极客玩具向大众标配进化。

4、通过上述分析,现有技术存在的问题及缺陷为:

5、复杂艰险地区的自然资源调查监测一直是行业难题。这些地区往往峰谷交错,地形复杂多变,导致部分区域难以到达,且缺乏地面通信设施。这大大影响了相关地区自然资源监测工作的开展,严重限制了监测工作的效率。

技术实现思路

1、针对现有技术存在的问题,本发明提供了一种基于语言和影像大模型的情报快速理解方法以及系统。

2、本发明是这样实现的,一种基于语言和影像大模型的情报快速理解方法包括:

3、步骤1,场景理解与情报生成;

4、基于语言-影像大模型的情报快速理解是陆上无人舰的重要支持工具;结合视觉和文本输入,通过先进的特征提取、多模态融合及推荐模型处理,为城市及农村野外场景提供智能化解决方案;其核心架构包括 vision encode 和 text tokenizer 模块,分别负责处理图像和文本,提取多维特征后进行融合,生成精准的情报输出;

5、步骤2,影像输入和解析;

6、无人机以其高机动性和广覆盖性,实时获取高质量影像,通过多模态大模型的解析,生成精准的情报和推荐结果;

7、步骤3,基础推理;

8、基础推理是场景理解与情报生成系统的核心环节,负责在接收到图像数据与文本数据融合后的多模态数据特征后,进一步提炼关键信息,构建具有逻辑结构和决策价值的环境认知框架;

9、步骤4,高级推理;

10、高级推理能力是智能系统应对复杂任务环境的核心支撑,通过多维度数据融合与动态决策机制,实现对场景的深度理解与前瞻性推演;该能力建立在基础推理的空间感知、语义理解和场景推理之上,进一步整合多模态数据,形成覆盖物理环境、任务背景与动态约束的综合认知框架;其核心构成包含任务情境分析、路径规划和威胁评估三大关键模块,三者通过闭环联动实现从环境感知到智能决策的全流程优化;

11、步骤5,输出生成与可视化;

12、通过对前面模块经过高级推理得到的信息进行筛选、整合,最终生成所需的情报以及相应的数据可视化图谱。

13、本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行所述基于语言和影像大模型的情报快速理解方法的步骤。

14、本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行所述基于语言和影像大模型的情报快速理解方法的步骤。

15、本发明的另一目的在于提供一种信息数据处理终端,所述信息数据处理终端用于实现所述基于语言和影像大模型的情报快速理解系统。

16、结合上述的技术方案和解决的技术问题,本发明所要保护的技术方案所具备的优点及积极效果为:

17、本发明构建以多模态大语言模型(mllm)为核心引擎,融合数字孪生、边缘计算的全自主协同侦察系统,实现复杂场景下硬件集群与软件决策的实时动态协同,突破传统侦察系统在环境适应性、任务响应速度与多设备协作效率上的技术瓶颈。研究目标体系聚焦于技术突破(大模型驱动决策)与实际应用落地(多场景验证),可为下一代智能侦察系统提供理论支撑与工程实现路径。

18、无人车作为移动指挥中心与计算枢纽,其顶部配备自动化机巢,搭载多架无人机,这些无人机作为功能性僚机,能够自主编队并受控于无人车及地面指挥控制系统,协同完成大范围自主探索任务,有效突破了传统无人车与无人机系统孤立发展的局限。

19、无人机群配备单目摄像头及机载计算单元,实时获取姿态流与图像数据,并通过通信链路与无人车保持实时交互。无人车接收这些数据后,进行影像拼接、融合处理以及自动三维重建,生成精准的态势图。同时,系统采用自组网络无线电通信模式,确保各单元间数据与信息交互的高效与稳定。

20、无人车的车载边缘计算模块具备强大的数据整合能力,能够将来自卫星图像、电子监听、情报报告以及社交媒体等多源数据融合到统一视图中。借助新一代人工智能推理技术,系统能够对海量数据进行智能化处理,快速提炼出潜在的、有价值的情报。

21、此外,该系统集成deepseek人工智能技术,支持人机语音交互,具备任务自主分解、执行、探索与分析等自主智能功能。通过构建无人车自动任务执行系统与无人机自动控制系统,实现了在未知区域的完全无人化自动探索,显著提升了任务执行的效率与安全性。

22、本发明对所推理产生的大量信息做一个筛选,确保提供给用户最高效简介的信息,并且根据关联性进一步整合前面的信息。在筛选整合过程中,系统会参考知识库或者以往类似场景中用户关注的重点内容,识别出与当前任务最相关的关键信息。例如,如果用户关注的是某一特定区域的通行安全性,系统将优先筛选出与该区域通行性相关的数据,如道路状况、桥梁限高、坡度等信息,并剔除无关或冗余的数据。整合阶段则将这些筛选后的数据按照逻辑关系进行组合,形成具有内在联系的情报内容,为后续的情报生成奠定基础。在完成数据的筛选与整合后,模块进入情报生成与包装阶段。这一阶段首先利用智能算法对整合后的数据进行进一步的分析和处理,生成具有决策支持价值的情报内容。例如,系统可以基于历史任务数据和实时传感器数据,预测不同行动方案的可行性和潜在风险,为用户提供最优的决策建议。为了确保情报的准确性和实用性,系统还会对生成的情报进行优化和验证,通过多轮迭代和反馈机制不断完善情报内容。

23、接下来,系统将对生成的情报进行精心包装,以提升其可读性和可用性。包装过程包括对情报内容的格式整理、语言润色、重点突出等方面。首先,系统会将情报内容按照标准化的格式进行排版,确保信息的层次清晰、逻辑连贯,便于用户快速浏览和理解。同时,对情报中的关键信息进行突出显示,如使用加粗、变色等标记方式,使用户能够迅速抓住重点。

24、为了评估包装后情报的可读性,系统会利用可读性评估模型对情报进行分析。这些模型可以基于文本的词汇、句法等特征,结合用户的历史反馈和偏好,自动评估情报的可读性。如果评估结果显示可读性不佳,系统将自动触发重新包装流程。在重新包装过程中,系统会对情报内容进行进一步的语言简化、结构调整或增加解释性说明,以提升其可读性。例如,将复杂的术语替换为更通俗易懂的表达,或者将长段落分解为多个小段落,增强情报的可读性和理解度。

25、通过这种动态的评估与调整机制,系统能够确保最终交付给用户的情报不仅内容丰富、准确,而且格式规范、易于理解,直接满足用户的多样化需求。

26、最后,为了方便用户理解和使用情报,模块采用可视化技术将复杂的数据和情报以直观易懂的图谱形式呈现出来。常见的可视化形式包括三维模型展示、趋势图表、热力图等。例如,三维模型可以直观地展示地形、建筑和障碍物的分布情况,帮助用户快速把握环境态势;趋势图表则可以清晰地反映某些关键指标随时间的变化趋势,辅助用户进行动态分析。此外,可视化界面还支持用户交互操作,如缩放、旋转、筛选等,使用户能够根据自身需求深入探索数据细节,进一步提升决策的科学性和准确性。