一种红外仿真场景的构建与数据采集方法与流程

摘要: 本技术涉及红外成像仿真,具体涉及红外仿真场景的构建与数据采集方法。背景技术:1、在智能飞行器、智能车辆、机器人、机器狗及其他智能体的感知与识别应用中,通常需要仿...
一种红外仿真场景的构建与数据采集方法与流程

本技术涉及红外成像仿真,具体涉及红外仿真场景的构建与数据采集方法。

背景技术:

1、在智能飞行器、智能车辆、机器人、机器狗及其他智能体的感知与识别应用中,通常需要仿真大量覆盖多环境、多视角、多气象条件的可见光和红外图像数据,以用于目标检测、目标跟踪、语义分割和多模态融合识别模型的训练与测试。

2、红外场景采集需要预先建立一个仿真场景,在仿真场景中进行采集,红外场景采集的速度和真实度和构建的仿真场景息息相关,现有的红外场景构建当时,通常先对自然语言形式的场景需求进行语义解析,提取得到场景要素清单与环境参数数据,再将提取到的文本数据逐项映射至三维仿真平台的对应功能接口,以此驱动场景构建流程;但是,大语言模型属于自然语言处理领域,输出以自然语言语义、非结构化文本逻辑为主;三维仿真引擎属于计算机图形学与建模仿真领域,功能接口以引擎原生的参数化指令、节点化调用规则为主。两者之间相互独立,所以,通常仅能适配固定场景类型与固定参数维度的参数映射,如果场景需求包含无法直接拆解为单条接口参数的复杂语义,容易出现语义信息损耗与对应偏差。难以适配多类型、多维度的红外仿真场景批量生成需求。

技术实现思路

1、针对现有技术的不足,本技术的目的在于提供红外仿真场景的构建与数据采集方法,解决了现有技术中现有技术的红外仿真中建模速度慢易于出现偏差的问题。

2、第一方面,本发明的目的可以通过以下技术方案实现:一种红外仿真场景的构建与数据采集方法,具体包括以下步骤:

3、利用大语言模型对场景任务自然语言描述进行语义解析,提取场景实体、空间关系和约束条件;

4、根据解析结果生成符合大模型上下文协议mcp的数据结构,以及对应的控制命令,所述控制命令包括场景构建命令、对象控制命令、材质配置命令、环境状态控制命令和采集任务命令中的至少一种;

5、通过控制命令对驱动虚幻引擎下发指令获取三维动态红外场景;

6、通过三维动态红外场景与目标对象的三维红外模型融合得到完整红外仿真场景;

7、在所述完整红外仿真场景内,基于airsim完成多视角多环境参数的红外数据采集。

8、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述虚幻引擎建模指令的生成过程为:所述控制命令驱动虚幻引擎自动调用各类场景资源,按照场景对象布设优先级完成场景要素布设;其中场景对象布设优先级评分公式为:

9、

10、式中,为场景对象布设优先级评分,为对象语义重要性权重,为任务相关性权重,为对象与目标区域距离权重,、、为权重系数,且满足。

11、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述三维动态红外场景的构建方式为:通过控制命令对驱动虚幻引擎下发指令,获取包含地形、建筑、植被、道路场景要素,以及对应材质属性的三维可见光仿真场景;

12、基于三维可见光仿真场景的各对象材质属性,结合环境热物理参数依次计算各对象表面温度与场景红外辐射亮度,生成连续三维红外辐射场的三维动态红外场景;

13、其中,三维可见光仿真场景的构建是在虚幻引擎中建立基础地形;根据场景语义描述加载建筑、植被、道路、水体、障碍物和背景干扰物体模型;对加载的场景对象进行空间位置调整、尺度调整、材质纹理绑定和光照配置;为不同场景对象配置粗糙度、金属度、漫反射纹理和法线纹理参数,完成三维可见光仿真场景的构建。

14、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述各对象表面温度的计算公式为:

15、

16、式中,为场景对象表面温度,为环境基准温度,为太阳辐射引起的温升分量,为与周边对象热传导引起的温度变化分量,为对流换热引起的温度变化分量。

17、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述场景红外辐射亮度的计算公式为:

18、

19、式中,为场景对象的红外辐射亮度,为对象表面发射率,为对象表面温度下的普朗克辐射函数,为对象表面反射率,为背景辐射分量。

20、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述完整红外仿真场景的构建方式为:获取目标对象的三维几何模型和对应红外辐射模型;根据目标对象与场景的空间约束,将目标对象自动放置于三维动态红外场景中的预设位置或候选区域,所述空间约束包括基于可通行区域的约束、基于可视区域的约束和基于任务目标分布的约束中的至少一种;对目标对象的姿态、高度、朝向和遮挡关系进行调整,得到融合目标的完整红外仿真场景。

21、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述airsim多视角多环境参数的红外数据采集,优选无人机进行采集,具体为:配置飞行器运动路径、相机姿态、传感器参数与动态环境扰动参数,在融合后的完整红外仿真场景中执行多视角数据采集;飞行器运动路径设置为环绕飞行路径和直线飞行路径中的至少一种,环绕飞行路径用于围绕目标进行多高度、多角度数据采集,直线飞行路径用于沿目标前方或侧方执行通过式采样;飞行过程中按照预设时间间隔或航点间隔动态调整天气状态、能见度、雾霾强度、背景干扰物位置和局部温度参数;利用airsim控制相机朝向、焦距、成像模式和采样频率,配置传感器噪声模型与成像后处理参数,仿真实际红外传感器的成像效果。

22、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述多视角数据采集过程中,通过相机目标可视性评分判断目标可视效果,当评分低于预设阈值时,自动调整相机朝向或飞行器姿态,保证目标区域出现在图像有效视场内;其中相机目标可视性评分公式为:

23、

24、式中,为相机目标可视性评分,为目标在图像中的面积占比得分,为目标中心位于有效视场中心区域的得分,为目标清晰度得分,、、为权重系数;预设阈值取值为0.55至0.85。

25、结合第一方面,在第一方面的某些实现方式中,该方法还包括:多视角数据采集过程中执行同步输出:每次采样同步保存rgb可见光图像、红外灰度图像和目标语义分割图;同步记录与图像对应的相机位姿、飞行轨迹、环境参数、温度参数和目标标注信息;将图像和配套参数信息整合输出为用于训练和测试的多模态数据集。

26、第二方面,为了达到上述目的,本发明公开了一种电子设备,包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述第一方面的方法。

27、本技术的有益效果:

28、本发明可将大语言模型解析场景需求后提取的场景实体、空间关系与约束条件统一封装为标准化结构化数据,并同步生成配套分类控制指令实现完整信息直传,能够实时同步场景搭建实时状态并动态迭代调整生成指令,参数映射逻辑具备通用适配能力,可兼容各类场景类型与多维度环境、目标参数,完整留存全部原始语义信息,能够快速批量搭建差异化、多参数维度的红外仿真场景并完成数据自动采集,提升了场景自动化构建效率,以及仿真场景真实度,有助于提升智能模型的检测精度和泛化性能。