基于真实传感器数据驱动与几何缓冲区数据编码的红外实时仿真方法

本发明涉及基于虚幻引擎的红外成像实时仿真领域，具体涉及一种基于真实传感器数据驱动与几何缓冲区数据编码的红外实时仿真方法。

背景技术：

1、红外场景实时仿真技术在军事模拟、装备研发、训练推演及虚拟测试等领域具有重要应用价值，其核心是通过三维图形渲染与热辐射物理建模，生成贴近真实世界的红外成像效果，为各类红外探测与成像系统提供可靠的虚拟测试环境。随着游戏引擎尤其是虚幻引擎（unreal engine）在实时图形渲染领域的快速发展，其强大的三维场景构建、材质编辑、光照模拟及可编程渲染管线能力，为红外仿真提供了高效、灵活的开发平台，显著降低了传统专业仿真软件的开发周期与成本。

2、目前，基于虚幻引擎的红外仿真技术已成为国内外研究热点，其中最具代表性的相近技术如专利公开号cn121902582a，公开了一种基于虚拟引擎的三维场景红外仿真处理方法和系统。该方法通过动态热模型与普朗克定律相结合，精准计算物体表面红外辐射亮度，使红外热像图生成严格遵循热辐射物理规律，有效避免了传统仿真中物理逻辑偏差问题；同时将辐射亮度值直接映射到虚拟引擎自定义渲染通道，借助引擎实时渲染能力，实现红外热像图的实时生成与更新，兼顾了实时性与物理准确性。动态热模型可根据场景变化实时调整物体温度分布，普朗克定律确保温度数据向红外辐射亮度的准确转换，提升了仿真系统的灵活性与实用性。

3、但在自动驾驶等复合仿真场景的实际应用中，上述现有技术仍存在诸多不足，难以满足高实时性、轻量化的红外仿真工程应用需求。其一，实时渲染性能受限且物理模型准确性不足。该方案依赖动态热模型结合普朗克定律完成逐像素、逐帧物理计算，运算逻辑复杂、参数迭代量大，整体算力开销极高。在大规模三维场景、多材质复杂物体的复合仿真工况下，持续的物理运算会严重占用引擎渲染资源，导致主要仿真场景帧率下降、渲染延迟、画面卡顿等问题，无法适配自动驾驶、动态推演等高实时性要求的仿真场景。此外，纯物理模型驱动的仿真范式存在固有准确性缺陷：热力学仿真模型与传感器效应模型在耦合求解过程中，需引入大量简化假设与经验拟合参数，在复杂多变的真实场景工况下，模型简化误差将逐级累积放大，导致仿真输出的红外特征与真实物体红外特征之间产生系统性偏差，难以满足高保真度红外成像仿真的准确性要求。其二，工程适配性差、改造成本高，该技术需深度修改虚幻引擎底层源码，搭建专属的红外自定义渲染通道，不仅开发门槛高、研发周期长，还会破坏引擎原生渲染架构，导致项目无法适配引擎版本迭代，跨项目、跨版本迁移复用性差。其三，资源利用率低，现有技术需额外新建专属红外渲染通道，该独立通道会产生额外的数据写入运算开销与缓存空间占用开销，其额外新增的通道架构带来了不必要的资源冗余，整体轻量化适配能力不足。

技术实现思路

1、针对现有技术物理计算量大、实时性差的痛点，行业常规优化手段多为精简算法、扩容硬件算力，但优化效果存在瓶颈，无法从根本上解决性能损耗问题。本发明提出一种基于真实传感器数据驱动与几何缓冲区数据编码的红外实时仿真方法，具体技术方案如下：

2、一种基于真实传感器数据驱动与几何缓冲区数据编码的红外实时仿真方法，包括如下步骤：

3、s1：采集真实物理场景对应的可见光的视觉图像与红外图像，并将所述红外图像仿射变换映射至对应的视觉图像的坐标系下；

4、s2：对所述视觉图像进行语义分割处理，将视觉图像的语义分割标签映射至对应的已配准的红外图像上，获取所述红外图像中各类目标物体的语义分类标注信息；

5、s3：基于s2得到的红外图像的语义分类结果，按照语义类别对各目标物体区域的灰度值分别进行统计，标定各类物体在常规环境下对应的真实红外灰度值区间，绘制各类物体的标准化基础红外纹理；

6、s4：在虚幻引擎世界场景渲染阶段，对场景物体预设的标准化基础红外纹理进行纹理采样，结合实时环境温度、天气照度参数、温度影响权重以及照度影响权重计算当前帧物体的红外特征数据；同时，对场景中平面物体的法线贴图进行动态扰动处理，模拟雨天工况下雨水对红外成像的实时干扰效果；

7、s5：将仿真计算得到的物体红外特征浮点型数据转换为固定位整型数据并分段嵌入虚幻引擎原生几何缓冲区通道；

8、s6：通过虚幻引擎对当前场景进行渲染，然后通过虚幻引擎的场景捕获组件对渲染完成的几何缓冲区进行逐帧采样捕获，将缓冲区数据传入后处理材质进行红外数据解码提取和红外特征数值还原；

9、s7：在引擎渲染后处理阶段，对已嵌入红外信息与法向量扰动效果的原场景的基础颜色通道进行采样，经灰度化、反色处理后，以预设的低权重参数与还原的红外特征数值进行融合叠加，依托引擎标准渲染循环实现红外仿真场景的实时渲染输出。

10、进一步地，s1具体通过如下步骤实现：

11、通过提取真实物理场景对应的可见光的视觉图像与红外图像的对应特征点，计算仿射变换矩阵，将所述红外图像配准至所述视觉图像的坐标系，使得同一场景物体在两类图像中的像素位置建立精确的空间映射关系。

12、进一步地，s2具体通过如下步骤实现：

13、s2.1：采用基于深度学习的语义分割模型对视觉图像进行推理，识别并标注场景内不同材质、不同类型的仿真目标物体区域，得到视觉图像的语义分割结果；

14、s2.2：依据s1建立的空间映射关系，将所述视觉图像的语义分割结果逐像素映射至对应的红外图像对应位置，完成红外图像中各目标物体的自动化语义分类标注。

15、进一步地，s3具体通过如下步骤实现：

16、s3.1：针对语义分割所获得的各类物体区域，分别提取其对应红外图像区域内的像素灰度值，统计各类物体区域的灰度均值、标准差及核心分布区间，得到每类物体的标准化红外灰度参数数据表；

17、s3.2：依据s3.1的实测灰度数据，结合三维仿真场景中对应语义类别物体的模型结构、材质属性与uv坐标分布，在纹理编辑工具中绘制生成适配虚幻引擎三维模型的标准化基础红外纹理。

18、进一步地，s4具体通过如下步骤实现：

19、s4.1：构建场景环境温度的24小时连续变化曲线模型，模拟昼夜温度循环变化规律；构建天气工况影响模型，模拟不同天气条件对场景照度的影响；

20、s4.2：依托虚幻引擎材质参数集合对仿真系统的时间参数与天气照度参数进行量化表征，并利用虚幻引擎材质曲线图集完成连续时间-温度曲线及天气照度-照度影响权重曲线的离散化纹理存储；

21、s4.3：仿真运行过程中，通过实时时间参数采样对应纹理数据，动态获取当前场景环境温度及天气影响照度；同时，根据场景物体分类调取预先建立的标准化红外灰度参数数据表；

22、s4.4：结合物体的标准化基础红外纹理、实时环境温度、温度影响权重、天气照度参数及温度影响权重这五项参数，对热辐射物理求解模型进行轻量化拟合求解，得到当前帧场景物体的精准红外特征数据。

23、进一步地，所述s5具体包括：

24、s5.1：在保留有效数据精度的前提下，将浮点型红外数据统一转换为固定位数的离散整型数据；

25、s5.2：计算拆分后每段数据的基础位宽b，并得到n/m的余数r；

26、

27、r=n mod m

28、其中，n为量化位宽，m为可用原生通道数量；mod表示取模运算；

29、s5.3：按照前r段各分配b+1位、后m-r段各分配b位的原则，从高位至低位对离散整型数据依次拆分；

30、s5.4：按照前r段各分配b+1位、后m-r段各分配b位的原则，将各段数据依次嵌入m个可用原生通道数据的低si位有效位空间；其中，si表示第i段数据的位宽。

31、进一步地，预设的低权重参数为0.05。

32、本发明的有益效果如下：

33、1. 本发明摒弃传统单纯依赖物理模型求解的仿真方式，提出基于实测数据驱动的红外纹理渲染，通过采集真实场景的视觉图片与红外图像并完成融合处理，统计各类物体的真实红外灰度值范围，基于实测数据绘制标准化基础红外纹理，将传统逐帧迭代的复杂物理运算，转化为高效的纹理采样调用逻辑，从根源上降低渲染算力消耗，有效解决了传统方案实时性不足的核心问题。

34、2. 相较于纯模型驱动方式，本发明的数据驱动方式以真实传感器采集的实测数据为基准，直接提取并还原物体真实红外辐射特征，有效规避了物理模型简化带来的累积误差，在保障高实时渲染性能的同时实现了更高仿真保真度，能够稳定适配自动驾驶仿真测试等对实时性与准确性均具有一定要求的复合仿真场景，且可支持多场景、多使用环境下的迁移复用。

35、3. 针对现有技术引擎改造难度大、兼容性弱、资源冗余的工程短板，本技术摒弃传统篡改底层源码、搭建专属渲染通道的开发模式，创新性提出几何缓冲区自定义数据注入技术，无需修改虚幻引擎底层代码，可直接复用引擎原生渲染通道完成红外数据的传输与渲染；且本技术设计专属信息编码与解码机制，将实测物体红外灰度、环境动态参数等自定义仿真数据精准注入引擎几何缓冲区，依托成熟的原生渲染管线实现红外场景实时绘制，彻底解决了传统方案版本不兼容、可拓展性差、开发成本高的问题，同时规避了新建专属渲染通道带来的额外写入开销与缓存占用冗余问题，显著降低仿真运行资源消耗，有效提升了红外仿真系统的轻量化程度与工程落地适配性。