一种小样本可见光与红外图像仿真方法与流程

本申请属于图像仿真，具体涉及一种小样本可见光与红外图像仿真方法。

背景技术：

1、在目标识别、红外探测、智能飞行器感知、无人系统训练以及仿真测试等应用场景中，通常需要同时获取目标的可见光图像、红外图像及其对应的结构模型，以支持算法训练、数据增强和系统评估。

2、在图像仿真技术领域中，如果小样本输入信息量十分有限，仅能提供少量目标图像、局部外观信息甚至简短文字描述，且直接将少量目标图像、局部外观信息或简短文字描述输入生成式模型，通过特征拟合还原目标的整体外形，在有限的输入信息内，大多难以支撑模型完成对目标的深层语义和图像解析，最终生成的模型仅是具备外观形态，且其红外仿真的精细化度较低，缺乏物理辐射特性。

技术实现思路

1、针对现有技术的不足，本申请的目的在于提供一种小样本可见光与红外图像仿真方法，解决了现有技术中小样本仿真难度大的问题。

2、第一方面，本发明的目的可以通过以下技术方案实现：一种小样本可见光与红外图像仿真方法，包括以下步骤：

3、获取目标对象的小样本文本描述信息、目标图像样本中的任意一种或二者组合；

4、对文本描述信息进行分词、实体归一化和结构语义编码，提取目标类别、几何外形、组成部件、表面特征信息，对目标图像样本进行尺寸归一化、视角筛选、背景抑制和关键特征增强处理；

5、对处理后的文本描述信息与图像样本建立统一的多模态输入表示；

6、基于生成式模型对所述多模态输入表示进行所述语义和图像解析、结构约束建模，结合物理热辐射仿真算法，生成红外仿真图像以及对应的可见光仿真图像。

7、结合第一方面，在第一方面的某些实现方式中，该方法还包括：通过所述语义和图像解析、结构约束建模，得到包含目标主体结构、局部部件关系及拓扑连接信息的目标结构表达结果，利用图像生成式模型得到目标可见光图像；

8、基于目标结构表达结果和三维模型生成式模型生成目标三维模型，并利用零部件模型生成式模型分割标注得到零部件级结构模型，匹配材质库后转为热辐射模型，结合环境参数计算多类辐射亮度，生成红外仿真图像以及对应的可见光仿真图像。

9、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述零部件级结构模型的生成过程为：通过图像生成式模型和目标结构表达结果生成目标多视角图像表征，通过三维模型生成式模型重建得到目标三维几何原始模型；对原始模型执行尺度校正、拓扑修复和平滑优化，消除孔洞、网格错乱与尺寸偏差，得到优化后的目标三维模型；通过零部件模型生成式模型对目标三维模型进行全域语义分割得到候选零部件区域，基于形状特征、部件连接关系和目标类别先验对候选区域进行聚合与语义标注，生成包含零部件编号、部件边界、层级从属关系的零部件级结构模型。

10、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述热辐射模型的材质参数和外部环境参数结合，依次计算多类辐射亮度的零部件间等效传热系数、零部件自身辐射亮度、太阳反射辐射亮度、经大气衰减的传感器接收辐射亮度，生成目标红外辐射模型与对应红外图像。

11、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述热辐射模型转换过程为：依据目标名称、零部件标签和应用场景，从大模型知识库、规则库和预设材质数据库中确定各零部件的候选材质，提取对应材质的发射率、反射率、热导率、比热容和密度参数；经材质一致性校验和部件关系约束校验后，建立目标零部件级材质属性库；将材质属性库逐部件映射至零部件级结构模型后，转换为体素格式或有限元格式的热辐射模型。

12、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述零部件间等效传热系数的计算公式为：

13、

14、式中，表示第i个零部件与第j个零部件之间的等效传热系数；表示两零部件接触区域的等效热导率；表示两零部件的接触面积；表示等效热传导距离；基于等效传热系数结合零部件初始温度求解热传导过程，更新各零部件的温度分布。

15、所述零部件自身辐射亮度的计算公式为：

16、

17、式中，表示零部件自身辐射亮度；表示零部件表面发射率；表示在波长和零部件温度t条件下的普朗克辐射函数。

18、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述太阳反射辐射亮度的计算公式为：

19、

20、式中，表示太阳反射辐射分量；表示零部件表面反射率；表示太阳辐照度；表示零部件表面法向量；表示太阳入射方向向量。

21、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述经大气衰减的传感器接收辐射亮度的计算公式为：

22、

23、式中，表示传感器接收辐射亮度；表示与传播距离、波长和大气湿度h相关的大气透过率；表示环境辐射分量；表示大气路径辐射分量；基于传感器接收辐射亮度结合成像波段与传感器噪声参数，生成目标红外辐射分布与对应红外辐射模型、红外图像。

24、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述红外仿真图像是以目标红外辐射模型与目标三维模型为输入执行融合处理生成，具体为：将目标红外辐射模型映射为目标三维模型表面的红外纹理贴图，或将目标红外辐射模型以逐像素辐射值形式投影到目标成像平面，得到与目标姿态和视角相匹配的红外仿真图像。

25、第二方面，为了达到上述目的，本发明公开了一种终端设备，包括存储器、处理器及存储在所述存储器中并能够在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现第一方面的方法。

26、本申请的有益效果：

27、本技术仅需小样本文本描述、少量图像样本或二者组合即可完成建模，先分别对文本、图像开展规范化预处理，提取目标外形、组成部件等关键特征并构建统一多模态输入表征，根据生成式模型完成语义和图像解析，同时施加轮廓一致性、部件位置、尺度三重约束开展结构建模，输出包含目标主体结构、部件关联与拓扑连接的完整结构表达，基于该表达自动重建并优化三维模型，同步完成部件分割与语义标注，整个建模流程全自动化运行，无需大量多视角样本支撑。

1.一种小样本可见光与红外图像仿真方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的小样本可见光与红外图像仿真方法，其特征在于，通过所述语义和图像解析、结构约束建模，得到包含目标主体结构、局部部件关系及拓扑连接信息的目标结构表达结果，利用图像生成式模型得到目标可见光图像；

3.根据权利要求2所述的小样本可见光与红外图像仿真方法，其特征在于，所述零部件级结构模型的生成过程为：通过图像生成式模型和目标结构表达结果生成目标多视角图像表征，通过三维模型生成式模型重建得到目标三维几何原始模型；对原始模型执行尺度校正、拓扑修复和平滑优化，消除孔洞、网格错乱与尺寸偏差，得到优化后的目标三维模型；通过零部件模型生成式模型对目标三维模型进行全域语义分割得到候选零部件区域，基于形状特征、部件连接关系和目标类别先验对候选区域进行聚合与语义标注，生成包含零部件编号、部件边界、层级从属关系的零部件级结构模型。

4.根据权利要求2所述的小样本可见光与红外图像仿真方法，其特征在于，所述热辐射模型的材质参数和外部环境参数结合，依次计算零部件间等效传热系数和多类辐射亮度的零部件自身辐射亮度、太阳反射辐射亮度、经大气衰减的传感器接收辐射亮度，生成目标红外辐射模型与对应红外图像。

5.根据权利要求3所述的小样本可见光与红外图像仿真方法，其特征在于，所述热辐射模型转换过程为：依据目标名称、零部件标签和应用场景，从大模型知识库、规则库和预设材质数据库中确定各零部件的候选材质，提取对应材质的发射率、反射率、热导率、比热容和密度参数；经材质一致性校验和部件关系约束校验后，建立目标零部件级材质属性库；将材质属性库逐部件映射至零部件级结构模型后，转换为体素格式或有限元格式的热辐射模型。

6.根据权利要求4所述的小样本可见光与红外图像仿真方法，其特征在于，所述零部件间等效传热系数的计算公式为：

7.根据权利要求4所述的小样本可见光与红外图像仿真方法，其特征在于，所述太阳反射辐射亮度的计算公式为：

8.根据权利要求4所述的小样本可见光与红外图像仿真方法，其特征在于，所述经大气衰减的传感器接收辐射亮度的计算公式为：

9.根据权利要求1所述的小样本可见光与红外图像仿真方法，其特征在于，所述红外仿真图像是以目标红外辐射模型与目标三维模型为输入执行融合处理生成，具体为：将目标红外辐射模型映射为目标三维模型表面的红外纹理贴图，或将目标红外辐射模型以逐像素辐射值形式投影到目标成像平面，得到与目标姿态和视角相匹配的红外仿真图像。

10.一种终端设备，包括存储器、处理器及存储在所述存储器中并能够在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至9中任一项所述的小样本可见光与红外图像仿真方法。