基于图像案例对引导的林场近红外图像生成方法和系统与流程

本技术属于图像生成，尤其涉及一种基于图像案例对引导的林场近红外图像生成方法和系统。

背景技术：

1、随着智慧林业和多模态图像分析技术的快速发展，林场图像数据已成为森林资源调查、植被生长状态监测、火灾预警和生态环境保护的重要依据。与可见光图像相比，近红外图像在反映植被叶片细胞结构、含水量和树木反射特性等方面有显著优势，对分析植被状态、分析林场情况具有重要作用。因此，获取与可见光图像匹配的高质量的林场近红外图像，对于提升林场场景理解、植被状态分析和林业智能监测系统的可靠性具有重要意义。然而，相较于可见光相机，近红外成像设备存在部署成本高，数据采集频次低等问题，且采集的近红外图像与可见光图像间常存在视角偏移、曝光差异和时间不匹配的情况，这导致成对的可见光-近红外林场数据难以大规模获取。数据不足不仅限制了多模态林场数据集的构建，也限制了植被分析、目标检测和环境监测算法的训练。近红外图像生成技术，旨在利用已有的可见光图像信息，生成在符合成像规律且与可见光场景一致的近红外图像，从而弥补近红外图像数据有限的问题。

2、林场近红外图像生成是跨模态图像生成的一个子任务，旨在应对林场近红外数据缺乏、传统生成技术生成结果不够真实的难题。现有方案中，卷积神经网络，通过学习可见光图像与近红外图像之间的映射关系，实现跨模态图像生成。该类方法在一般场景中取得了一定效果，但在林场场景中仍然面临明显挑战。生成对抗网络由于其倾向于牺牲生成结果的多样性以换取局部视觉真实性的特点，在特定复杂任务中，相较于新兴的扩散模型展现出一定的局限性。扩散模型的发展，为跨模态图像生成领域提供了新的方案，也使得条件驱动的高质量图像生成技术得到前所未有的提升。

3、然而，现有的基于扩散模型的跨模态图像生成方法虽然在通用场景下表现出较强的生成能力，但在林场近红外图像生成这一特定领域中，却面临巨大的挑战。近红外成像并非简单的颜色映射或风格转换，近红外图像与植被叶片结构、含水量、树木冠层状态以及阴影区域的反射特性密切相关，这些关键特征难以仅通过单一可见光图像或简单的文本信息被准确刻画。例如，同样的林场场景下，在不同季节、不同湿度和不同光照条件下，对应的近红外图像可能存在明显差异。仅依靠可见光引导，难以为模型提供重建所需的植被反射规律、亮度层次等信息。最终生成的近红外图像往往容易出现植被反射失真、阴影部分缺失、局部边界模糊以及与真实场景不一致等问题，难以满足林场监测与植被分析系统对高精度、高真实性数据的要求。

技术实现思路

1、本技术提供一种基于图像案例对引导的林场近红外图像生成方法和系统，通过将包含配准可见光-近红外图像的案例图像对作为先验知识引入近红外图像生成过程，并结合待转换可见光图像的精确空间结构控制，有效解决了林场复杂场景下近红外图像生成中植被反射失真、细节模糊及与真实场景不一致的难题，显著提升了近红外生成图像的物理真实性、结构一致性和场景适应性。

2、第一方面，本技术提供一种基于图像案例对引导的林场近红外图像生成方法，包括：

3、获取同一林场场景下的多个案例图像对；所述案例图像对包括配准的可见光案例图像和近红外案例图像；

4、对第一案例图像对进行联合编码，提取用于表征从可见光域到近红外域映射关系的案例条件特征；

5、将第二案例图像对中的可见光案例图像作为待转换可见光图像并进行编码，以提取用于表征所述待转换可见光图像中的场景几何布局信息的第一语义结构特征；

6、将所述案例条件特征和所述第一语义结构特征进行融合，得到控制特征；

7、基于所述控制特征，利用预训练的隐式扩散模型，对隐式空间中的初始张量进行逐步去噪，生成目标近红外图像的隐式空间张量；其中，去噪过程包括将所述控制特征通过所述隐式扩散模型的旁路分支，注入到所述隐式扩散模型的主干分支的多个不同层级中，以引导去噪方向；

8、对所述目标近红外图像的隐式空间张量进行解码，生成与所述待转换可见光图像空间结构一致以及与所述第一图像案例对所表达的映射关系相符的林场近红外图像。

9、可选地，所述对第一案例图像对进行联合编码，提取用于表征从可见光域到近红外域映射关系的案例条件特征，包括：

10、分别利用第一编码网络对所述第一案例图像中的可见光案例图像和近红外案例图像进行特征提取，得到可见光案例图像的语义结构特征和近红外案例图像的语义结构特征；

11、将所述可见光案例图像的语义结构特征和近红外案例图像的语义结构特征在通道维度上进行拼接，得到所述案例条件特征。

12、可选地，所述将第二案例图像对中的可见光案例图像作为待转换可见光图像并进行编码，以提取用于表征所述待转换可见光图像中的场景几何布局信息的第一语义结构特征，包括：

13、利用与所述第一编码网络结构相同但参数独立的第二编码网络，对所述待转换可见光图像进行编码，以提取用于表征所述待转换可见光图像中的场景几何布局信息的第一语义结构特征。

14、可选地，所述将所述案例条件特征和所述第一语义结构特征进行融合，得到控制特征，包括：

15、将所述案例条件特征和所述第一语义结构特征相加，得到控制特征。

16、可选地，第一方面还包括：

17、将所述待转换可见光图像映射到隐式空间，得到第一隐式张量；

18、初始化一个噪声图，并将所述噪声图映射到隐式空间，得到第二隐式张量；

19、将所述第一隐式张量与所述第二隐式张量在通道维度上拼接，得到所述初始张量。

20、可选地，所述隐式扩散模型为基于unet架构的条件扩散模型；所述隐式扩散模型的旁路分支为controlnet网络；所述将所述控制特征通过所述隐式扩散模型的旁路分支，注入到所述隐式扩散模型的主干分支的多个不同层级中，以引导去噪方向，包括：

21、根据以下公式计算所述主干分支在所述隐式扩散模型的第i个特征块输出的特征张量：

22、；

23、其中，为主干分支在第i个特征块输出的特征张量；表示主干分支在第i个特征块对应的计算过程；为主干分支在第i-1个特征块输出的特征张量；wi为第i个特征块的权重；表示第i个特征块输出侧的零初始化卷积层；为旁路分支在第i个特征块输出的特征张量；表示旁路分支在第i个特征块对应的控制计算过程；表示第i个特征块输入侧的零初始化卷积层；c为控制特征；表示的分支模型的网络权重。

24、可选地，第一方面还包括：

25、将多个案例图像对作为训练集训练所述隐式扩散模型；所述隐式扩散模型的损失函数为预测噪声与真实噪声之间的均方误差损失。

26、第二方面，本技术提供一种基于图像案例对引导的林场近红外图像生成系统，包括：

27、获取模块，用于获取同一林场场景下的多个案例图像对；所述案例图像对包括配准的可见光案例图像和近红外案例图像；

28、第一编码模块，用于对第一案例图像对进行联合编码，提取用于表征从可见光域到近红外域映射关系的案例条件特征；

29、第二编码模块，用于将第二案例图像对中的可见光案例图像作为待转换可见光图像并进行编码，以提取用于表征所述待转换可见光图像中的场景几何布局信息的第一语义结构特征；

30、特征融合模块，用于将所述案例条件特征和所述第一语义结构特征进行融合，得到控制特征；

31、张量生成模块，用于基于所述控制特征，利用预训练的隐式扩散模型，对隐式空间中的初始张量进行逐步去噪，生成目标近红外图像的隐式空间张量；其中，去噪过程包括将所述控制特征通过所述隐式扩散模型的旁路分支，注入到所述隐式扩散模型的主干分支的多个不同层级中，以引导去噪方向；

32、解码模块，用于对所述目标近红外图像的隐式空间张量进行解码，生成与所述待转换可见光图像空间结构一致以及与所述第一图像案例对所表达的映射关系相符的林场近红外图像。

33、第三方面，本技术提供一种计算机设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现第一方面所述的基于图像案例对引导的林场近红外图像生成方法的步骤。

34、第四方面，本技术提供一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现第一方面所述的基于图像案例对引导的林场近红外图像生成方法的步骤。

35、有益效果：

36、利用案例图像对联合编码，提取可见光域到近红外域的映射关系作为案例条件特征，使模型不再依赖单张可见光图像难以准确推断的植被反射规律，而是直接借鉴真实近红外先验，从而显著提升近红外生成图像在植被反射强度、亮度层次和阴影表现上的物理真实性，避免反射失真。

37、将案例条件特征与待转换可见光图像的第一语义结构特征（场景几何布局信息）进行融合，使控制特征同时包含空间结构约束和跨模态映射先验，确保近红外生成图像在道路、树冠边界等空间布局上与输入可见光图像保持高度一致，同时灰度分布符合近红外成像规律，实现了结构保真与模态转换的平衡。

38、将融合后的控制特征通过扩散模型的旁路分支，注入到主干分支的多个不同层级中，实现多尺度、多层次的精细化条件引导，使去噪过程在宏观布局和微观纹理上均能精确遵循控制信息，增强生成稳定性和细节表现力，提升复杂林场场景下的边界清晰度和场景适应性。

39、在隐式空间中进行初始张量拼接和迭代去噪，利用预训练隐式扩散模型将待转换可见光图像映射至低维隐式空间，大幅降低计算复杂度和显存消耗，同时以待转换可见光图像信息作为先验输入，为去噪提供清晰起点，降低隐式扩散模型学习难度，加快收敛速度，提高有限训练数据下的泛化能力和生成稳定性。