跨模态特征深度融合的光伏热斑检测方法、系统

本发明涉及图像处理相关，具体涉及跨模态特征深度融合的光伏热斑检测方法、系统。

背景技术：

1、光伏电站安全稳定运行直接关系电网可靠性与投资回报率，其中，光伏组件在长期户外暴露于风沙、积雪、阴影遮挡及内部隐裂等因素下，极易诱发“热斑效应”，热斑效应不仅导致发电效率骤降，严重时可使局部温度急剧升高，造成封装材料老化、电池片烧毁甚至引发火灾。当前，针对光伏热斑的检测主要依赖人工红外热成像巡检或无人机搭载红外相机进行定期扫描，但在实际复杂场景中，其局限性日益凸显，红外图像易受环境温度、太阳辐照度变化以及云层反射等气象因素干扰，产生大量伪热点或漏检；红外图像本身缺乏纹理细节，难以区分热斑是由真实物理缺陷（如裂片、虚焊）还是由外部阴影、污垢等非破坏性因素所致；可见光图像虽具备丰富的色彩与边缘信息，却无法直接感知温度异常，且易受光照角度和阴影遮挡的影响。现有可见光图像与红外图像融合忽略红外与可见光模态在物理属性上的本质差异，导致模态特有信息在浅层相互污染，并且缺乏对不同区域、不同尺度下模态置信度的动态评估能力，当某一模态受噪声干扰严重时，融合后的联合特征质量急剧下降。

2、因此，现阶段相关技术中，存在忽视多模态间属性差异、融合权重缺乏适应性、特征融合割裂，导致光伏热斑检测在复杂环境下抗干扰能力和准确性差的技术问题。

技术实现思路

1、本申请通过提供跨模态特征深度融合的光伏热斑检测方法、系统，解决了现有技术中存在的忽视多模态间属性差异、融合权重缺乏适应性、特征融合割裂，导致光伏热斑检测在复杂环境下抗干扰能力和准确性差的技术问题，达到了提升跨模态特征融合的判别性、鲁棒性以及光伏热斑检测准确率的技术效果。

2、本申请提供跨模态特征深度融合的光伏热斑检测方法，所述方法包括：基于光伏组件进行双向传感配对，构建双模态图像数据集，所述双模态图像数据集包含红外图像、可见光图像；对所述红外图像、所述可见光图像进行双分支并行分析，提取并行特征集，所述并行特征集包含红外模态特征图、可见光模态特征图；将所述红外模态特征图、所述可见光模态特征图按照通道维度进行配准拼接，获得联合特征进行注意力权重分配，计算生成红外模态自适应重要性系数、可见光模态自适应重要性系数对所述红外模态特征图与所述可见光模态特征图进行元素级加权，获得双模态融合加权特征，所述双模态融合加权特征包含红外模态加权特征与可见光模态加特征；将所述红外模态加权特征与所述可见光模态加特征进行多层融合，生成融合特征对光伏组件进行热斑检测分类，生成热斑检测结果。

3、本申请还提供了跨模态特征深度融合的光伏热斑检测系统，所述系统包括：双向传感配对模块，用于基于光伏组件进行双向传感配对，构建双模态图像数据集，所述双模态图像数据集包含红外图像、可见光图像；图像特征提取模块，用于对所述红外图像、所述可见光图像进行双分支并行分析，提取并行特征集，所述并行特征集包含红外模态特征图、可见光模态特征图；融合加权特征获得模块，用于将所述红外模态特征图、所述可见光模态特征图按照通道维度进行配准拼接，获得联合特征进行注意力权重分配，计算生成红外模态自适应重要性系数、可见光模态自适应重要性系数对所述红外模态特征图与所述可见光模态特征图进行元素级加权，获得双模态融合加权特征，所述双模态融合加权特征包含红外模态加权特征与可见光模态加特征；热斑检测结果生成模块，用于将所述红外模态加权特征与所述可见光模态加特征进行多层融合，生成融合特征对光伏组件进行热斑检测分类，生成热斑检测结果。

4、拟通过本申请提出的跨模态特征深度融合的光伏热斑检测方法、系统，对光伏组件进行双向传感配对，构建双模态图像数据集；双分支并行分析提取并行特征集；按照通道维度进行配准拼接，获得联合特征进行注意力权重分配，计算生成红外模态自适应重要性系数、可见光模态自适应重要性系数并进行元素级加权，获得双模态融合加权特征；生成融合特征对光伏组件进行热斑检测分类，生成热斑检测结果。解决了现有技术中存在的忽视多模态间属性差异、融合权重缺乏适应性、特征融合割裂，导致光伏热斑检测在复杂环境下抗干扰能力和准确性差的技术问题，达到了提升跨模态特征融合的判别性、鲁棒性以及光伏热斑检测准确率的技术效果。

1.跨模态特征深度融合的光伏热斑检测方法，其特征在于，所述方法包括：

2.如权利要求1所述的跨模态特征深度融合的光伏热斑检测方法，其特征在于，对所述红外图像、所述可见光图像进行双分支并行分析，提取并行特征集，所述并行特征集包含红外模态特征图、可见光模态特征图，方法包括：

3.如权利要求2所述的跨模态特征深度融合的光伏热斑检测方法，其特征在于，通过所述红外分支特征提取网络对所述红外图像进行细节增强卷积，获得红外模态特征图，方法包括：

4.如权利要求2所述的跨模态特征深度融合的光伏热斑检测方法，其特征在于，通过所述可见光分支特征提取网络对所述可见光图像进行表面结构分析，获得可见光模态特征图，方法包括：

5.如权利要求1所述的跨模态特征深度融合的光伏热斑检测方法，其特征在于，获得联合特征进行注意力权重分配，计算生成红外模态自适应重要性系数、可见光模态自适应重要性系数对所述红外模态特征图与所述可见光模态特征图进行元素级加权，获得双模态融合加权特征，方法包括：

6.如权利要求1所述的跨模态特征深度融合的光伏热斑检测方法，其特征在于，生成红外模态自适应重要性系数、可见光模态自适应重要性系数之后，方法包括：

7.如权利要求1所述的跨模态特征深度融合的光伏热斑检测方法，其特征在于，将所述红外模态加权特征与所述可见光模态加特征进行多层融合，生成融合特征，方法包括：

8.如权利要求1所述的跨模态特征深度融合的光伏热斑检测方法，其特征在于，生成融合特征对光伏组件进行热斑检测分类，生成热斑检测结果，方法包括：

9.如权利要求8所述的跨模态特征深度融合的光伏热斑检测方法，其特征在于，将所述热斑检测分类结果与所述热斑区域位置回归参数进行关联，生成所述热斑检测结果，方法包括：

10.跨模态特征深度融合的光伏热斑检测系统，其特征在于，所述系统用于实施权利要求1至9任意一项所述的跨模态特征深度融合的光伏热斑检测方法，所述系统包括：