一种多层特征对齐的图像识别方法、系统、设备及介质与流程

本发明涉及图像处理，尤其涉及一种多层特征对齐的图像识别方法、系统、设备及介质。

背景技术：

1、随着智能电网建设的不断深入，基于图像的设备识别与状态理解技术已成为电网运维巡检、缺陷诊断和现场作业辅助中的关键环节。变电站、配电房等场景采集的设备图像包含铭牌参数、仪表读数、开关标识、安全警示文字及设备缺陷等复杂细粒度视觉信息，准确提取并理解这些细节特征对于保障电网安全至关重要。

2、目前，基于多模态大语言模型的视觉-语言理解技术为电网图像识别提供了新的技术路径，主要采用视觉transformer作为视觉编码器，提取图像特征后输入大语言模型实现智能化问答与推理。然而，现有主流方法普遍仅使用视觉编码器输出的深层特征作为视觉表示，该类特征虽富含高级语义信息，但空间分辨率较低，丢失了大量边缘、纹理、局部结构等细节信息，导致模型在处理铭牌文字识别、仪表读数、指示灯状态判别等精细化视觉任务时，容易出现识别错误与目标幻觉等问题，严重制约了其在电网巡检与智能问答业务中的识别精度与可靠性。部分研究尝试集成多个预训练视觉编码器以增强细粒度视觉表示，但显著增加了模型参数量与计算复杂度，难以部署于算力受限的电网边缘设备。

技术实现思路

1、本发明提供了一种多层特征对齐的图像识别方法、系统、设备及介质，通过实施本发明，能够提高对电网图像中复杂细节特征的识别精度。

2、本发明提供了一种多层特征对齐的图像识别方法，包括：

3、获取待识别的电网图像，并通过预设的视觉编码器提取所述电网图像的多层级特征；其中，所述多层级特征包括浅层特征和深层特征；

4、通过交叉注意力机制从所述浅层特征中提取所述深层特征对应的细节信息，并将所述细节信息与所述深层特征进行融合，得到视觉特征；

5、将所述视觉特征输入至预设的语言模型，通过所述语言模型生成所述电网图像的识别结果。

6、本发明实施例通过获取电网图像，并利用预设的视觉编码器提取包含浅层特征和深层特征的多层级特征，能够同时获得具有语义抽象能力的深层特征与保留局部细节的浅层特征，实现多层级视觉信息的完整获取；通过交叉注意力机制从所述浅层特征中提取所述深层特征对应的细节信息，并将所述细节信息与所述深层特征进行融合得到视觉特征，能够使深层语义信息作为查询引导浅层细节的精准筛选，实现语义一致性与细节丰富性的协同融合，获得兼具全局语义表达与局部细节感知的增强视觉特征；将所述视觉特征输入至预设的语言模型，能够使所述语言模型基于包含丰富细节信息的视觉特征生成电网图像的识别结果，实现对电网图像的精准解析与可靠输出，有效提升电网图像细粒度识别任务的整体性能；相比于现有技术中仅依赖视觉编码器深层特征作为视觉表示导致低级细节信息丢失，通过简单拼接、平均等方式融合多层特征造成语义错位，本发明通过交叉注意力机制从浅层特征中自适应提取相匹配的细节信息与深层特征进行融合，能够在单一编码器框架下实现深层语义与浅层细节的高效整合，显著增强了对电网图像中复杂细节特征的识别精度，为电网运维巡检、智能问答等应用提供更为准确、可靠的视觉输入支撑。

7、进一步地，通过交叉注意力机制从所述浅层特征中提取所述深层特征对应的细节信息，具体为：

8、将所述浅层特征分割为若干个局部区域，并获取每个局部区域对应的局部特征向量；

9、获取所述深层特征的语义信息，并根据所述语义信息生成查询向量，通过交叉注意力机制计算所述查询向量与局部特征向量之间的相关性权重；

10、根据所述相关性权重，从所述局部特征向量中提取与所述语义信息相匹配的细节信息。

11、这样根据深层特征的语义信息生成查询向量，并通过交叉注意力机制计算深层特征与浅层特征的局部特征向量之间的相关性权重，能够使深层语义信息以全局视角精准定位浅层特征中与当前语义高度相关的局部区域，避免无差别地提取所有浅层信息，实现语义导向的细节检索；根据所述相关性权重，从所述局部特征向量中提取与所述语义信息相匹配的细节信息，实现深层特征对目标整体类别的强判别力与浅层特征中对局部细节的高保真刻画的相匹配，显著增强视觉表征在语义一致性与细节丰富性上的协同表达能力。

12、进一步地，将所述细节信息与所述深层特征进行融合，得到视觉特征，具体为：

13、根据所述细节信息得到第一融合特征，对所述第一融合特征进行自注意力操作，得到自注意力特征；

14、结合预设的第一自适应调节参数，将所述自注意力特征与所述第一融合特征进行叠加，得到第二融合特征；

15、结合预设的第二自适应调节参数，将所述第二融合特征与所述深层特征进行叠加，得到视觉特征。

16、这样通过对所述第一融合特征进行自注意力操作，得到自注意力特征，能够在第一融合特征已包含深层语义与浅层细节的基础上，进一步挖掘特征内部各空间位置之间的长程依赖关系和全局上下文关联，强化对关键判别区域的响应并抑制冗余噪声，使特征表达更具紧凑性和判别力；结合预设的第一自适应调节参数，将所述自注意力特征与所述第一融合特征进行叠加，得到第二融合特征，能够通过可学习的调节参数动态控制自注意力增强信息的注入强度，避免过度平滑或特征扭曲，在保留原始融合特征有效信息的同时自适应地强化全局结构化表达，实现特征内部关系的精细化建模；结合预设的第二自适应调节参数，将所述第二融合特征与所述深层特征进行叠加，得到视觉特征，能够通过第二自适应调节参数平衡深层语义先验与经过细节增强和自注意力重构后的融合特征之间的贡献比例，既确保深层特征原有的高层次语义主导性不被削弱，又将细节增强后的特征以适宜权重回补至最终输出中，形成由浅入深、逐层递进的特征精炼与融合路径。

17、进一步地，将所述视觉特征输入至预设的语言模型，通过所述语言模型生成所述电网图像的识别结果，具体为：

18、将所述视觉特征输入至预设的语言模型，以使所述语言模型对所述视觉特征进行视觉文本对齐，得到视觉嵌入向量；

19、获取所述电网图像的文本问题嵌入向量；

20、将所述视觉嵌入向量与所述文本问题嵌入向量共同输入至所述语言模型，通过所述语言模型生成所述电网图像的内容应答文本，以将所述内容应答文本作为所述电网图像的识别结果。

21、这样通过所述语言模型对所述视觉特征进行视觉文本对齐，得到视觉嵌入向量，能够将增强后的视觉特征映射至与文本语义空间对齐的嵌入表示，使视觉信息与语言表达处于同一语义坐标系下，为后续跨模态交互奠定统一的表征基础，有效消除视觉与文本之间的模态鸿沟；获取所述电网图像的文本问题嵌入向量，能够将用户关心的具体问题转化为语义向量，使识别过程具有任务导向性和交互灵活性，避免生成与需求无关的冗余描述；将所述视觉嵌入向量与所述文本问题嵌入向量共同输入至所述语言模型，通过所述语言模型生成所述电网图像的内容应答文本作为所述电网图像的识别结果，能够使语言模型在视觉语义引导下，结合问题上下文的约束条件，动态生成针对性强、信息精准的自然语言应答，实现从图像到文本的端到端智能识别与交互式问答。

22、进一步地，所述视觉编码器为基于transformer架构的视觉编码网络；其中，所述视觉编码器包括按顺序排列的若干视觉特征提取层；

23、所述深层特征为所述视觉编码器的最后一层输出的深层特征图；

24、所述浅层特征为所述视觉编码器的除最后一层以外的其余层输出的浅层特征图集合；其中，所述浅层特征图集合通过对浅层特征图进行通道拼接获得。

25、这样通过采用基于transformer架构的视觉编码网络作为视觉编码器，能够利用transformer自注意力机制的全局感受野，在特征提取过程中充分建模图像中远距离像素之间的长程依赖关系，有效捕获电网图像中非局部区域间的结构关联与上下文信息，为后续特征融合提供表征能力更强的底层视觉表示；将所述深层特征限定为所述视觉编码器的最后一层输出的深层特征图，能够获取编码器网络最高层次、最具语义抽象能力的特征表达，该特征图富含对设备类别、整体布局和场景语义的高层概括信息，为交叉注意力查询提供精准的语义索引；将所述浅层特征限定为所述视觉编码器的除最后一层以外的其余层输出的浅层特征图集合，且所述浅层特征图集合通过对浅层特征图进行通道拼接获得，能够系统性地保留编码器各中间层在不同感受野尺度下捕获的边缘、纹理、色彩、角点等丰富局部细节信息，并通过通道拼接操作将多层级、多尺度的浅层特征聚合为统一的特征集合，避免逐层独立处理带来的信息碎片化，使后续交叉注意力机制能够从完整且结构化的浅层特征库中进行全局检索和细节提取。

26、本发明另一实施例还提供了一种多层特征对齐的图像识别系统，包括：多层级特征获取模块、视觉特征获取模块和识别结果获取模块；

27、所述多层级特征获取模块，用于获取待识别的电网图像，并通过预设的视觉编码器提取所述电网图像的多层级特征；其中，所述多层级特征包括浅层特征和深层特征；

28、所述视觉特征获取模块，用于通过交叉注意力机制从所述浅层特征中提取所述深层特征对应的细节信息，并将所述细节信息与所述深层特征进行融合，得到视觉特征；

29、所述识别结果获取模块，用于将所述视觉特征输入至预设的语言模型，通过所述语言模型生成所述电网图像的识别结果。

30、本发明实施例通过获取电网图像，并利用预设的视觉编码器提取包含浅层特征和深层特征的多层级特征，能够同时获得具有语义抽象能力的深层特征与保留局部细节的浅层特征，实现多层级视觉信息的完整获取；通过交叉注意力机制从所述浅层特征中提取所述深层特征对应的细节信息，并将所述细节信息与所述深层特征进行融合得到视觉特征，能够使深层语义信息作为查询引导浅层细节的精准筛选，实现语义一致性与细节丰富性的协同融合，获得兼具全局语义表达与局部细节感知的增强视觉特征；将所述视觉特征输入至预设的语言模型，能够使所述语言模型基于包含丰富细节信息的视觉特征生成电网图像的识别结果，实现对电网图像的精准解析与可靠输出，有效提升电网图像细粒度识别任务的整体性能；相比于现有技术中仅依赖视觉编码器深层特征作为视觉表示导致低级细节信息丢失，通过简单拼接、平均等方式融合多层特征造成语义错位，本发明通过交叉注意力机制从浅层特征中自适应提取相匹配的细节信息与深层特征进行融合，能够在单一编码器框架下实现深层语义与浅层细节的高效整合，显著增强了对电网图像中复杂细节特征的识别精度，为电网运维巡检、智能问答等应用提供更为准确、可靠的视觉输入支撑。

31、本发明另一实施例还提供了一种终端设备，包括：处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，处理器执行所述计算机程序时，实现如本发明多层特征对齐的图像识别方法的步骤。

32、本发明另一实施例还提供了一种计算机可读存储介质项，包括：存储的计算机程序，在计算机程序运行时，控制计算机可读存储介质所在的设备执行如本发明多层特征对齐的图像识别方法的步骤。