跨模型异源特征融合方法、系统、存储器及计算设备与流程

技术特征：
1.跨模型异源特征融合方法，其特征在于，包括：对原始图像进行特征提取，得到多维局部特征和全局特征；将所提取的多维局部特征和全局特征进行融合，得到融合特征；对原始图像按照预设采样率进行图像样本源特征提取，将所提取的图像样本源特征加入到所述融合特征，得到图像增强特征；重复执行对所得到的图像增强特征进行多维局部特征和全局特征提取并融合，以及加入按照预设采样率提取的图像样本源特征，得到图像增强特征的步骤，直至得到的图像增强特征符合预设要求，将所述图像增强特征作为跨模型异源融合特征。2.根据权利要求1所述的跨模型异源特征融合方法，其特征在于，所述对原始图像进行特征提取，得到多维局部特征和全局特征，包括：获取原始图像并进行下采样，得到图像的初始特征图；对所获取的初始特征图进行多维深层次局部特征提取，得到多维局部特征；以及对所获取的初始特征图进行全局特征提取，得到全局特征。3.根据权利要求2所述的跨模型异源特征融合方法，其特征在于，所述获取原始图像并进行下采样，得到图像的初始特征图，包括：利用无人机进行电网输电线巡检，获取巡检电力设备图像；对所获取的图像进行四倍下采样，得到图像的初始特征图为f
in
。4.根据权利要求3所述的跨模型异源特征融合方法，其特征在于，所述对所获取的初始特征图进行多维深层次局部特征提取，得到多维局部特征，包括：对所获取的初始特征图采用m个1
×
1的卷积核分别进行特征映射，得到m个不同的映射特征图；m为大于等于1的正整数；将得到的每一个映射特征图按照神经网络通道数划分为n维；n为大于等于1的正整数；对每一个映射特征图中的每一维特征都进行卷积操作；将每一维特征的卷积结果拼接起来得到每一个映射特征图的多维卷积结果；将每一个特征映射图的多维卷积结果相加，得到最终的多维局部特征f
local
。5.根据权利要求3所述的跨模型异源特征融合方法，其特征在于，所述对所获取的初始特征图进行全局特征提取，得到全局特征，包括：采用自注意力机制的编码器对所获取的初始特征图进行多头注意力计算并拼接，得到全局特征f
global
。6.根据权利要求5所述的跨模型异源特征融合方法，其特征在于，所述将所提取的多维局部特征和全局特征进行融合，得到融合特征，包括：f
all
＝α
·
f
local
β
·
f
global
，其中，f
all
为融合特征，α和β表示学习参数，f
local
为多维局部特征。7.根据权利要求1所述的跨模型异源特征融合方法，其特征在于，所述重复执行对所得到的图像增强特征进行多维局部特征和全局特征提取并融合，以及加入按照预设采样率提取的图像样本源特征，得到图像增强特征的步骤，直至得到的图像增强特征符合预设要求，将所述图像增强特征作为跨模型异源融合特征，包括：如果对原始图像进行特征提取、融合和加入按照预设采样率提取的图像样本源特征所得到的图像增强特征符合预设要求，则输出所述图像增强特征作为跨模型异源融合特征；
如果不符合，则，对所述图像增强特征再次进行多维局部特征和全局特征提取并融合，以及加入按照预设采样率提取的图像样本源特征得到二次图像增强特征；判断是否符合预设要求，如果符合，则将所述二次图像增强特征作为跨模型异源融合特征；如果不符合，则，对所述二次图像增强特征再次进行多维局部特征和全局特征提取并融合，以及加入按照预设采样率提取的图像样本源特征得到三次图像增强特征，判断是否符合预设要求；如果符合，则将所述三次图像增强特征作为跨模型异源融合特征；如果不符合，则，对所述三次图像增强特征重复执行得到图像增强特征的步骤，直至得到的图像增强特征符合预设要求，将最后一次得到的图像增强特征作为跨模型异源融合特征。8.根据权利要求7所述的跨模型异源特征融合方法，其特征在于，所述对原始图像按照预设采样率进行图像样本源特征提取，包括：第一次进行图像样本源特征提取时，对原始图像进行1/4下采样，得到一次图像样本源特征；第二次进行图像样本源特征提取时，对原始图像进行1/16下采样，得到二次图像样本源特征；第三次进行图像样本源特征提取时，对原始图像进行1/64下采样，得到三次图像样本源特征；以此类推，第q次进行图像样本源特征提取时，对原始图像进行1/4
y
下采样，得到q次图像样本源特征；其中，y、q为正整数。9.跨模型异源特征融合系统，其特征在于，包括：特征提取模块，用于对原始图像进行特征提取，得到多维局部特征和全局特征，并下发至异源特征融合模块；异源特征融合模块，用于将所获取的多维局部特征和全局特征进行融合，得到融合特征，并下发至特征增强模块；特征增强模块，用于对原始图像按照预设采样率进行图像样本源特征提取，将所提取的图像样本源特征加入到所获取的融合特征，得到图像增强特征；输出模块，用于输出符合预设要求的图像增强特征作为跨模型异源融合特征。10.根据权利要求9所述的跨模型异源特征融合系统，其特征在于，所述特征提取模块包括：下采样模块，用于对所获取的原始图像进行采样，得到图像的初始特征图，并下发至卷积神经网络和自注意力机制的编码器；卷积神经网络，用于对所获取的初始特征图进行多维深层次局部特征提取，得到多维局部特征；自注意力机制的编码器，用于对所获取的初始特征图进行全局特征提取，得到全局特征。11.根据权利要求10所述的跨模型异源特征融合系统，其特征在于，所述卷积神经网络具体用于，对所获取的初始特征图采用m个1
×
1的卷积核分别进行特征映射，得到m个不同的映射特征图；m为大于等于1的正整数；
将得到的每一个映射特征图按照神经网络通道数划分为n维；n为大于等于1的正整数；对每一个映射特征图中的每一维特征都进行卷积操作；将每一维特征的卷积结果拼接起来得到每一个映射特征图的多维卷积结果；将每一个特征映射图的多维卷积结果相加，得到最终的多维局部特征f
local
。12.根据权利要求10所述的跨模型异源特征融合系统，其特征在于，所述自注意力机制的编码器具体用于，采用自注意力机制的编码器对所获取的初始特征图进行多头注意力计算并拼接，得到全局特征f
global
。13.根据权利要求9所述的跨模型异源特征融合系统，其特征在于，所述特征提取模块还用于，对图像增强特征进行特征提取，得到多维局部特征和全局特征，并下发至异源特征融合模块。14.根据权利要求9所述的跨模型异源特征融合系统，其特征在于，所述异源特征融合模块具体用于，按如下方式得到融合特征：f
all
＝α
·
f
local
β
·
f
global
，其中，f
all
表示融合特征，α和β表示学习参数，f
local
表示多维局部特征，f
global
表示全局特征。15.根据权利要求9所述的跨模型异源特征融合系统，其特征在于，所述输出模块具体用于，如果对原始图像进行特征提取、融合和加入按照预设采样率提取的图像样本源特征所得到的图像增强特征符合预设要求，则输出所述图像增强特征作为跨模型异源融合特征；如果不符合，则，对所述图像增强特征再次进行多维局部特征和全局特征提取并融合，以及加入按照预设采样率提取的图像样本源特征得到二次图像增强特征；如果所述二次图像增强特征符合预设要求，则输出所述二次图像增强特征作为跨模型异源融合特征；如果不符合，则，对所述二次图像增强特征再次进行多维局部特征和全局特征提取并融合，以及加入按照预设采样率提取的图像样本源特征得到三次图像增强特征，如果所述三次图像增强特征符合预设要求，则输出所述三次图像增强特征作为跨模型异源融合特征；如果不符合，则，对所述三次图像增强特征重复执行得到图像增强特征，直至得到的图像增强特征符合预设要求，输出最后一次得到的图像增强特征作为跨模型异源融合特征。16.根据权利要求15所述的跨模型异源特征融合系统，其特征在于，所述特征增强模块具体用于，第一次进行图像样本源特征提取时，对原始图像进行1/4下采样，得到一次图像样本源特征；第二次进行图像样本源特征提取时，对原始图像进行1/16下采样，得到二次图像样本源特征；第三次进行图像样本源特征提取时，对原始图像进行1/64下采样，得到三次图像样本源特征；
以此类推，第q次进行图像样本源特征提取时，对原始图像进行1/4
y
下采样，得到q次图像样本源特征；其中，y、q为正整数。17.一种存储一个或多个程序的存储器，其特征在于：所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至7所述的方法中的任一方法。18.一种计算设备，其特征在于：包括，一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至7所述的方法中的任一方法的指令。

技术总结
本发明公开了一种跨模型异源特征融合方法、系统、存储器及计算设备，该方法通过对特征图进行多维深层次局部特征提取得到多维局部特征，来加强特征之间的联系；并且将所提取的多维局部特征和全局特征进行融合中，加入图像样本源特征，用于增强图像特征，提高了后续进行图像异常检测的精度。行图像异常检测的精度。行图像异常检测的精度。


技术研发人员：张弛 罗旺 韩睿 钱平 陈骏 戴哲仁 郝运河 徐华荣 琚小明 钱莹
受保护的技术使用者：国网电力科学研究院有限公司 南京南瑞信息通信科技有限公司
技术研发日：2022.07.19
技术公布日：2022/10/11