跨模型异源特征融合方法、系统、存储器及计算设备与流程

1.本发明涉及电网运维技术领域，特别是一种跨模型异源特征融合方法、系统、存储器及计算设备。


背景技术：

2.随着国家电网的快速发展和建设，各种电路设备和输电设备不断增多。由于电力线路设备处于室外，受自然环境和人为因素的影响，杆塔会出现界面锈蚀、坍塌、磨损等现象。为了保证输电设备的传输，需要经常对室外电源塔和其他设备进行巡逻检查。通过分析巡更照片确定电力设备是否存在任何异常是一个非常重要的技术手段。
3.针对无人机拍摄的高分辨率照片，其中的异常部分仅占用很小比例的像素块。目前现有的方法大都基于卷积神经网络(convolutional neural network,cnn)的方法，使用卷积模块来学习图像中的局部特征，这使得异常值特征与其他特征无法进行全局交互。为了学习全局特征，研究人员引入了自注意力的方法，将图片划分为多个小块，再通过自注意力计算学习每个小块之间的语义关系。这会导致每一小块内部的细节特征没有被完全学习到。


技术实现要素：

4.本发明的目的在于提供一种跨模型异源特征融合方法、系统、存储器及计算设备，该方法通过设置m层映射来加强特征之间的联系，并通过在局部特征和全局特征融合中加入原始图像特征，来增强神经网络中的学习的特征图。
5.为达到上述目的，本发明采用的技术方案如下：
6.本发明提供一种跨模型异源特征融合方法，包括：
7.对原始图像进行特征提取，得到多维局部特征和全局特征；
8.将所提取的多维局部特征和全局特征进行融合，得到融合特征；
9.对原始图像按照预设采样率进行图像样本源特征提取，加入到所得到的融合特征得到图像增强特征；
10.重复执行对所得到的图像增强特征进行多维局部特征和全局特征提取并融合，以及加入按照预设采样率提取的图像样本源特征，得到图像增强特征的步骤，直至得到的图像增强特征符合预设要求，将所述图像增强特征作为跨模型异源融合特征。
11.进一步的，所述对原始图像进行特征提取，得到多维局部特征和全局特征，包括：
12.获取原始图像并进行下采样，得到图像的初始特征图；
13.对所获取的初始特征图进行多维深层次局部特征提取，得到多维局部特征；以及对所获取的初始特征图进行全局特征提取，得到全局特征。
14.进一步的，所述获取原始图像并进行下采样，得到图像的初始特征图，包括：
15.利用无人机进行电网输电线巡检，获取巡检电力设备图像；
16.对所获取的图像进行四倍下采样，得到图像的初始特征图为f
in
。
17.进一步的，所述对所获取的初始特征图进行多维深层次局部特征提取，得到多维局部特征，包括：
18.对所获取的初始特征图采用m个1
×
1的卷积核分别进行特征映射，得到m个不同的映射特征图；m为大于等于1的正整数；
19.将得到的每一个映射特征图按照神经网络通道数划分为n维；n为大于等于1的正整数；
20.对每一个映射特征图中的每一维特征都进行卷积操作；
21.将每一维特征的卷积结果拼接起来得到每一个映射特征图的多维卷积结果；
22.将每一个特征映射图的多维卷积结果相加，得到最终的多维局部特征f
local
。
23.进一步的，所述对所获取的初始特征图进行全局特征提取，得到全局特征，包括：
24.采用自注意力机制的编码器对所获取的初始特征图进行多头注意力计算并拼接，得到全局特征f
global
。
25.进一步的，所述将所提取的多维局部特征和全局特征进行融合，得到融合特征，包括：
26.f
all
＝α
·flocal
β
·fglobal
，
27.其中，f
all
为融合特征，α和β表示学习参数，f
local
为多维局部特征。
28.进一步的，所述重复执行对所得到的图像增强特征进行多维局部特征和全局特征提取并融合，以及加入按照预设采样率提取的图像样本源特征，得到图像增强特征的步骤，直至得到的图像增强特征符合预设要求，将所述图像增强特征作为跨模型异源融合特征，包括：
29.如果对原始图像进行特征提取、融合和加入按照预设采样率提取的图像样本源特征所得到的图像增强特征符合预设要求，则输出所述图像增强特征作为跨模型异源融合特征；如果不符合，则，
30.对所述图像增强特征再次进行多维局部特征和全局特征提取并融合，以及加入按照预设采样率提取的图像样本源特征得到二次图像增强特征；判断是否符合预设要求，如果符合，则将所述二次图像增强特征作为跨模型异源融合特征；如果不符合，则，
31.对所述二次图像增强特征再次进行多维局部特征和全局特征提取并融合，以及加入按照预设采样率提取的图像样本源特征得到三次图像增强特征，判断是否符合预设要求；如果符合，则将所述三次图像增强特征作为跨模型异源融合特征；如果不符合，则，
32.对所述三次图像增强特征重复执行得到图像增强特征的步骤，直至得到的图像增强特征符合预设要求，将最后一次得到的图像增强特征作为跨模型异源融合特征。
33.进一步的，所述对原始图像按照预设采样率进行图像样本源特征提取，包括：
34.第一次进行图像样本源特征提取时，对原始图像进行1/4下采样，得到一次图像样本源特征；
35.第二次进行图像样本源特征提取时，对原始图像进行1/16下采样，得到二次图像样本源特征；
36.第三次进行图像样本源特征提取时，对原始图像进行1/64下采样，得到三次图像样本源特征；
37.以此类推，第q次进行图像样本源特征提取时，对原始图像进行1/4y下采样，得到q
次图像样本源特征；其中，y、q为正整数。
38.本发明第二方面提供一种跨模型异源特征融合系统，包括：
39.特征提取模块，用于对原始图像进行特征提取，得到多维局部特征和全局特征，并下发至异源特征融合模块；
40.异源特征融合模块，用于将所获取的多维局部特征和全局特征进行融合，得到融合特征，并下发至特征增强模块；
41.特征增强模块，用于对原始图像按照预设采样率进行图像样本源特征提取，将所提取的图像样本源特征加入到所获取的融合特征，得到图像增强特征；
42.输出模块，用于输出符合预设要求的图像增强特征作为跨模型异源融合特征。
43.进一步的，所述特征提取模块包括：
44.下采样模块，用于对所获取的原始图像进行采样，得到图像的初始特征图，并下发至卷积神经网络和自注意力机制的编码器；
45.卷积神经网络，用于对所获取的初始特征图进行多维深层次局部特征提取，得到多维局部特征；
46.自注意力机制的编码器，用于对所获取的初始特征图进行全局特征提取，得到全局特征。
47.进一步的，所述卷积神经网络具体用于，
48.对所获取的初始特征图采用m个1
×
1的卷积核分别进行特征映射，得到m个不同的映射特征图；m为大于等于1的正整数；
49.将得到的每一个映射特征图按照神经网络通道数划分为n维；n为大于等于1的正整数；
50.对每一个映射特征图中的每一维特征都进行卷积操作；
51.将每一维特征的卷积结果拼接起来得到每一个映射特征图的多维卷积结果；
52.将每一个特征映射图的多维卷积结果相加，得到最终的多维局部特征f
local
。
53.进一步的，所述自注意力机制的编码器具体用于，
54.采用自注意力机制的编码器对所获取的初始特征图进行多头注意力计算并拼接，得到全局特征f
global
。
55.进一步的，所述特征提取模块还用于，
56.对图像增强特征进行特征提取，得到多维局部特征和全局特征，并下发至异源特征融合模块。
57.进一步的，所述异源特征融合模块具体用于，
58.按如下方式得到融合特征：
59.f
all
＝α
·flocal
β
·fglobal
，
60.其中，f
all
表示融合特征，α和β表示学习参数，f
local
表示多维局部特征，f
global
表示全局特征。
61.进一步的，所述输出模块具体用于，
62.如果对原始图像进行特征提取、融合和加入按照预设采样率提取的图像样本源特征所得到的图像增强特征符合预设要求，则输出所述图像增强特征作为跨模型异源融合特征；如果不符合，则，
63.对所述图像增强特征再次进行多维局部特征和全局特征提取并融合，以及加入按照预设采样率提取的图像样本源特征得到二次图像增强特征；如果所述二次图像增强特征符合预设要求，则输出所述二次图像增强特征作为跨模型异源融合特征；如果不符合，则，
64.对所述二次图像增强特征再次进行多维局部特征和全局特征提取并融合，以及加入按照预设采样率提取的图像样本源特征得到三次图像增强特征，如果所述三次图像增强特征符合预设要求，则输出所述三次图像增强特征作为跨模型异源融合特征；如果不符合，则，
65.对所述三次图像增强特征重复执行得到图像增强特征，直至得到的图像增强特征符合预设要求，输出最后一次得到的图像增强特征作为跨模型异源融合特征。
66.进一步的，所述特征增强模块具体用于，
67.第一次进行图像样本源特征提取时，对原始图像进行1/4下采样，得到一次图像样本源特征；
68.第二次进行图像样本源特征提取时，对原始图像进行1/16下采样，得到二次图像样本源特征；
69.第三次进行图像样本源特征提取时，对原始图像进行1/64下采样，得到三次图像样本源特征；
70.以此类推，第q次进行图像样本源特征提取时，对原始图像进行1/4y下采样，得到q次图像样本源特征；其中，y、q为正整数。
71.本发明第三方面提供一种存储一个或多个程序的存储器，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据前述的方法中的任一方法。
72.本发明第四方面提供一种计算设备，包括，
73.一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据前述的方法中的任一方法的指令。
74.本发明的有益效果为：
75.本发明提出了一种跨模型异源特征融合方法，该方法通过对初始特征图进行多维深层次局部特征提取，可以将每次局部特征融合在同一维度内，相比于普通卷积方法，这种特征提取能够增强局部特征信息，且不会增加参数量和运算量；本发明在局部特征和全局特征融合中加入图像样本源特征，能有效增强图像特征，提高了后续进行图像异常检测的精度。
附图说明
76.图1为本发明实施例1提供的一种跨模型异源特征融合方法流程图；
77.图2为本发明实施例2提供的一种跨模型异源特征融合方法流程图；
78.图3为本发明实施例2中的多维局部特征提取架构。
具体实施方式
79.下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方
案，而不能以此来限制本发明的保护范围。
80.实施例1：
81.本实施例提供一种面向异常检测的跨模型异源特征融合方法，参见图1，包括：
82.s101：对原始图像进行特征提取，得到多维局部特征和全局特征；
83.s102：将所提取的多维局部特征和全局特征进行融合，得到融合特征；
84.s103：对原始图像按照预设采样率进行图像样本源特征提取，加入到所得到的融合特征，得到图像增强特征；
85.s104：重复执行对所得到的图像增强特征进行多维局部特征和全局特征提取并融合，以及加入按照预设采样率提取的图像样本源特征，得到图像增强特征的步骤，直至得到的图像增强特征符合预设要求，输出图像增强特征并作为跨模型异源融合特征。
86.本实施例中，对原始图像进行特征提取得到多维局部特征，实现方式，
87.对原始图像进行特征提取得到初始特征图，对所获取的初始特征图采用至少一个1
×
1的卷积核分别进行特征映射，得到多个不同的映射特征图；
88.将得到的每一个映射特征图按照神经网络通道数进行划分；对每一个映射特征图中的每一维特征都进行卷积操作并拼接起，得到每一个映射特征图的多维卷积结果；将每一个特征映射图的多维卷积结果相加，得到最终的多维局部特征。
89.本实施例中，得到全局特征，实现方式为，
90.采用自注意力机制的编码器对初始特征图进行多头注意力计算并拼接，得到全局特征。
91.本实施例的面向异常检测的跨模型异源特征融合方法，通过对初始特征图进行多维局部特征提取，可以将每次局部特征融合在同一维度内，相比于普通卷积方法，这种特征提取能够增强局部特征信息，且不会增加参数量和运算量；本实施例在局部特征和全局特征融合中加入图像样本源特征，能有效增强图像特征，提高了后续进行图像异常检测的精度。
92.实施例2：
93.本实施例提供一种面向异常检测的跨模型异源特征融合方法，参见图2，实现过程如下：
94.步骤s201，利用无人机进行电网输电线巡检，获取巡检电力设备图像，对所获取的图像进行四倍下采样，得到图像的初始特征图为f
in
。
95.本实施例中，利用无人机进行电网输电线巡检，获取巡检电力设备图像；
96.对所获取的巡检电力设备图像进行四倍下采样，得到图像的初始特征图为f
in
。
97.作为一种优选的实施方式，本实施例采用卷积的方法进行下采样。
98.步骤s202，对所获取的初始特征图进行多维深层次局部特征提取，得到多维局部特征；以及对所获取的初始特征图进行全局特征提取，得到全局特征。
99.本实施例中，对所获取的初始特征图进行多维局部特征提取，参见图3，具体实现过程为，
100.对输入的初始特征图采用m个1
×
1的卷积核分别进行特征映射，得到m个不同的映射特征图，表示为：
101.fi＝conv1×1(f
in
)，
102.其中，fi表示了第i次的映射特征图。
103.将得到的每一个映射特征图按照神经网络通道数划分为n维，表示为：
[0104][0105]
其中，h和w分别代表特征图的长和宽，c代表了通道数，代表了每一维特征的通道数，pi,j代表了第i个映射特征图中第j维特征，i＝1,2,
…
,m，j＝1,2,
…
,n，m、n均为大于等于1的正整数。
[0106]
对每一个映射特征图中的每一维特征都进行卷积操作，卷积核的超参数设置为：kernel_size＝3，stride＝2，padding＝0，表示为：
[0107][0108]
再将每一维特征的卷积结果拼接起来得到每一个映射特征图的多维卷积结果：
[0109][0110]
其中，concat为特征按照通道维度拼接的操作。
[0111]
最后将每一个特征映射图的多维卷积结果相加，得到最终的多维局部特征f
local
：
[0112]flocal
＝f
1,out
f
2,out

…
f
n,out
。
[0113]
本实施例中，采用自注意力机制的编码器对所获取的初始特征图进行多头注意力计算并拼接，得到全局特征f
global
，表示为：f
global
＝encoder(f
in
)。
[0114]
步骤s203，将所提取的多维局部特征和全局特征进行融合，得到融合特征，如下：
[0115]
本实施例中，通过设置两个可学习的参数，在融合多维局部特征和全局特征时调节特征图的权重比例，因此跨模型的融合特征表示为：
[0116]fall
＝α
·flocal
β
·fglobal
。
[0117]
其中，f
all
为融合特征，α和β为学习参数。
[0118]
步骤s204，对原始图像按照预设采样率进行图像样本源特征提取，将所提取的图像样本源特征加入到所得到的融合特征，得到图像增强特征，
[0119]
本实施例中，根据当前下采样率，对原始巡检电力设备图像进行1/4下采样，得到一次图像样本源特征，
[0120]
本实施例采用卷积的方法进行下采样，具体如下，
[0121]
根据原始图片的特征维度设置不同的卷积和来计算下采样的：
[0122]
输入维度x:h
in
×win
×cin
，
[0123]
卷积核维度k:kh×kw
×cin
×cout
，
[0124]
输出维度y：h
out
×wout
×cout
，
[0125]
输入维度为源图像维度，输出维度为当前特征学习的维度即f
all
的空间维度。所以在进行1/4下采样时候，根据卷积核计算方式来计算1/4下采样时卷积核大小：
[0126]hout
＝(h
in-kernel_size 2*padding)/stride 1，
[0127]wout
＝(w
in-kernel_size 2*padding)/stride 1，
[0128]
其中，c
out
＝c
in
根据上述的方法即可以构建出对样本进行1/4下采样的卷积核，kernel_size为卷积核的大小，padding为卷积核的补0操作，stride为
卷积核的步数值。总卷积操作就可以表示为：
[0129]fsample
＝conv2d(f
img
)，
[0130]
即为一次图像样本源特征；
[0131]
加入到所得到的融合特征，得到图像增强特征，表示为：f
out
＝f
all
f
sample
。
[0132]
步骤s205，如果所得到的图像增强特征符合预设要求，则输出该图像增强特征作为跨模型异源融合特征；如果不符合，则对该图像增强特征再次进行多维局部特征和全局特征提取并融合，以及加入按照预设采样率提取的图像样本源特征得到二次图像增强特征；
[0133]
本实施例中，对得到的图像增强特征再次进行四倍下采样，得到二次特征图；
[0134]
对所得到的二次特征图进行多维局部特征提取和全局特征提取，并融合，得到二次融合特征；
[0135]
对原始巡检电力设备图像进行1/16下采样，得到二次图像样本源特征，加入到二次融合特征得到二次图像增强特征；
[0136]
需要说明的是，下采样方法与1/4下采样的方法相同，设置相应的卷积核。
[0137]
步骤s206，如果所得到的二次图像增强特征符合预设要求，则输出该二次图像增强特征作为跨模型异源融合特征；如果不符合，则对该二次图像增强特征再次进行多维局部特征和全局特征提取并融合，以及加入按照预设采样率提取的图像样本源特征得到三次图像增强特征；
[0138]
本实施例中，对得到的二次图像增强特征再次进行四倍下采样，得到三次特征图；
[0139]
对所得到的三次特征图进行多维局部特征提取和全局特征提取，并融合，得到三次融合特征；
[0140]
对原始巡检电力设备图像进行1/64下采样，得到三次图像样本源特征，加入到三次融合特征得到三次图像增强特征。
[0141]
需要说明的是，下采样方法与1/4下采样的方法相同，设置相应的卷积核。
[0142]
步骤s207，如果所得到的三次图像增强特征符合预设要求，则输出该三次图像增强特征作为跨模型异源融合特征；如果不符合，则，对该三次图像增强特征重复执行得到图像增强特征，直至得到的图像增强特征符合预设要求，输出最后一次得到的图像增强特征作为跨模型异源融合特征。
[0143]
本实施例中，原始输入图片大小为256*256，经过三次特征提取及融合后得到的三次图像增强特征长和宽为4*4，符合预设要求。
[0144]
本实施例将经过三次特征提取及融合后的图像增强特征作为跨模型异源融合特征输出。
[0145]
本实施例中还计算了多维卷积和普通卷积之间的计算量：
[0146]
设置每一个特征图的大小为:h1×
w1×
c1,每一个维度的特征图为:每个卷积核的大小为：k
×k×
c2，每一个维度的卷积核的大小为：并且输出的特征图的大小为：h2×
w2×
c2。
[0147]
普通卷积的参数量和运算量为：
[0148]
参数量:params＝k
×k×
c1×
c2，
[0149]
运算量:flops＝k2×
c1×
c2×
h1×
w1，
[0150]
每一个维度卷积的参数量和运算量为：
[0151]
参数量:
[0152]
运算量:
[0153]
因此n维度的卷积的结果在乘以n后，多维卷积和普通卷积的参数量和运算量相同。可见，采用本发明所提的跨模型异源特征融合方法并不会增加参数量和运算量。
[0154]
采用本实施例的跨模型异源特征融合方法进行图像异常检测，具体实现过程为，
[0155]
利用无人机进行电网输电线路巡检，获得历史巡检图像构成训练集，包括异常图像和无异常图像；
[0156]
采用本实施例的跨模型异源特征融合方法对训练集中的图像进行特征提取及融合，得到每幅图的跨模型异源融合特征作为神经网络的输入；
[0157]
采用神经网络对输入的跨模型异源融合特征进行学习，得到检测模型，检测模型输出为0代表图像无异常，输出为1代表图像异常；
[0158]
将实时巡检拍摄的电力设备图像采用本实施例的跨模型异源特征融合方法进行特征提取及融合，得到跨模型异源融合特征，输入训练好的检测模型，可得到图像是否异常的检测结果。
[0159]
实施例3：
[0160]
本实施例提供一种面向异常检测的跨模型异源特征融合系统，包括：
[0161]
特征提取模块，用于对原始图像进行特征提取，得到多维局部特征和全局特征，并下发至异源特征融合模块；
[0162]
异源特征融合模块，用于将所获取的多维局部特征和全局特征进行融合，得到融合特征，并下发至特征增强模块；
[0163]
特征增强模块，用于对原始图像按照预设采样率进行图像样本源特征提取，将所提取的图像样本源特征加入到所获取的融合特征，得到图像增强特征；
[0164]
输出模块，用于输出符合预设要求的图像增强特征作为跨模型异源融合特征。
[0165]
本发明实施例中，特征提取模块包括：
[0166]
下采样模块，用于对所获取的原始图像进行采样，得到图像的初始特征图，并下发至卷积神经网络和自注意力机制的编码器；
[0167]
卷积神经网络，用于对所获取的初始特征图进行多维深层次局部特征提取，得到多维局部特征；
[0168]
自注意力机制的编码器，用于对所获取的特征图进行全局特征提取，得到全局特征。
[0169]
作为一种优选的实施方式，本实施例中下采样模块具体用于采用卷积的方法进行下采样。
[0170]
作为一种优选的实施方式，本实施例中卷积神经网络具体用于，
[0171]
对所获取的特征图采用m个1
×
1的卷积核分别进行特征映射，得到m个不同的映射特征图；m为大于等于1的正整数；
[0172]
将得到的每一个映射特征图按照神经网络通道数划分为n维；n为大于等于1的正
整数；
[0173]
对每一个映射特征图中的每一维特征都进行卷积操作；
[0174]
将每一维特征的卷积结果拼接起来得到每一个映射特征图的多维卷积结果；
[0175]
将每一个特征映射图的多维卷积结果相加，得到最终的多维局部特征f
local
。
[0176]
作为一种优选的实施方式，本实施例中自注意力机制的编码器具体用于，
[0177]
采用自注意力机制的编码器对所获取的初始特征图进行多头注意力计算并拼接，得到全局特征f
global
。
[0178]
作为一种优选的实施方式，本实施例中特征提取模块还用于，
[0179]
对图像增强特征进行特征提取，得到多维局部特征和全局特征，并下发至异源特征融合模块。
[0180]
本实施例中，输出模块具体用于，
[0181]
如果对原始图像进行特征提取、融合和加入按照预设采样率提取的图像样本源特征所得到的图像增强特征符合预设要求，则输出所述图像增强特征作为跨模型异源融合特征；如果不符合，则，
[0182]
对所述图像增强特征再次进行多维局部特征和全局特征提取并融合，以及加入按照预设采样率提取的图像样本源特征得到二次图像增强特征；如果所述二次图像增强特征符合预设要求，则输出所述二次图像增强特征作为跨模型异源融合特征；如果不符合，则，
[0183]
对所述二次图像增强特征再次进行多维局部特征和全局特征提取并融合，以及加入按照预设采样率提取的图像样本源特征得到三次图像增强特征，如果所述三次图像增强特征符合预设要求，则输出所述三次图像增强特征作为跨模型异源融合特征；如果不符合，则，
[0184]
对所述三次图像增强特征重复执行得到图像增强特征，直至得到的图像增强特征符合预设要求，输出最后一次得到的图像增强特征作为跨模型异源融合特征。
[0185]
本实施例中，特征增强模块具体用于，
[0186]
第一次进行图像样本源特征提取时，对原始图像进行1/4下采样，得到一次图像样本源特征；
[0187]
第二次进行图像样本源特征提取时，对原始图像进行1/16下采样，得到二次图像样本源特征；
[0188]
第三次进行图像样本源特征提取时，对原始图像进行1/64下采样，得到三次图像样本源特征；
[0189]
以此类推，第q次进行图像样本源特征提取时，对原始图像进行1/4y下采样，得到q次图像样本源特征；其中，y、q为正整数。
[0190]
本实施例中，异源特征融合模块具体用于，
[0191]
按如下方式得到融合特征：
[0192]fall
＝α
·flocal
β
·fglobal
，
[0193]
其中，f
all
表示融合特征，α和β表示学习参数。
[0194]
本实施例的面向异常检测的跨模型异源特征融合装置，通过进行多维局部特征提取，可以将每次局部特征融合在同一维度内，相比于普通卷积方法，这种特征提取能够增强局部特征信息，且不会增加参数量和运算量；本实施例在局部特征和全局特征融合中加入
图像样本源特征，能有效增强图像特征，提高了后续进行图像异常检测的精度。
[0195]
实施例4：
[0196]
本实施例提供一种存储一个或多个程序的存储器，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据前述实施例1的跨模型异源特征融合方法。
[0197]
实施例5：
[0198]
一种计算设备，包括，
[0199]
一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据前述实施例1的跨模型异源特征融合方法的指令。
[0200]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0201]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0202]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0203]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0204]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。