一种超图变分自编码器的多模态半监督表征学习方法

1.本发明属于数据融合处理技术领域，涉及一种超图变分自编码器的多模态半监督表征学习方法。


背景技术：

2.随着现代智能技术的发展，数据的来源和种类越来越多，对多源数据的融合应用要求也越来越高。在现实世界的环境中，智能设备是通过多模态数据感知外部环境的，例如基于图像视觉、雷达探测和激光探测等产生的多模态数据进行多源信息融合，利用融合的多模态数据感知外部环境。例如对于雷达和激光联合识别目标的场景，如何融合雷达与激光的目标特征来提高识别准确率是其核心要点。而如何融合不同传感器或者不同模态的特征数据是多模态学习的一个核心问题，目前主流的研究工作在于利用深度网络和标签来学习的潜在融合表征。
3.雷达与激光多等传感器的数据量相比单一传感器的数据量更大，且存在着数据配准和标注难度更高等现实问题。尽管多模态或多传感器的数据可以提供多源信息并揭示现实世界中模态之间的互补关系，但其数据标注的过程比正常单模态数据更耗时且更昂贵。因此有必要在半监督条件下研究如何挖掘缺失标签下多模态数据的交互。目前，在利用多模态学习方法融合多模态数据的特征过程中，现有的变分自编码器多专注于如何利用多模态数据的低阶相关性来挖掘利用多模态数据的交互。然而，在实现本发明的过程中，发明人发现传统的多模态数据处理技术中，存在着多模态数据处理性能不高的技术问题。


技术实现要素：

4.针对上述传统方法中存在的问题，本发明提出了一种能够大幅提高多模态数据处理性能的超图变分自编码器的多模态半监督表征学习方法，一种超图变分自编码器的多模态半监督表征学习装置，一种计算机设备以及一种计算机可读存储介质。
5.为了实现上述目的，本发明实施例采用以下技术方案：
6.一方面，提供一种超图变分自编码器的多模态半监督表征学习方法，包括步骤：
7.获取多模态数据；多模态数据包括雷达特征数据、激光特征数据和图像特征数据；
8.利用多模态数据构造多模态超图；
9.根据多模态超图计算得到原始拉普拉斯关系矩阵；
10.利用原始拉普拉斯关系矩阵构建单层超图卷积，根据单层超图卷积提取得到潜在的融合表示；
11.利用变分推理模型对融合表示引入标准高斯分布先验信息，推理得到多模态数据的联合表征结果；
12.对联合表征结果进行内积计算，生成重构拉普拉斯关系矩阵；
13.利用kl散度约束生成重构拉普拉斯关系矩阵与原始拉普拉斯关系矩阵的差异信息；
14.根据差异信息，采用交叉熵度量多模态数据的半监督标签与融合表示之间的损失，得到优化的目标函数；
15.初始化变分自编码器的训练参数并采用adam算法对优化的目标函数进行梯度下降处理，更新联合表征结果；联合表征结果用于多传感器联合目标识别。
16.另一方面，还提供一种超图变分自编码器的多模态半监督表征学习装置，包括：
17.数据获取模块，用于获取多模态数据；多模态数据包括雷达特征数据、激光特征数据和图像特征数据；
18.超图构建模块，用于利用多模态数据构造多模态超图；
19.矩阵计算模块，用于根据多模态超图计算得到原始拉普拉斯关系矩阵；
20.卷积融合模块，用于利用原始拉普拉斯关系矩阵构建单层超图卷积，根据单层超图卷积提取得到潜在的融合表示；
21.联合表征模块，用于利用变分推理模型对融合表示引入标准高斯分布先验信息，推理得到多模态数据的联合表征结果；
22.矩阵重构模块，用于对联合表征结果进行内积计算，生成重构拉普拉斯关系矩阵；
23.差异计算模块，用于利用kl散度约束生成重构拉普拉斯关系矩阵与原始拉普拉斯关系矩阵的差异信息；
24.目标函数模块，用于根据差异信息，采用交叉熵度量多模态数据的半监督标签与融合表示之间的损失，得到优化的目标函数；
25.表征更新模块，用于初始化变分自编码器的训练参数并采用adam算法对优化的目标函数进行梯度下降处理，更新联合表征结果；联合表征结果用于多传感器联合目标识别。
26.又一方面，还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的一种超图变分自编码器的多模态半监督表征学习方法的步骤。
27.再一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的一种超图变分自编码器的多模态半监督表征学习方法的步骤。
28.上述技术方案中的一个技术方案具有如下优点和有益效果：
29.上述超图变分自编码器的多模态半监督表征学习方法，通过基于超图变分自编码器的通用框架，首先获取多模态数据后构建多模态超图，然后计算原始拉普拉斯矩阵，在构建单层超图卷积以提取潜在的融合表示。再利用变分推理模型对融合表示引入标准高斯分布先验信息，推理多模态数据的联合表征结果，进而利用联合表征结果重构拉普拉斯关系矩阵，利用kl散度约束生成两种拉普拉斯矩阵的差异信息后，采用交叉熵度量多模态数据的半监督标签与融合表示之间的损失，得到优化的目标函数。最后，初始化变分自编码器的训练参数并采用adam算法对优化的目标函数进行梯度下降处理，更新联合表征结果，完成多模态数据的融合处理。
30.相比于现有技术，上述方法提出了用于多模态半监督表征的超图变分自动编码器，能够对多模态数据的高阶相关性进行自动编码并通过变分推理引入标准高斯分布先验信息有效地学习潜在的融合表示。超图变分自动编码器的通用性更强，可处理复杂的多模态数据并且只使用少量半监督标签就可以融合不同模态的特征数据，大幅提高了多模态数据处理性能，从而可有效提高雷达特征与激光特征等数据融合的性能，提高联合目标识别
准确率。
附图说明
31.为了更清楚地说明本技术实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1为一个实施例中超图变分自编码器的多模态半监督表征学习方法的流程示意图；
33.图2为一个实施例中多模态超图的构建流程示意图；
34.图3为一个实施例中超图变分自编码器的多模态半监督表征学习方法的流程框架图；
35.图4为一个实施例中在modelnet40数据集上验证的二维t-sne可视化示意图；其中，(a)为模态一的原始特征，(b)为模态二的原始特征，(c)为获得的潜在融合表示；
36.图5为一个实施例中在modelnet40数据集上训练集和测试集的准确度曲线；
37.图6为一个实施例中一种超图变分自编码器的多模态半监督表征学习装置的模块结构示意图。
具体实施方式
38.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
39.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术。
40.需要说明的是，在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。
41.本领域技术人员可以理解，本文所描述的实施例可以与其它实施例相结合。在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
42.多模态半监督学习中的一个具有挑战性的问题是如何匹配模态下的复杂相关性，现有方法多专注于利用多模态数据的低阶相关性来学校模态内的交互。面对雷达与激光联合目标识别过程中的特征融合问题，主流的研究工作是利用深度网络和标签来学习的潜在融合表征。目前，超图学习已被用于模拟不同任务中数据之间的高阶相关性，并且提出了一种超图神经网络，通过处理数据之间的交互来学习隐藏层表示并部署在视觉目标识别任务上。在研究工作中，发明人发现超图结构可以挖掘多模态数据之间的高阶相关性，故多模态数据之间的高阶相关性与神经网络能学到潜在的融合表征是本技术研究的重要依据与支撑，对后续引入雷达与激光目标特性联合表征具有重要意义。
43.传统的超图神经网络方法忽略了多模态数据的相关性先验知识，这种先验知识可被引入以提高数据的拟合能力。故本技术通过将变分推理框架引入到超图结构上，在捕获高阶相关性的同时引入先验知识，实现多模态数据的高效联合表征，从而将其应用到雷达与激光联合目标识别中，能有效提高识别的准确率。
44.此外，也可以使用多模态生成模型从潜在空间中学习联合表示，通过自编码器的结构从每个模态中推导出有意义的潜在表征。一方面，生成模型不仅可以从高维模态中获得低维表示，还可以作为无监督方法转移到半监督任务中。另一方面，通过拟合分布，可以利用变分推理技术引入额外的先验。但上述生成模型方法难以编码多模态数据的高阶相关性，也忽略了多模态数据之间的这种关系。
45.本技术通过在超图结构上做变分推理，既能挖掘多模态数据之间的高阶关系，同时也引入了标准高斯分布作为多模态融合潜在联合表示的先验知识(信息)，并利用了变分下界来缩小半监督任务的训练集和验证集之间的差距，能保证在半监督条件下，有效联合表征多模态数据的特征。因此，针对雷达与激光联合目标识别的应用场景，采用本技术提出的超图变分自编码器可以有效提高雷达与激光等的特征融合的性能，进而提高联合目标识别准确率。
46.下面将结合本发明实施例图中的附图，对本发明实施方式进行详细说明。
47.请参阅图1，在一个实施例中，本技术实施例提供了一种超图变分自编码器的多模态半监督表征学习方法，包括如下处理步骤s12至s28：
48.s12，获取多模态数据；多模态数据包括雷达特征数据、激光特征数据和图像特征数据。
49.可以理解，多模态数据可以包括雷达探测输出的雷达特征数据、激光传感器探测输出的激光特征以及视觉图像的图像特征数据，还可以包括其他本说明书未述及的传感器的特征数据，具体可以根据实际应用场景下所产生的多源数据包括的数据模态确定。多模态数据可以预先收集并存储在本地或者云上数据库中以备调取使用，也可以通过对接的各传感器来在线收集得到，具体可以根据应用场景的实际数据供给情况确定。
50.s14，利用多模态数据构造多模态超图。
51.可以理解，对于获取的多模态数据，为了方便描述说明，例如可以设多模态数据包括的m个模态特征数据表示为x＝(x1,...,xm)。获取多个模态的模态特征数据后，即可用这些模态特征数据进行超图构建，从而得到多模态的超图结构表示。
52.s16，根据多模态超图计算得到原始拉普拉斯关系矩阵。
53.可以理解，构建多模态超图后，可利用多模态超图的超图索引矩阵来计算得到拉普拉斯关系矩阵，此处得到的拉普拉斯关系矩阵称为原始拉普拉斯关系矩阵，可用于表示多模态超图中各个顶点之间的关联关系。
54.s18，利用原始拉普拉斯关系矩阵构建单层超图卷积，根据单层超图卷积提取得到潜在的融合表示。
55.可以理解，在得到超图的原始拉普拉斯关系矩阵后，即可用该矩阵定义单层的超图卷积，也即构建前述单层超图卷积，然后利用单层超图卷积提取每个模态下的隐变量表示，以得到潜在的融合表示。
56.s20，利用变分推理模型对融合表示引入标准高斯分布先验信息，推理得到多模态
数据的联合表征结果。
57.可以理解，变分推理模型也即现有的变分推理算法，可以对融合的隐变量表示(也即前述潜在的融合表示)引入先验知识，如前述的标准高斯分布先验信息(也即以标准高斯分布作为先验知识的先验信息)，作为多模态融合潜在的联合表示的先验知识，从而利用变分推理模型的变分下界来缩小半监督任务的训练集和验证集之间的差距，能保证在半监督条件下，有效联合表征多模态数据的特征，得到多模态数据的联合表征结果，实现对多模态数据的特征联合表示。
58.s22，对联合表征结果进行内积计算，生成重构拉普拉斯关系矩阵。
59.可以理解，将联合表征结果做内积计算，重构拉普拉斯关系矩阵，可以表示为：
[0060][0061]
其中，z表示潜在的融合表示，l表示原始拉普拉斯关系矩阵，n表示模态特征的数量，zi和zj表示每个融合特征联合表征的特征向量，σ(
·
)表示激活函数，t表示转置。
[0062]
s24，利用kl散度约束生成重构拉普拉斯关系矩阵与原始拉普拉斯关系矩阵的差异信息。
[0063]
可以理解，在得到重构拉普拉斯关系矩阵和原始拉普拉斯关系矩阵后，利用kl(kullback-leibler)散度约束生成重构拉普拉斯关系矩阵和原始拉普拉斯关系矩阵的差异lh，即lh＝e
q(z|x，l)
[log p(l|z)]-kl[q(z|x，l)||p(z)]，其中kl(
·
||
·
)是kl散度，其可以挖掘分布q(
·
)和高斯先验p(
·
)之间的差距，而e
q(
·
)
[log p(
·
)]是超图的重构误差。
[0064]
s26，根据差异信息，采用交叉熵度量多模态数据的半监督标签与融合表示之间的损失，得到优化的目标函数。
[0065]
可以理解，多模态数据的半监督标签可通过人工预先标注提供，用于标注相应多传感器所识别的目标所属类别。在得到重构拉普拉斯关系矩阵和原始拉普拉斯关系矩阵的差异后，利用交叉熵函数度量多模态数据的半监督标签与得到的融合特征(也即融合表示z)之间的损失，最终的损失函数即为重构的损失与交叉熵损失的和l
all
＝λls (1-λ)lh，其中，ls表示交叉熵的损失函数，λ为学习训练的超参数。因此，优化的目标函数即为l
all
。
[0066]
s28，初始化变分自编码器的训练参数并采用adam算法对优化的目标函数进行梯度下降处理，更新联合表征结果；联合表征结果用于多传感器联合目标识别。
[0067]
可以理解，adam(adaptive momentum)算法是一种自适应动量的随机优化方法。得到变分自编码器的优化的目标函数l
all
后即可进行训练参数初始化，并采用adam算法进行梯度下降优化损失函数l
all
，更新联合表征结果，例如但不限于雷达的一维距离像特征与激光的点云特征融合的表征结果，图像的视觉特征与自然语言的词向量特征的融合表征结果等。由于本实施例的变分自编码器为超图变分自编码器，在数据处理过程中基于超图结构能够挖掘多模态数据的高阶相关性，并且引入了额外的先验知识来推断多模态融合表示，能够在半监督条件下高效实现多模态数据的特征联合表征，因此利用这些联合表征结果即可有效提高雷达与激光特征融合的性能，进而提高联合目标识别准确率。
[0068]
上述一种超图变分自编码器的多模态半监督表征学习方法，通过基于超图变分自
编码器的通用框架，首先获取多模态数据后构建多模态超图，然后计算原始拉普拉斯矩阵，在构建单层超图卷积以提取潜在的融合表示。再利用变分推理模型对融合表示引入标准高斯分布先验信息，推理多模态数据的联合表征结果，进而利用联合表征结果重构拉普拉斯关系矩阵，利用kl散度约束生成两种拉普拉斯矩阵的差异信息后，采用交叉熵度量多模态数据的半监督标签与融合表示之间的损失，得到优化的目标函数。最后，初始化变分自编码器的训练参数并采用adam算法对优化的目标函数进行梯度下降处理，更新联合表征结果，完成多模态数据的融合处理。
[0069]
相比于现有技术，上述方法提出了用于多模态半监督表征的超图变分自动编码器，能够对多模态数据的高阶相关性进行自动编码并通过变分推理引入标准高斯分布先验信息有效地学习潜在的融合表示。超图变分自动编码器的通用性更强，可处理复杂的多模态数据并且只使用少量半监督标签就可以融合不同模态的特征数据，大幅提高了多模态数据处理性能，从而可有效提高雷达特征与激光特征等数据融合的性能，提高联合目标识别准确率。
[0070]
本技术的上述方法可通过程序转换为超图变分自动编码器，用于自动挖掘多模态数据的高阶交互并通过引入的先验知识来推断多模态融合表示，具有雷达与激光特征融合和联合目标识别的广泛应用前景。
[0071]
在一个实施例中，如图2所示，关于上述的步骤s14，具体可以包括如下处理步骤：
[0072]
s141，计算多模态数据中单模态下每个特征数据之间在欧氏空间上的距离；
[0073]
s142，采用k近邻算法计算每个特征数据在欧氏空间上的k个近邻并选取k值；
[0074]
s143，根据每个特征数据及特征数据在欧氏空间上的k个近邻构建单模态下的超边，生成单模态下的超图索引矩阵；
[0075]
s144，将每个单模态下的超图索引矩阵级联，得到多模态超图。
[0076]
具体的，在获取多模态数据x后，首先计算单模态下每个特征数据之间在欧式空间上的距离，再采用k近邻算法计算得每个特征数据在欧式空间上最近的k个邻居，也即k个近邻，根据任务需要选取合适的k值，每个特征节点和在欧式空间上最近的k个邻居构成一条超边，如此类似，可分别得到各个单模态下的超图索引矩阵。最后将每个单模态下的超图索引矩阵级联，即得到多模态的超图结构表示，该超图结构表示也即前述多模态超图，其超图索引矩阵可记为h。
[0077]
通过上述步骤即可高效得到多模态数据的多模态超图。
[0078]
在一个实施例中，关于上述的步骤s16，具体可以包括如下处理步骤：
[0079]
计算多模态超图的超边的度矩阵和顶点的度矩阵；
[0080]
根据超边的度矩阵和顶点的度矩阵，计算得到原始拉普拉斯关系矩阵。
[0081]
具体的，首先计算多模态超图的超边的度矩阵de和顶点的度矩阵dv，其中超边的度由多模态超图的超图索引矩阵h计算得到顶点的度计算为v表示超边数量，ε表示顶点数量。接着计算多模态超图的原始拉普拉斯关系矩阵，表示各个顶点之间的关联关系，h
t
表示h的转置，w为超边的权值参数。
[0082]
通过上述步骤即可高效得到超图的原始拉普拉斯关系矩阵。
[0083]
在一个实施例中，关于上述的步骤s16，具体可以包括如下处理步骤：
[0084]
利用原始拉普拉斯关系矩阵构建单层超图卷积；
[0085]
利用单层超图卷积提取每个模态下的隐变量表示；
[0086]
将每个隐变量表示进行级联融合，得到潜在的融合表示。
[0087]
具体的，单层超图卷积由多模态超图的原始拉普拉斯关系矩阵定义为其中，θ为学习训练的参数集合。利用单层超图卷积提取每个模态的下的隐变量表示zm＝hgcn(xm，h)，将每个隐变量表示级联融合得到潜在的融合表示z＝concat(z1，...，zm)。
[0088]
通过上述步骤即可高效得到超图的潜在的融合表示。
[0089]
在一个实施例中，关于上述的步骤s20，具体可以包括如下处理步骤：
[0090]
利用单层超图卷积提取融合表示的均值和方差；
[0091]
采用重参数化技巧训练，从标准高斯分布先验信息中采样；
[0092]
根据采样结果和融合表示的均值和方差，生成联合表征结果。
[0093]
具体的，首先利用构建的单层超图卷积提取潜在的融合表示z的均值和方差，即μ＝hgcn
μ
(z，h)。接着采用深度学习中的重参数化技巧训练，从标准高斯分布中采样ε∈n(0，1)，最终联合表征结果即为zi＝μi ε
·
σi，其中μi表示每个变量的均值，σi表示每个变量的方差，n(0，1)表示标准正态高斯分布，zi表示每个变量联合表征的结果。
[0094]
通过上述步骤即可高效得到多模态数据的联合表征结果。
[0095]
在一个实施例中，初始化变分自编码器的训练参数的过程，包括：
[0096]
初始化辍学者的比例、k近邻算法的k值、学习率的大小、隐藏层的维数和训练的超参数。
[0097]
可以理解，如图3所示，为上述方法的流程框架示意图，框架中各模块分别用于实现上述方法的各相应处理步骤。在得到优化的目标函数后，可进行超图变分自编码器的训练参数初始化操作，例如初始化设置dropout(辍学者)的比例p、k近邻算法的k值、学习率的大小η、隐藏层的维数h和训练的超参数λ。若以θ0＝{p，k，η，h，λ}表示初始化的参数集，则设置的初始化参数例如但不限于为θ0＝{0.5，10，0.001，128，0.3}。
[0098]
通过上述初始化处理，使得超图变分自编码器快速就绪并开始更新联合表征的特征。
[0099]
在一个实施例中，为了更直观且全面地说明上述一种超图变分自编码器的多模态半监督表征学习方法，下面是对一种超图变分自编码器的多模态半监督表征学习方法进行的实验示例。需要说明的是，本说明书中给出的实施案例仅为示意性的，并非为本发明具体实施案例的唯一限定，本领域技术人员可以在本发明提供的实施案例的示意下，可采用上述提供的一种超图变分自编码器的多模态半监督表征学习方法，实现对不同应用场景下的多模态数据融合处理。
[0100]
在3d视觉对象分类任务上进行了验证。在现有双模态的数据集modelnet40和ntu多视角数据集上进行了实验，实验结果表明，本技术提出的上述方法在视觉目标半监督分类任务上的有效性。
[0101]
与传统的基准方法相比，本技术提出的上述方法在不同的标签比例下实现了最佳性能，例如在半监督标签比例为30％的情况下，分别与hgnn(超图神经网络)、lfm(低秩融合
网络)和gcn(图神经网络)相比，在ntu数据集上实现了1.1％、1.8％和7％的增益。
[0102]
在半监督标签率为2％的情况下，在ntu数据集上比传统最佳基准方法实现了1.8％的增益，比图自编码器gae提高了6.3％。对于modelnet40数据集，本技术提出的上述方法优于所有对比的方法，当仅使用1％的半监督标签进行训练以融合多模态特征时，达到接近完整标签比例的结果，且与gcn相比，仅使用1％和0.2％标签实现了27.8％和14.4％的增益。
[0103]
综上所述，本技术提出的上述方法具备较高的有效性。
[0104]
表1是在ntu数据集上不同半监督标签比例下的实验结果；表2是在modelnet40数据集上不同半监督标签比例下的实验结果；图4是在modelnet40数据集上验证集的t-sne二维特征可视化图，分别为融合表征前的特征可视化和融合表征后的特征可视化，其中，(a)为模态一的原始特征，(b)为模态二的原始特征，(c)为获得的潜在融合表示。
[0105]
图5是在modelnet40数据集上训练集和测试集的准确度曲线。
[0106]
表1
[0107][0108]
表2
[0109][0110]
应该理解的是，虽然图1和图2流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且图1和图2的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0111]
请参阅图6，在一个实施例中，提供一种超图变分自编码器的多模态半监督表征学习装置100，包括数据获取模块11、超图构建模块13、矩阵计算模块15、卷积融合模块17、联
合表征模块19、矩阵重构模块21、差异计算模块23、目标函数模块25和表征更新模块27。其中，数据获取模块11用于获取多模态数据；多模态数据包括雷达特征数据、激光特征数据和图像特征数据。超图构建模块13用于利用多模态数据构造多模态超图。矩阵计算模块15用于根据多模态超图计算得到原始拉普拉斯关系矩阵。卷积融合模块17用于利用原始拉普拉斯关系矩阵构建单层超图卷积，根据单层超图卷积提取得到潜在的融合表示。联合表征模块19用于利用变分推理模型对融合表示引入标准高斯分布先验信息，推理得到多模态数据的联合表征结果。矩阵重构模块21用于对联合表征结果进行内积计算，生成重构拉普拉斯关系矩阵。差异计算模块23用于利用kl散度约束生成重构拉普拉斯关系矩阵与原始拉普拉斯关系矩阵的差异信息。目标函数模块25用于根据差异信息，采用交叉熵度量多模态数据的半监督标签与融合表示之间的损失，得到优化的目标函数。表征更新模块27用于初始化变分自编码器的训练参数并采用adam算法对优化的目标函数进行梯度下降处理，更新联合表征结果；联合表征结果用于多传感器联合目标识别。
[0112]
上述一种超图变分自编码器的多模态半监督表征学习装置100，通过各模块的协作，基于超图变分自编码器的通用框架，首先获取多模态数据后构建多模态超图，然后计算原始拉普拉斯矩阵，在构建单层超图卷积以提取潜在的融合表示。再利用变分推理模型对融合表示引入标准高斯分布先验信息，推理多模态数据的联合表征结果，进而利用联合表征结果重构拉普拉斯关系矩阵，利用kl散度约束生成两种拉普拉斯矩阵的差异信息后，采用交叉熵度量多模态数据的半监督标签与融合表示之间的损失，得到优化的目标函数。最后，初始化变分自编码器的训练参数并采用adam算法对优化的目标函数进行梯度下降处理，更新联合表征结果，完成多模态数据的融合处理。
[0113]
相比于现有技术，上述方法提出了用于多模态半监督表征的超图变分自动编码器，能够对多模态数据的高阶相关性进行自动编码并通过变分推理引入标准高斯分布先验信息有效地学习潜在的融合表示。超图变分自动编码器的通用性更强，可处理复杂的多模态数据并且只使用少量半监督标签就可以融合不同模态的特征数据，大幅提高了多模态数据处理性能，从而可有效提高雷达特征与激光特征等数据融合的性能，提高联合目标识别准确率。
[0114]
在一个实施例中，上述超图构建模块13包括距离计算子模块、近邻计算子模块、近邻计算子模块、索引生成子模块和超图级联子模块。其中，距离计算子模块用于计算所述多模态数据中单模态下每个特征数据之间在欧氏空间上的距离。近邻计算子模块用于采用k近邻算法计算每个特征数据在欧氏空间上的k个近邻并选取k值。索引生成子模块用于根据每个特征数据及特征数据在欧氏空间上的k个近邻构建单模态下的超边，生成单模态下的超图索引矩阵。超图级联子模块用于将每个单模态下的超图索引矩阵级联，得到所述多模态超图。
[0115]
在一个实施例中，上述一种超图变分自编码器的多模态半监督表征学习装置100还可以用于实现上述一种超图变分自编码器的多模态半监督表征学习方法其他各实施例中增加的步骤或者子步骤。
[0116]
关于一种超图变分自编码器的多模态半监督表征学习装置100的具体限定，可以参见上文中一种超图变分自编码器的多模态半监督表征学习方法的相应限定，在此不再赘述。上述一种超图变分自编码器的多模态半监督表征学习装置100中的各个模块可全部或
部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于具体数据处理功能的设备中，也可以软件形式存储于前述设备的存储器中，以便于处理器调用执行以上各个模块对应的操作，前述设备可以是但不限于本领域已有的各型数据处理设备。
[0117]
在一个实施例中，还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现如下处理步骤：获取多模态数据；多模态数据包括雷达特征数据、激光特征数据和图像特征数据；利用多模态数据构造多模态超图；根据多模态超图计算得到原始拉普拉斯关系矩阵；利用原始拉普拉斯关系矩阵构建单层超图卷积，根据单层超图卷积提取得到潜在的融合表示；利用变分推理模型对融合表示引入标准高斯分布先验信息，推理得到多模态数据的联合表征结果；对联合表征结果进行内积计算，生成重构拉普拉斯关系矩阵；利用kl散度约束生成重构拉普拉斯关系矩阵与原始拉普拉斯关系矩阵的差异信息；根据差异信息，采用交叉熵度量多模态数据的半监督标签与融合表示之间的损失，得到优化的目标函数；初始化变分自编码器的训练参数并采用adam算法对优化的目标函数进行梯度下降处理，更新联合表征结果；联合表征结果用于多传感器联合目标识别。
[0118]
可以理解，上述计算机设备除上述述及的存储器和处理器外，还包括其他本说明书未列出的软硬件组成部分，具体可以根据不同应用场景下的具体数据处理设备的型号确定，本说明书不再一一列出详述。
[0119]
在一个实施例中，处理器执行计算机程序时还可以实现上述一种超图变分自编码器的多模态半监督表征学习方法各实施例中增加的步骤或者子步骤。
[0120]
在一个实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如下处理步骤：获取多模态数据；多模态数据包括雷达特征数据、激光特征数据和图像特征数据；利用多模态数据构造多模态超图；根据多模态超图计算得到原始拉普拉斯关系矩阵；利用原始拉普拉斯关系矩阵构建单层超图卷积，根据单层超图卷积提取得到潜在的融合表示；利用变分推理模型对融合表示引入标准高斯分布先验信息，推理得到多模态数据的联合表征结果；对联合表征结果进行内积计算，生成重构拉普拉斯关系矩阵；利用kl散度约束生成重构拉普拉斯关系矩阵与原始拉普拉斯关系矩阵的差异信息；根据差异信息，采用交叉熵度量多模态数据的半监督标签与融合表示之间的损失，得到优化的目标函数；初始化变分自编码器的训练参数并采用adam算法对优化的目标函数进行梯度下降处理，更新联合表征结果；联合表征结果用于多传感器联合目标识别。
[0121]
在一个实施例中，计算机程序被处理器执行时，还可以实现上述一种超图变分自编码器的多模态半监督表征学习方法各实施例中增加的步骤或者子步骤。
[0122]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强
型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线式动态随机存储器(rambus dram，简称rdram)以及接口动态随机存储器(drdram)等。
[0123]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可做出若干变形和改进，都属于本技术保护范围。因此本技术专利的保护范围应以所附权利要求为准。