最大化模态一致性的多模态数据分析方法及装置

1.本技术涉及数据处理技术领域，特别是涉及一种最大化模态一致性的多模态数据分析方法、装置、计算机设备和存储介质。


背景技术：

2.在现代信息战环境下，可用于态势感知的传感器类型多、数据量大。这些传感器形成的数据(例如雷达频谱、目标点迹航迹、态势以及报文描述等)表现为多模态数据。每个模态都可能提供一定的有用信息，但又难以提供较为完整准确的信息。这些信息有一定的互补性，同时又有严重的冗余和分歧。因此，在强对抗环境下，有效分析融合多种情报来源的多模态数据是及时准确把握瞬息万变的整体态势的必要手段。
3.然而，目前的传统的多模态数据分析是基于通过编码器将输入向低维映射，再通过解码器生成同维度的输出，在此过程中由于模态间间隔较大，各个模态数据之间融合效率低，且在编码解码过程中存在损失，使得模态数据融合结果存在误差。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高模态数据融合效率的最大化模态一致性的多模态数据分析方法、装置、计算机设备和存储介质。
5.一种最大化模态一致性的多模态数据分析方法，所述方法包括：
6.获取多模态原始数据集；多模态原始数据集中包含多个多模态原始数据；
7.利用自编码器对多模态原始数据进行编码，得到多模态原始数据的编码子空间；
8.根据cca相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵；
9.多模态原始数据的相关矩阵作为最大化模态一致性数据矩阵；
10.对最大化模态一致性数据矩阵进行解码，得到最大化模态一致性模态数据；
11.根据最大化模态一致性模态数据和多模态原始数据进行误差计算，得到的重构误差；
12.根据重构误差对多模态原始数据进行分析重构。
13.在其中一个实施例中，根据cca相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵，包括：
[0014][0015]
其中，u表示第x个模态的相关矩阵，v表示第y个模态的相关矩阵，f(x)表示第x个模态的编码子空间，g(y)表示第y个模态的编码子空间，θ表示正则化因子的权重，n表示样本个数，tr()表示求矩阵的迹，x，y表示两个不同的模态，表示模态x，y的编码数据。
[0016]
在其中一个实施例中，相关矩阵的约束条件包括：
[0017][0018]
其中，i表示单位矩阵，r表示随机缺失率，t表示转置运算。
[0019]
在其中一个实施例中，约束条件还包括：
[0020][0021]
在其中一个实施例中，根据最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差，包括：
[0022]
根据所述最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差为
[0023][0024]
其中，lr表示重构误差，h表示模态的个数,v表示模态的序号,n表示样本个数，n表示样本序号，xn表示第n个样本的第x个模态的多模态原始数据，gv()表示解码映射函数，un表示第n个样本的第x个模态的相关矩阵，vn表示第n个样本的第y个模态的相关矩阵，yn表示第n个样本的第y个模态的多模态原始数据。
[0025]
一种最大化模态一致性的多模态数据分析装置，所述装置包括：
[0026]
编码模块，用于获取多模态原始数据集；多模态原始数据集中包含多个多模态原始数据；利用自编码器对多模态原始数据进行编码，得到多模态原始数据的编码子空间；
[0027]
相关性约束模块，用于根据cca相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵；多模态原始数据的相关矩阵作为最大化模态一致性数据矩阵；
[0028]
解码模块，用于对最大化模态一致性数据矩阵进行解码，得到最大化模态一致性模态数据；
[0029]
重构模块，用于根据最大化模态一致性模态数据和多模态原始数据进行误差计算，得到的重构误差；根据重构误差对多模态原始数据进行分析重构。
[0030]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0031]
获取多模态原始数据集；多模态原始数据集中包含多个多模态原始数据；
[0032]
利用自编码器对多模态原始数据进行编码，得到多模态原始数据的编码子空间；
[0033]
根据cca相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵；
[0034]
多模态原始数据的相关矩阵作为最大化模态一致性数据矩阵；
[0035]
对最大化模态一致性数据矩阵进行解码，得到最大化模态一致性模态数据；
[0036]
根据最大化模态一致性模态数据和多模态原始数据进行误差计算，得到的重构误差；
[0037]
根据重构误差对多模态原始数据进行分析重构。
[0038]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0039]
获取多模态原始数据集；多模态原始数据集中包含多个多模态原始数据；
[0040]
利用自编码器对多模态原始数据进行编码，得到多模态原始数据的编码子空间；
[0041]
根据cca相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵；
[0042]
多模态原始数据的相关矩阵作为最大化模态一致性数据矩阵；
[0043]
对最大化模态一致性数据矩阵进行解码，得到最大化模态一致性模态数据；
[0044]
根据最大化模态一致性模态数据和多模态原始数据进行误差计算，得到的重构误差；
[0045]
根据重构误差对多模态原始数据进行分析重构。
[0046]
上述最大化模态一致性的多模态数据分析方法、装置、计算机设备和存储介质，首先利用自编码器对多模态原始数据进行编码，得到多模态原始数据的编码子空间，根据cca相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵，利用cca相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，可以最小化编码子空间的相似性，相对于传统自编码有更好的空间聚类效果，更有利于打破模态间间隔，增进模态间一致性，得到最大化模态一致性数据，利用最大化模态一致性数据和多模态原始数据的重构误差对多模态原始数据进行重构，一方面提高了各个模态数据之间融合效率，另一方面避免了模态数据融合结果误差的产生。
附图说明
[0047]
图1为一个实施例中最大化模态一致性的多模态数据分析方法的流程示意图；
[0048]
图2为一个实施例中最大化模态一致性的多模态数据分析装置的结构框图；
[0049]
图3为一个实施例中计算机设备的内部结构图。
具体实施方式
[0050]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0051]
在一个实施例中，如图1所示，提供了一种最大化模态一致性的多模态数据分析方法，包括以下步骤：
[0052]
步骤102，获取多模态原始数据集；多模态原始数据集中包含多个多模态原始数据；利用自编码器对多模态原始数据进行编码，得到多模态原始数据的编码子空间。
[0053]
多模态原始数据是指用于态势感知的传感器形成的数据，包括雷达数据、遥感数据、目标点迹航迹数据、态势数据以及报文描述数据等。
[0054]
步骤104，根据cca相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵；多模态原始数据的相关矩阵作为最大化模态一致性数据矩阵。
[0055]
利用cca相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，可以最小化编码子空间的相似性，相对于传统自编码有更好的空间聚类效果，更有利于打破模态间间隔，增进模态间一致性，得到最大化模态一致性数据，提高了各个模态数据之间融合
效率。
[0056]
步骤106，对最大化模态一致性数据矩阵进行解码，得到最大化模态一致性模态数据。
[0057]
步骤108，根据最大化模态一致性模态数据和多模态原始数据进行误差计算，得到的重构误差；根据重构误差对多模态原始数据进行分析重构。
[0058]
利用最大化模态一致性数据和多模态原始数据的重构误差对多模态原始数据进行重构，避免了模态数据融合结果误差的产生。
[0059]
上述最大化模态一致性的多模态数据分析方法中，首先利用自编码器对多模态原始数据进行编码，得到多模态原始数据的编码子空间，根据cca相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵，利用cca相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，可以最小化编码子空间的相似性，相对于传统自编码有更好的空间聚类效果，更有利于打破模态间间隔，增进模态间一致性，得到最大化模态一致性数据，利用最大化模态一致性数据和多模态原始数据的重构误差对多模态原始数据进行重构，一方面提高了各个模态数据之间融合效率，另一方面避免了模态数据融合结果误差的产生。
[0060]
在其中一个实施例中，根据cca相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵，包括：
[0061][0062]
其中，u表示第x个模态的相关矩阵，v表示第y个模态的相关矩阵，f(x)表示第x个模态的编码子空间，g(y)表示第y个模态的编码子空间，θ表示正则化因子的权重，n表示样本个数，tr()表示求矩阵的迹，x，y表示两个不同的模态，表示模态x，y的编码数据。
[0063]
uf(x)g(y)v表示由模态x的编码f(x)、y的编码g(y)的互相关矩阵，表示多模态数据的所有样本的编码误差。
[0064]
在其中一个实施例中，相关矩阵的约束条件包括：
[0065][0066]
其中，i表示单位矩阵，r表示随机缺失率，t表示转置运算。
[0067]
在其中一个实施例中，约束条件还包括：
[0068][0069]
在其中一个实施例中，根据最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差，包括：
[0070]
根据所述最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差为
[0071][0072]
其中，lr表示重构误差，h表示模态的个数,v表示模态的序号,n表示样本个数，n表
示样本序号，xn表示第n个样本的第x个模态的多模态原始数据，gv()表示解码映射函数，un表示第n个样本的第x个模态的相关矩阵，vn表示第n个样本的第y个模态的相关矩阵，yn表示第n个样本的第y个模态的多模态原始数据。
[0073]
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0074]
在一个实施例中，如图2所示，提供了一种最大化模态一致性的多模态数据分析装置，包括：编码模块202、相关性约束模块206、解码模块208和重构模块210，其中：
[0075]
编码模块202，用于获取多模态原始数据集；多模态原始数据集中包含多个多模态原始数据；利用自编码器对多模态原始数据进行编码，得到多模态原始数据的编码子空间；
[0076]
相关性约束模块206，用于根据cca相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵；多模态原始数据的相关矩阵作为最大化模态一致性数据矩阵；
[0077]
解码模块208，用于对最大化模态一致性数据矩阵进行解码，得到最大化模态一致性模态数据；
[0078]
重构模块210，用于根据最大化模态一致性模态数据和多模态原始数据进行误差计算，得到的重构误差；根据重构误差对多模态原始数据进行分析重构。
[0079]
在其中一个实施例中，相关性约束模块206还用于根据cca相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵，包括：
[0080][0081]
其中，u表示第x个模态的相关矩阵，v表示第y个模态的相关矩阵，f(x)表示第x个模态的编码子空间，g(y)表示第y个模态的编码子空间，θ表示正则化因子的权重，n表示样本个数，tr()表示求矩阵的迹，x，y表示两个不同的模态，表示模态x，y的编码数据。
[0082]
在其中一个实施例中，在其中一个实施例中，相关矩阵的约束条件包括：
[0083][0084]
其中，i表示单位矩阵，r表示随机缺失率，t表示转置运算。
[0085]
在其中一个实施例中，约束条件还包括：
[0086][0087]
在其中一个实施例中，重构模块210还用于根据最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差，包括：
[0088]
根据所述最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差为
[0089][0090]
其中，lr表示重构误差，h表示模态的个数,v表示模态的序号,n表示样本个数，n表示样本序号，xn表示第n个样本的第x个模态的多模态原始数据，gv()表示解码映射函数，un表示第n个样本的第x个模态的相关矩阵，vn表示第n个样本的第y个模态的相关矩阵，yn表示第n个样本的第y个模态的多模态原始数据。
[0091]
关于最大化模态一致性的多模态数据分析装置的具体限定可以参见上文中对于最大化模态一致性的多模态数据分析方法的限定，在此不再赘述。上述最大化模态一致性的多模态数据分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0092]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种最大化模态一致性的多模态数据分析方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0093]
本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0094]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
[0095]
在一个实施例中，提供了一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
[0096]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0097]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例
中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0098]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。