一种用于融合多模态数据特征的方法及应用与流程

1.本发明属于人工智能技术领域，特别涉及一种用于融合多模态数据特征的方法及应用。


背景技术：

2.当下大数据时代，数据呈现巨量化、多样化的特点，如何有效存储和处理这些数据，使数据价值最大化的同时又满足合规性的要求，是构建多模态机器智能的核心诉求。传统的人工智能应用，大多数都是基于单模态数据开发，这些应用都是在各自模态数据的基础上对世界产生一定的“感知”，具有明显的局限性，机器若能对世界多个模态的“感知”进行同步和聚合，那将更加的智能化。为了实现机器能智能化处理多模态数据，除了应对日益增长的海量数据和做好每个模态的感知之外，更要做好数据在模态间的转化、多模态数据条件下的数据同步和知识的融合。
3.当下人工智能领域常用于处理多模态数据融合的方法主要有三种：数据水平融合、决策水平融合以及中间融合。其中，数据水平融合将多个独立的数据集融合为一个单一的特征向量，再输入到机器学习分类器中，这种方法往往会使得输入数据中包含大量的冗余信息。为了提出冗余信息，通常使用特征提取方法与数据水平融合方法进行结合使用，例如主成分分析、最大相关最小冗余算法或自动解码器等；决策水平融合方法是将不同模态数据分别训练好不同的分类器，使用这些分类器对样本进行打分，通过对所有分类器的打分结果进行融合；中间融合是指将不同的模态数据先转化为高维特征表达，再将模型的中间层进行融合，以神经网络为例，中间融合首先理应神经网络将原始数据转化为高维特征表达，在获取不同模态数据在高维空间上的共性。
4.当前人工智能处理大规模数据的预测、分类以及识别等任务时，除了数据呈现巨量化、多样化的特点，还存在大多基于单一模态数据开发的问题。这些应用都只能在各自模态数据的基础上对世界产生一定的“感知”，有其明显的局限性。


技术实现要素：

5.针对现有技术存在的不足，本发明提供一种用于融合多模态数据特征的方法及应用，针对结构化和流数据两种数据形态进行特征提取与融合，实现对多模态数据的更为全面的分析与处理，提高多模态数据的使用价值，提高人工智能模型的性能。
6.为了解决上述技术问题，本发明采用的技术方案是：
7.一种用于融合多模态数据特征的方法，包括：
8.步骤1、基于卷积神经网络对结构化数据以及流数据的特征提取：
9.首先数据处理，将多种流数据的数值转换为波形图绘制在一张图片上用于后续的特征提取任务，将结构化数据转为one
‑
hot编码矩阵形式进行特征提取；
10.步骤2、构建特征融合神经网络模型，实现结构化数据与流数据的特征融合，包括两个阶段：
11.第一阶段，训练两个卷积神经网络模型，用于提取特征映射，模型1用于提取波形图中的特征映射，模型2用于提取矩阵中的特征映射；
12.第二阶段，构建特征融合神经网络模型进行特征融合，通过将图片与文本信息数据分别输入到两个模型中，将输出的特征映射，进行组合构成新的特征映射集合，作为训练所述特征融合神经网络模型的输入数据。
13.进一步的，所述模型1是基于vgg16模型的卷积神经网络模型，模型2是一维卷积神经网络模型。
14.本发明还提供一种用于融合多模态数据特征的方法的应用，通过构建预测模型，用于卒中预测。
15.更进一步的，首先，将心电和肌电、心率以及血压数据的数值转换为波形图绘制在一张图片上用于后续的特征提取任务；将个人健康数据转为one
‑
hot编码矩阵形式进行特征提取，该矩阵为一个一维向量矩阵；
16.然后，使用基于vgg16模型的卷积神经网络模型实现心电和肌电图、血压图、心率图中的特征映射提取，进而获得能判别卒中患者的生命参数数据波形图的模型1；使用一维卷积神经网络模型对个人健康数据进行特征映射的提取，获得能判别卒中患者的个人健康数据信息的模型2；
17.将从模型1和模型2中的最后一层全连接层输出的1
×
256和1
×
32的特征映射进行融合，作为卒中预测模型的输入，并进行训练，最终预测卒中发生概率。
18.与现有技术相比，本发明优点在于：
19.(1)采用一种全新的基于人工智能方法的数据分析和处理手段，该手段能够有效挖掘多模态数据中的高抽象化特征信息、激活多模态数据的潜在价值。
20.(2)提出了一种多模型融合的卷积神经网络结构，该网络结构实现了通过多个端到端的神经网络处理多模态数据并进行特征融合。该卷积神经网络架构主要针对结构化和流数据两种数据形态进行特征融合，包含两部分：首先实现了基于卷积神经网络对结构化数据以及流数据的特征提取；其次构建了特征融合神经网络模型，实现结构化数据与流数据的特征融合。
21.(3)经实验验证，本方法所提方法能够有效的获取到多模态数据中的特征信息，并进行有效的特征融合，实现对多模态数据的更为全面的分析与处理，提高多模态数据的使用价值，提高人工智能模型的性能，实现智能预测。
附图说明
22.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1为本发明的方法流程示意图；
24.图2为本发明的整体网络结构图；
25.图3为本发明实施例的流数据波形图合成图片示意图。
具体实施方式
26.下面结合附图及具体实施例对本发明作进一步的说明。
27.实施例1
28.结合图1、图2所示，一种用于融合多模态数据特征的方法，包括：
29.步骤1、基于卷积神经网络对结构化数据以及流数据的特征提取：
30.首先数据处理，将多种流数据的数值转换为波形图绘制在一张图片上用于后续的特征提取任务，将结构化数据转为one
‑
hot编码矩阵形式进行特征提取；
31.步骤2、构建特征融合神经网络模型，实现结构化数据与流数据的特征融合，包括两个阶段：
32.第一阶段，训练两个卷积神经网络模型，用于提取特征映射，模型1用于提取波形图中的特征映射，模型2用于提取矩阵中的特征映射；
33.第二阶段，构建特征融合神经网络模型进行特征融合，通过将图片与文本信息数据分别输入到两个模型中，将输出的特征映射，进行组合构成新的特征映射集合，作为训练所述特征融合神经网络模型(模型3)的输入数据。
34.进一步的，所述模型1是基于vgg16模型的卷积神经网络模型，模型2是一维卷积神经网络模型。
35.实施例2
36.本实施例提供一种用于融合多模态数据特征的方法的应用，通过构建预测模型，用于卒中预测。
37.首先，将心电和肌电、心率以及血压数据的数值转换为波形图绘制在一张图片上用于后续的特征提取任务；将个人健康数据转为one
‑
hot编码矩阵形式进行特征提取，该矩阵为一个一维向量矩阵。
38.然后，使用基于vgg16模型的卷积神经网络模型实现心电和肌电图、血压图、心率图中的特征映射提取，进而获得能判别卒中患者的生命参数数据波形图的模型1；使用一维卷积神经网络模型对个人健康数据进行特征映射的提取，获得能判别卒中患者的个人健康数据信息的模型2。
39.将从模型1和模型2中的最后一层全连接层输出的1
×
256和1
×
32的特征映射进行融合，作为卒中预测模型的输入，并进行训练，最终预测卒中发生概率。
40.下面以处理医学中的多模态数据的特征融合任务为例说明本发明的技术方案及效果。
41.1.数据集
42.使用名为cerebral vasoregulation in elderly with stroke的数据集中的39名卒中患者与40名非卒中者的24小时的心电和肌电数据、心率数据、血压数据以及个人健康数据，采用me6000进行实时监测心电和肌电数据，采样率1k赫兹，该数据集使用6个通道分别检测ecg、eeg、心率(hr)等多个传感器的信号测角计、加速度计、扭力计、倾斜仪等信息。这些生命特征参数(血压、心率等)可反映出卒中对于心脑血管的影响，反之，也可通过观测这些生命特征参数来判断当前的心脑血管的状态。推断卒中疾病发作的可能性概率，本方法中提出的三个神经网络模型使用的相关影响因素如表4.1：
43.表4.1 影响因素
[0044][0045]
2.数据处理
[0046]
在构建卒中的预测模型之前，首先训练两个卷积神经网络模型，一个用于提取心电和肌电图、血压图、心率图中的特征映射，另一个用于提取个人健康数据中的特征映射，通过将图片与文本信息数据分别输入到两个模型中，将输出的特征映射，进行组合构成新的特征映射集合，作为训练卒中预测模型的输入数据。
[0047]
首先获取39名卒中患者与40名非卒中者的连续24h血压、心率、心电和肌电数据，再将这些数据分别转化为血压图、心率图以及两张心电与肌电图。心电与肌电图中显示的是研究对象两天的连续24h日常活动期间的协议站立测试、步行、睡眠的心电数据与肌电数据，心率图和心电图分别显示研究对象一天连续24h的心率、血压数据(血压图中包括连续24中收缩压与舒张压的变化过程)。
[0048]
由于样本量小，在训练模型期间容易出现过拟合，因此需要对图片进行数据加强。将连续24h血压图、心率图以及两张心电与肌电图组合成一张图片，如图3所示。依次将图片中的一个波形图进行旋转30度，进行数据加强，经过数据加强处理后可以使该卷积神经网络模型进行更好的特征学习，更准确的识别卒中患者的实时生命特征参数数据波形图，进
而获得一个准确率和鲁棒性更好的二分类预测模型，用于后续工作中获取研究对象的生命参数数据波形图中的特征映射。
[0049]
随后，将79个研究对象的个人健康数据转换为一维数据，对于其中的某些字段需要通过one
‑
hot编码进行处理，最后获得形状为1
×
70的一维数据，表4.2、4.3分别为转换前后的个人健康数据，表4.3中，索引值为7
‑
9段表示种族类型(白种人、黑种人、黄种人)，索引值为22
‑
28、31
‑
37、39
‑
45、47
‑
53的字段分别表示为患有过癌症的家属、患有过心脏病的家属、患有过糖尿病的家属、患有过卒中的家属(七个字段分别为：gp：外祖父母、祖父母、m：母亲、d：女儿、f：父亲、si：姐妹、b：兄弟、so：儿子)。
[0050]
表4.2 转换前数据值
[0051]
[0052][0053]
表4.3 某位研究对象的个人健康数据信息经ont
‑
hot编码后实例
[0054][0055]
3.模型结构及实验过程
[0056]
模型结构主要包括两个阶段，第一阶段，用于提取特征映射,包括两个模型，使用基于vgg16模型的卷积神经网络模型实现心电和肌电图、血压图和心率图的特征映射提取，进而获得的能判别卒中患者的生命参数数据波形图的模型1；使用一维卷积神经网络模型对个人健康数据进行特征映射的提取，获得能判别卒中患者的个人健康数据信息的模型2。第二阶段，将从模型1和模型2中的最后一层全连接层输出的1
×
256和1
×
32的特征映射进行融合，作为模型3的输入，并进行训练，最终预测卒中发生概率，总体网络结构体系如图2所示。
[0057]
本发明所提方法获得的模型测试准确率达到98.53％，经实验验证，本方法能够有效的获取到多模态数据中的特征信息，并进行有效的特征融合，实现对多模态数据的更为全面的分析与处理，提高多模态数据的使用价值，提高人工智能模型的性能。解决了基于单模态数据卒中预测方法存在特征提取效果差，少量样本训练模型准确率低、性能不稳定的问题。
[0058]
综上所述，本发明一种用于融合多模态数据特征的方法，基于卷积神经网络对结
构化数据以及流数据特征提取；并构建了特征融合神经网络模型，网络架构中融合了vgg16以及一维卷积网络结构的特征，实现一维卷积与二维卷积的融合；本发明通过多个端到端的神经网络处理多模态数据并进行特征融合与卒中预测，实现了对多模态数据处理以及实现特征融合、智能预测。
[0059]
当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。