基于忆阻器噪声的数据增强方法、装置、电子设备及介质

1.本技术涉及数据增强技术领域，特别涉及一种基于忆阻器噪声的数据增强方法、装置、电子设备及存储介质。


背景技术：

2.人工智能是研究、开发用于模拟、延伸和扩展人行为的理论、方法、技术及应用系统的一门技术科学，是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，主要包括计算机实现智能的原理、制造类似于人脑智能的计算机，使计算机能实现更高层次的应用。通常，为获得理想的人工智能模型，人们利用大量有标签的数据使模型进行监督学习。模型可以从给定的训练数据集中学习出一个函数即模型参数，当新的数据到来时，可以根据这个函数预测结果，从而达到预测的目的。
3.监督学习的预测效果很大程度上与训练阶段所接受数据的数量和多样性成正相关。随着神经网络规模的不断增大，对于数据量与数据多样性的需求也在不断增大。然而相比庞大的数据量需求，现有的数据集往往无法满足其要求。因此，一种解决该问题的方法是采用数据增强，即通过对有限数据进行一定的变换从而生成新的训练数据，以达到扩充数据的目的。数据增强除了可以扩充数据量与数据多样性以外，还可以用来解决分类任务中的类别不平衡问题，例如利用数据增强来调整正负样本比例。
4.针对数据增强的实现方法有很多，以下以图像数据为例，通过对现有数据进行裁剪，翻转，旋转等规律变换来实现数据增强。数据增强通常分为离线数据增强与在线数据增强。离线数据增强是指对数据集进行处理后将扩充的数据集缓存，以备模型的训练及推理使用。在线数据增强是指在模型训练及推理过程中，仅对当前训练批次的数据进行变化。其中与本文最相似的一种在线数据增强的方案被称为自编码器，是先将数据压缩编码至特定向量，后对特定向量添加一个采样的高斯噪声。再通过解码器将其还原成原图的数据增强方案称为自编码器。该方法的核心在于将数据通过神经网络后，通过添加一个随机的高斯扰动，从而实现对数据的变换。由于添加的是随机扰动，因而可以提高训练模型的鲁棒性。
5.其中，离线数据增强直接对数据集进行处理，数据的数目会变成增强因子乘以原数据集的数目。该方案的优点在于不需要增加模型训练及推理时长，预先处理过的数据可用于多个模型的不同任务。然而离线数据增强的方案缺点也十分明显，由于是直接对数据集进行处理，因而该方案对芯片缓存有着较高要求。因此该方案通常用于较小的数据集。
6.在线数据增强是在模型训练过程中，仅对当前使用批次的数据进行变换。训练过程中，已经使用过的数据不会被保存。该方案的优点在于不需要额外缓存，数据在模型训练及推理过程中即用即删。然而该方案同样有较为明显的缺点，当遇到较为复杂的变换时，在线数据增强将加长模型训练及推理的时长。以前文所提到的自编码器方案为例，生成随机数的过程将耗费大量时间。针对每个批次随机生成大量随机数将严重增加模型训练及推理的时间成本。
7.采用单一变换手段，例如平移、旋转、缩放等对图像进行变换是图像数据增强常用
的方案之一。主要缺陷在于生成图像欠缺多样性与随机性，因而对模型的鲁棒性的提升无法达到预期的效果。


技术实现要素：

8.本技术提供一种基于忆阻器噪声的数据增强方法、装置、电子设备及存储介质，利用忆阻器的随机噪声进行数据增强，增强的数据具有多样性和随机性，解决了相关技术中离线数据增强的方式适用的数据集较小，在线数据增强的方式耗时长，效率低，并且数据增强方式单一的问题。
9.本技术第一方面实施例提供一种基于忆阻器噪声的数据增强方法，包括以下步骤：确定表征输入数据与输出数据之间关系的映射关系；基于所述映射关系，将所述映射关系对应的映射网络映射至目标忆阻器阵列；以及将所述输入数据输入至映射后的所述目标忆阻器阵列，并在所述目标忆阻器阵列施加随机噪声后，得到数据增强后的所述输出数据。
10.可选地，在本技术的一个实施例中，还包括：将所述映射关系作为训练数据进行神经网络训练，在满足训练终止条件时，停止训练，得到所述映射网络。
11.可选地，在本技术的一个实施例中，所述将所述输入数据输入至映射后的所述目标忆阻器阵列，并在所述目标忆阻器阵列施加随机噪声后，得到数据增强后的所述输出数据，包括：将所述输入数据的电压信号输入至映射后的所述目标忆阻器阵列；通过所述忆阻器阵列施加随机噪声后，输出所述输入数据的电流信号；对所述电流信号进行转换得到所述数据增强后的输出数据。
12.可选地，在本技术的一个实施例中，所述训练终止条件包括：所述映射网络的损失函数小于预设阈值；和/或，所述输入数据与所述输出数据之间的误差小于预设误差阈值。
13.本技术第二方面实施例提供一种基于忆阻器噪声的数据增强装置，包括：获取模块，用于确定表征输入数据与输出数据之间关系的映射关系；映射模块，用于基于所述映射关系，将所述映射关系对应的映射网络映射至目标忆阻器阵列；以及增强模块，用于将所述输入数据输入至映射后的所述目标忆阻器阵列，并在所述目标忆阻器阵列施加随机噪声后，得到数据增强后的所述输出数据。
14.可选地，在本技术的一个实施例中，还包括：训练模块，用于将所述映射关系作为训练数据进行神经网络训练，在满足训练终止条件时，停止训练，得到所述映射网络。
15.可选地，在本技术的一个实施例中，所述增强模块，具体用于将所述输入数据的电压信号输入至映射后的所述目标忆阻器阵列，通过所述忆阻器阵列施加随机噪声后，输出所述输入数据的电流信号，对所述电流信号进行转换得到所述数据增强后的输出数据。
16.可选地，在本技术的一个实施例中，所述训练终止条件包括：所述映射网络的损失函数小于预设阈值；和/或所述输入数据与所述输出数据之间的误差小于预设误差阈值。
17.本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以执行如上述实施例所述的基于忆阻器噪声的数据增强方法。
18.本技术第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以执行如上述实施例所述的基于忆阻器噪声的数据增强方法。
19.本技术实施例利用忆阻器的噪声实现数据增强中噪声扰动添加的功能，避免了生
成随机数所需的时间，在数据增强过程中，将忆阻器的真实噪声替换相关技术中使用的随机高斯噪声，可以实现对有限数据进行数据增强，并且数据增强后生成图像具有多样性与强随机性，并且忆阻器的输出数据直接输入任务网络进行应用，使用完毕后即可删除，无需缓存。
20.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
21.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
22.图1为根据本技术实施例提供的一种基于忆阻器噪声的数据增强方法的流程图；
23.图2为根据本技术实施例提供的一种忆阻器结构示意图；
24.图3为根据本技术实施例提供的一种忆阻器阵列示意图；
25.图4为根据本技术实施例提供的一种生成网络的数据生成示意图；
26.图5为根据本技术实施例提供的一种忆阻器阵列嵌入示意图；
27.图6为根据本技术实施例提供的另一种忆阻器阵列嵌入示意图；
28.图7为根据本技术实施例的一种基于忆阻器噪声的数据增强装置的示例图；
29.图8为申请实施例提供的电子设备的结构示意图。
具体实施方式
30.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
31.下面参考附图描述本技术实施例的基于忆阻器噪声的数据增强方法、装置、电子设备及介质。针对上述背景技术中心提到的离线数据增强的方式适用的数据集较小，在线数据增强的方式耗时长，效率低，并且数据增强方式单一的问题，本技术实施例利用忆阻器的噪声实现数据增强中噪声扰动添加的功能，避免了生成随机数所需的时间，在数据增强过程中，将忆阻器的真实噪声替换相关技术中使用的随机高斯噪声，可以实现对有限数据进行数据增强，并且数据增强后生成图像具有多样性与强随机性，并且忆阻器的输出数据直接输入任务网络进行应用，使用完毕后即可删除，无需缓存。由此，解决了相关技术中离线数据增强的方式适用的数据集较小，在线数据增强的方式耗时长，效率低，并且数据增强方式单一的问题。
32.具体而言，图1为根据本技术实施例提供的一种基于忆阻器噪声的数据增强方法的流程图。
33.如图1所示，该基于忆阻器噪声的数据增强方法包括以下步骤：
34.在步骤s101中，确定表征输入数据与输出数据之间关系的映射关系。
35.可以理解的是，本技术实施例的映射关系可以为输入数据与输出数据之间固有的映射关系，例如，已知电阻大小，根据输入电流值和欧姆定律，输出电压值，也可以为根据实际需求设定输入数据与输出数据之间的映射关系，例如，输出数据值与输入数据值的差值
为固定值或输出数据值是输入数据值的预设倍等，不作具体限定。
36.在步骤s102中，基于映射关系，将映射关系对应的映射网络映射至目标忆阻器阵列。
37.通过步骤s101确定出输入数据与输出数据的映射关系后，根据映射关系进行神经网络的训练，将得到映射网络映射至忆阻器阵列。
38.如图2所示，展示了忆阻器的一种结构形式，可以理解的是，忆阻器本身具有符合高斯分布的噪声，该噪声在一定范围内随机波动。忆阻器器件噪声具有不确定性，随机性等特点，因此，将忆阻器器件噪声作为扰动添加源生成的数据同样具有多样性，随机性等特点。该优势可有效避免单一手段进行数据增强来带的弊端，使得模型训练后有更好的鲁棒性。
39.可选地，在本技术的一个实施例中，将映射关系作为训练数据进行神经网络训练，在满足训练终止条件时，停止训练，得到映射网络。其中，映射网络的输入维度可以等于输出维度，也可以不等于输出维度。
40.可选地，在本技术的一个实施例中，训练终止条件包括：映射网络的损失函数小于预设阈值，和/或，输入数据与输出数据之间的误差小于预设误差阈值。
41.其中，本技术实施例的损失函数可以为像素级的均方误差或其他误差，不做具体限制。
42.具体而言，训练映射网络时，在达到预设的训练终止条件时，本技术的实施例停止训练，本技术实施例的训练终止条件可以为映射网络的损失函数小于设定的阈值，例如，阈值为a时，在损失函数的值小于a时，停止训练。本技术实施例的训练终止条件还可以为输入数据与输出数据之间的误差小于预设的误差阈值，例如，根据一定的标准对输入数据和输出数据进行量化，比较量化后的输入数据与输出数据间的差值，在差值小于预设的误差阈值时，停止训练。本技术实施例的训练终止条件还可以为训练轮次或时长达到预设值等，对此，本领域技术人员可以根据实际情况进行设置，不作具体限定。
43.图2展示的为单个忆阻器的结构，本技术的实施例可以将多个忆阻器结构进行连接，如图3所示，通过多个忆阻器组成多行多列的忆阻器阵列，将上述实施例训练的映射网络映射至多行多列的忆阻器阵列。
44.如图3所示，x1至x5表示原始数据，x1’至x5’为进行变换后所得数据。通过训练一个简单神经网络得到映射网络，如图4所示，需要说明的是，图4仅展示训练的基本原理，具体网络结构与参数可以根据实际情况进行设置，该网络具有输入维度等于输出维度的特点。映射网络的训练以像素级的均方误差为损失函数，以减小输入与输出之间的误差为目标进行训练。将训练好的映射网络映射至忆阻器阵列中，即将网络权重写入忆阻器中。
45.在步骤s103中，将输入数据输入至映射后的目标忆阻器阵列，并在目标忆阻器阵列施加随机噪声后，得到数据增强后的输出数据。
46.可以理解的是，映射后的忆阻器阵列可以根据输入数据，输出变换后的输出数据。输入数据经过忆阻器阵列后输入任务网络中进行运算，该批次的数据使用结束后可直接删除，无需额外空间进行缓存，避免了离线数据增强需要大量缓存的缺点。
47.可选地，在本技术的一个实施例中，将输入数据输入至映射后的目标忆阻器阵列，并在目标忆阻器阵列施加随机噪声后，得到数据增强后的输出数据，包括：将输入数据的电
压信号输入至映射后的目标忆阻器阵列，通过忆阻器阵列施加随机噪声后，输出输入数据的电流信号，对电流信号进行转换得到数据增强后的输出数据。
48.具体地，数据增强进行时，将数据的电压信号流经忆阻器阵列，得到电流输出信号。由于忆阻器自身存在随机噪声，因而得到的输出信号可视为在原始数据上添加噪声后得到的数据。噪声本身具有不确定性强，随机性强等特点，因而使得生成数据同样具有多样性，随机性等特点。
49.本技术实施例的基于忆阻器噪声的数据增强方式，可采用在线数据增强的形式内嵌入任意任务中，如图5所示。在输入数据输入任务网络前，将输入数据输入映射后的忆阻器阵列，将当前批次的输入数据先经过加噪数据增强，然后输入任务网络，从而达到在线数据增强的目的。输入数据流经阵列后直接应用于各个网络，而后删除，无需额外的空间对生成数据进行缓存，因而避免了离线数据增强的弊端。同时，由于噪声的不确定性，对每一次输入的数据所添加的噪声均是不同的，因此避免了单一数据增强手段所带来的弊端。
50.本技术实施例的基于忆阻器噪声的数据增强方式，亦可作为单独模块，内嵌入某些特殊数据增强网络中，对中间编码而非原始数据进行随机扰动的添加，如自编码器，如图6所示。将忆阻器阵列内嵌入自编码器网络，取代其原本需要生成随机数以添加噪声的部分。由于利用忆阻器器件噪声作为随机扰动的添加源，可无需额外生成随机数，以此达到加速模型训练及推理的速度，因而避免了在线数据增强所带来的弊端。
51.通过将忆阻器阵列设计为单独的数据增强模块，内嵌入任意任务中，使得设计方案灵活多变，具有即插即用的优势。
52.需要说明的是，在本技术的实施例中，忆阻器可以根据实际需要替换为其他器件，如相变存储器(pcm)或铁电存储器(feram)等。
53.本技术实施例基于忆阻器噪声的数据增强方法，利用忆阻器的噪声实现数据增强中噪声扰动添加的功能，避免了生成随机数所需的时间，在数据增强过程中，将忆阻器的真实噪声替换相关技术中使用的随机高斯噪声，可以实现对有限数据进行数据增强，并且数据增强后生成图像具有多样性与强随机性，并且忆阻器的输出数据直接输入任务网络进行应用，使用完毕后即可删除，无需缓存。由此，解决了相关技术中离线数据增强的方式适用的数据集较小，在线数据增强的方式耗时长，效率低，并且数据增强方式单一的问题。
54.其次参照附图描述根据本技术实施例提出的一种基于忆阻器噪声的数据增强装置。
55.图7为根据本技术实施例的一种基于忆阻器噪声的数据增强装置的示例图。
56.如图7所示，该基于忆阻器噪声的数据增强装置10包括：获取模块100、映射模块200和增强模块300。
57.其中，获取模块100用于确定表征输入数据与输出数据之间关系的映射关系。映射模块200用于基于映射关系，将映射关系对应的映射网络映射至目标忆阻器阵列。增强模块300用于将输入数据输入至映射后的目标忆阻器阵列，并在目标忆阻器阵列施加随机噪声后，得到数据增强后的输出数据。
58.可选地，在本技术的一个实施例中，还包括：训练模块，用于将映射关系作为训练数据进行神经网络训练，在满足训练终止条件时，停止训练，得到映射网络。
59.可选地，在本技术的一个实施例中，增强模块300具体用于将输入数据的电压信号
输入至映射后的目标忆阻器阵列，通过忆阻器阵列施加随机噪声后，输出输入数据的电流信号，对电流信号进行转换得到数据增强后的输出数据。
60.可选地，在本技术的一个实施例中，训练终止条件包括：映射网络的损失函数小于预设阈值，和/或，输入数据与输出数据之间的误差小于预设误差阈值。
61.需要说明的是，前述对一种基于忆阻器噪声的数据增强方法实施例的解释说明也适用于该实施例的一种基于忆阻器噪声的数据增强装置，此处不再赘述。
62.根据本技术实施例提出的一种基于忆阻器噪声的数据增强装置，利用忆阻器的噪声实现数据增强中噪声扰动添加的功能，避免了生成随机数所需的时间，在数据增强过程中，将忆阻器的真实噪声替换相关技术中使用的随机高斯噪声，可以实现对有限数据进行数据增强，并且数据增强后生成图像具有多样性与强随机性，并且忆阻器的输出数据直接输入任务网络进行应用，使用完毕后即可删除，无需缓存。由此，解决了相关技术中离线数据增强的方式适用的数据集较小，在线数据增强的方式耗时长，效率低，并且数据增强方式单一的问题。
63.图8为本技术实施例提供的电子设备的结构示意图。该电子设备可以包括：
64.存储器801、处理器802及存储在存储器801上并可在处理器802上运行的计算机程序。
65.处理器802执行程序时实现上述实施例中提供的一种基于忆阻器噪声的数据增强方法。
66.进一步地，电子设备还包括：
67.通信接口803，用于存储器801和处理器802之间的通信。
68.存储器801，用于存放可在处理器802上运行的计算机程序。
69.存储器801可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
70.如果存储器801、处理器802和通信接口803独立实现，则通信接口803、存储器801和处理器802可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(industry standard architecture，简称为isa)总线、外部设备互连(peripheral component，简称为pci)总线或扩展工业标准体系结构(extended industry standard architecture，简称为eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
71.可选的，在具体实现上，如果存储器801、处理器802及通信接口803，集成在一块芯片上实现，则存储器801、处理器802及通信接口803可以通过内部接口完成相互间的通信。
72.处理器802可能是一个中央处理器(central processing unit，简称为cpu)，或者是特定集成电路(application specific integrated circuit，简称为asic)，或者是被配置成实施本技术实施例的一个或多个集成电路。
73.本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上的一种基于忆阻器噪声的数据增强方法。
74.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不
必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
75.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
76.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
77.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
78.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。