一种神经网络模型的训练数据处理、装置、电子设备及存储介质的制作方法

1.本发明涉及机器学习技术，尤其涉及一种神经网络模型的训练数据处理、装置、电子设备及存储介质。


背景技术：

2.人工智能技术中，深度神经网络在许多计算机视觉任务中获得了非常好的性能。一般而言，训练数据的数量和计算量越大，经过训练的神经网络模型的性能越好。然而在资源受限的嵌入式系统上部署这类规模较大的训练数据却非常困难，而直接通过规模较小的训练数据得到的神经网络的性能要远低于规模较大的网络的性能。相关技术在对训练数据处理时通过数据蒸馏可以实现对数据地压缩，但对于无标注数据进行蒸馏却无法实现，使得训练数据的处理过程复杂，同时训练数据的数量过大使得神经网络模型的训练和数据存储的硬件成本过大，不利于大规模的推广使用。


技术实现要素：

3.有鉴于此，本发明实施例提供一种神经网络模型的训练数据处理、装置、电子设备及存储介质，能够通过数据蒸馏的方式实现对规模较大的无标注训练数据进行处理，形成规模较小的训练数据，能够在减少训练数据总量和无需重新训练的前提下，稳定提高规模较小的训练数据对神经网络模型训练的准确率，且对于大部分神经网络模型和数据普遍适用，同时规模较小的训练数据，减轻目标神经网络模型的过拟合，增强目标神经网络模型的泛化能力，便于将所训练的目标神经网络模型部署于移动终端中，实现目标神经网络模型的大规模应用。
4.本发明实施例的技术方案是这样实现的：
5.本发明实施例提供了一种神经网络模型的训练数据处理，所述方法包括：
6.获取第一训练数据集合，其中所述第一训练数据集合包括至少一组图像数据集；
7.对所述第一训练数据集合进行旋转自监督处理，以形成相应的第二训练数据集合；
8.基于所述第二训练数据集合，确定与所述第二训练数据集合相对应的初始训练数据集合；
9.通过所述第二训练数据集合，对所述第一训练数据处理网络进行训练，并通过所述初始训练数据集合，对所述第二训练数据处理网络进行训练，以确定与所述初始训练数据集合相匹配的梯度参数；
10.基于与所述初始训练数据集合相匹配的梯度参数，对所述初始训练数据集合进行更新，确定与目标神经网络模型相匹配的目标训练数据集合。
11.本发明实施例还提供了一种神经网络模型的训练数据处理装置，所述训练装置包括：
12.信息传输模块，用于获取第一训练数据集合，其中所述第一训练数据集合包括至少一组图像数据集；
13.信息处理模块，用于对所述第一训练数据集合进行旋转自监督处理，以形成相应的第二训练数据集合；
14.所述信息处理模块，用于基于所述第二训练数据集合，确定与所述第二训练数据集合相对应的初始训练数据集合；
15.所述信息处理模块，用于通过所述第二训练数据集合，对所述第一训练数据处理网络进行训练，并通过所述初始训练数据集合，对所述第二训练数据处理网络进行训练，以确定与所述初始训练数据集合相匹配的梯度参数；
16.所述信息处理模块，用于基于与所述初始训练数据集合相匹配的梯度参数，对所述初始训练数据集合进行更新，确定与目标神经网络模型相匹配的目标训练数据集合。
17.上述方案中，
18.所述信息处理模块，用于对所述第一训练数据集合中的训练图像进行中心固定角度旋转；
19.所述信息处理模块，用于将经过固定角度旋转后的第一训练数据集合中的训练图像进行随机缩放；
20.所述信息处理模块，用于将随机缩放后所述第一训练数据集合中的训练图像进行随机平移，形成相应的第二训练数据集合。
21.上述方案中，所述信息处理模块，用于在经过固定角度旋转后的第一训练数据集合中的训练图像中插入噪声，所述噪声包括固定噪声和动态噪声中的至少一种。
22.上述方案中，
23.所述信息处理模块，用于确定与所述目标神经网络模型的使用环境相匹配的动态噪声阈值；
24.所述信息处理模块，用于根据所述动态噪声阈值对所述第一训练数据集合进行噪声添加处理，以形成与所述动态噪声阈值相匹配的第二训练数据集合；或者，
25.所述信息处理模块，用于确定与所述目标神经网络模型相对应的固定噪声阈值，并根据所述固定噪声阈值对所述第一训练数据集合进行噪声添加处理，以形成与所述固定噪声阈值相匹配的第二训练数据集合。
26.上述方案中，
27.所述信息处理模块，用于基于所述目标神经网络模型的使用环境，确定与所述目标神经网络模型相匹配的样本采集间隔参数，并根据所述样本采集间隔参数在所述第二训练数据集合中采集图像数据，形成初始训练数据集合；或者
28.所述信息处理模块，用于在所述第二训练数据集合中随机采集图像数据，形成初始训练数据集合。
29.上述方案中，
30.所述信息处理模块，用于通过所述第二训练数据集合，对所述第一训练数据处理网络进行训练，确定所述第一训练数据处理网络对应的第一梯度参数；
31.通过所述初始训练数据集合，对所述第二训练数据处理网络进行训练，确定所述第二训练数据处理网络对应的第二梯度参数；
32.基于所述第一梯度参数和第二梯度参数，进行梯度参数匹配处理，确定与所述初始训练数据集合相匹配的梯度参数。
33.上述方案中，
34.所述信息处理模块，用于通过所述第二训练数据集合，确定通过第一训练数据处理网络进行反向传播时，所述第一训练数据处理网络中每一层神经网络参数的梯度；
35.所述信息处理模块，用于基于所述第一训练数据处理网络中每一层神经网络参数的梯度，确定第一训练数据处理网络对应的第一损失函数；
36.所述信息处理模块，用于基于所述第一训练数据处理网络对应的第一损失函数，确定所述第一训练数据处理网络对应的第一梯度参数。
37.上述方案中，
38.所述信息处理模块，用于通过所述初始训练数据集合，确定通过第二训练数据处理网络进行反向传播时，所述第二训练数据处理网络中每一层神经网络参数的梯度；
39.所述信息处理模块，用于基于所述第二训练数据处理网络中每一层神经网络参数的梯度，确定第二训练数据处理网络对应的第二损失函数；
40.所述信息处理模块，用于基于所述第二训练数据处理网络对应的第二损失函数，确定所述第二训练数据处理网络对应的第二梯度参数。
41.上述方案中，
42.所述信息处理模块，用于基于与所述初始训练数据集合相匹配的梯度参数，对所述初始训练数据集合进行迭代更新，直至所述第一梯度参数和第二梯度参数的距离值达到距离阈值；
43.所述信息处理模块，用于确定所述第一梯度参数和第二梯度参数的距离值达到距离阈值时，经过更新的初始训练数据集合作为与目标神经网络模型相匹配的目标训练数据集合。
44.上述方案中，
45.所述信息处理模块，用于基于与目标神经网络模型相匹配的使用环境，对所述第一训练数据处理网络和第二训练数据处理网络的类型进行调整，以实现所述第一训练数据处理网络和第二训练数据处理网络与所述目标神经网络模型相匹配的使用环境相适配。
46.本发明实施例还提供了一种电子设备，所述电子设备包括：
47.存储器，用于存储可执行指令；
48.处理器，用于运行所述存储器存储的可执行指令时，实现前序的神经网络模型的训练数据处理方法。
49.本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时实现前序的神经网络模型的训练数据处理方法。
50.本技术还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述神经网络模型的训练数据处理方法的各种可选实现方式中所提供的不同实施例及实施例的组合。
51.本发明实施例具有以下有益效果：
52.通过获取第一训练数据集合，其中所述第一训练数据集合包括至少一组图像数据集；对所述第一训练数据集合进行旋转自监督处理，以形成相应的第二训练数据集合；基于所述第二训练数据集合，确定与所述第二训练数据集合相对应的初始训练数据集合；通过所述第二训练数据集合，对所述第一训练数据处理网络进行训练，并通过所述初始训练数据集合，对所述第二训练数据处理网络进行训练，以确定与所述初始训练数据集合相匹配的梯度参数；基于与所述初始训练数据集合相匹配的梯度参数，对所述初始训练数据集合进行更新，确定与目标神经网络模型相匹配的目标训练数据集合。由此，能够在减少训练数据总量和无需重新训练的前提下，稳定提高规模较小的训练数据对神经网络模型训练的准确率，且对于大部分神经网络模型和数据普遍适用，同时规模较小的训练数据，减轻目标神经网络模型的过拟合，增强目标神经网络模型的泛化能力，便于将所训练的目标神经网络模型部署于移动终端中，实现目标神经网络模型的大规模应用。
附图说明
53.图1是本发明实施例提供的一种神经网络模型的训练数据处理的使用环境示意图；
54.图2为本发明实施例提供的神经网络模型的训练数据处理装置的组成结构示意图；
55.图3为本发明实施例提供的神经网络模型的训练数据处理一个可选的流程示意图；
56.图4为本发明实施例中第一训练数据集合进行旋转自监督处理示意图；
57.图5为本发明实施例中训练数据处理过程示意图；
58.图6为本发明实施例提供的神经网络模型的训练数据处理一个可选的流程示意图；
59.图7为本发明实施例中训练数据处理过程的梯度参数匹配示意图；
60.图8为本发明实施例提供的神经网络模型的训练数据处理方法一个可选的流程示意图。
具体实施方式
61.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
62.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
63.对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
64.1)bert：全称为bidirectional encoder representations from transformers，一种利用海量文本的语言模型训练方法。该方法被广泛用于多种自然语言处理任务，如文本分类、文本匹配、机器阅读理解等。
65.2)人工神经网络：简称神经网络(neural network，nn)，在机器学习和认知科学领域，是一种模仿生物神经网络结构和功能的数学模型或计算模型，用于对函数进行估计或近似。
66.3)模型参数：是使用通用变量来建立函数和变量之间关系的一个数量。在人工神经网络中，模型参数通常是实数矩阵。
67.4)下采样处理，对于一个样值序列间隔几个样值取样一次，这样得到新序列就是原序列的下采样，例如：对于一幅图像i尺寸为m*n，对其进行s倍下采样，即得到(m/s)*(n/s)尺寸的得分辨率图像，其中s应该是m和n的公约数
68.5)编码器
‑
解码器结构：机器翻译技术常用的网络结构。由编码器和解码器两部分组成，编码器将输入的文本转换为一系列能够表达输入文本特征的上下文向量，解码器接收编码器输出的结果作为自己的输入，输出对应的另一种语言的文本序列。
69.6)数据集蒸馏：将数万张图像的知识压缩到几张合成训练图像中，后者即蒸馏图像。(a)在mnist数据集上，10张蒸馏图像可以将特定固定初始化设置的标准lenet的性能训练达到94％的测试准确率(在完整训练数据集上训练出的模型性能是99％)。
70.图1为本发明实施例提供的神经网络模型的训练数据处理的使用场景示意图，参考图1，终端(包括终端10
‑
1和终端10
‑
2)上设置有图像处理软件的客户端，用户通过所设置的图像处理软件客户端可以输入相应的待处理图像，图像处理客户端也可以接收相应的图像处理结果，并将所接收的图像处理结果向用户进行展示；终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。
71.作为一个示例，服务器200用于布设所述目标神经网络模型并对所述目标神经网络模型进行训练，以对目标神经网络模型的生成器参数和判别器参数进行迭代更新，以实现将通过目标神经网络模型中的生成器网络生成针对目标待处理图像的图像处理结果，并通过终端(终端10
‑
1和/或终端10
‑
2)展示目标神经网络模型所生成的与待处理图像相对应的图像处理结果。
72.当然在通过目标神经网络模型对目标待处理图像进行处理以生成相应的图像处理结果之前，还需要对目标神经网络模型进行训练，在训练时，需要首先获取经过数据蒸馏的训练数据，具体包括：获取第一训练数据集合，其中所述第一训练数据集合包括至少一组图像数据集；对所述第一训练数据集合进行旋转自监督处理，以形成相应的第二训练数据集合；基于所述第二训练数据集合，确定与所述第二训练数据集合相对应的初始训练数据集合；通过所述第二训练数据集合，对所述第一训练数据处理网络进行训练，并通过所述初始训练数据集合，对所述第二训练数据处理网络进行训练，以确定与所述初始训练数据集合相匹配的梯度参数；基于与所述初始训练数据集合相匹配的梯度参数，对所述初始训练数据集合进行更新，确定与目标神经网络模型相匹配的目标训练数据集合。
73.下面对本发明实施例的神经网络模型的训练数据处理装置的结构做详细说明，神经网络模型的训练数据处理装置可以各种形式来实施，如带有目标神经网络模型训练功能的专用终端，也可以为设置有目标神经网络模型训练功能的服务器，例如前序图1中的服务器200。图2为本发明实施例提供的神经网络模型的训练数据处理装置的组成结构示意图，可以理解，图2仅仅示出了神经网络模型的训练数据处理装置的示例性结构而非全部结构，
根据需要可以实施图2示出的部分结构或全部结构。
74.本发明实施例提供的神经网络模型的训练数据处理装置包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。神经网络模型的训练数据处理装置中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。
75.其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
76.可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端(如10
‑
1)的操作。这些数据的示例包括：用于在终端(如10
‑
1)上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
77.在一些实施例中，本发明实施例提供的神经网络模型的训练数据处理装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的神经网络模型的训练数据处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的神经网络模型的训练数据处理。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(asic，application specific integrated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件(cpld，complex programmable logic device)、现场可编程门阵列(fpga，field
‑
programmable gate array)或其他电子元件。
78.作为本发明实施例提供的神经网络模型的训练数据处理装置采用软硬件结合实施的示例，本发明实施例所提供的神经网络模型的训练数据处理装置可以直接体现为由处理器201执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器201以及连接到总线205的其他组件)完成本发明实施例提供的神经网络模型的训练数据处理。
79.作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(dsp，digital signal processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
80.作为本发明实施例提供的神经网络模型的训练数据处理装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路(asic，application specific integrated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件(cpld，complex programmable logic device)、现场可编程门阵列(fpga，field
‑
programmable gate array)或其他电子元件执行实现本发明实施例提供的神经网络模型的训练数据处理。
81.本发明实施例中的存储器202用于存储各种类型的数据以支持神经网络模型的训
练数据处理装置的操作。这些数据的示例包括：用于在神经网络模型的训练数据处理装置上操作的任何可执行指令，如可执行指令，实现本发明实施例的从神经网络模型的训练数据处理的程序可以包含在可执行指令中。
82.在另一些实施例中，本发明实施例提供的神经网络模型的训练数据处理装置可以采用软件方式实现，图2示出了存储在存储器202中的神经网络模型的训练数据处理装置，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括神经网络模型的训练数据处理装置，神经网络模型的训练数据处理装置中包括以下的软件模块：信息传输模块2081和信息处理模块2082。当神经网络模型的训练数据处理装置中的软件模块被处理器201读取到ram中并执行时，将实现本发明实施例提供的神经网络模型的训练数据处理，下面介绍本发明实施例中神经网络模型的训练数据处理装置中各个软件模块的功能，其中，
83.信息传输模块2081，用于获取第一训练数据集合，其中所述第一训练数据集合包括至少一组图像数据集；
84.信息处理模块2082，用于对所述第一训练数据集合进行旋转自监督处理，以形成相应的第二训练数据集合；
85.所述信息处理模块2082，用于基于所述第二训练数据集合，确定与所述第二训练数据集合相对应的初始训练数据集合；
86.所述信息处理模块2082，用于通过所述第二训练数据集合，对所述第一训练数据处理网络进行训练，并通过所述初始训练数据集合，对所述第二训练数据处理网络进行训练，以确定与所述初始训练数据集合相匹配的梯度参数；
87.所述信息处理模块2082，用于基于与所述初始训练数据集合相匹配的梯度参数，对所述初始训练数据集合进行更新，确定与目标神经网络模型相匹配的目标训练数据集合。
88.本发明所提供的技术方案使用了人工智能技术，人工智能ai(artificial intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
89.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
90.机器学习(machine learning，ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
91.随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
92.结合图2示出的训练样本生装置说明本发明实施例提供的神经网络模型的训练数据处理方法，在介绍本发明实施例提供的神经网络模型的训练数据处理方法之前，首先介绍相关技术中，对于大规模训练数据的处理过程中，其中，为了使得训练数据所对应的目标神经网络适配联邦学习、连续学习、超参优化等实际应用场景，需要对大规模的训练数据进行压缩，例如1)通过核心集构建(coreset construction)方法，该类方法从完整数据集中选取最有信息量的样本，使得模型在这些样本上训练性能尽可能接近完整数据集，2)通过主动学习(active learning)进程从完整无标注的数据集中选取最具价值样本进行标注，尽可能降低标注成本；3)通过数据集蒸馏(dataset distillation)的方法，将完整数据集蒸馏为一个小规模合成数据集，使其尽可能覆盖原始数据集的所有信息。但是这些方案中，核心集构建和主动学习进程是从完整的数据集中选择样本，因此，未被选择的样本所含有的信息则会被直接丢弃，不能够保证训练数据的完整性，数据集蒸馏无法对未经过数据标注的训练数据进行处理，同时对于数据规模较大的训练数据的处理时间过长，加重了硬件设备的计算量，使得硬件成本上升。
93.为解决这一相关技术中的缺陷，参见图3，图3为本发明实施例提供的神经网络模型的训练数据处理一个可选的流程示意图，可以理解地，图3所示的步骤可以由运行神经网络模型的训练数据处理装置的各种电子设备执行，例如可以是如带有样本生成功能的专用终端、带有目标神经网络模型训练功能的服务器或者服务器集群。其中，终端1和终端2可以位于不同的图像处理环境中，例如，终端1可以位于人脸表情的图像识别环境中，终端2可以位于人脸年龄的图像识别环境中，完整的训练样本可以为总数据量为100gb的人脸图像，所获取的目标训练数据集1和目标训练数据集2的数据体积可以为10g(仅占用十分之一的硬件存储空间)，通过本技术所提供的训练数据处理方法，目标训练数据集1和目标训练数据集2可以基于完整的训练样本获得，但是完整的训练样本所包含的训练数据并不完全一致，可以实现针对不同使用场景中的目标神经网络的训练，以获得与完整训练样本相同的训练效果，下面针对图3示出的步骤进行说明。
94.步骤301：神经网络模型的训练数据处理装置获取第一训练数据集合，其中所述第一训练数据集合包括至少一组无标注的图像数据集。
95.其中，如果对图像数据集进行标注，会提高训练数据生成过程的人工成本，同时经过数据标注处理的图像数据集并不能够适配目标神经网络模型，由于目标神经网络模型的使用环境的种类复杂，因此，在传统的数据蒸馏处理中，通常会由专业人士进行人工数据标注同时，很多实际场景中，同一个目标可以有很多种标注信息，相同的数据标注内容，并不能够有效对这种一对多问题进行处理，用户体验差，因此，本技术所提供的神经网络模型的训练数据处理方法，对通用的无标注数据集进行处理，所获取的第一训练数据集合包括至少一组无标注的图像数据集，以实现对无标注的图像数据集的数据蒸馏处理。
96.步骤302：神经网络模型的训练数据处理装置对所述第一训练数据集合进行旋转自监督处理，以形成相应的第二训练数据集合。
97.在本发明的一些实施例中，对所述第一训练数据集合进行旋转自监督处理，以形成相应的第二训练数据集合，可以通过以下方式实现：
98.对所述第一训练数据集合中的训练图像进行中心固定角度旋转；将经过固定角度旋转后的第一训练数据集合中的训练图像进行随机缩放；将随机缩放后所述第一训练数据集合中的训练图像进行随机平移，形成相应的第二训练数据集合。其中，参考图4，图4为本发明实施例中第一训练数据集合进行旋转自监督处理示意图，对于给定的图像数据集合x，可以将每一个作为训练样本的图像分别旋转0度，90度，180度和270度后输入神经网络模型，从而构建一个4分类问题对目标神经网络模型进行训练。
99.由于目标神经网络的使用环境多种多样，以目标神经网络为医疗图像处理模型为例，对大量无标注的医疗图像数据的处理过程中，图像处理模型的所处理的是同一目标区域的待分割医疗图像的集合，可以为同一患者的病灶处的ct图像集合或者内窥镜图像集合。为了实现封装于医疗设备中的医疗图像处理模型能够对医疗图像进行处理，减少训练数据所占用的医疗设备的硬件存储空间，进一步地，可以对所述医疗图像进行旋转自监督处理：通过进行中心固定角度旋转和随机缩放处理，增大方向性和不同大小规模下的信息价值。其中，所输入的医疗图像的类型可以是二维平面图像或三维图像；例如：电子计算机断层扫描(ct computed tomography)磁共振成像(mri magnetic resonance imaging)超声，x光，心电图，脑电图，光学摄影等等由医学仪器生成的图像。所要分割并输出展示的是医疗图像中的感兴趣区域roi(region of interest)例如病灶组织或病变区域的图像。
100.为了进一步地使得经过数据蒸馏的训练数据对于复杂数据结构的神经网络模型的训练获得更好的模型处理效果，还可以在经过固定角度旋转后的第一训练数据集合中的训练图像中插入噪声，所述噪声包括固定噪声和动态噪声中的至少一种，在本发明的一些实施例中，确定与所述目标神经网络模型的使用环境相匹配的动态噪声阈值；根据所述动态噪声阈值对所述第一训练数据集合进行噪声添加处理，以形成与所述动态噪声阈值相匹配的第二训练数据集合；其中，以目标神经网络模型为图像处理模型为例，由于图像处理模型的使用环境不同，与所述图像处理模型的使用环境相匹配的动态噪声阈值也不相同，例如，论文图像处理的使用环境中，与所述图像处理模型的使用环境相匹配的动态噪声阈值需要小于用户浏览娱乐信息环境中的动态噪声阈值。
101.在本发明的一些实施例中，还可以确定与所述目标神经网络模型相对应的固定噪声阈值，并根据所述固定噪声阈值对所述第一训练数据集合进行噪声添加处理，以形成与所述固定噪声阈值相匹配的第二训练数据集合，其中，中，以目标神经网络模型为图像处理模型为例，由于图像处理模型的使用环境不同，当图像处理模型固化于相应的硬件机构中，例如医疗终端，使用环境为医疗图像分割和状态图像显示时，由于噪声较为单一，通过固定图像处理模型相对应的固定噪声阈值，能够有效提升图像处理模型的训练速度，减少用户的等待时间，使得用户在使用本技术所提供的神经网络模型的训练数据处理方法时，获得与大规模训练数据的相同的训练效果，同时压缩神经网络模型的训练时间。
102.步骤303：神经网络模型的训练数据处理装置基于所述第二训练数据集合，确定与所述第二训练数据集合相对应的初始训练数据集合。
103.在本发明的一些实施例中，基于所述第二训练数据集合，确定与所述第二训练数据集合相对应的初始训练数据集合，可以通过以下方式实现：
104.基于所述目标神经网络模型的使用环境，确定与所述目标神经网络模型相匹配的样本采集间隔参数，并根据所述样本采集间隔参数在所述第二训练数据集合中采集图像数据，形成初始训练数据集合；或者在所述第二训练数据集合中随机采集图像数据，形成初始训练数据集合。其中，神经网络模型的训练数据处理装置可以从图像数据源中随机采集或按照间隔固定帧数采集出多个样本数据。为了保证获得输入的样本特征向量的维度相同，神经网络模型的训练数据处理装置可采集预设数量的多个样本数据。预设数量的具体取值可以是神经网络模型的训练数据处理装置预先设定的。或者，神经网络模型的训练数据处理装置获得数据源中每个样本数据的样本特征向量，从获得多个样本特征中随机采集预设数量的3个样本特征向量即可，并且可以进一步地，根据联邦学习、连续学习、超参优化等实际应用场景灵活的配置初始训练数据集合的采集方式。
105.步骤304：神经网络模型的训练数据处理装置通过所述第二训练数据集合，对所述第一训练数据处理网络进行训练，并通过所述初始训练数据集合，对所述第二训练数据处理网络进行训练，以确定与所述初始训练数据集合相匹配的梯度参数。
106.在本发明的一些实施例中，通过所述第二训练数据集合，对所述第一训练数据处理网络进行训练，并通过所述初始训练数据集合，对所述第二训练数据处理网络进行训练，以确定与所述初始训练数据集合相匹配的梯度参数，可以通过以下方式实现：
107.通过所述第二训练数据集合，对所述第一训练数据处理网络进行训练，确定所述第一训练数据处理网络对应的第一梯度参数；通过所述初始训练数据集合，对所述第二训练数据处理网络进行训练，确定所述第二训练数据处理网络对应的第二梯度参数；基于所述第一梯度参数和第二梯度参数，进行梯度参数匹配处理，确定与所述初始训练数据集合相匹配的梯度参数。其中，参考图5，图5为本发明实施例中训练数据处理过程示意图，对于所获取的定完整数据集x，一个本技术所提供的神经网络模型的训练数据处理方法，利用数据集蒸馏获得一个小规模数据集参考公式1，使得分别在x和上训练得到的模型θ1和θ2在测试集t上拥有相近的性能,
[0108][0109]
其中l表示训练网络时所采用的损失函数，可以是交叉熵或最小二乘损失函数等。然而，如公式1中的优化问题所示，模型参数θ1是在生成数据集上多步更新之后所获得的，进而利用θ2在完整数据集上计算损失函数时会使得计算图非常庞大，导致梯度反向传播对生成数据的更新非常低效。在此情况下，将该方法应用于较大规模数据集时将会面临非常高昂的蒸馏成本。通过本技术的神经网络模型的训练数据处理方法采用梯度匹配的方式，实现对大规模的无标注训练数据的处理。
[0110]
步骤305：神经网络模型的训练数据处理装置基于与所述初始训练数据集合相匹配的梯度参数，对所述初始训练数据集合进行更新，确定与目标神经网络模型相匹配的目标训练数据集合。
[0111]
继续参考图6，图6为本发明实施例提供的神经网络模型的训练数据处理一个可选的流程示意图，可以理解地，图6所示的步骤可以由运行神经网络模型的训练数据处理装置的各种电子设备执行，例如可以是如带有目标神经网络模型训练功能的专用终端、带有目标神经网络模型训练功能的服务器或者服务器集群，以实现基于第一梯度参数和第二梯度
参数，进行梯度参数匹配处理，确定与初始训练数据集合相匹配的梯度参数，其中，服务器a和终端2可以位于不同的图像处理环境中，例如，服务器a可以位于医疗终端的ct图像识别环境中，服务器b可以位于b超图像识别环境中，完整的训练样本可以为总数据量为100tb的医疗图像集合(例如某一医院的服务器中所保存的各个科室的医疗图像的集合)，所获取的目标训练数据集a和目标训练数据集b的数据体积可以为10g(仅占用千分之一的硬件存储空间，便于便携式设备的训练过程)，通过本技术所提供的训练数据处理方法，目标训练数据集a和目标训练数据集b可以基于完整的医疗图像训练样本获得，但是完整的训练样本所包含的训练数据并不完全一致，可以实现针对不同使用场景中的目标神经网络(针对不同科室的相同医疗设备，或者同一科室的不同医疗设备)的训练，以获得与完整训练样本相同的训练效果，节省硬件设备的存储资源，下面针对图6示出的步骤进行说明。
[0112]
步骤601：神经网络模型的训练数据处理装置通过所述第二训练数据集合，确定通过第一训练数据处理网络进行反向传播时，所述第一训练数据处理网络中每一层神经网络参数的梯度。
[0113]
其中，在本发明的一些实施例中，第一训练数据处理网络可以为训练好的神经网络，并且第一训练数据处理网络可以为规模较大的神经网络，例如：第一训练数据处理网络的网络参数的数量大于某一数值，但本发明实施例对此不作限定。可选地，第一训练数据处理网络可以为卷积神经网络(cnn convolutional neural network)、深度神经网络(dnn deep neural network)或循环神经网络(rnn recurrent neural network)等，本发明实施例对第一训练数据处理网络的类型不作限定。第一训练数据处理网络可以为适用于不同的计算机视觉任务的神经网络，例如：目标识别任务、目标分类任务、目标检测任务或姿态估计任务等。第一训练数据处理网络也可以为适用于不同的应用场景的神经网络，例如：安防监控场景、人脸解锁场景、智能驾驶或遥感场景等，本发明实施例对第一训练数据处理网络的适用范围不作限定。可选地，第一训练数据处理网络的网络结构可以根据计算机视觉任务设计，或者，第一训练数据处理网络的网络结构可以采用现有的网络结构的至少一部分，例如：深度残差网络或者，视觉几何组网络(vgg net visual geometry group network)等，本发明实施例对第一训练数据处理网络的网络结构不作限定。
[0114]
步骤602：神经网络模型的训练数据处理装置基于所述第一训练数据处理网络中每一层神经网络参数的梯度，确定第一训练数据处理网络对应的第一损失函数。
[0115]
步骤603：神经网络模型的训练数据处理装置基于所述第一训练数据处理网络对应的第一损失函数，确定所述第一训练数据处理网络对应的第一梯度参数。
[0116]
步骤604：神经网络模型的训练数据处理装置通过所述初始训练数据集合，确定通过第二训练数据处理网络进行反向传播时，所述第二训练数据处理网络中每一层神经网络参数的梯度。
[0117]
步骤605：神经网络模型的训练数据处理装置基于所述第二训练数据处理网络中每一层神经网络参数的梯度，确定第二训练数据处理网络对应的第二损失函数。
[0118]
步骤606：神经网络模型的训练数据处理装置基于所述第二训练数据处理网络对应的第二损失函数，确定所述第二训练数据处理网络对应的第二梯度参数。
[0119]
在本发明的一些实施例中，可以基于与所述初始训练数据集合相匹配的梯度参数，对所述初始训练数据集合进行迭代更新，直至所述第一梯度参数和第二梯度参数的距
离值达到距离阈值；确定所述第一梯度参数和第二梯度参数的距离值达到距离阈值时，经过更新的初始训练数据集合作为与目标神经网络模型相匹配的目标训练数据集合。参考图7，图7为本发明实施例中训练数据处理过程的梯度参数匹配示意图，其中，在梯度参数的匹配过程中，首先分别使用完整数据x和生成数据分别独立在两个神经网络模型中分别进行前向传播，然后通过反向传播计算损失函数对于每一层参数处的梯度值参数，通过梯度值参数的调整使得所生成的小规模的训练数据产生的梯度参数能够与完整的训练数据(大规模的数据集)产生的梯度参数接近(优选状态为梯度参数一致)，从而对所要进行训练的目标神经网络模型起到相同的训练效果。通过对两个不同神经网络模型中的梯度参数之间距离(可选的为欧式距离或余弦相似度距离)计算损失函数，反向传播对生成数据进行更新优化。
[0120]
下面以确定脑出血病例的医疗图像的处理为例对本发明所提供的神经网络模型的训练数据处理方法进行说明，其中，形成医疗影像的各种图像在不断产生，例如，随着ct平扫图像，核磁共振mri图像不断拍摄而不断产生，进而成为大量的训练数据，亟待需要借助于分类预测的执行实现大规模分类和识别。同时，识别效果准确的医疗图像处理模型需要大量的训练数据，对于便携式携带的智能医疗设备，存储大量的训练样本会提升设备的硬件成本，便携式的智能医疗设备在使用以及训练过程中，可以参与联邦学习、连续学习、超参优化等实际应用场景以便于及时地更新所封装的医疗图像处理模型，获得更加准确的辅助诊断信息。其中，1)联邦学习中客户端与服务端的数据传输会带来高昂的通信成本；2)连续学习中随着新任务数量的不断增加，对于旧任务的数据存储成本和对新模型的训练成本均会越来越大；3)在超参数优化中，使用完整的数据集对一组超参数进行评估所耗费的时间较长，不利于智能医疗设备的大规模使用。
[0121]
继续结合图2示出的神经网络模型的训练数据处理装置说明本发明实施例提供的神经网络模型的训练数据处理方法，参见图8，图8为本发明实施例提供的神经网络模型的训练数据处理方法一个可选的流程示意图，其中，医疗图像处理模型(不同部位的超声图像和ct图像)使用之前，需要对医疗图像处理模型进行训练，以确定医疗图像处理模型的参数，实现初始化，其中，例如，单一医疗图像处理(仅针对某一科室的疾病类型诊断)的使用环境中，与所述医疗图像处理模型的使用环境相匹配的动态噪声阈值需要小于急诊科室或者社区全科门诊的环境中的动态噪声阈值。由于训练样本来源于不同的数据源，数据源中包括各类型应用场景的数据作为相应的训练本的数据来源，例如，本发明所提供的医疗图像处理模型可以作为软件模块封装于移动检测电子设备中，也可以封装于不同的固定医疗检查设备中(包括但不限于：手持诊断仪，病房中央监测系统，床边监测系统)，当然也可以固化于智能机器人的硬件设备中，针对这些医疗图像处理模型的不同使用场景，可以使用相对应的训练样本对医疗图像处理模型进行针对性的训练。
[0122]
可以理解地，图8所示的步骤可以由运行神经网络模型的训练数据处理装置的各种电子设备执行，例如可以是如带有医疗图像处理功能的专用终端、服务器或者服务器集群。下面针对图8示出的步骤进行说明。
[0123]
步骤801：获取无标注的训练数据集合，并进行旋转自监督处理。
[0124]
其中，第一训练数据集合包括所述目标对象的同一目标区域的不同医疗图像的集合。集合前序图7所示，本技术的神经网络模型的训练数据处理过程中，基于梯度匹配的数
据集蒸馏中，蒸馏过程仍然要求对完整数据集x中所有数据的标签是已知的，即对两个网络θ1和θ2的训练都采用有监督学习中的分类损失函数，无法实现对无标注样本的数据蒸馏。因此，可以通过采用自监督任务对两个网络进行训练，然后计算梯度并用以梯度匹配，解决不能对于大规模无标注训练数据处理的缺陷。
[0125]
进一步地，还可以使用深度无监督聚类算法。该方法通过自编码器将数据从高维空间映射至低维空间，然后利用聚类算法对映射得到的低维向量进行聚类，并利用聚类后新的数据分布反向更新神经网络参数和聚类中心，实现自监督的对大规模无标注训练数据处理。
[0126]
步骤802：根据医疗图像的处理环境确定初始训练数据集合。
[0127]
步骤803：根据医疗图像的处理环境确定第一训练数据处理网络和第二训练数据处理网络的模型结构。
[0128]
步骤804：确定与初始训练数据集合相匹配的梯度参数。
[0129]
步骤805：基于与初始训练数据集合相匹配的梯度参数，通过梯度参数匹配对初始生成训练数据集合进行迭代更新，直至达到相应的距离阈值时，确定与医疗图像处理模型相匹配的目标训练数据集合。
[0130]
步骤806：通过目标训练数据集合对医疗图像处理模型进行训练，确定图像处理模型的参数。
[0131]
本发明具有以下有益技术效果：
[0132]
通过获取第一训练数据集合，其中所述第一训练数据集合包括至少一组图像数据集；对所述第一训练数据集合进行旋转自监督处理，以形成相应的第二训练数据集合；基于所述第二训练数据集合，确定与所述第二训练数据集合相对应的初始训练数据集合；通过所述第二训练数据集合，对所述第一训练数据处理网络进行训练，并通过所述初始训练数据集合，对所述第二训练数据处理网络进行训练，以确定与所述初始训练数据集合相匹配的梯度参数；基于与所述初始训练数据集合相匹配的梯度参数，对所述初始训练数据集合进行更新，确定与目标神经网络模型相匹配的目标训练数据集合。由此，能够在减少训练数据总量和无需重新训练的前提下，稳定提高规模较小的训练数据对神经网络模型训练的准确率，且对于大部分神经网络模型和数据普遍适用，同时规模较小的训练数据，减轻目标神经网络模型的过拟合，增强目标神经网络模型的泛化能力，便于将所训练的目标神经网络模型部署于移动终端中，实现目标神经网络模型的大规模应用。
[0133]
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。