基于人工智能训练深度学习网络的方法及使用其的学习设备与流程

基于人工智能训练深度学习网络的方法及使用其的学习设备
1.本技术是2020年3月26日提交的美国临时申请第63/000,202的非临时申请，其全部内容通过引用并入本文。
技术领域
2.本发明涉及一种训练深度学习网络的方法和使用该方法的学习设备，更具体地，涉及一种基于人工智能(ai)训练深度学习网络的方法及使用该方法的学习设备。


背景技术：

3.近年来，正进行针对利用机器学习来执行物体识别等方法的研究。
4.深度学习(deep learning)是一种利用输入层和输出层之间具有多个隐藏层的神经网络的机器学习，其具有很高的识别性能。
5.另外，使用深度学习的神经网络(neural network)通常通过利用损失的反向传播(backpropagation)来进行学习。
6.为了训练这种深度学习网络，现有技术根据数据收集策略收集原始数据，人类标注者对收集的原始数据进行标注以生成新的训练数据。然后，使用新的训练数据和现有训练数据来训练深度学习网络，然后人类工程师参考性能分析结果修改和改进用于训练深度学习网络的学习算法。另外，参考分析结果更改数据采集策略并重新检查是否有错误的标注，并进行相应修改。
7.但是，在这样的现有方法中，随着深度学习网络性能的提高，有助于训练的困难样本越来越少，因此使用新的训练数据来提高深度学习网络性能的效果降低，并且经人类标注者的数据标注投资回报下降。
8.另外，在现有方法中，当把人类标注者标注的新训练数据和现有训练数据以设定比例反应时现有训练数据逐渐增加，随之利用新训练数据的深度学习网络学习效果逐渐降低。
9.另外，在现有方法中，仅通过人类工程师的性能分析结果是无法知道学习算法、数据收集策略、训练数据等学习模型中的哪一部分出现问题以及需要进行改进。即，进行通过改变一个微小的元素来比较性能的低效试错，或者通过直接一一查看训练后的深度学习网络结果值来推测原因以找出更具体的原因，因此需要依赖人类工程师的经验和判断。


技术实现要素：

10.技术问题
11.本发明的目的在于解决所有上述问题。
12.本发明的另一目的在于提高数据标注的投资回报。
13.本发明的另一目的在于提高利用新训练数据的深度学习网络学习效果。
14.本发明的另一目的在于通过学习的深度学习网络输出值来提供用于性能分析的有见地的信息(insightful information)。
15.本发明的另一目的在于最小化训练深度学习网络中的人为干预。
16.技术方案
17.本发明的特征用于实现上述本发明的目的和后述本发明的特征效果，其结构如下。
18.根据本发明一实施例提供一种基于人工智能训练深度学习网络的方法，其包括：(a)学习设备将未标注数据输入到主动学习网络中，以使所述主动学习网络提取子未标注数据，并将所述子未标注数据输入到自动标注网络中，以使所述自动标注网络对每个所述子未标注数据进行标注，从而生成新标注数据，其中，所述子未标注数据被判断为是所述未标注数据中有助于训练现有学习网络(其为利用现有标注数据已进行训练的状态)的困难样本；(b)所述学习设备使终生学习网络对所述新标注数据和所述现有标注数据进行采样，从而生成包括已采样新标注数据和已采样现有标注数据的小批量，使其在利用所述小批量训练所述现有学习网络时，通过将所述已采样新标注数据全部反映到训练中，而仅在所述现有学习网络的性能下降时才将所述已采样现有标注数据反映到训练中来训练所述现有学习网络，从而使其生成已训练学习网络；以及(c)所述学习设备使可解释分析网络通过所述已训练学习网络生成对应于验证数据的有见地的结果并将所述有见地的结果传送给至少一个人类工程师，以使所述人类工程师通过参考所述有见地的结果来传送分析所述已训练学习网络性能的分析结果，从而参考所述分析结果修改和改进所述主动学习网络和所述终生学习网络中的至少一个。
19.所述步骤(a)中，所述学习设备使所述自动标注网络对每个所述子未标注数据进行标注以生成中间标注数据，使其通过评估所述中间标注数据的不确定性来生成已预测损失，并使其将已预测损失大于或等于损失阈值的第一中间标注数据传送给至少一个人类标注者，以使所述人类标注者验证所述第一中间标注数据并生成已验证标注数据，使其将所述已验证标注数据和所述预测损失小于所述损失阈值的第二中间标注数据生成为所述新标注数据。
20.所述学习设备将学习用数据输入到所述自动标注网络，使得所述自动标注网络通过对所述学习用数据进行标注来生成学习用标注数据，并使其通过评估对应于所述学习用数据的学习用不确定性来生成学习用已预测损失，所述学习设备的状态为通过对所述学习用标注损失和损失预测误差进行反向传播来训练所述自动标注网络的状态，其中，所述学习用标注损失参考所述学习用标注数据及其对应的gt，所述损失预测误差因所述学习用标注损失和所述学习用已预测损失的差异而生成。
21.所述学习设备利用准确度损失使所述自动标注网络终生学习，所述准确度损失参考所述已验证标注数据和所述第一中间标注数据。
22.所述步骤(b)中，在通过与所述现有学习网络的现有输出信息对应的现有损失进行平均而计算出的平均损失被获取为基础损失并且其中所述现有学习网络对应于所述现有标注数据的情况下，所述学习设备使所述终生学习网络执行以下操作，使其生成所述小批量至所述已采样新标注数据和所述已采样现有标注数据的比例为1:1；使其利用所有新损失训练所述现有学习网络，并且其中所述新损失参考与所述已采样新标注数据对应的所述现有学习网络的已采样新输出信息；使其利用现有损失中大于或等于所述基础损失的特定现有损失训练所述现有学习网络，并且其中所述基础损失参考与所述已采样现有标注数
据对应的所述现有学习网络的已采样现有输出信息。
23.所述步骤(c)中，所述学习设备使所述可解释分析网络验证对与验证数据对应的所述已训练学习网络的验证输出信息进行符合性评估以生成像素对比说明，并将所述像素对比说明获取为所述有见地的结果。
24.所述步骤(a)中，所述学习设备使所述主动学习网络对与所述未标注数据对应的所述自动标注网络的第一标注输出信息以及所述现有学习网络的第二标注输出信息进行比较，从而使其将与特定差异对应的特定未标注数据提取为所述子未标注数据，其中，所述特定差异为在所述第一标注输出信息和所述第二标注输出信息的差异中大于或等于差异阈值的差异。
25.所述步骤(a)中，所述学习设备通过第一转换方法至第n转换方法将所述未标注数据转换为已第一转换未标注数据至已第n转换未标注数据，并将所述已第一转换未标注数据至已第n转换未标注数据输入到所述主动学习网络中，以使所述主动学习网络评估与每个所述已第一转换未标注数据至所述已第n转换未标注数据对应的所述现有学习网络的已第一转换输出信息至已第n转换输出信息的方差，并使其将与所述方差中大于或等于方差阈值的特定方差对应的特定未标注数据提取为所述子未标注数据。
26.所述步骤(a)中，所述学习设备使所述主动学习网络通过所述现有学习网络对所述未标注数据的置信度进行测量，并使其将按照置信度递增顺序达到预设数量的特定未标注数据提取为所述子未标注数据。
27.根据本发明另一实施例提供一种基于人工智能训练深度学习网络的学习设备，其包括：存储器，其中存储用于基于人工智能训练深度学习网络的指令；以及处理器，其根据存储于所述存储器的指令执行操作，所述操作用于基于人工智能训练深度学习网络，其中，所述处理器执行以下过程：(i)将未标注数据输入到主动学习网络中以使所述主动学习网络提取子未标注数据，并将所述子未标注数据输入到自动标注网络中以使所述自动标注网络对每个所述子未标注数据进行标注，从而生成新标注数据，其中，所述子未标注数据被判断为是所述未标注数据中有助于训练现有学习网络(其为利用现有标注数据已进行训练的状态)的困难样本；(ii)使终生学习网络对所述新标注数据和所述现有标注数据进行采样，从而生成包括已采样新标注数据和已采样现有标注数据的小批量，使其在利用所述小批量训练所述现有学习网络时，通过所述已采样新标注数据全部反映到训练中，而仅在所述现有学习网络的性能下降时才将所述已采样现有标注数据反映到训练中来训练所述现有学习网络，从而使其生成已训练学习网络；以及(iii)使可解释分析网络通过所述已训练学习网络生成对应于验证数据的有见地的结果并将所述有见地的结果传送给至少一个人类工程师，以使所述人类工程师通过参考所述有见地的结果来传送分析所述已训练学习网络性能的分析结果，从而参考所述分析结果修改和改进所述主动学习网络和所述终生学习网络中的至少一个。
28.所述过程(i)中，所述处理器使所述自动标注网络对每个所述子未标注数据进行标注以生成中间标注数据，使其通过评估所述中间标注数据的不确定性来生成已预测损失，并使其将已预测损失大于或等于损失阈值的第一中间标注数据传送给至少一个人类标注者，以使所述人类标注者验证所述第一中间标注数据并生成已验证标注数据，使其将所述已验证标注数据和所述预测损失小于所述损失阈值的第二中间标注数据生成为所述新
标注数据。
29.所述处理器将学习用数据输入到所述自动标注网络，使得所述自动标注网络通过对所述学习用数据进行标注来生成学习用标注数据，并使其通过评估对应于所述学习用数据的学习用不确定性来生成学习用已预测损失，所述学习设备的状态为通过对所述学习用标注损失和损失预测误差进行反向传播来训练所述自动标注网络的状态，其中，所述学习用标注损失参考所述学习用标注数据及其对应的gt，所述损失预测误差由所述学习用标注损失和所述学习用已预测损失的差异生成。
30.所述处理器利用准确度损失使所述自动标注网络终生学习，所述准确度损失参考所述已验证标注数据和所述第一中间标注数据。
31.所述过程(ii)中，在通过与所述现有学习网络的现有输出信息对应的现有损失进行平均而计算出的平均损失被获取为基础损失并且其中所述现有学习网络对应于所述现有标注数据的情况下，所述处理器使所述终生学习网络执行以下操作，使其生成所述小批量至所述已采样新标注数据和所述已采样现有标注数据的比例为1:1；使其利用所有新损失训练所述现有学习网络，并且其中所述新损失参考与所述已采样新标注数据对应的所述现有学习网络的已采样新输出信息；使其利用现有损失中大于或等于所述基础损失的特定现有损失训练所述现有学习网络，并且其中所述基础损失参考与所述已采样现有标注数据对应的所述现有学习网络的已采样现有输出信息。
32.所述过程(iii)中，所述处理器使所述可解释分析网络验证对与验证数据对应的所述已训练学习网络的验证输出信息进行符合性评估以生成像素对比说明，并将所述像素对比说明获取为所述有见地的结果。
33.所述过程(i)中，所述处理器使所述主动学习网络对与所述未标注数据对应的所述自动标注网络的第一标注输出信息以及所述现有学习网络的第二标注输出信息进行比较，从而使其将与特定差异对应的特定未标注数据提取为所述子未标注数据，其中，所述特定差异为在所述第一标注输出信息和所述第二标注输出信息的差异中大于或等于差异阈值的差异。
34.所述过程(i)中，所述处理器通过第一转换方法至第n转换方法将所述未标注数据转换为已第一转换未标注数据至已第n转换未标注数据，并将所述已第一转换未标注数据至已第n转换未标注数据输入到所述主动学习网络中，以使所述主动学习网络评估与每个所述已第一转换未标注数据至所述已第n转换未标注数据对应的所述现有学习网络的已第一转换输出信息至已第n转换输出信息的方差，并使其将与所述方差中大于或等于方差阈值的特定方差对应的特定未标注数据提取为所述子未标注数据。
35.所述过程(i)中，所述处理器使所述主动学习网络通过所述现有学习网络对所述未标注数据的置信度进行测量，并使其将按照置信度递增顺序达到预设数量的特定未标注数据提取为所述子未标注数据。
36.有益效果
37.本发明从收集的原始数据中提取能够提高深度学习网络性能的困难样本并进行数据标注，从而可以提高数据标注的投资回报。
38.另外，本发明通过自动调整新训练数据与现有训练数据的最优反应率，可以最大化深度学习网络的学习效果。
39.另外，本发明通过从学习的深度学习网络的输出值提供用于性能分析的有见地的信息(insightful information)，可以提高人类工程师所做的性能分析准确性，并最小化性能分析所需时间。
40.另外，本发明通过最小化对深度学习网络学习的人为干预，可以节省用于深度学习网络学习的费用和时间。
附图说明
41.用于说明本发明实施例的以下附图仅仅是本发明实施例的一部分，本发明所属领域技术人员(以下简称“技术人员”)可以在不做出创造性工作的情况下，基于以下附图获得其它附图。
42.图1为示出根据本发明一实施例的基于人工智能训练深度学习网络的学习设备的示意图。
43.图2为示出根据本发明一实施例的基于人工智能训练深度学习网络的方法示意图。
44.图3为示出根据本发明一实施例的基于人工智能训练深度学习网络的方法中主动学习(active running)网络的操作过程示意图。
45.图4为示出根据本发明一实施例的基于人工智能训练深度学习网络的方法中主动学习网络的其它操作过程示意图。
46.图5为示出根据本发明一实施例的基于人工智能训练深度学习网络的方法中自动标注网络的操作过程示意图。
47.图6为示出根据本发明一实施例的基于人工智能训练深度学习网络的方法中自动标注(auto labeling)网络的训练过程示意图。
48.图7为示出根据本发明一实施例的基于人工智能训练深度学习网络的方法中终生学习(continuous learning)网络的操作过程示意图。
49.图8为示出根据本发明一实施例的基于人工智能训练深度学习网络的方法中可解释分析(explainable analysis)网络的操作过程示意图。
50.附图标记说明
51.1000：学习设备
52.1001：存储器
具体实施方式
53.以下，参考附图详细描述本发明，所述附图示意性示出可以实施本发明的特定实施例，以阐明本发明的目的、技术方案和优点。对这些实施例进行了充分详细的描述，以使技术人员能够实施本发明。
54.另外，在本发明的发明内容和权利要求中，术语“包括”及其变换并不旨在排除其它技术特征、附加件、组件或步骤。对于技术人员来说，本发明的其它目的、优点以及特性的一部分将通过本说明书，另一部分则通过本发明的实施例变得显而易见。以下示例和附图作为示例性实施例而提供，其并不旨在限制本发明。
55.另外，本发明涵盖本说明书中实施例的所有组合。应当理解，本发明的各种实施例
不同但无需相互排斥。例如，本说明书中描述的特定形状、结构以及特性可以针对一实施例，在不脱离本发明的技术构思和范围的情况下通过其它实施例实现。另外，应当理解，在不脱离本发明技术构思和范围的情况下，可以变更每个公开实施例的各个组件的位置或配置。因此，以下的详细描述并不具有限制性含义，在能够适当描述本发明范围的前提下，与本发明权利要求所述的范围等同的所有范围或者所附权利要求才能限定本发明的范围。附图中相似的参考编号在多个方面指代相同或相似的功能。
56.以下将参考附图详细描述本发明的优选实施例，以使本发明所属领域技术人员能够容易地实施本发明。
57.图1为示出根据本发明一实施例的基于人工智能训练深度学习网络的学习设备的示意图。参考图1，学习设备1000可以包括存储器1001和处理器1002，用于基于人工智能训练深度学习网络的指令存储于所述存储器1001，所述处理器1002根据存储于所述存储器1001的指令执行操作，所述操作用于基于人工智能训练深度学习网络。
58.具体地，学习设备1000可以通常利用计算设备和计算机软件(即，能够使计算设备以特定方式发挥功能的指令)的组合来实现所需的系统性能，例如，所述计算设备可以是包括计算机处理器、内存、存储器、输入设备和输出设备以及其它现有计算设备组件的设备；路由器、交换机等电子通信设备；网络附属存储(nas)和存储区域网络(san)等电子信息存储系统。
59.另外，计算设备的处理器可以包括mpu(micro processing unit)或cpu(central processing unit)，高速缓存(cache memory)、数据总线(data bus)等硬件配置。另外，计算设备可以进一步包括操作系统以及执行特定目的的应用程序的软件配置。
60.但是，并不排除计算设备不包括用于实施本发明的介质、处理器以及存储器集成的形式，即，集成处理器。
61.以下，参考图2描述利用如上所述组成的根据本发明一实施例的学习设备1000来基于人工智能训练深度学习网络的方法，所述学习设备1000基于人工智能训练深度学习网络。
62.首先，作为用于训练的原始数据的未标注(unlabeled)数据被收集后，学习设备1000可以将未标注数据输入到主动学习网络100中以使主动学习网络100提取子未标注数据，所述子未标注数据被判断为是未标注数据中有助于训练现有学习网络的困难样本数据。所述现有学习网络可以是利用现有标注数据已进行训练的状态。
63.此时，对训练现有学习网络有用的困难样本(hard example)可以是与原先被收集后用于训练深度学习网络的训练数据具有差异的数据。
64.另外，主动学习网络100可通过不确定性采样(uncertainty sampling)、委员会投票查询(query-by-committee)、期望模型改变(expected-mode-change)等各种方法，从未标注数据中提取作为困难样本的子未标注数据。
65.例如，参考图3描述主动学习网络100从未标注数据中提取子未标注数据的过程如下。
66.学习设备1000可以将未标注数据输入到主动学习网络100中，以使主动学习网络100比较与未标注数据对应的自动标注网络200的第一标注输出信息和现有学习网络400的第二标注输出信息，从而使其将对应于特定差异的特定未标注数据提取为子未标注数据，
所述特定差异是指第一标注输出信息和第二标注输出信息的差异中大于或等于差异阈值的差异。
67.即，学习设备1000可以将收集到的未标注数据输入到主动学习网络100中。
68.由此，主动学习网络100可以将未标注数据分别输入到自动标注网络200和现有学习网络400中。
69.由此，自动标注网络200可以对每个未标注数据进行标注，从而输出对应于每个未标注数据的第一标注信息。此时，第一标注信息可以是对应于未标注数据的gt(ground truth)，并且gt可以包括对象的区域信息、对象类别信息、像素类别信息、对象位置信息、点位置信息等各种信息。
70.另外，现有学习网络400可以对每个未标注数据进行学习操作，从而输出对应于每个未标注数据的第二标注信息。此时，第二标注信息可以是对未标注数据的识别结果，并且可以包括根据现有学习网络400欲执行任务的对象区域信息、对象类别信息、像素类别信息、对象位置信息、点位置信息等各种信息。
71.然后，主动学习网络100通过比较第一标注信息和第二标注信息确认第一标注信息和第二标注信息的差异，当第一标注信息和第二标注信息的差异小于差异阈值时，即，当确认第一标注信息和第二标注信息相同或相似时，可以将其对应的未标注数据从学习用数据中排除，而当确认第一标注信息和第二标注信息的差异大于或等于差异阈值时，即，当第一标注信息和第二标注信息的差异较大时，可以将其对应的未标注数据判断为困难样本并提取为子未标注数据。
72.作为另一实施例，参考图4描述主动学习网络100从未标注数据中提取子未标注数据的另一过程如下。
73.学习设备1000可以通过第一转换方法至第n转换方法将未标注数据转换为已第一转换未标注数据至已第n转换未标注数据，并将已第一转换未标注数据至已第n转换未标注数据输入到主动学习网络100中，以使主动学习网络100测量/评估与每个已第一转换未标注数据至已第n转换未标注数据对应的现有学习网络400的已第一转换输出信息至已第n转换输出信息的方差，并使其将与方差中大于或等于方差阈值的特定方差对应的特定未标注数据提取为子未标注数据。
74.即，学习设备1000可以通过第一转换方法至第n转换方法对未标注数据进行转换，从而生成已第一转换未标注数据至已第n转换未标注数据。
75.此时，转换方法可以通过对未标注数据进行大小调整，改变未标注数据的纵横比、改变色调等各种方法来执行。
76.另外，学习设备1000可以将已第一转换未标注数据至已第n转换未标注数据输入到现有学习网络400中。
77.由此，现有学习网络400可以通过对已第一转换未标注数据至已第n转换未标注数据进行学习操作，输出与已第一转换未标注数据至已第n转换未标注数据对应的已第一转换输出信息至已第n转换输出信息。
78.此时，已第一转换输出信息至已第n转换输出信息可以是对已第一转换未标注数据至已第n转换未标注数据的识别结果，其可以包括根据现有学习网络400欲执行任务的对象区域信息、对象类别信息、像素类别信息、对象位置信息、点位置信息等各种信息。
79.然后，主动学习网络100计算已第一转换未标注数据至已第n转换未标注数据的方差并确定对应于每个未标注数据的方差是否大于或等于方差阈值，然后将与大于或等于方差阈值的方差对应的特定未标注数据提取为子未标注数据，并将与小于方差阈值的方差对应的未标注数据排除在学习用数据之外。
80.另外，除根据图3和图4的方法之外，学习设备1000可以通过置信度抽样(confidence sampling)从未标注数据中提取子未标注数据。例如，学习设备1000可以使主动学习网络100通过现有学习网络400对未标注数据的置信度进行测量，并使其将按照置信度递增顺序达到预设数量的特定未标注数据提取为子未标注数据。
81.另外，学习设备1000通过将子未标注数据输入到自动标注网络200中，从而使自动标注网络200对每个子未标注数据进行标注，即，使其执行标注从而生成新标注数据。
82.即，参考图5，当子未标注数据通过学习设备1000输入时，自动标注网络200对每个子未标注数据执行标注(即，执行标注以生成gt))，从而生成中间(intermediate)标注数据。
83.另外，自动标注网络200可以通过评估中间标注数据的不确定性(uncertainty)来生成已预测损失。
84.即，自动标注网络200可以生成对应于中间标注数据的标注信息，并利用对应于标注信息的不确定性生成已预测损失。
85.然后，自动标注网络200可以对每个已预测损失和损失阈值进行比较，并将已预测损失大于或等于损失阈值的第一中间标注数据传送到至少一个人类标注者，以使人类标注者验证第一中间标注数据并生成已验证标注数据。另外，自动标注网络200可以将经人类标注者验证后标注信息被修改的已验证标注数据以及预测损失小于损失阈值的第二中间标注数据生成为新标注数据。另一方面，当利用已预测的损失将第一中间标注数据传送给人类标注者时，学习设备1000可以执行将已验证标注数据和第二中间标注数据生成为新标注数据的操作。
86.此时，自动标注网络200可以是已被训练成对未标注数据进行自动标注的状态。
87.例如参考图6，当获取包括gt的学习用数据时，学习设备2000可以将学习用数据输入到自动标注网络200中，使得自动标注网络200通过对学习用数据进行标注来生成学习用标注数据，并使其通过评估对应于学习用数据的学习用不确定性来生成学习用已预测损失。此时，学习设备2000可以与基于人工智能训练深度学习网络的学习设备1000相同，或者是仅用于训练自动标注网络200的另外的学习设备。
88.另外，学习设备2000参考自动标注网络200生成的学习用标注数据中的标注信息及其对应的gt来计算学习用标注损失，并参考学习用预测损失和学习用标注损失来计算损失预测误差。然后，学习设备2000可以通过反向传播训练自动标注网络200，所述反向传播利用学习用标注损失和损失预测误差。
89.另一方面，学习设备1000可以利用准确度损失使自动标注网络200终生学习，所述准确度损失参考已验证标注数据和第一中间标注数据。由此，可以持续提高自动标注网络200的性能。
90.然后，学习设备1000可以使终生学习网络300对新标注数据和现有标注数据进行采样，从而生成包括已采样新标注数据和已采样现有标注数据的小批量(minibatch)，并使
其在利用小批量(minibatch)训练现有学习网络400时，通过将已采样新标注数据全部反映到训练，而仅在现有学习网络400的性能下降时才将已采样现有标注数据反映到训练中来训练现有学习网络400，从而使其生成已训练学习网络(400a)。
91.即，学习设备1000可利用小批量(minibatch)训练现有学习网络400，从而生成已训练学习网络400a，但是，学习设备1000使已训练学习网络400a针对现有标注数据具有与现有学习网络400几乎相同的性能，而针对新标注数据则具有比现有学习网络400更优异的性能。此时，现有学习网络400可以是用于生成新深度学习模型的新学习网络，而不是现有已训练的学习网络。
92.例如，参考图7，终生学习网络300可以将存储在现有训练数据库的现有标注数据输入到现有学习网络400中，以使现有学习网络400对现有标注数据进行学习操作，从而使其输出现有输出信息，并将对现有输出信息进行平均的平均损失作为基础损失来获取。
93.然后，在用于训练现有学习网络400的每次迭代中，终生学习网络300可以对存储于新训练数据库中的新标注数据以及存储于现有训练数据库的现有标注数据进行采样，从而生成包括已采样新标注数据和已采样现有标注数据的小批量。此时，终生学习网络300对包括在小批量中的已采样新标注数据和已采样现有标注数据进行采样时，可以使其比例达到1:1。
94.另外，终生学习网络300可以将已采样新标注数据和已采样现有标注数据输入到现有学习网络400中，以使现有学习网络400对已采样新标注数据和已采样现有标注数据进行学习操作，从而输出对应于已采样新标注数据的已采样新输出信息以及对应于已采样现有标注数据的已采样现有输出信息。此时，现有学习网络400可以是用于生成新深度学习模型的新学习网络，而不是现有已训练的学习网络。
95.即，终生学习网络300可以通过参考已采样新输出信息及其对应的gt来生成新损失，并参考已采样现有输出信息及其对应的gt来生成现有损失。
96.然后，终生学习网络300通过反向传播(其利用新损失和现有损失)训练现有学习网络400，但是可以使其对新损失执行反向传播，而对现有损失则通过与基础损失进行比较后仅对大于或等于基础损失的特定现有损失执行反向传播，并且不对小于基础损失的其它现有损失执行反向传播。即，通过将新标注数据全部反映到训练中，而仅在性能下降时才将现有标注数据反映到训练中，可以使已训练学习网络400a针对现有标注数据具有与现有学习网络400几乎相同的性能，而针对新标注数据具有比现有学习网络400更优异的性能。
97.然后，学习设备1000使可解释分析网络500通过已训练学习网络400a生成对应于验证数据的有见地(insightful)的结果，并将有见地的结果传送给至少一个人类工程师，以使人类工程师通过参考有见地的结果来传送分析已训练学习网络400a性能的分析结果，从而可以参考分析结果修改和改进主动学习网络100和终生学习网络300中的至少一个。
98.即，学习设备1000可以将验证数据输入到已训练学习网络400a中，以使已训练学习网络400a输出对验证数据进行学习操作的验证输出信息，并且其可以将对应于验证数据的验证输出信息输入到可解释分析网络500中，以使可解释分析网络500参考验证输出信息输出用于分析已训练学习网络400a性能的有见地的结果。此时，学习设备1000将验证输出信息输入到可解释分析网络500中，但与此不同，可解释分析网络500可以将验证数据输入到已训练学习网络400a，以使已训练学习网络400a输出对验证数据进行学习操作的验证输
出信息，从而其获取验证输出信息。
99.此时，由可解释分析网络500生成的有见地的结果可以表示已训练学习网络400a性能显得较低的样本，例如检测错误或未检测的样本、该样本的检测错误或未检测的原因，例如输入数据中显着影响输出的区域、中间层中显着影响输出的特征。
100.例如，参考图8，如(a)所示将验证数据输入到已训练学习网络400a中，以使已训练学习网络400a对验证数据进行分类，然后如(b)所示将已训练学习网络400a的验证输出信息输入到可解释分析网络500中，以使可解释分析网络500对已训练学习网络400a的验证输出信息进行符合性评估，从而使其输出像素对比(pixel-wise)说明。即，当验证数据为验证图片时，针对每个图像像素，可以将第i个特征(feature)增加1时作为分类结果的“猫”分数变化量(即，特征符合性变化量)生成为图像中的第(x、y)个输入像素增加1时作为“猫”分数变化量的像素对比说明，从而输出有见地的结果。另一方面，除上述符合性评估之外，可解释分析网络500可以通过各种方法来生成对应于已训练学习网络400a输出值的有见地的结果。
101.然后，学习设备1000将由可解释分析网络500生成的有见地的结果传送至人类工程师，从而能够使人类工程师参考有见地的结果容易地对已训练学习网络400a性能进行分析。
102.另外，学习设备1000可以参考由人类工程师生成的性能分析结果修改和改进主动学习网络100，并修改和改进终生学习网络300的学习模型。
103.另外，如上所述的根据本发明的实施例能够以由各种计算机组件执行的程序命令形式实现并记录到计算机可读记录介质。所述计算机可读记录介质可以单独或组合包括程序命令、数据文件、数据结构等。记录到所述计算机可读记录介质的程序命令可以是专门为本发明设计或配置，或者是被计算机软件所属领域的技术人员已知并使用的程序命令。计算机可读记录介质的示例包括硬盘、软盘以及磁带等磁介质，cd-rom、dvd等光记录介质，光软盘(floptical disk)等磁光介质，rom、ram、闪存等为存储和执行程序命令而专门配置的硬件设备。程序命令的示例不仅包括诸如由编译器生成的机器语言代码，还包括计算机使用解释器等可执行的高级语言代码。所述硬件设备可以被配置为作为一个或多个软件模块来操作以执行根据本发明的处理，反之亦然。
104.以上，通过具体组件等特定事项、限定的实施例以及附图描述了本发明，但这些是为了有助于对本发明更全面的理解，本发明并不限于所述实施例，本发明所属领域技术人员可以根据这些描述来尝试各种修改和变化。
105.因此，本发明的技术构思不应局限于如上所述的实施例，本发明的权利要求及其相等或等同变换的所有内容都属于本发明的技术构思。