深度学习设备和包括深度学习设备的系统的制作方法

深度学习设备和包括深度学习设备的系统
1.相关申请的交叉引用
2.本技术要求于2021年5月21日向韩国知识产权局提交的韩国专利申请no.10-2021-0065586以及于2021年7月15日向韩国知识产权局提交的韩国专利申请no.10-2021-0092932的优先权，其全部公开内容通过引用合并于此。
技术领域
3.本公开涉及深度学习设备和包括深度学习设备的系统。


背景技术：

4.最近，在半导体器件制造工艺中，信息技术(it)系统、大数据和/或人工智能技术已经被用于提高半导体器件的质量和生产率，并且已经使用机器学习和/或深度学习来预测和/或分析半导体器件的质量以进行例如质量控制。例如，可以通过深度学习来学习半导体器件的图像(例如，扫描电子显微镜(sem)图像)，并且可以使用经过训练的模型来确定半导体器件是否有缺陷。
5.在这种情况下，深度学习的性能可能会由于学习图像的分布外(ood)图像而降低。因此，越来越需要检测ood数据并有效地恢复由于ood数据而降低的深度学习的性能。


技术实现要素：

6.本公开的各个方面提供了一种用于有效地检测分布外(ood)数据以维持其性能的深度学习设备。
7.本公开的各方面还提供了一种包括用于有效地检测ood数据以维持其性能的深度学习设备的系统。
8.应注意，本发明的目的不限于上述目的，并且根据以下描述，本领域技术人员将清楚本发明的其他目的。
9.根据本发明构思的一个方面，提供了一种深度学习设备，包括处理电路，该处理电路被配置为：使用异常检测模型来确定接收到的图像是否异常；合并从异常检测模型中提取的至少一些向量；对合并至少一些向量的结果执行主成分分析(pca)；将通过pca生成的主成分输入到概率近似模型，以检测接收到的图像的数据中是否出现分布外(ood)；将确定接收到的图像是否异常的结果和确定是否出现ood的结果存储在数据库中；并且当出现ood的数据的比率大于或等于阈值时，使用目标标记提取模型来提取出现ood的至少一些数据作为目标标记，其中，异常检测模型使用目标标记来确定接收到的图像是否异常。
10.根据本发明构思的一个方面，提供了一种深度学习系统，包括：输入单元，被配置为接收图像；处理器，被配置为控制输入单元；以及深度学习设备，连接到处理器，并被配置为从输入单元接收图像，该深度学习设备包括处理电路和数据库，该处理电路被配置为使用异常检测模型来确定从输入单元接收到的图像是否异常，合并从异常检测模型中提取的至少一些向量，对合并至少一些向量的结果执行主成分分析(pca)，将通过pca生成的主成
分输入到概率近似模型，以检测图像的数据中是否出现分布外(ood)，存储确定图像是否异常的结果和确定是否出现ood的结果，并且当出现ood的数据的比率大于或等于阈值时，使用目标标记提取模型来提取出现ood的至少一些数据作为目标标记，并且数据库被配置为存储确定图像是否异常的结果和确定是否出现ood的结果，并且其中，异常检测模型使用目标标记来确定图像是否异常。
11.根据本发明构思的一个方面，提供了一种深度学习系统，包括：输入单元，被配置为接收图像；处理器，被配置为控制输入单元；以及深度学习设备，连接到处理器，并被配置为从输入单元接收图像，该深度学习设备包括处理电路和数据库，该处理电路被配置为使用异常检测模型来确定从输入单元接收到的图像是否异常，合并从异常检测模型中提取的至少一些向量，对合并至少一些向量的结果执行主成分分析(pca)，将通过pca生成的主成分输入到概率近似模型，以检测图像的数据中是否出现分布外(ood)，将确定图像是否异常的结果和确定是否出现ood的结果存储在数据库中，并且当出现ood的数据相对于存储在数据库中的图像的比率大于或等于阈值时，使用目标标记提取模型来提取出现ood的至少一些数据，其中，异常检测模型使用目标标记来确定图像是否异常。
附图说明
12.通过参考附图详细描述本公开的示例性实施例，本公开的以上和其他方面和特征将变得更加清楚，在附图中：
13.图1是用于描述根据一些实施例的包括深度学习设备的系统的框图。
14.图2是用于描述图1的存储器600的框图。
15.图3是用于描述根据一些实施例的深度学习设备的框图。
16.图4和图5是用于说明输入图像的示例的图。
17.图6是用于描述根据一些实施例的深度学习设备的操作的框图。
18.图7是用于描述根据一些实施例的合并从异常检测模型中提取的至少一些向量的操作的表。
19.图8是用于描述根据一些实施例的ood数据检测单元的操作的表。
20.图9是用于描述根据一些实施例的检测异常和检测ood数据的梯形图。
21.图10是用于描述根据一些实施例的存储在数据库中的数据的表。
22.图11是用于描述确定阈值的过程的曲线图。
23.图12是根据一些实施例的深度学习设备的操作的流程图。
24.图13是根据一些实施例的深度学习设备的操作的流程图。
25.图14是用于描述根据一些实施例的深度学习系统网络环境1的框图。
具体实施方式
26.图1是用于描述根据一些实施例的包括深度学习设备的系统的框图。
27.参照图1，根据一些实施例的深度学习系统100可以体现在和/或作为例如固定或可移动设备，例如，tv、投影仪、蜂窝电话、智能电话、台式电脑、笔记本电脑、数字广播终端、个人数字助理(pda)、便携式多媒体播放器(pmp)、导航设备、平板个人电脑(pcf)、可穿戴设备、机顶盒(stb)、数字多媒体广播(dmb)接收器、收音机、机器人、车辆等。
28.深度学习系统100包括通信单元200、输入单元300、深度学习设备400、处理器500、存储器600、输出单元700和感测单元800。深度学习系统100的配置不限于此。例如，尽管被示为单独的组件，但是可以组合深度学习系统100的一些组件和/或还可以包括其他组件。
29.通信单元200可以使用有线/无线通信技术向其他外部电子设备(例如，图14的电子设备100a至100e)发送数据和/或从其接收数据。例如，通信单元200可以与外部设备交换传感器信息、用户输入、学习模型、控制信号等中的至少一种。
30.通信单元200可以采用的通信技术的一些示例可以包括但不限于全球移动通信系统(gsm)、码分多址(cdma)、长期演进(lte)、5g、无线lan(wlan)、无线保真(wi-fi)、蓝牙、射频识别(rfid)、红外数据协会(irda)、zigbee、近场通信(nfc)等。
31.输入单元300可以获得各种类型的数据。在这种情况下，输入单元300可以包括用于接收图像信号的相机、用于接收音频信号的麦克风、用于从用户接收信息的用户输入单元等。这里，相机和/或麦克风可以被视为传感器，并且从相机和/或麦克风获得的信号可以被称为感测数据和/或传感器信息。在一些实施例中，输入单元300可以获得和/或处理来自外部设备的信号(例如，通过通信单元200)。
32.输入单元300可以获得用于由深度学习设备400训练深度学习模型的训练数据和/或用于使用深度学习模型获得输出的输入数据。输入单元300可以获得输入原始数据，并且在这种情况下，深度学习设备400可以通过对从输入单元300接收到的输入原始数据进行预处理来提取输入特征点。
33.例如，输入单元300可以获得半导体器件和/或半导体器件制造工艺的图像(例如，扫描电子显微镜(sem)图像)，并向深度学习设备400发送该图像。
34.深度学习设备400可以使用从输入单元300接收到的数据(例如，图像)来训练被配置为人工神经网络的模型。这里，经过训练的人工神经网络也可以被称为学习模型。学习模型可以用于推断关于除训练数据以外的新输入数据的结果值，并且推断的结果值可以作为判断执行操作的依据。
35.在这种情况下，深度学习设备400可以通过其中包括的学习处理器460(如图3中)来执行深度学习处理。
36.在一些实施例中，深度学习设备400可以使用直接连接到存储器600的外部存储器和/或包括在外部设备中的存储器来实现。
37.感测单元800可以使用各种类型的传感器来获得存储在深度学习设备400中的信息、关于深度学习设备400的周围环境的信息和用户信息中的至少一种。
38.在这种情况下，包括在感测单元800中的传感器可以包括接近传感器、照度传感器、加速度传感器、磁传感器、陀螺仪传感器、惯性传感器、rgb传感器、ir传感器、指纹传感器、超声波传感器、光学传感器、麦克风、光检测和测距(lidar)传感器、雷达设备等。如上所述，在一些实施例中，输入单元300和感测单元800虽然被示为单独的组件，但是可以被组合和/或共享传感器和/或输入(例如，相机和/或麦克风)。
39.输出单元700可以生成与视觉、听觉或触觉相关联的输出。例如，输出单元700可以包括用于输出视频信息的显示单元、用于输出音频信息的扬声器、用于输出触觉信息的触觉模块等。
40.存储器600可以存储支持深度学习设备400的各种功能的数据。例如，存储器600可
以存储例如由深度学习设备400、输入单元300和/或通信单元200获得的输入数据、训练数据、学习模型、学习历史等。
41.学习模型可以用于推断关于除训练数据以外的新输入数据的结果值，并且推断的结果值可以作为判断执行操作的依据。
42.处理器500可以控制深度学习系统100的整体操作。处理器500可以获得关于针对用户输入的意图的信息，并基于获得的信息来识别用户的需求。处理器500可以控制深度学习设备400的至少一些组件以执行和/或驱动存储在存储器600中的应用程序。此外，处理器500可以组合和操作深度学习设备400的两个或更多个组件以驱动应用程序。
43.图2是用于描述图1的存储器600的框图。
44.参照图1和图2，存储器600可以包括模型存储单元610。模型存储单元610可以存储正在被训练或通过深度学习设备400被训练的模型(和/或人工神经网络)620。
45.参照图1和图2，深度学习设备400学习通过输入单元300提供的半导体器件的表示(例如，sem图像)，并使用训练模型确定半导体器件是否有缺陷。例如，如果深度学习设备400确定半导体器件有缺陷，则深度学习设备400可以基于深度学习设备400(和/或深度学习系统100)的缺陷类型和/或配置来产成缺陷通知(例如，警报)，可以指示半导体器件应该被再处理和/或丢弃，指示半导体器件生产装置需要维护和/或调整等。
46.然而，在一些情况下，深度学习设备400的性能可能会由于在其上执行深度学习设备400的学习的图像的分布外(ood)图像而降低。因此，对深度学习设备400检测ood数据并有效地恢复由于ood数据而降低的深度学习性能的需求日益增长。
47.自动地检测ood数据(包括例如作为深度学习的基础的图像)并有效地恢复由于ood数据而降低的深度学习性能的一些实施例的深度学习设备400将在下面详细描述。
48.图3是用于描述根据一些实施例的深度学习设备的框图。
49.参照图1和图3，深度学习设备400可以包括异常检测单元410、ood数据检测单元430、数据库440、主动学习单元450、模型训练单元420和学习处理器460。
50.深度学习设备400和/或包括在其中的组件(例如，异常检测单元410、ood数据检测单元430、主动学习单元450、模型训练单元420和学习处理器460)可以包括和/或被包括在处理电路中，例如，包括逻辑电路的硬件；硬件/软件组合，例如，执行软件的处理器；或其组合。例如，处理电路可以包括但不限于中央处理单元(cpu)、存储器控制器、算术逻辑单元(alu)、数字信号处理器、微型计算机、现场可编程门阵列(fpga)和可编程逻辑单元、微处理器、专用集成电路(asic)等。数据库440可以是和/或可以包括在存储介质中。例如，在一些实施例中，图1和图2的存储器600可以包括数据库440。
51.异常检测单元410可以确定从输入单元300接收到的半导体工艺图像是否异常。从输入单元300接收到的半导体工艺图像的示例可以如图4和图5所示。
52.图4和图5是用于说明输入图像的示例的图。
53.参照图4，从输入单元300接收到的半导体工艺图像可以是例如通道孔的图像。
54.参照图5，从输入单元300接收到的半导体工艺图像可以是例如字线切割的图像。
55.然而，从输入单元300接收到的图像不限于图4和图5的半导体工艺图像，并且可以是例如各种半导体工艺图像。
56.返回参照图1和图3，异常检测单元410可以使用通过异常检测模型424训练的模型
来确定半导体工艺图像是否异常。
57.例如，异常检测模型424可以是包括在模型训练单元420的异常检测模型训练单元422中的学习模型。
58.异常检测模型424可以例如基于被标记为正常的半导体工艺图像和被标记为异常的半导体工艺图像来执行学习。
59.异常检测模型424使用的学习模型可以是例如卷积神经网络(cnn)。然而，异常检测模型424使用的学习模型不限于此，并且可以是基于cnn的各种网络学习模型。例如，异常检测模型424使用的学习模型可以是和/或包括深度卷积神经网络(例如，alexnet和/或googlenet)、人工神经网络(ann)(例如，残差神经网络(“resnet”))、密集卷积网络(“densenet”)和/或缩放cnn(例如，efficientnet)。备选地和/或附加地，学习模型可以包括其他类型的机器学习模型，例如，线性和/或逻辑回归、统计聚类、贝叶斯分类、确定树、降维(例如，主成分分析、专家系统和/或随机森林)和/或它们的组合。
60.例如，学习模型可以附加地和/或备选地包括人工神经网络组织和处理模型，例如，选择性地包括反卷积神经网络的重复神经网络(rnn)、长短期记忆(lstm)单元和/或门控循环单元(gru)、堆叠神经网络(snn)、状态空间动态神经网络(ssdnn)、深度置信网络(dbn)、生成对抗网络(gan)和/或受限玻尔兹曼机(rbm)。
61.在一些实施例中，异常检测单元410可以基于从输入单元300输入的图像，通过异常检测模型424来确定半导体工艺图像是否异常。
62.在这种情况下，ood可能会出现在异常检测模型训练单元422学习的图像中。因此，可以通过ood数据检测单元430检测是否生成了ood数据。
63.例如，ood数据检测单元430可以通过概率近似模型428来检测异常检测模型训练单元422学习的图像中是否生成了ood数据。
64.在一些实施例中，概率近似模型428可以是模型训练单元420中的概率近似模型训练单元426中包括的模型。
65.概率近似模型428可以使用通过异常检测模型424学习的数据，例如，如下面参照图6详细描述的。
66.图6是用于描述根据一些实施例的深度学习设备的操作的框图。
67.参照图1、图3和图6，概率近似模型428可以使用通过异常检测模型424学习的数据。在图6中，假设异常检测模型424使用的学习模型是resnet50。
68.概率近似模型训练单元426可以合并从异常检测模型424提取的至少一些向量。
69.例如，概率近似模型训练单元426可以合并从异常检测模型424提取的向量中的多个(例如，十七个)激活层。然而，由概率近似模型训练单元426合并的激活层的数量不限于十七。
70.此后，概率近似模型训练单元426可以对合并的激活层执行主成分分析(pca)以生成主成分。
71.概率近似模型训练单元426可以使用主成分作为概率近似模型428的输入。概率近似模型428可以是和/或包括例如高斯混合模型(gmm)。然而，概率近似模型428不限于此，并且可以是和/或包括基于直方图的模型、核密度估计模型、parzen窗口估计模型、k最近邻估计模型、k均值聚类模型等中的至少一种。
72.下面将参照图7描述概率近似模型训练单元426的操作。
73.图7是用于描述根据一些实施例的合并从异常检测模型中提取的至少一些向量的操作的表。
74.概率近似模型训练单元426可以合并例如从异常检测模型424提取的向量中的十七个激活层。然而，由概率近似模型训练单元426合并的激活层的数量不限于十七。
75.例如，概率近似模型训练单元426可以合并第一激活层activation_1、第四激活层activation_4、第七激活层activation_7、第十激活层activation_10、第十三激活层activation_13、第十六激活层activation_16、第十九激活层activation_19、第二十二激活层activation_22、第二十五激活层activation_25、第二十八激活层activation_28、第三十一激活层activation_31、第三十四激活层activation_34、第三十七激活层activation_37、第四十激活层activation_40、第四十三激活层activation_43、第四十六激活层activation_46和第四十九激活层activation_49。
76.这些激活层中的每一个的示例输出可以如图7所示。例如，第一激活层activation_1的输出可以是(256，256，64)，第四激活层activation_4的输出可以是(128，128，256)，第七激活层activation_7的输出可以是(128，128，256),第十激活层activation_10的输出可以是(128，128，256),第十三激活层activation_13的输出可以是(64，64，512)，第十六激活层activation_16的输出可以是(64，64，512)，第十九激活层activation_19的输出可以是(64，64，512),第二十二激活层activation_22的输出可以是(64，64，512),第二十五激活层activation_25的输出可以是(32，32，1024),第二十八激活层activation_28的输出可以是(32，32，1024)，第三十一激活层activation_31的输出可以是(32，32，1024)，第三十四激活层activation_34的输出可以是(32，32，1024)，第三十七激活层activation_37的输出可以是(32，32，1024)，第四十激活层activation_40的输出可以是(32，32，1024)，第四十三激活层activation_43的输出可以是(16，16，2048)，第四十六激活层activation_46的输出可以是(16，16，2048)，以及第四十九激活层activation_49的输出可以是(16，16，2048)。这些激活层的输出仅仅是示例，并且不限于此。
77.可以通过合并多个激活层来获得输出，例如，通过概率近似模型训练单元426合并第一激活层activation_1、第四激活层activation_4、第七激活层activation_7、第十激活层activation_10、第十三激活层activation_13、第十六激活层activation_16、第十九激活层activation_19、第二十二激活层activation_22、第二十五激活层activation_25、第二十八激活层activation_28、第三十一激活层activation_31、第三十四激活层activation_34、第三十七激活层activation_37、第四十激活层activation_40、第四十三激活层activation_43、第四十六激活层activation_46和第四十九激活层activation_49获得的输出可以是15168。图7所示的异常检测模型424的输出仅为示例，并且异常检测模型424的输出不限于此。
78.参照图1、图3和图6，概率近似模型训练单元426可以使用异常检测模型424的输出数据作为概率近似模型428的输入。
79.参照图1和图3，ood数据检测单元430可以使用概率近似模型428来检测是否生成了将由异常检测模型424学习的图像的ood数据。
80.ood数据检测单元430可以通过将由概率近似模型训练单元426执行的pca生成的
主成分的输出的维度(pca维度)以及概率近似模型428的数量设置为超参数来检测用于聚类的最优值，例如，如将在下面参照图8描述的。
81.图8是用于描述根据一些实施例的ood数据检测单元的操作的表。
82.参照图1、图3和图8，将描述概率近似模型428是gmm的示例。
83.ood数据检测单元430可以通过将由近似模型训练单元426执行的pca生成的主成分的维度以及概率近似模型428的数量设置为超参数pct来检测用于聚类的最优值。
84.ood数据检测单元430可以使用例如贝叶斯信息准则(bic)并且通过将由概率近似模型训练单元426执行的pca生成的主成分的pca维度以及概率近似模型428的数量设置为超参数来检测最优值。然而，实施例不限于此，并且ood数据检测单元430可以通过使用邓恩指数、轮廓分数、akaike信息准则(aic)等；并且将由概率近似模型训练单元426执行的pca生成的主成分的pca维度以及概率近似模型428的数量设置为超参数来检测最优值。为了便于描述，在该图中，将描述ood数据检测单元430使用bic的示例。
85.例如，ood数据检测单元430将主成分的pca维度从10增加1直到20。另外，ood数据检测单元430将gmm(和/或gmm成分)的数量从10增加10直到240。因此，可以计算每个主成分的pca维度和gmms(和/或gmm成分)的数量的bic，并且与最低bic相对应的主成分的pca维度和gmms(和/或gmm成分)的数量可以被确定为最优值。
86.在该图中，可以确定当主成分的pca维度为10并且gmms(和/或gmm成分)的数量为80时获得最优值，但示例实施例不限于此。
87.因此，ood数据检测单元430可以使用概率近似模型428通过将主成分的pca维度设置为10并且将gmm(和/或gmm成分)的数量设置为80来检测ood数据。
88.下面将使用图9的梯形图来描述异常检测单元410和ood数据检测单元430的操作。
89.图9是用于描述根据一些实施例的检测异常和检测ood数据的梯形图。
90.参照图1、图3和图9，首先，异常检测单元410例如通过使用异常检测模型424来确定通过输入单元300接收到的图像是否异常。在这种情况下，可以通过异常检测模型424提取图像的特征(例如，向量)(s100)。
91.接下来，ood数据检测单元430可以提取并合并通过异常检测模型424输出的一些数据向量(s110)。
92.接下来，ood数据检测单元430可以对合并提取的向量的结果执行pca(s120)。
93.此后，ood数据检测单元430可以使用用于检测主成分的pca维度和概率近似模型428的数量之间的最优值的条件来执行概率近似，以检测在通过输入单元300接收到的图像中是否出现ood(s130)。
94.返回参照图1和图3，可以将检测图像是否异常的结果(例如，通过异常检测单元410)和检测是否出现ood的结果(例如，通过ood数据检测单元430)存储在数据库440中。存储在数据库440中的数据不限于此。下面将参照图10详细描述存储在数据库440中的数据。
95.图10是用于描述根据一些实施例的存储在数据库中的数据的表。
96.参照图1、图3和图10，关于从输入单元300接收到的x条数据(例如，半导体工艺图像)(其中，x是和/或表示自然数)的信息可以存储在数据库440中。
97.存储在数据库440中的x条数据可以指示异常的确定、概率值、ood的确定、似然度等。
98.更具体地，异常的确定可以指示检测图像是否异常的结果(例如，通过异常检测单元410)。例如，当异常检测单元410检测到第一数据1中的异常时，可以存储指示(例如，指示异常的“y”)。当异常检测单元410没有检测到第二数据2中的异常时，可以存储“n”。
99.概率值指示异常检测单元410检测图像是否异常的结果正确的概率。例如，当异常检测单元410检测第一数据1是否异常的结果正确的概率为79.1416％时，可以记录79.1416。例如，当异常检测单元410检测第二数据2是否异常的结果正确的概率为79.5601％时，可以记录79.5601。
100.为了描述方便，本文将省略剩余数据(第三数据至第x数据)的描述。
101.ood的确定可以指示确定(例如，通过ood数据检测单元430)从输入单元300接收到的图像是否是ood数据的结果。例如，当ood数据检测单元430确定第八数据8和第九数据9是ood数据时，对于第八数据和第九数据的ood确定可以被记录为y。
102.似然度可以是由概率近似模型428计算的每条数据的似然度。
103.学习处理器460可以基于由数据分析算法和/或机器学习算法确定和/或生成的信息来确定深度学习设备400的至少一个可执行操作。另外，学习处理器460可以控制深度学习设备400的组件以执行确定的操作。
104.为此，学习处理器460可以请求、检索、接收和/或使用存储在存储器600中的数据，并且控制深度学习设备400的组件以执行至少一个可执行操作中的预期操作和/或以其他方式期望的操作。
105.在这种情况下，当有必要和/或以其他方式期望连接到外部设备以执行确定的操作时，学习处理器460可以生成用于控制外部设备的控制信号，并向外部设备发送控制信号。
106.另外，学习处理器460可以收集包括关于深度学习设备400的操作的数据或用户对深度学习设备400的操作的反馈的历史信息，并将历史信息存储在存储器600中，或向外部设备发送历史信息。收集的历史信息可以用于更新学习模型。
107.随着出现ood的数据条数与存储在数据库440中的总数据条数x的比率增加，根据一些实施例的深度学习设备400的性能可能会降低，例如，如将在下面参照图11详细描述的。
108.图11是用于描述确定阈值的过程的曲线图。
109.参照图1、图3、图10和图11，随着出现ood的数据条数与存储在数据库440中的总数据条数x的比率从0增加到1，深度学习设备400的性能下降。图11的曲线图只是示例，并且可以使用各种类型的曲线图的前提是：随着出现ood的数据条数与存储在数据库440中的总数据条数x的比率从0增加到1，深度学习设备400的性能下降。
110.深度学习设备400的性能例如可以是异常检测单元410的性能精度。例如，深度学习设备400的性能可以指例如异常检测单元410检测从输入单元300接收到的图像是否异常和/或包括ood的结果的精度。
111.在一些实施例中，深度学习设备400的用户可以设置一个设定值，作为确定深度学习设备400的性能是否可用的参考值。例如，当用户设置深度学习设备400在深度学习设备400的性能小于或等于0.95时不可靠时，设定值可以为0.95。
112.学习处理器460可以连续地检查出现ood的数据条数与存储在数据库440中的总数
据条数x的比率。在这种情况下，学习处理器460可以连续地监控ood比率(例如，出现ood的数据条数与存储在数据库440中的总数据条数x的比率)是否等于阈值。
113.例如，当用户设定的设定值为0.95时，odd比率为0.1，因此学习处理器460监控数据库440的odd比率是否为0.1。
114.在这种情况下，当确定数据库440的ood比率达到阈值时，学习处理器460可以通知用户这一事实和/或控制主动学习单元450以提取出现ood的数据的至少一部分作为目标标记。例如，为了通知用户，学习处理器460可以向用户发起和/或生成通知。
115.根据一些实施例，深度学习设备400可以监控满足深度学习设备400的性能的预定的(和/或以其他方式确定的)允许值的ood比率，并且当确定ood比率低于允许值(例如，达到阈值)时，自动地增强深度学习设备400的降低的性能。因此，可以有效地维持深度学习设备400的性能。
116.另外，由于通过提取出现ood的数据的至少一部分作为目标标记来提高深度学习设备400的性能，因此可以恢复深度学习设备400的降低的性能，而不必使用出现ood的所有数据，从而有效地维持深度学习设备400的性能。
117.接下来，将描述主动学习单元450的操作。主动学习单元450可以在出现ood的数据中提取将要向模型训练单元420发送的目标标记。在这种情况下，主动学习单元450可以基于通过异常检测模型424输出的至少一些数据向量以及由ood数据检测单元430计算的似然度来提取目标标记。
118.例如，主动学习单元450可以通过目标标记提取模型452来提取出现ood的数据的至少一部分作为目标标记。目标标记提取模型452可以是例如使用通过异常检测模型424输出的至少一些数据向量和由ood数据检测单元430计算的似然度的k中心贪心和/或梯度嵌入(例如，通过多样化和/或不确定梯度下界的深度批量主动学习)。
119.例如，主动学习单元450可以提取出现ood的数据的百分比(例如，10％)作为目标标记。
120.根据一些实施例，深度学习设备400可以仅使用出现ood的一些数据来恢复深度学习设备400的降低的性能。因此，可以有效地管理深度学习设备400的性能。
121.下面将参照图12的流程描述上述深度学习设备400的示例操作。
122.图12是根据一些实施例的深度学习设备的操作的流程图。
123.参照图1、图3和图12，通过学习处理器460监控数据库440(s200)。此后，确定ood比率是否小于阈值(例如，通过学习处理器460(s210)。例如，当确定ood比率小于阈值(y)时，学习处理器460可以继续(和/或连续地)监控深度学习设备400的性能。
124.然而，当学习处理器460确定ood比率大于(和/或等于)阈值(n)时，可以向主动学习单元450发送存储在数据库440中的数据中的出现ood的数据(s220)。
125.此后，主动学习单元450通过目标标记提取模型452提取目标标记(s230)。主动学习单元450向模型训练单元420发送提取的目标标记(s240)。
126.将参照图13描述例如根据一些实施例的由深度学习设备400检测ood的出现并且恢复深度学习设备400的降低的性能的示例过程。
127.图13是根据一些实施例的深度学习设备的操作的流程图。
128.参照图1、图3和图13，深度学习设备400接收图像(例如，通过输入单元300)
(s300)。接下来，确定图像是否异常(例如，通过异常检测单元410)(s310)。例如，异常检测单元410可以使用模型训练单元420的异常检测模型424。
129.此后，可以确定在接收到的图像中是否出现ood(例如，通过ood数据检测单元430)(s320)。例如，ood数据检测单元430可以使用模型训练单元420的概率近似模型428。
130.此后，可以存储确定图像是否异常(例如，通过异常检测单元410)的结果以及确定图像中是否出现ood数据(例如，通过ood数据检测单元430)的结果(例如，存储在数据库440中)(s330)。
131.学习处理器460监控ood比率(例如，相对于存储在数据库440中的数据)。例如，当确定(例如，通过学习处理器460)ood比率(例如，相对于存储在数据库440中的数据)小于阈值(y)时，可以执行操作s310(例如，通过异常检测单元410)。当确定(例如，通过学习处理器460)ood比率(例如，相对于存储在数据库440中的数据)大于(和/或等于)阈值(n)时，用户可以被告知这一事实和/或向主动学习单元450发送数据(例如，出现ood并且存储在数据库440中的数据)(例如，通过学习处理器460)。在一些实施例中，主动学习单元450从出现ood并向其发送的数据中提取要被标记为目标的数据(s350)。
132.图14是用于描述根据一些实施例的深度学习系统网络环境1的框图。
133.参照图14，根据一些实施例，深度学习系统网络环境1可以通过云网络10连接到机器人100a、自动驾驶车辆100b、xr设备100c、智能手机100d和/或家用电器100e中的至少一个。这里，应用深度学习技术的机器人100a、自动驾驶车辆100b、xr设备100c、智能手机100d和/或家用电器100e可以被称为外部深度学习设备100a至100e。
134.云网络10可以是云计算基础设施的一部分和/或可以是包括在云计算基础设施中的网络。在一些实施例中，云网络10可以被配置为使用3g网络、4g网络、长期演进(lte)网络、5g网络等。
135.例如，设备100a至100e和100(例如，构成深度学习系统网络环境1)可以通过云网络10相互连接；和/或设备100a至100e和100可以经由基站相互通信和/或在没有基站的情况下相互通信。
136.深度学习系统100可以经由云网络10连接到机器人100a、自动驾驶车辆100b、xr设备100c、智能手机100d和/或家用电器100e中的至少一个，以帮助与其连接的至少一个深度学习设备100a、100b、100c、100d和/或100e的深度学习处理。
137.例如，参照图1、图3和图14，当检测和/或确定(例如，由深度学习系统100的学习处理器460)ood比率等于或大于阈值时，可以通过通信单元200向机器人100a、自动驾驶车辆100b、xr设备100c、智能手机100d和/或家用电器100e中的至少一个发送通知这一事实的通知。
138.深度学习系统100可以从深度学习设备100a至100e中的每一个接收输入数据，使用学习模型推断关于接收到的输入数据的结果值，基于推断的结果值生成响应或控制命令，并向外部深度学习设备100a至100e中的每一个发送该响应或控制命令。
139.备选地，外部深度学习设备100a至100e可以使用学习模型来推断关于输入数据的结果值，并基于推断的结果值生成响应或控制命令。
140.尽管上面已经参照附图描述了本公开的实施例，但是本领域普通技术人员将理解，本公开不限于此，并且可以在不背离其技术思想或基本特征的情况下以许多不同的形
式实施。因此，应当理解，本文所阐述的实施例在所有方面仅是示例而非限制性的。