数据驱动的深度学习模型泛化分析和改进的制作方法

1.本技术整体涉及深度学习，并且更具体地涉及用于数据驱动的深度学习模型泛化分析和改进的计算机实现的技术。


技术实现要素：

2.以下呈现了发明内容以提供对本发明的一个或多个实施方案的基本理解。本发明内容不旨在标识关键或重要元素，也不旨在描绘具体实施方案的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现概念，作为稍后呈现的更详细描述的序言。在本文所述的一个或多个实施方案中，提供用于数据驱动的深度学习模型泛化分析和改进的技术的系统、计算机实现的方法、装置和/或计算机程序产品。
3.根据一个实施方案，一种系统可包括存储计算机可执行部件的存储器以及执行存储在存储器中的计算机可执行部件的处理器。计算机可执行部件可包括数据特征提取部件，该数据特征提取部件采用机器学习模型来识别和提取包括在训练数据集中的训练数据特征和包括在目标数据集中的目标数据特征，其中目标神经网络模型是在训练数据集上训练。例如，在一些具体实施中，机器学习模型可包括对抗性自动编码器。该计算机可执行部件还可包括数据分析部件和目标数据可接受性部件，该数据分析部件基于训练数据特征和目标数据特征的比较来确定训练数据集与目标数据集之间的对应程度，目标数据可接受性部件基于对应程度确定将目标神经网络模型应用于目标数据集是否会生成具有可接受的准确度水平的结果。在各种具体实施中，数据分析部件可基于训练数据特征来限定训练数据集的范围，并且基于目标数据特征是否在训练数据集的范围内来确定对应程度。数据分析部件可使用统计分析方法或机器学习方法来确定对应程度。
4.在一些实施方案中，目标数据可接受性部件可基于限定可接受性标准确定将目标神经网络模型应用于目标数据集是否会生成具有可接受的准确度水平的结果。利用这些实施方案，目标数据可接受性部件可基于对应程度不满足可接受性标准确定将目标神经网络模型应用于目标数据集将不会生成具有可接受的准确度水平的结果。
5.在各种实施方案中，训练数据特征包括第一训练数据特征，目标数据特征包括第一目标数据特征，并且计算机可执行部件还包括模型应用部件，模型应用部件基于确定对应程度满足可接受性标准，将目标神经网络模型的层子集应用于训练数据集和目标数据集。利用这些实施方案，计算机可执行部件还可包括模型特征提取部件，该模型特征提取部件提取基于将层子集应用于训练数据集而生成的第二训练数据特征，并且提取基于将层子集应用于目标数据集而生成的第二目标数据特征。同样对于这些实施方案，由数据分析部件确定的对应程度是第一对应程度，并且计算机可执行部件还可包括确定第二训练数据特征和第二目标数据特征之间的第二对应程度的模型分析部件。目标数据可接受性部件还可基于第二对应程度确定将目标神经网络模型应用于目标数据集是否会生成具有可接受的准确度水平的结果。
6.在这些实施方案的一些具体实施中，模型分析部件基于第二训练数据特征来限定
目标神经网络模型的范围，并且基于第二目标数据特征是否在目标神经网络模型的范围内来确定第二对应程度。模型分析部件也可使用统计分析方法或机器学习方法来确定第二对应程度。例如，在一些具体实施中，数据分析部件和模型分析部件可使用相同的统计分析方法或相同的机器学习方法分别确定第一对应程度和第二对应程度。
7.在一个或多个具体实施中，目标数据评估部件可基于第二对应程度不满足可接受性标准来确定将目标神经网络模型应用于目标数据集将不会生成具有可接受的准确度水平的结果。同样，目标数据评估部件可基于第二对应程度满足针对第二对应程度的可接受性标准的第二确定，确定将目标神经网络模型应用于目标数据集将会生成具有可接受的准确度水平的结果。
8.在一些实施方案中，结合所述系统描述的元件能够以不同形式体现，诸如计算机实现的方法、计算机程序产品或另一种形式。
附图说明
9.图1示出了根据本发明所公开主题的一个或多个实施方案的有助于评估和限定数据驱动的深度学习模型的范围的示例性非限制性系统的框图。
10.图2示出了根据本发明所公开主题的一个或多个实施方案的有助于评估和限定数据驱动的深度学习模型的范围的示例性非限制性特征提取方法。
11.图3示出了根据本发明所公开主题的一个或多个实施方案的用于评估和限定用于数据驱动的深度学习模型的输入数据的范围的示例性非限制性过程的流程图。
12.图4示出了根据本发明所公开主题的一个或多个实施方案的用于评估和限定数据驱动的深度学习模型的依赖于模型的特征的范围的示例性非限制性过程的流程图。
13.图5提供了根据本发明所公开主题的一个或多个实施方案的有助于评估和限定数据驱动的深度学习模型的范围的另一个示例性非限制性系统的框图。
14.图6提供了根据本发明所公开主题的一个或多个实施方案的有助于评估和限定数据驱动的深度学习模型的范围的示例性非限制性计算机实现方法的流程图。
15.图7提供了根据本发明所公开主题的一个或多个实施方案的有助于评估和限定数据驱动的深度学习模型的范围的另一个示例性非限制性计算机实现方法的流程图。
16.图8提供了根据所公开主题的一个或多个实施方案的有助于评估和限定数据驱动的深度学习模型的范围的另一个示例性非限制性计算机实现方法的流程图。
17.图9提供了根据本发明所公开主题的一个或多个实施方案的有助于评估和限定数据驱动的深度学习模型的范围的另一个示例性非限制性计算机实现方法的流程图。
18.图10提供了根据本发明所公开主题的一个或多个实施方案的有助于评估和限定数据驱动的深度学习模型的范围的另一个示例性非限制性计算机实现方法的流程图。
19.图11示出了示例性、非限制性操作环境的框图，在该操作环境中可以有助于本文所述的一个或多个实施方案。
具体实施方式
20.以下具体实施方式仅仅是示例性，并非旨在限制实施方案和/或实施方案的应用或使用。此外，并不意图受前述“

背景技术：
”或“发明内容”部分或者“具体实施方式”部分中
提出的任何明示或暗示信息的约束。
21.本主题公开提供了有助于评估和限定数据驱动的深度学习模型的范围的系统、计算机实现的方法、装置和/或计算机程序产品。深度神经网络(dnn)是在输入层和输出层之间具有多个层的人工神经网络(ann)。dnn找到正确的数学运算以将输入转到输出中，无论其是线性关系还是非线性关系。dnn最近在各种人工智能(ai)领域(包括计算机视觉、语音、自然语言处理、生物信息学、药物设计、医学图像分析等)中显示出令人印象深刻的性能，有时超过人类。这些成就由于计算能力的显著提高以及大规模带注释数据集的可用性而成为可能，从而导致比传统模型更好的推断性能。然而，深度学习模型的数据驱动性质导致推断阶段期间的挑战。具体地，基于数据驱动的机器学习方法的基本问题之一在于最终模型推断能力被用于开发模型的训练数据的范围所限制。
22.本发明所公开的主题涉及用于部分地基于用于开发dnn模型的训练数据的特性来限定该模型在新的推断数据上的应用范围的技术。具体地讲，本发明所公开的技术采用基于统计的方法和基于机器学习的方法来评估由于训练数据的自然特性和最终模型的可泛性限制引起的模型应用范围。本发明所公开的技术还提供识别可能导致不准确推断的用于模型进行潜在处理的新数据，并确定用于确保将模型准确应用于新数据的置信水平/置信边界。在各种实施方案中，本发明所公开的技术采用两步骤过程来确定dnn模型的范围并确定dnn模型是否可以基于特定的新数据集(在本文中被称为目标数据集)提供准确的推断结果。第一步骤在本文中被称为数据范围评估步骤，并且第二步骤在本文中被称为模型范围评估步骤。
23.两步骤方法的第一步骤，即数据范围评估步骤，涉及确定用于开发和训练dnn模型的训练数据集(在本文中也称为参考数据)的范围，以及确定目标数据集是否在训练数据集的范围内。就这一点而言，第一步骤涉及确定dnn模型在该领域遇到的新数据集是否包含在训练dnn模型的训练数据集的统计分布中。在一个或多个实施方案中，第一步骤涉及从用于训练dnn模型的训练数据集(或参考数据集)中提取一组低维相关数据特征。从训练/参考数据集中提取的一组低维特征在本文中被称为第一训练数据特征。在各种实施方案中，可使用监督或半监督机器学习特征提取方法(诸如使用对抗性自动编码器等)从训练数据集中提取第一训练数据特征。还可以采用相同的特征提取方法从目标数据集中提取另一组低维相关特征(例如，用于dnn模型进行潜在处理的新数据)。从目标数据集中提取的一组低维特征在本文中被称为第一目标数据特征。
24.然后可使用统计和/或机器学习分析方法基于第一训练数据特征来限定训练/参考数据集的范围，并且基于第一训练数据特征和第一目标数据特征之间的对应的比较来确定目标数据集是否在训练数据集的范围内。例如，可用于确定第一目标数据特征是否在第一参考数据特征的范围内的一些合适的统计分析方法可包括但不限于：在每个维度上的标准分数(也称为z分数或z值)分析，以及在多维度上的mahalanobis距离分析。可用于确定第一目标数据特征是否在第一参考数据特征的范围内的一些合适的机器学习分析方法可包括但不限于：对较低维度进行t分布随机邻域嵌入(t
‑
sne)分析以获得相似距离，用于异常检测的一类支持向量机(svm)分类，以及用于异常检测的隔离森林。
25.如果基于统计和/或机器学习分析确定第一目标数据特征在第一训练数据特征的范围之外(例如，意味着在第一训练数据特征和第一目标数据特征之间观察到低的对应程
度)，则可假设，将基于将dnn模型应用于目标数据集而生成的推断结果将可能是不准确的。因此，如果第一目标数据特征在第一训练数据特征的范围之外，则目标数据集可与低置信度分数相关联，该低置信度分数表示基于将dnn模型应用于目标数据集而生成的结果的准确度的低置信度。在一些具体实施中，置信度分数可与基于将dnn模型应用于目标数据而生成的结果的预测准确度水平相关联。例如，80％的置信度分数可对应于80％的准确度水平等。在一些实施方案中，本发明所公开的技术可生成指示确定目标数据集与低置信度分数相关联或以其他方式在训练数据集范围之外的通知或警告。该通知或警告可用于防止将dnn模型应用于目标数据集或以其他方式调整由将dnn模型应用于目标数据而产生的推断的下游加权。
26.两步骤过程的第二步骤，即模型范围评估步骤，涉及基于将dnn模型应用于训练/参考数据集来评估dnn模型的范围。就这一点而言，dnn模型的结构、隐藏层的数量、在每个隐藏层处生成的输出参数、生成的参数的数量等部分地基于用于开发和训练模型的训练数据来控制。两步骤过程的第二步骤用于确定dnn模型是否可以以及以何种置信度以与训练数据集一致的方式处理目标数据，以根据基于训练数据集生成的结果产生准确的结果。
27.在各种实施方案中，只有当根据两步骤过程中的第一步骤分析确定目标数据集在训练数据集的范围内时，才执行两步骤过程中的第二步骤。例如，在一个或多个实施方案中，如果数据评估过程导致确定目标数据集与超过最小阈值的置信度分数/水平相关联，使得目标数据集可被认为在训练数据集的范围内，则本发明所公开的技术可进一步进行模型范围评估。然而，如果数据评估过程导致确定目标数据集与未超过最小阈值的低置信度分数/水平相关联，使得目标数据集可被视为在训练数据集的范围之外，则本发明所公开的技术可将目标数据集声明为不适用于dnn模型，并且放弃进行到模型范围评估步骤。
28.根据模型范围评估步骤，可将dnn模型的层子集(例如，不包括最终输出层的dnn模型的一个或多个层)应用于训练数据集，以基于训练数据集生成第一组基于模型的特征。该第一组基于模型的特征或第一组基于模型的特征的子集可被提取为第二训练数据特征。dnn模型的相同层子集也可以应用于目标数据集，以生成第二组基于模型的特征。该第二组基于模型的特征或第二组基于模型的特征的子集可被提取为第二目标数据特征。使用第一步骤中使用的相同统计和/或机器学习分析方法，可基于第二训练数据特征进一步限定dnn模型的范围，并且可将第二目标数据特征与第二训练数据特征进行比较，以确定目标数据集是否在dnn模型的范围内。如果第二目标数据特征在dnn模型的范围之外(例如，如果第二目标数据特征不表现出与第二训练数据特征的高的对应程度)，则目标数据集可以与dnn模型在应用于目标数据集时将生成准确结果的低置信度相关联。此时还可生成通知或警告，指示确定目标数据集与低置信度分数相关联或以其他方式在dnn模型的范围之外。该通知或警告可用于防止将dnn模型应用于目标数据或以其他方式调整由将dnn模型应用于目标数据而产生的推断的下游加权。
29.然而，如果第二目标特征在dnn模型的范围内(例如，第二目标数据特征在第二参考数据特征的范围内)，则目标数据集可以与dnn模型在应用于目标数据集时将生成准确结果的高置信度相关联。换句话讲，如果第二目标特征在第二参考特征的范围内，则目标数据集可与基于目标数据集的模型性能将具有与训练/参考数据集相似的性能的高置信度相关联。在一些实施方案中，基于在第一步骤(数据评估步骤)处确定目标数据集在参考数据集
的范围内的第一确定以及在第二步骤(模型评估步骤)处确定目标数据集在dnn模型的范围内的第二确定，可以授权目标数据应用于dnn模型。此外，基于将dnn模型应用于目标数据集而生成的结果可与高准确度(例如，根据预定义的准确度标度)相关联。
30.现在参考附图描述一个或多个实施方案，其中相同的附图标号始终用于表示相同的元件。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个实施方案的更透彻理解。然而，很明显，在各种情况下，可以在没有这些具体细节的情况下实践一个或多个实施方案。
31.现在转到附图，图1示出了根据本发明所公开的主题的一个或多个实施方案的示例性非限制性系统100的框图，该系统有助于评估和限定数据驱动的深度学习模型的范围。本文描述的系统的实施方案可以包括体现在一个或多个机器内(例如，体现在与一个或多个机器相关联的一个或多个计算机可读存储介质中)的一个或多个机器可执行部件。当由一个或多个机器(例如，处理器、计算机、计算设备、虚拟机等)执行时，这类部件可以使一个或多个机器执行所述操作。
32.例如，在所示的实施方案中，系统100包括计算设备102，该计算设备包括若干机器可执行部件，包括(但不限于)数据特征提取部件104、数据分析部件106、目标数据可接受性部件108、模型应用部件112、模型特征提取部件114、模型分析部件116和模型可接受性部件118。系统100还包括各种数据源和/或数据结构，这些数据源和/或数据结构包括可由计算设备102的一个或多个部件使用和/或评估的信息。例如，在所示的实施方案中，这些数据源和/或数据结构包括训练数据集124、目标数据集126和目标神经网络模型128。计算设备102还可包括或可操作地耦接到至少一个存储器120和至少一个处理器122。至少一个存储器120还可存储可执行指令(例如，数据特征提取部件104、数据分析部件106、目标数据可接受性部件108、模型应用部件112、模型特征提取部件114和模型分析部件116)，该可执行指令在由至少一个处理器122执行时有助于执行由可执行指令定义的操作。在一些实施方案中，存储器120还可存储系统100的各种数据源和/或结构(例如，训练数据集124、目标数据集126、目标神经网络模型128等)。在其它实施方案中，系统100的各种数据源和结构可存储在计算设备102可访问(例如，经由一个或多个网络)的其它存储器中(例如，在远程设备或系统处)。计算设备102还可包括设备总线110，该设备总线将计算设备的各种部件彼此耦接。所述处理器122和存储器120以及其他合适的基于计算机或计算的元件的示例可参考图10找到，并且可结合实施结合图1或本文所公开的其他附图所示和所述的系统或部件中的一者或多者来使用。
33.系统100和/或系统100或本文公开的其他系统的一个或多个部件可以用于使用硬件和/或软件来解决本质上是高度技术性的、不是抽象的、并且不能作为一系列精神行为由人类执行的问题。就这一点而言，系统100和/或系统100的部件可采用深度学习、统计分析和机器学习来确定和限定基于大量训练数据(例如，训练数据集124)开发和训练的数据驱动的dnn模型(例如，目标神经网络模型128)的范围边界。系统100/和/或系统100的部件还提供用于确定导致模型应用故障的数据并且确定该领域中模型应用的置信区域/置信边界。系统100和/或系统100的一个或多个部件通过使用半监督特征提取方法来提取对于dnn模型目的(例如，分类)最重要的低维度特征，并且定制dnn模型在该域中的应用以改善泛化性，从而实现这些目标。
34.就这一点而言，由系统100执行的一些过程可由专用计算机执行，以用于执行与评估dnn模型(例如，目标神经网络模型128)相关的限定任务，以在dnn模型的训练和开发之后自动确定dnn模型的范围。基于所确定的dnn模型的范围，系统100的一个或多个专用计算机和/或部件(以及本文所述的其他系统)可用于基于可以基于该领域中dnn模型应用于新数据集所生成的结果的准确度的所确定的置信水平而自动调节dnn模型应用于该新数据集。例如，系统100和/或系统100的一个或多个部件可用于防止将dnn模型应用到可能产生不准确结果的新数据集，或者以其他方式有助于调整由将dnn模型应用到被确定为在dnn模型范围之外的新数据集所产生的推断的下游加权。
35.因此，系统100和/或系统100的部件(以及本文所述的其他系统)可有助于提高基于该领域中dnn模型(例如，目标神经网络模型128)的应用而生成的结果的准确度，同时最小化基于dnn模型应用于新数据而生成的不准确推断的错误和下游影响。在这方面，系统100和/或系统100的部件或本文所述的其他系统可以用于解决因技术、计算机网络、互联网等的进步而出现的新问题，特别是基于数据驱动的dnn机器学习模型的ai解决方案的进步。
36.在一个或多个实施方案中，系统100可以采用两步骤过程来确定已经在现有参考/训练数据上开发和训练的特定dnn模型(例如，目标神经网络模型128)的范围，并且确定dnn模型在应用于新数据集时是否可以提供准确的推断结果。在所示的实施方案中，待评估的特定dnn模型被识别为目标神经网络模型128，并且用于开发和训练目标神经网络模型128的特定参考/训练数据集被识别为训练数据集124。被评估用于由目标神经网络模型128进行潜在处理的新数据集被识别为目标数据集126。所评估的目标神经网络模型128的类型可以变化。例如，目标神经网络模型128可包括dnn模型，该dnn模型在相关联的计算机视觉、语音分析、自然语言处理、生物信息学、药物设计、医学图像分析等中提供自动推断。
37.两步骤过程的第一步骤(本文称为数据范围评估步骤)涉及确定用于开发和训练目标神经网络模型128的训练数据集124(本文也称为参考数据)的范围，以及确定目标数据集126是否在训练数据集124的范围内。在一个或多个实施方案中，数据范围评估步骤涉及数据特征提取部件104、数据分析部件106和目标数据可接受性部件108。
38.数据特征提取部件104可执行基于机器学习的特征提取方法，以从训练数据集124和目标数据集126中提取低维相关特征或特征向量。具体地讲，数据特征提取部件104可采用合适的特征提取方法，该方法为两个数据集自动提取一组特征或特征向量，这将相应数据集的维度减小到一组较小的代表性特征向量。从训练数据集124提取的特征或特征向量组在本文中称为第一训练数据特征或第一训练数据特征向量。从目标数据集126提取的特征向量组在本文中称为第一目标数据特征或第一目标数据特征向量。
39.数据特征提取部件104可采用相同的特征提取方法来从训练数据集124提取第一训练数据特征并从目标数据集126提取第一目标数据特征。在一些实施方案中，数据特征提取部件104可采用自动编码器模型诸如对抗性自动编码器(aae)模型来提取第一训练数据特征和第一目标数据特征。例如，aae模型可包括在具有或不具有标记或注释训练数据的大规模数据集(例如，训练数据集124)上训练的模型。
40.图2示出了根据本发明所公开主题的一个或多个实施方案的有助于评估和限定数据驱动的深度学习模型的范围的示例性非限制性特征提取方法200。图2展示了aae模型应用于输入数据集(例如，输入数据集202)，以从输入数据集中提取一组低维相关特征向量
(例如，特征向量206)。
41.在图1的角度下参考图2，在图2所示的实施方案中，输入数据集202包括一组原始医学图像。例如，根据一个示例性具体实施，目标神经网络模型128可包括医学图像分析模型(例如，pneumothorax检测模型)，该医学图像分析模型被配置为基于对特定类型的原始医学图像的分析来生成推断(例如，分类、诊断等)。根据本发明所公开的技术，数据特征提取部件104可采用数据特征提取方法200从训练数据集124提取一组特征向量，并从目标数据集126提取另一组特征向量。就这一点而言，图2所示的输入数据集202可对应于用于开发和训练目标神经网络模型128的原始医学图像集(例如，训练数据集124)，或待由目标神经网络模型128处理的新原始医学图像集(例如，目标数据集126)。
42.根据示例性aae特征提取方法200，特征向量206包括从输入数据集202提取的一组低维特征向量。特征向量206以低维结构化格式表示输入数据集202，使得特征向量206可用于以分类目的所需的最小准确度基本上自动地再生初始高维原始输入图像。例如，图像数据集204提供可基于特征向量206生成的示例自动生成的数据集。可以看出，通过将图像数据集204与初始输入数据集202进行比较，基于特征向量206生成的图像基本上对应于输入数据集202的图像。就这一点而言，提取的(低维相关的)特征向量组206以相对于原始输入图像具有减小的维度的统一方式表示原始输入图像(例如，输入数据集202)。尽管图2中例示的可视化描绘了低维度，其中两个节点z用于表示来自八个输入图像的特征向量，但应当理解，输入数据集的维度和所得提取的特征向量可变化。
43.再次参考图1，继续数据评估步骤，数据分析部件106可对从训练数据集124提取的第一特征/特征向量和从目标数据集126提取的第一特征/特征向量进行比较分析，以确定目标数据集126是否在训练数据集124的范围内。就这一点而言，数据分析部件106可采用一种或多种统计和/或机器学习分析方法，以基于第一训练数据特征/特征向量限定训练数据集124的范围，以及基于第一训练数据特征/特征向量和第一目标数据特征/特征向量之间的对应关系的比较，确定目标数据集126是否在训练数据集124的范围内。可用于确定第一目标数据特征是否在第一参考数据特征范围内的一些合适的统计分析方法可包括但不限于：每个维度上的标准分数(也称为z分数或z值)分析，以及多个维度上的mahalanobis距离分析。可用于确定第一目标数据特征是否在第一参考数据特征的范围内的一些合适的机器学习分析方法可包括但不限于：对较低维度的t
‑
sne分析以获得相似距离、用于异常检测的一类svm分类以及用于异常检测的隔离森林。
44.就这一点而言，数据分析部件106可采用合适的统计和/或机器学习分析方法(例如，上述那些)，以将第一训练数据特征/特征向量与第一目标数据特征/特征向量进行比较，从而确定第一训练数据特征/特征向量与第一目标数据特征/特征向量之间的对应程度。根据所使用的统计/机器学习分析方法，对应程度可基于z分数、距离测量、分布测量、百分比值、两种或更多种相似性测量的组合等。就这一点而言，用于表示第一训练数据特征/特征向量和第一目标特征/特征向量之间的对应程度的测量数据的具体类型可基于所采用的统计和/或机器学习对比分析方法的类型而变化。
45.目标数据可接受性部件108还可评估由数据分析部件106确定的对应程度测量数据，以确定目标数据集126是否表现出与被认为在训练数据集124的范围内的训练数据集的可接受的对应程度。例如，在一些实施方案中，目标数据可接受性部件108可以针对对应程
度测量数据采用预定义的可接受性标准。预定义的可接受性标准可包括例如预定义的基准或阈值对应值。例如，预定义的可接受性标准可以包括最小z分数、最大偏差程度、最小对应百分比值、最大分离程度等。根据这些实施方案，目标数据可接受性部件108可以基于对应程度测量数据是否满足可接受性标准来确定目标数据集126是在训练数据集124的范围内还是以其他方式表现出与训练数据集124的可接受的对应程度。例如，在一个具体实施中，其中对应数据包括代表第一目标数据特征/特征向量与第一训练数据特征/特征向量之间的对应程度的百分比值(例如，x％)，并且其中可接受性标准包括最小百分比对应值(例如，y％)，如果第一目标数据特征/特征向量和第一训练数据特征/特征向量之间的对应百分比大于或等于最小对应百分比值(例如，如果x％≥y％)，则目标数据可接受性部件108可以确定目标数据集126在训练数据集124的范围内。
46.在各种实施方案中，如果目标数据可接受性部件108确定第一目标数据特征在第一训练数据特征的范围之外(例如，意味着在第一训练数据特征和第一目标数据特征之间观察到低的对应程度)，则可以假设，基于将目标神经网络模型128应用于目标数据集126而生成的推断结果可能是不准确的。因此，如果第一目标数据特征在第一训练数据特征的范围之外(例如，意味着第一目标数据特征和第一训练数据特征之间的对应程度不满足可接受性标准)，目标数据可接受性部件108可将目标数据集126与低置信度分数相关联，该低置信度分数表示基于将dnn模型应用于目标数据集而生成的结果的准确性的低置信度。
47.在一些具体实施中，置信度分数可反映目标数据集126中的置信水平的二进制表示。例如，与第一步骤即数据分析评估相关联的目标数据集126相关联的置信度分数可反映“是”或“否”，该“是”指示目标数据集在训练数据集的范围内，因此将生成具有可接受的准确度水平的结果，该“否”指示目标数据集在训练数据集的范围之外，因此将生成具有不可接受的准确度水平的结果。在其他实施方案中，置信度分数可以与基于将dnn模型应用于目标数据而生成的结果的准确度的预测置信水平相关联。例如，80％的置信度分数可以对应于预测置信水平，即结果在80％的时间是准确的，等等。根据这些实施方案，第一训练数据特征/特征与目标数据特征/特征向量之间的对应程度，并且直接与和目标数据集126相关联的置信度分数相关，使得对应程度越高，置信度分数越高。目标数据可接受性部件108还可以采用预定义的置信水平评分方案，该预定义的置信水平评分方案将限定置信度分数与限定对应程度相关联。
48.在一些实施方案中，对应程度和/或与目标数据集126相关联的置信度分数与第一步骤、数据范围评估过程相关联，可用于防止将目标神经网络模型128应用于目标数据集，或者以其他方式有助于调节基于将目标神经网络模型128应用于目标数据集126而生成的结果中的下游加权。例如，在一些具体实施中，如果目标数据集126被确定为在训练数据集124的范围之外，则目标数据集被确定为与训练数据集124的低对应程度相关联，并且/或者目标数据集126以其他方式与低置信度分数相关联(例如，相对于阈值置信度分数)，目标数据可接受性部件108可将目标数据集分类为不适用于目标神经网络模型128。基于确定目标数据集不适用于目标神经网络模型128，在一些实施方案中，目标数据可接受性部件108可防止未来将目标神经网络模型128应用于目标数据集126。在其他具体实施中，基于确定目标数据集不适用于目标神经网络模型128，目标数据可接受性部件可防止根据两部分过程的第二步骤对目标数据集126进行进一步分析；模型范围评估过程。在另一个示例性具体实
施中，例如，如果目标数据集126被确定为在训练数据集124的范围之外，则目标数据集被确定为与训练数据集124的低对应程度相关联，并且/或者目标数据集126以其他方式与低置信度分数相关联(例如，相对于阈值置信度分数)，基于将目标神经网络模型128应用于目标数据集126而生成的结果可与指示其准确度水平的低置信度的警告或加权相关联。
49.图3示出了根据本发明所公开的主题的一个或多个实施方案的用于评估和限定数据驱动的深度学习模型的输入数据范围的示例性、非限制性过程300的流程图。方法300提供了本文所述的两步骤分析方法的第一步骤(数据范围评估方法)的高级流程图。在一个或多个实施方案中，过程300可由数据特征提取部件104、数据分析部件106和目标数据可接受性部件108执行。为简洁起见，省略了对相应实施方案中采用的类似元素的重复描述。
50.在图1的角度下参考图3，根据过程300，在302处，可(例如，使用数据特征提取部件104)从训练数据集124提取第一训练数据特征304(例如，特征向量)。例如，在一个或多个实施方案中，数据特征提取部件104可使用方法200提取第一训练数据特征304。在306处，第一目标数据特征308(例如，特征向量)也可从目标数据集126中提取(例如，使用数据特征提取部件104)。例如，数据特征提取部件104还可使用方法200提取第一训练数据特征304。虽然用于从训练数据集和目标数据集合中提取第一特征向量的具体方法可变化(例如，可包括替代aee的其他方法)，但应当理解，数据特征提取部件104采用相同的方法来提取第一训练数据特征304和第一目标数据特征308。
51.在310处，然后可确定第一训练数据特征304和第一目标数据特征308之间的第一对应程度(例如，使用数据分析部件106)。例如，数据分析部件106可采用一个或多个基于统计和/或机器学习的方法(例如，对每个维度的z分数分析、对多维度的mahalanobis距离分析、对较低维度的t
‑
sne分析以获得相似距离、用于异常检测的一类svm分类、用于异常检测的隔离森林等)来基于第一训练数据特征304确定训练数据集124的范围，并且进一步确定第一训练数据特征304与第一目标数据特征308之间的对应程度。就这一点而言，根据所采用的机器学习/分析方法，数据分析部件106可确定表示第一训练数据特征304和第一目标数据特征308之间的对应程度的z分数、表示第一训练数据特征304和第一目标数据特征308之间的对应程度的距离测量、表示第一训练数据特征304和第一目标数据特征308之间的对应程度的百分比值等。
52.在312处，目标数据可接受性部件108然后可以确定第一对应程度是否可接受。例如，在一些实施方案中，目标数据可接受性部件108可以确定表示对应程度的测量值是否满足可接受性标准(例如，最小阈值、最大距离、最小z分数、最大偏差程度等)。如果在312处，第一对应程度被确定为可接受的，则过程300可继续到本文所述的两部分分析的步骤2在316处的模型范围评估。(下文参考图4讨论模型范围分析)。然而，如果在312处确定第一对应程度是不可接受的，则过程300可前进至314，其中目标数据可接受性部件108确定将目标神经网络模型应用于目标数据集将不会生成具有可接受的准确度水平的结果，并且将目标数据集分类为不适用于目标神经网络模型。换句话讲，基于第一对应程度小于可接受的对应程度，基于将模型应用于目标数据集而生成的潜在模型结果的准确度的置信水平也被认为是不可接受的(例如，太低)。
53.例如，在一些实施方案中，与确定第一训练数据特征304和第一目标数据特征308之间的第一对应程度是否可接受相关联，目标数据可接受性部件108还可以将表示第一训
练数据特征304和第一目标数据特征308之间的对应程度的置信度分数与目标数据集126相关联。例如，在一些具体实施中，置信度分数可以是二进制值，表示可接受的(例如，在训练数据集124的范围内)或不可接受的(例如，在训练数据集124的范围之外)。在另一个实施方案中，置信度分数可对应于对应程度，使得对应程度越高，置信度分数越高。利用这些实施方案，与目标数据集126相关联的置信度分数可用于加权或以其他方式调整基于将目标神经网络模型128应用于目标数据集而生成的下游结果。
54.再次参见图1，两步骤过程的第二步骤(模型范围评估步骤)涉及基于将目标神经网络模型128应用于训练数据集124来评估目标神经网络模型128的范围。就这一点而言，目标神经网络模型128的结构、隐藏层的数量、在每个隐藏层处生成的输出参数、所生成的参数的数量等部分地基于用于开发和训练模型的训练数据来控制。两步骤过程的第二步骤可用于确定dnn模型是否可以以及以何种置信度以与训练数据集124一致的方式处理目标数据集126，以根据基于训练数据集124生成的结果产生准确的结果。在各种实施方案中，仅当根据两步骤过程中的第一步骤分析，即数据范围评估步骤，确定目标数据集126在训练数据集的范围内(如果第一目标数据特征向量与第一训练数据特征向量表现出可接受的对应程度)时，才执行两步骤过程中的第二步骤。利用这些实施方案，如果确定目标数据集126与训练数据集124的不可接受的对应程度(例如，相对于预定义的可接受标准)相关联，则目标数据集126可被认为不适用于目标神经网络模型128，并且可省略根据模型评估步骤对目标数据集的进一步分析。在一个或多个实施方案中，模型范围评估步骤涉及模型应用部件112、模型特征提取部件114、模型分析部件116和目标数据可接受性部件108。
55.根据模型范围评估，模型应用部件112可将目标神经网络模型128的层子集应用于训练数据集124和目标数据集126两者，以生成两组基于模型的特征，一组用于训练数据集，并且一组用于目标数据集。层子集可包括除最终输出层之外的目标神经网络模型128的一个或多个层。例如，dnn模型包括输入层和输出层之间的多个中间层。这些中间层可包括例如隐藏层、卷积层、全连接层、部分连接层等。这些中间层生成输出参数/特征，这些输出参数/特征作为输入被馈送到后续下游层。因此，基于将dnn模型层的子集(例如，一个或多个中间层)应用于训练数据集124和目标数据集126而生成的基于模型的特征不同于根据两步骤分析中的步骤1提取和评估的基于数据提取的特征/特征向量，因为基于模型的特征对应于目标神经网络模型128的各个节点和层的输出。就这一点而言，基于模型的特征考虑了已训练dnn模型的特定范围和结构以评估和处理训练数据集124的方式。
56.根据模型范围评估，可将目标神经网络模型128的相同层子集应用于训练数据集124和目标数据集126两者，以生成这些类型的基于模型的特征(例如，相应中间层的输出)。基于将目标神经网络模型128的层子集应用于训练数据集124而生成的基于模型的特征集在本文中称为第二训练数据特征或第二训练数据特征向量。基于将目标神经网络模型128的层子集应用于目标数据集126而生成的基于模型的特征集在本文中被称为第二目标数据特征或第二目标数据特征向量。在一个或多个实施方案中，模型应用部件112可将目标神经网络模型128的层子集(例如，一个或多个中间层)应用于训练数据集124以生成第一组基于模型的特征。模型特征提取部件114还可从第一组基于模型的特征提取第二训练数据特征/特征向量。模型应用部件112还可将目标神经网络模型128的相同层子集(例如，一个或多个中间层)应用于目标数据集126以生成第二组基于模型的特征。模型特征提取部件114还可
从第二组基于模型的特征提取第二目标数据特征/特征向量。
57.使用由数据分析部件106在第一步骤中使用的相同统计和/或机器学习分析方法，模型分析部件116可以基于第二训练数据特征/特征向量进一步确定或限定目标神经网络模型128的范围，并且将第二目标数据特征/特征向量与第二训练数据特征/特征向量进行比较，以确定目标数据集是否在目标神经网络模型128的范围内。例如，模型分析部件116所用的分析方法可包括但不限于：对每个维度的z分数分析、对多维度上mahalanobis距离分析、对较低维度的t
‑
sne分析以获得相似距离、用于异常检测的一类svm分类、用于异常检测的隔离森林等(无论数据分析部件106使用哪一个来确定和评估训练数据集124相对于目标数据集126的范围)。
58.就这一点而言，模型分析部件116可以采用数据分析部件106采用的相同统计和/或机器学习分析方法(例如，上述那些中的一者或多者)，以将第二训练数据特征/特征向量与第二目标数据特征/特征向量进行比较，从而确定第二训练数据特征/特征向量与第二目标数据特征/特征向量之间的对应程度。该对应程度的测量数据是根据本文所公开的两步骤分析方法中的第一步骤，由数据分析部件106确定的第一对应程度的测量数据的补充。为了便于解释，由数据分析部件106确定的表示第一训练数据特征/特征向量和第一目标特征/特征向量之间的对应程度的对应程度在本文中称为“第一对应程度”，并且由模型分析部件116确定的表示第二训练数据特征/特征向量和第二目标特征/特征向量之间的对应程度的对应程度在本文中被称为“第二对应程度”。
59.与数据范围分析一样，根据所使用的统计/机器学习分析方法，该第二对应程度可基于z分数、距离测量、分布测量、百分比值、两个或更多个相似性测量的组合等。就这一点而言，用于表示第二对应程度(例如，第二训练数据特征/特征向量和第二目标特征/特征向量之间的对应程度)的测量数据的具体类型可基于所采用的统计和/或机器学习对比分析方法的类型而变化。然而，在一个或多个实施方案中，因为数据分析部件106和模型分析部件116应用相同的统计/机器学习对比分析方法，第一对应程度测量数据和第二对应程度测量数据将是相同类型的测量(例如，两个对应程度将包括z分数、距离测量、分布测量、百分比值等)。
60.模型可接受性部件118可进一步评估由模型分析部件116确定的第二对应程度测量数据，以确定目标数据集126是否可被认为在目标神经网络模型128的范围内。例如，在一些实施方案中，模型可接受性部件118还可以针对第二对应程度测量数据采用预定义的可接受性标准。该第二预定义的可接受性标准可包括例如预定义的基准或阈值对应值(例如，最小z
‑
分数、最大偏差程度、最小对应百分比值、最大分离程度等)。根据这些实施方案，模型可接受性部件118可以确定第二目标数据特征/特征向量是否表现出与第二训练数据特征/特征向量的可接受的对应程度，使得目标数据集126可基于第二对应程度测量数据是否满足第二可接受性标准而被视为在目标神经网络模型128的范围内。在一些实施方案中，第二预定义的可接受性标准可以与用于评估第一对应程度的第一预定义的可接受性标准相同(例如，相同的阈值或基准值)。在其他实施方案中，第二预定义的可接受性标准和第一预定义的可接受性标准可以不同。
61.在各种实施方案中，如果模型可接受性部件118确定目标数据集126在目标神经网络模型128的范围之外(例如，意味着在第二训练数据特征/特征向量和第二目标数据特征/
特征向量之间观察到不满足第二可接受性标准的第二对应程度)，可以假设，基于将目标神经网络模型128应用于目标数据集126而生成的推断结果可能是不准确的。根据这些实施方案，即使目标数据集126被确定为在训练数据集124的范围内(例如，根据数据范围评估，两步骤分析中的步骤
‑
1)，如果第二目标数据特征/特征向量在第二训练数据特征/特征向量的范围之外，模型可接受性部件118可将目标数据集126与低置信度分数相关联，该低置信度分数表示基于将目标神经网络模型128应用于目标数据集而生成的结果的准确度的低置信度。在一些实施方案中，该置信度分数可以是反映目标数据集126适用于或不适用于目标神经网络模型128的最终确定的二进制分数。在其他实施方案中，该第二置信度分数可以是非二进制的，并且反映第二训练数据特征/特征向量和第二目标数据特征/特征向量之间的对应程度。例如，第二置信度分数可随着第二对应程度的增大而增大。在一个或多个实施方案中，基于确定目标数据集126在目标神经网络模型128的范围之外和/或目标数据集126与不可接受的置信度分数(例如，相对于最小置信度分数)相关联，模型可接受性部件118可防止将目标神经网络模型128应用于目标数据集126，或者以其他方式有助于加权基于将目标神经网络模型128应用于目标数据集126而生成的结果。
62.然而，如果第二目标特征在目标神经网络模型128的范围内(例如，意味着第二目标数据特征/特征向量表现出与第二训练数据特征/特征向量的可接受的对应程度)，目标数据可接受性部件108可将高置信度分数与目标神经网络模型128相关联，其中高置信度分数反映目标神经网络模型128在应用于目标数据集126时将生成准确结果的高置信度。该(第二)置信度分数可以是二进制的和/或随着第二对应程度的增加而增加。就这一点而言，基于第一步骤(数据评估步骤)处目标数据集126在训练数据集124的范围内的第一确定以及第二步骤(模型评估步骤)处目标数据集126在目标神经网络模型128的范围内的第二确定，目标数据可接受性部件108可以授权目标数据集126应用于dnn模型。此外，基于将dnn模型应用于目标数据集而生成的结果可与反映第一对应程度和/或第二对应程度(例如，在数据范围评估步骤和/或模型范围评估步骤处确定)的高准确度(例如，根据预定义的准确度标度)相关联。
63.在一些实施方案中，模型可接受性部件118可以确定目标数据集126的累积对应程度分数和/或置信度分数，该累积对应程度分数和/或置信度分数是第一对应程度和第二对应程度的组合。例如，如果模型可接受性部件118确定第一训练数据特征/向量和第一目标数据特征/向量表现出85％的第一对应程度，并且目标数据可接受性部件108还确定第二训练数据特征/向量和第二目标数据特征/向量表现出95％的第二对应程度，模型可接受性部件118可以生成目标数据集126的最终“对应”或“置信度”分数，该最终“对应”或“置信度”分数是第一对应值和第二对应值的组合的函数(例如，这两个值的平均值，在该示例中将为90％)。在一些具体实施中，模型可接受性部件118还可基于相对于累积分数的最终可接受性标准的该最终对应或置信度分数来确定将目标数据分类为适用于还是不适用于目标神经网络模型128。利用这些具体实施，即使第一对应程度测量值或第二对应程度测量值中的一者较低(例如，相对于预定义的可接受性标准基准值)，如果另一对应程度测量值足够高以使最终累积对应程度测量值满足最终可接受性标准，则最终对应或置信度分数仍可足够高以将目标数据集分类为适用于目标神经网络模型128。因此，利用这些实施方案，即使与数据范围评估相关联地确定的第一对应程度测量值较低，使得目标数据集126被分类为在
训练数据集124的范围之外，系统100也可被配置成继续进行模型范围评估，即两部分分析中的步骤
‑
2。
64.图4示出了根据本发明所公开主题的一个或多个实施方案的用于评估和限定数据驱动的深度学习模型的依赖于模型的特征的范围的示例性非限制性过程的流程图。过程400提供了本文所述的两步骤分析过程的第一步骤(数据范围评估过程)的高级流程图。在一个或多个实施方案中，过程400可以由模型应用部件112、模型特征提取部件114、模型分析部件116和模型可接受性部件118执行。为简洁起见，省略了对相应实施方案中采用的类似元素的重复描述。
65.在图1的角度下参考图4，根据过程400，在402处，可将模型(例如，目标神经网络模型128)层的子集应用于训练数据集124(例如，通过模型应用部件112)。在404处，可基于将模型层的子集应用于训练数据集(例如，使用模型特征提取部件114)来提取训练数据集124的第二训练数据特征406(例如，特征向量)。例如，在一个或多个实施方案中，模型特征提取部件114可提取基于将模型层的子集应用于训练数据122集而生成的模型参数，并且基于模型参数生成第二训练数据特征406。在408处，可将模型(例如，目标神经网络模型128)层的(相同的)子集应用于目标数据集126(例如，通过模型应用部件112)。在410处，可(例如，使用模型特征提取部件114)提取基于将模型层的相同子集应用于目标数据集126而生成的第二目标数据特征412(例如，特征向量)。例如，在一个或多个实施方案中，模型特征提取部件114可提取基于将模型层的子集应用于目标数据集126而生成的模型参数，并且基于这些模型参数生成第二训练目标特征向量406。
66.在414处，然后可在第二训练数据特征406和第二目标数据特征412之间(例如，通过模型分析部件116)确定第二对应程度(例如，使用对每个维度的z分数分析、对多维度的mahalanobis距离分析、对较低维度的t
‑
sne分析以获得相似距离、用于异常检测的一类svm分类、用于异常检测的隔离森林等)。例如，模型分析部件116可采用由数据分析部件106使用的相同的一个或多个基于统计和/或机器学习的方法，以根据两步骤分析中的第一步骤确定第一训练特征向量与第一目标特征向量之间的第一对应程度；数据范围评估(例如，过程300)。在416处，模型可接受性部件118然后可以确定第二对应程度是否可接受。例如，在一些实施方案中，模型可接受性部件118可以确定表示对应程度的测量值是否满足可接受性标准(例如，最小阈值、最大距离、最小z分数、最大偏差程度等)。
67.如果在416处，确定第二对应程度是不可接受的，则过程400可前进至418，其中模型可接受性部件118确定将目标神经网络模型应用于目标数据集将不会生成具有可接受的准确度水平的结果，并且将目标数据集分类为不适用于目标神经网络模型。就这一点而言，基于第二准确度水平是不可接受的(例如，不能满足限定可接受性标准)，那么基于将目标神经网络模型应用于目标数据集126而生成的潜在模型结果的准确度的置信度水平也将是不可接受的(例如，太低)。然而，如果在416处，第二对应程度被确定为可接受的，则过程400可继续420，其中模型可接受性部件118确定将目标神经网络模型应用于目标数据集将会生成具有可接受的准确度水平的结果并将目标数据集分类为适用于目标神经网络模型。
68.在一些实施方案中，与确定第二训练数据特征406和第二目标数据特征412之间的第二对应程度是否可接受相关联，模型可接受性部件118还可以将表示第二训练数据特征406和第二目标数据特征412之间的(第二)对应程度的(第二)置信度分数与目标数据集126
相关联。例如，在一些具体实施中，(第二)置信度分数可以是二进制值，表示可接受的(例如，在目标神经网络模型128的范围内)或不可接受的(例如，在目标神经网络模型128的范围之外)。在另一个实施方案中，(第二)置信度分数可对应于(第二)对应程度，使得对应程度越高，置信度分数越高。利用这些实施方案，与目标数据集126相关联的(第二)置信度分数可用于对基于将目标神经网络模型128应用于目标数据集而生成的下游结果进行加权或以其他方式调整。
69.例如，在一些具体实施中，目标数据集126可与第一置信度分数相关联，该第一置信度分数表示第一训练特征向量和第一目标特征向量之间的第一对应程度(例如，根据过程300)。目标数据集126还可与表示第二训练数据特征406和第二目标数据特征之间的第二对应程度的第二置信度分数相关联(例如，根据过程400)。第一置信度分数和/或第二置信度分数可用于控制将目标神经网络模型128应用于该领域的目标数据集126和/或对基于将目标神经网络模型128应用于目标数据集126而生成的结果的值进行加权。例如，在一些具体实施中，如果第一置信度分数和/或第二置信度分数，或者是基于第一置信度分数和第二置信度分数的组合的累积/最终置信度分数，小于预定义的置信度分数基准或阈值，模型应用部件112可被配置为防止将目标神经网络模型128应用于该领域的目标数据集126。在另一个具体实施中，无论与目标神经网络模型128相关联的最终/累积置信度分数如何，系统100(或另一个系统)都可选择将目标神经网络模型128应用于目标数据集126，但根据累积/最终置信度分数对结果的准确度进行加权。
70.图5示出了根据本发明所公开主题的一个或多个实施方案的有助于评估和限定数据驱动的深度学习模型的范围的另一个示例性非限制性系统500的框图。系统500包括与系统100相同或类似的特征，其中添加了通知部件502、评估部件506、目标数据集评估通知504、评估报告508以及训练数据范围和模型范围信息510。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。
71.在一个或多个实施方案中，通知部件502可生成指示确定目标数据集126与小于可接受的对应程度的对应程序相关联、与低置信度分数相关联和/或以其他方式在训练数据集124(例如，根据两步骤分析中的第一步骤；数据范围评估，过程300)；和/或目标神经网络模型128(例如，根据两步骤分析中的第二步骤；模型范围评估，过程400)的范围之外的通知或警告。在所示实施方案中，该通知被识别为目标数据集评估通知504。该通知或警告可用于防止将目标神经网络模型128应用于目标数据集(例如，通过模型应用部件112)，或者以其他方式调整由将目标神经网络模型128应用于目标数据而得出的推断的下游加权。
72.例如，在一些具体实施中，如果目标数据可接受性部件108确定目标数据集126在与数据范围评估相关联的训练数据集124的范围之外(例如，基于第一目标数据特征/特征向量与第一训练数据特征/特征向量的第一对应程度小于可接受的对应程度)，通知部件502可以生成目标数据集评估通知504，用于呈现或以其他方式呈现给负责应用目标神经网络模型128的实体(例如，模型应用部件112、与调用目标神经网络模型128的软件交互以基于目标数据集126生成推断的用户，或其他合适的实体)。通知可包括指示目标数据集126在训练数据集124范围之外的信息。在一些具体实施中，除了指示目标数据集126在训练数据集124的范围之内或之外，通知还可以包括信息诸如第一对应程度、可接受性标准、目标数据集126中反映第一对应程度的所确定的第一置信水平、基于目标数据集126生成的潜在结
果的预测准确度水平等。基于接收到通知，实体可以自行决定是继续将目标神经网络模型128应用于目标数据集126还是启动另选方案(例如，手动、用户辅助的过程或其他审核流程)来评估目标数据集126。例如，如果目标数据集包括医学图像，并且目标神经网络模型128被配置成基于输入的医学图像生成自动诊断，则基于接收到目标数据集126在训练数据集124范围之外的通知，实体可假设基于将目标神经网络模型128应用于目标数据集126的诊断结果具有相对高的不准确概率(例如，其中该概率基于与目标数据集126相关联的第一置信度)。因此，除了和/或另选地使目标神经网络模型128基于图像生成诊断，实体可指导主治医生或一组专家医生手动查看输入的医学图像。在一些实施方案中，即使目标数据集126被确定为在训练数据集124的范围内，通知部件502也可以在数据范围分析步骤之后生成包括关于数据范围分析步骤的结果的此类信息的通知。
73.通知部件502可以类似地在关于模型范围分析步骤的结果的模型范围分析之后生成目标数据集评估通知504。例如，如果目标数据可接受性部件108确定目标数据集126在与模型范围评估相关联的目标神经网络模型128的范围之外(例如，基于第二目标数据特征/特征向量表现出与第二训练数据特征/特征向量的第二对应程度小于可接受的对应程度)，通知部件502可以生成目标数据集评估通知504，用于呈现或以其他方式呈现给负责应用目标神经网络模型128的实体(例如，模型应用部件112、与调用目标神经网络模型128以生成基于目标数据集126的推断的软件交互的用户，或其他合适的实体)。通知可包括指示目标数据集126在目标神经网络模型128的范围之外的信息、识别所确定的第二对应程度、用于评估第二对应程度的可接受性标准、目标数据集126中反映第二对应程度的所确定的第二置信水平、基于目标数据集126生成的潜在结果的预测准确度水平的信息等等。基于接收到通知，实体可以自行决定是继续将目标神经网络模型128应用于目标数据集126还是启动另选方案(例如，手动、用户辅助过程或其他审查过程)来评估目标数据集126。
74.评估部件506可被配置成生成并提供关于应用于特定目标数据集126的数据范围评估和/或模型范围评估的结果的评估报告508。例如，评估报告可包括可包括在目标数据集评估通知504中的关于目标数据集126的相同类型的信息。然而，即使确定目标数据集126在训练数据集124的范围内和/或在目标神经网络模型128的范围内，也可生成评估报告。在一些实施方案中，评估报告508可由合适的实体用于确定是否将目标神经网络模型128应用于目标数据集126和/或确定如何消耗和/或加权基于将目标神经网络模型128应用于目标数据集126而生成的结果(例如，模型应用部件112、用户、应用目标神经网络模型128的另一系统、提供关于是否应用目标神经网络模型128的建议的另一部件、评估和/或应用目标神经网络模型128的结果的另一部件等)。
75.评估部件506还可被配置成生成并整理由数据分析部件106生成的关于训练数据集124的所确定的范围以及关于目标神经网络模型128的所确定的范围模型分析部件116所确定的范围的范围信息。该“范围信息”可收集在合适的网络可访问数据库中，并且在系统500中被识别为训练数据范围和模型范围信息510。例如，范围信息可包括用于开发和训练目标神经网络模型128的特定训练数据集124的信息，识别训练数据集124的所提取的第一训练数据特征/特征向量。范围信息还可包括基于第一训练数据特征/特征向量限定训练数据集124的范围的信息。范围信息可类似地包括目标神经网络模型128的识别第二训练数据特征/特征向量和/或基于第二训练数据特征/特征向量所确定的目标神经网络模型128的
范围的信息。计算设备102可使用该范围信息来以增加的计算时间/处理速度评估和处理未来的附加目标数据集。例如，数据特征提取部件104可仅提取新目标数据集的新的第一目标数据特征向量，因为数据分析部件106可通过重新使用包括在训练数据范围和模型范围信息510中的先前提取的第一训练数据特征来执行其分析。类似地，模型应用部件112仅需将模型层的子集应用于新的目标数据集，模型特征提取部件114仅需从其提取新的第二目标数据特征，因为模型分析部件116可再使用包括在训练数据范围和模型范围信息510中的初始第二训练数据特征。就这一点而言，每当计算设备接收102用于目标神经网络模型128的潜在应用的新数据时，计算设备102可再使用先前确定的训练数据范围信息和目标神经网络模型128范围信息，从而增强评估新目标数据集所需的处理时间。
76.图6提供了根据本发明所公开主题的一个或多个实施方案的有助于评估和限定数据驱动的深度学习模型的范围的示例性非限制性计算机实现方法600的流程图。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。
77.在602处，可操作地耦接到处理器的系统(例如，系统100、系统500等)可为aae，以识别和提取包括在训练数据集中的第一训练数据特征和包括在目标数据集中的第一目标数据特征(例如，使用数据特征提取部件104)。在604处，系统可使用统计分析方法或机器学习分析方法(例如，使用数据分析部件106)，基于对第一训练数据特征与第一目标数据特征之间的对应的分析，确定训练数据集与目标数据集之间的第一对应程度。在606处，系统可基于第一对应程度(例如，使用目标数据可接受性部件108)确定是否继续将目标神经网络模型应用于目标数据，其中目标神经网络模型是在训练数据集上训练的。
78.图7提供了根据本发明所公开主题的一个或多个实施方案的有助于评估和限定数据驱动的深度学习模型的范围的另一个示例性非限制性计算机实现方法700流程图。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。
79.在702处，可操作地耦接到处理器的系统(例如，系统100、系统500等)可采用对抗性自动编码器来识别和提取包括在训练数据集中的训练数据特征和包括在目标数据集中的目标数据特征，其中目标神经网络模型是在训练数据集上训练的(例如，使用数据特征提取部件104)。在704处，系统可使用统计分析方法或机器学习分析方法(例如，使用数据分析部件106)，基于对训练数据特征和目标数据特征之间的对应的分析来确定训练数据集和目标数据集之间的对应程度。在706处，系统可基于对应程度未能满足阈值对应程度来确定将目标神经网络模型应用于目标数据集将生成具有不可接受的准确度水平的结果(例如，使用目标数据可接受性部件108)。在708处，系统可基于确定将目标神经网络模型应用于目标数据集将生成具有不可接受的准确度水平的结果，将目标数据集分类为不适用于目标神经网络模型。
80.图8提供了根据本发明所公开主题的一个或多个实施方案的有助于评估和限定数据驱动的深度学习模型的范围的另一个示例性非限制性计算机实现方法800的流程图。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。
81.在802处，可操作地耦接到处理器的系统(例如，系统100、系统500等)可采用对抗性自动编码器来识别和提取包括在训练数据集中的训练数据特征和包括在目标数据集中的目标数据特征，其中目标神经网络模型是在训练数据集上训练的(例如，使用数据特征提取部件104)。在804处，系统可使用统计分析方法或机器学习分析方法(例如，使用数据分析
部件106)，基于对训练数据特征和目标数据特征之间的对应的分析来确定训练数据集和目标数据集之间的对应程度。在806处，系统可基于对应程度未能满足阈值对应程度来确定目标数据集在训练数据集的范围之外(例如，使用目标数据可接受性部件108)，其中基于目标数据集被确定为在训练数据集的范围之外，系统确定将目标神经网络模型应用于目标数据集将生成具有不可接受的准确度水平的结果。在808处，系统可在将目标数据集应用于目标神经网络模型之前生成关于不可接受的准确度水平的通知。
82.图9提供了根据本发明所公开主题的一个或多个实施方案的有助于评估和限定数据驱动的深度学习模型的范围的另一个示例性非限制性计算机实现方法900的流程图。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。
83.在902处，可操作地耦接到处理器(例如，系统100、系统500等)的系统可提取包括在训练数据集中的第一训练数据特征和包括在目标数据集中的第一目标数据特征(例如，使用数据特征提取部件104)。在904处，系统可确定第一训练数据特征和第一目标数据特征之间的第一对应程度(例如，使用数据分析部件106)。在906处，基于确定第一对应程度是可接受的(例如，基于限定可接受性标准)，系统可进一步提取基于将目标神经网络模型的层子集应用于训练数据集而生成的第二训练数据特征，以及提取基于将层子集应用于目标数据集而生成的第二目标数据特征(例如，使用目标数据可接受性部件108、模型应用部件112和模型特征提取部件114)。在908处，系统可确定第二训练数据特征和第二目标数据特征之间的第二对应程度(例如，使用模型分析部件116)。在910处，系统可进一步基于第二对应程度确定将目标数据集应用于目标神经网络模型是否将会生成具有可接受的准确度水平的结果(例如，使用目标数据可接受性部件108)。
84.图10提供了根据本发明所公开主题的一个或多个实施方案的有助于评估和限定数据驱动的深度学习模型的范围的另一个示例性非限制性计算机实现方法1000的流程图。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。
85.在1002处，可操作地耦接到处理器(例如，系统100、系统500等)的系统可采用机器学习模型(例如，aae)来提取包括在训练数据集中的第一训练数据特征和包括在目标数据集中的第一目标数据特征(例如，使用数据特征提取部件104)。在1004处，系统可基于对第一训练数据特征和第一目标数据特征之间的对应的分析(例如，使用数据分析部件106和目标数据可接受性部件108)来确定目标数据集是否在训练数据集的限定数据范围内。在1006处，基于确定目标数据集在训练数据集的限定数据范围内，系统还可提取基于将目标神经网络模型的层子集应用于训练数据集而生成的第二训练数据特征(例如，经由模型应用部件112和模型特征提取部件114)。在1008处，系统可提取基于将目标神经网络模型的层子集应用于目标数据集而生成的第二目标数据特征(例如，经由模型应用部件112和模型特征提取部件114)。在1010处，系统可基于对第二训练数据特征和第二目标数据特征之间的对应的分析来确定目标数据集是否在目标神经网络模型的限定模型范围内。在1012处，系统还可基于目标数据集是否在目标神经网络模型的限定范围内(例如，使用目标数据可接受性部件108)来确定将目标数据集应用于目标神经网络模型是否将会生成具有可接受的准确度水平的结果。
86.一个或多个实施方案可以是处于集成的任何可能技术细节水平的系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令以用于致使处
理器执行本发明的方面的计算机可读存储介质(或多个介质)。
87.计算机可读存储介质可以是有形设备，该有形设备可以保持和存储供指令执行设备使用的指令。计算机可读存储介质可以是例如但不限于电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备、或前述的任何适当组合。计算机可读存储介质的更具体示例的非穷举列表包括以下项：便携式计算机软盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存存储器)、静态随机存取存储器(sram)、便携式光盘只读存储器(cd
‑
rom)、数字多功能磁盘(dvd)、记忆棒、软盘、机械编码设备(诸如打孔卡或其上记录有指令的凹槽中的凸起结构)、以及上述项的任何适当组合。如本文所用的，计算机可读存储介质不应被理解为是暂态信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)、或通过电线传输的电信号。
88.本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如，互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并且转发计算机可读程序指令以用于存储在相应计算/处理设备内的计算机可读存储介质中。
89.用于执行本发明的操作的计算机可读程序指令可以是汇编器指令、指令集架构(isa)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据、集成电路的配置数据、或以一种或多种编程语言(包括面向对象的编程语言，诸如smalltalk、c 等)和过程编程语言(诸如“c”编程语言或类似编程语言)的任何组合编写的源代码或目标代码。计算机可读程序指令可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包执行，部分在用户计算机上并且部分在远程计算机上执行，或完全在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过任何类型的网络(包括局域网(lan)或广域网(wan))连接到用户的计算机，或者可以与外部计算机建立连接(例如，通过使用互联网服务提供商的互联网)。在一些实施方案中，包括例如可编程逻辑电路、现场可编程门阵列(fpga)、或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以个性化电子电路，以便执行本发明的方面。
90.本文参考根据本发明实施方案的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述本发明的各方面。可以理解，流程图图示和/或框图的每个框、以及流程图图示和/或框图中的框组合可以由计算机可读程序指令来实现。
91.可以将这些计算机可读程序指令提供给通用计算机、专用计算机、或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令也可以存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置、和/或其他设备以特定方式起作用，使得具有存储在其中的指令的计算机可读存储介质包括制品，该制品包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。
92.也可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他
设备上，以致使一系列操作步骤在计算机、其他可编程装置、或其他设备上执行以产生计算机实现过程，使得在计算机、其他可编程装置、或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
93.附图中的流程图和框图示出了根据本发明的各种实施方案的系统、方法和计算机程序产品的可能具体实施的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示指令的模块、片段或部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些另选具体实施中，框中所指出的功能可不按图中所指出的顺序发生。例如，取决于所涉及的功能，实际上可以基本上同时执行连续示出的两个框，或者有时可能以相反顺序执行这些框。还需要说明的是，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可由执行特定功能或动作或者执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。
94.结合图10，下文所述的系统和过程可以体现在硬件内，诸如单个集成电路(ic)芯片、多个ic、专用集成电路(asic)等。此外，一些或所有过程框在每个过程中出现的顺序不应视为限制性的。相反，应当理解，一些过程框能够以各种顺序执行，并非所有这些顺序都可以在本文中明确示出。
95.参考图11，用于实现要求保护的主题的各个方面的示例性环境1100包括计算机1102。计算机1102包括处理单元1104、系统存储器1106、编解码器1135和系统总线1108。系统总线1108将包括但不限于系统存储器1106的系统部件耦接到处理单元1104。处理单元1104可以是各种可用处理器中的任何一种。双微处理器和其他多处理器架构也可用作处理单元1104。
96.系统总线1108可以是多种类型的总线结构中的任一种，包括存储器总线或存储器控制器、外围总线或外部总线或者使用各种可用总线架构的本地总线，包括但不限于工业标准架构(isa)、微通道架构(msa)、扩展isa(eisa)、智能驱动电子设备(ide)、vesa本地总线(vlb)、外围部件互连件(pci)、卡总线、通用串行总线(usb)、高级图形端口(agp)、个人计算机存储器卡国际协会总线(pcmcia)、火线(ieee 1394)和小型计算机系统接口(scsi)。
97.在各种实施方案中，系统存储器1106包括易失性存储器1110和非易失性存储器1112，其可以采用所公开的存储器架构中的一个或多个。基本输入/输出系统(bios)(包含在计算机1102内的元件之间传输信息的基本例程，诸如在启动期间)存储在非易失性存储器1112中。此外，根据本发明的创新，编解码器1135可以包括编码器或解码器中的至少一者，其中该编码器或解码器中的至少一者可以由硬件、软件或硬件和软件的组合组成。
98.尽管编解码器1135被示为单独的部件，但编解码器1135可以包含在非易失性存储器1112中。以举例说明而非限制的方式，非易失性存储器1112可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)、闪存存储器、3d闪存存储器、或电阻性存储器，诸如电阻性随机存取存储器(rram)。在至少一些实施方案中，非易失性存储器1112可采用所公开存储器设备中的一种或多种存储器设备。此外，非易失性存储器1112可以是计算机存储器(例如，与计算机1102或其主板物理集成)或可移除存储器。可以用来实现所公开的实施方案的合适的可移除存储器的示例可以包括安全数字(sd)卡、紧凑型闪存(cf)卡、通用串行总线(usb)记忆棒等。易失性存储器1110包括充当外部高速缓存存储器的随机存取存储器(ram)，并且在各种实施方案中还可以采用一种或多种公
开的存储器设备。以举例说明而非限制的方式，ram能以多种形式提供，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双倍数据速率sdram(ddr sdram)和增强型sdram(esdram)等。
99.计算机1102还可以包括可移除/不可移除、易失性/非易失性计算机存储介质。图11示出了例如磁盘存储装置1114。磁盘存储装置1114包括但不限于如磁盘驱动器、固态盘(ssd)、闪存存储器卡或记忆棒的设备。此外，磁盘存储装置1114可以单独或与其他存储介质组合包括存储介质，包括但不限于光盘驱动器，诸如光盘rom设备(cd
‑
rom)、cd可记录驱动器(cd
‑
r驱动器)、cd可重写驱动器(cd
‑
rw驱动器)或数字通用磁盘rom驱动器(dvd
‑
rom)。为了便于将磁盘存储装置1114连接到系统总线1108，通常使用可移除或不可移除的接口，诸如接口1116。应当理解，磁盘存储装置1114可以存储与用户相关的信息。此类信息可以存储在服务器处或者提供给服务器或用户设备上运行的应用程序。在一个实施方案中，可以向用户通知(例如，通过一个或多个输出设备1136)存储到磁盘存储装置1114或传输到服务器或应用程序的信息的类型。可以向用户提供选择加入或选择退出通过服务器或应用程序来收集或共享此类信息的机会(例如，通过来自一个或多个输入设备1128的输入)。
100.应当理解，图11描述了充当用户和合适的操作环境1100中所述的基本计算机资源之间的中介的软件。此类软件包括操作系统1118。可存储在磁盘存储装置1114上的操作系统1118用于控制和分配计算机1102的资源。应用程序1120利用操作系统1118通过程序模块1124来管理资源，以及存储在系统存储器1106或磁盘存储装置1114上的程序数据1126，诸如引导/关机事务表等。应当理解，要求保护的主题可以用各种操作系统或操作系统的组合来实现。
101.用户通过输入设备1128将命令或信息输入到计算机1102中。输入设备1128包括但不限于诸如鼠标、轨迹球、触笔、触摸板、键盘、麦克风、操纵杆、游戏板、卫星天线、扫描仪、电视调谐卡、数码相机、数码摄像机、网络摄像头等指向设备。这些和其他输入设备经由接口端口1130通过系统总线1108连接到处理单元1104。接口端口1130包括例如串行端口、并行端口、游戏端口和通用串行总线(usb)。输出设备1136使用与输入设备1128相同类型的端口中的一些端口。因此，例如，usb端口可以用于向计算机1102提供输入，并将信息从计算机1102输出到输出设备1136。提供输出适配器1134以示出存在如监视器、扬声器和打印机的一些输出设备1136，以及需要特殊适配器的其他输出设备1136。通过举例说明而非限制的方式，输出适配器1134包括在输出设备1136和系统总线1108之间提供连接方式的视频和声卡。应当指出的是，其他设备或设备的系统提供输入和输出能力，诸如远程计算机1138。
102.计算机1102可使用到一个或多个远程计算机(诸如，远程计算机1138)的逻辑连接而在联网环境中操作。远程计算机1138可以是个人计算机、服务器、路由器、网络pc、工作站、基于微处理器的设备、对等设备、智能电话、平板电脑或其他网络节点，并且通常包括许多相对于计算机1102描述的元素。出于简洁的目的，对于远程计算机1138仅示出了存储器存储设备1140。远程计算机1138通过网络接口1142逻辑连接到计算机1102，然后经由通信连接1144连接。网络接口1142包括有线或无线通信网络，诸如局域网(lan)和广域网(wan)和蜂窝网络。lan技术包括光纤分布式数据接口(fddi)、铜分布式数据接口(cddi)、以太网、令牌环等。wan技术包括但不限于点到点链路、如综合业务数字网络(isdn)及其上的变体的电路交换网络、分组交换网络和数字用户线(dsl)。
103.通信连接1144是指用于将网络接口1142连接到总线1108的硬件/软件。虽然为了清楚说明而在计算机1102内示出了通信连接1144，但是该通信连接也可在计算机1102外部。仅出于举例的目的，连接到网络接口1142所需的硬件/软件包括内部和外部技术，诸如调制解调器，包括常规电话级调制解调器、电缆调制解调器和dsl调制解调器、isdn适配器，以及有线和无线以太网卡、集线器和路由器。
104.尽管上面已经在一个和/或多个计算机上运行的计算机程序产品的计算机可执行指令的一般上下文中描述了本主题，但本领域技术人员将认识到，本公开内容也可以或可以与其他程序模块结合来实现。通常，程序模块包括执行特定任务和/或实现特定抽象数据类型的例程、程序、部件、数据结构等。此外，本领域技术人员将理解，可以用其他计算机系统配置来实践本发明的计算机实现方法，这些计算机系统配置包括单处理器或多处理器计算机系统、小型计算设备、大型计算机、以及计算机、手持式计算设备(例如，pda、电话)、基于微处理器或可编程的消费或工业电子器件等。所例示的方面还可以在分布式计算环境中实践，在该环境中，由通过通信网络链接的远程处理设备执行任务。然而，本公开的一些(如果不是全部)方面可以在独立计算机上实践。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备中。
105.如本技术中使用的，术语“部件”、“系统”、“平台”、“接口”等可以指代和/或可以包括计算机相关实体、或与具有一种或多种特定功能的操作机相关的实体。本文公开的实体可以是硬件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于是在处理器上运行的进程、处理器、对象、可执行文件、执行的线程、程序和/或计算机。通过举例说明的方式，在服务器上运行的应用程序和服务器都可以是部件。一个或多个部件可以驻留在进程和/或执行的线程内，并且部件可以位于一台计算机上和/或分布在两台或更多台计算机之间。在另一个示例中，相应部件可以根据其上存储有各种数据结构的各种计算机可读介质执行。部件可以经由本地和/或远程进程进行通信，诸如根据具有一个或多个数据分组的信号(例如，来自一个部件的数据，该部件在本地系统、分布式系统和/或网络(诸如，经由信号与其他系统的互联网)中与另一个部件交互)。作为另一个示例，部件可以是具有由电气或电子电路操作的机械零件提供的特定功能的装置，该电气或电子电路由处理器所执行的软件或固件应用程序操作。在这种情况下，处理器可以在装置的内部或外部，并且可以执行软件或固件应用程序的至少一部分。作为又一个示例，部件可以是通过电子部件而非机械零件提供特定功能的装置，其中电子部件可以包括处理器或用于执行至少部分地赋予电子部件功能性的软件或固件的其他装置。在一个方面，部件可以例如在云计算系统内经由虚拟机来仿真电子部件。
106.此外，术语“或”旨在表示包含性的“或”而不是排他性的“或”。也就是说，除非另有指明或从上下文中清楚，否则“x采用a或b”旨在表示任何自然的包含性置换。也就是说，如果x采用a；x采用b；或者x采用a和b两者，则在任何前述情况下都满足“x采用a或b”。此外，在本说明书和附图中使用的冠词“一”和“一个”通常应被解释是指“一个或多个”，除非另有指明或从上下文中清楚是指单数形式。如本文所用，术语“示例”和/或“示例性”用于表示用作示例、实例或说明，并且旨在是非限制性的。为了避免疑问，本文所公开的主题不受此类示例的限制。此外，本文中描述为“示例”和/或“示例性”的任何方面或设计不必被解释为比其他方面或设计优选或有利，也不意味着排除本领域普通技术人员已知的等效示例性结构和
技术。
107.如在本主题说明书中所采用的，术语“处理器”可以基本上指代任何计算处理单元或设备，包括但不限于单核处理器；具有软件多线程执行能力的单处理器；多核处理器；具有软件多线程执行能力的多核处理器；具有硬件多线程技术的多核处理器；并行平台；以及具有分布式共享存储器的并行平台。另外，处理器可以指集成电路、专用集成电路(asic)、数字信号处理器(dsp)、现场可编程门阵列(fpga)、可编程逻辑控制器(plc)、复杂可编程逻辑设备(cpld)、分立栅极或晶体管逻辑部件、分立硬件部件、或被设计为执行本文所述的功能的其任意组合。另外，处理器可以利用纳米级架构(诸如但不限于基于分子和量子点的晶体管、开关和门)以便优化空间使用或增强用户设备的性能。处理器也可以被实现为计算处理单元的组合。在本公开中，诸如“存储”、“存储装置”、“数据存储”、“数据存储装置”、“数据库”、以及与部件的操作和功能相关的基本上任何其他信息存储部件的术语用于指代“存储器部件”、“存储器”中体现的实体、或包括存储器的部件。应当认识到，本文所述的存储器和/或存储器部件可以是易失性存储器或非易失性存储器，或者可以包括易失性和非易失性存储器两者。以举例说明而非限制的方式，非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除rom(eeprom)、闪存存储器、或非易失性随机存取存储器(ram)(例如，铁电ram(feram))。例如，易失性存储器可以包括ram，其可以充当外部高速缓存存储器。以举例说明而非限制的方式，ram能以多种形式提供，诸如同步ram(sram)、动态ram(dram)、同步dram(sdram)、双倍数据速率sdram(ddr sdram)、增强型sdram(esdram)、synchlink dram(sldram)、直接rambus ram(drram)、直接rambus动态ram(drdram)和rambus动态ram(rdram)。另外，本文公开的系统或计算机实现方法的存储器部件旨在包括但不限于包括这些以及任何其他合适类型的存储器。
108.上面已经描述的内容仅包括系统和计算机实现方法的示例。当然，无法为了描述本公开的目的而描述部件或计算机实现方法的每种可想到的组合，但本领域的普通技术人员可以认识到，本公开的许多进一步组合和置换是可能的。此外，对于在具体实施方式、权利要求、附录和附图中使用术语“包括”、“具有”、“拥有”等的程度，此类术语旨在以类似于术语“包括”的方式为包含性的，如在权利要求中用作过渡词时解释“包括”。已经出于说明的目的给出了各种实施方案的描述，但这些描述并不旨在是穷举的或限于所公开的实施方案。在不脱离所描述的实施方案的范围和精神的情况下，许多修改和变型对于本领域普通技术人员而言是显而易见的。选择本文使用的术语是以最好地解释实施方案的原理、优于市场上发现的技术的实际应用或技术改进，或者使得本领域的其他普通技术人员能够理解本文公开的实施方案。