具有空间涵盖约束的协作神经网络的制作方法

1.本技术总体上涉及信息技术，并且更具体地涉及数据处理技术。


背景技术：

2.以端到端方式训练神经网络模型可以成功地解决各种任务。然而，端到端模型通常消耗大量的数据和存储器。进一步，在许多机器学习任务中，完全标记的数据的可用性可能是有限的，而存在常规模型不能有效利用的更大量的部分标记的数据。


技术实现要素：

3.在本发明的一个实施例中，提供了用于具有空间涵盖约束(containment constraint)的协作神经网络的技术。示例性的计算机实现的方法，可包括将处理任务分为多个子任务，以及训练多个独立的神经网络，使得多个子任务中的至少一些子任务对应于多个独立的神经网络中的不同的神经网络。该方法还包括至少部分地基于与处理任务有关的基于约束的域知识来定义多个子任务中的给定子任务的至少一个约束损失，该至少一个约束损失取决于来自其他多个子任务中的至少一个子任务的输出，以及重新训练多个独立的神经网络的至少一部分，该重新训练取决于使用至少一个约束损失。
4.在本发明的另一实施例中，示例性的计算机实现的方法可以包括：将处理任务分为多个子任务；以及训练其中具有多个发散分支的神经网络，使得多个子任务中的至少一些子任务对应于神经网络的多个分散分支中的不同分支。该方法还包括至少部分地基于与处理任务有关的基于约束的域知识来定义多个子任务中的给定子任务的至少一个约束损失，该至少一个约束损失取决于来自其他多个子任务中的至少一个子任务的输出，以及重新训练神经网络的至少一部分，该重新训练取决于使用至少一个约束损失。
5.本发明的另一实施例或其元素能够以有形地体现计算机可读指令的计算机程序产品的形式来实现，计算机可读指令在被实现时使计算机执行如本文中所描述的多个方法步骤。此外，可以以系统的形式实现本发明的另一个实施例或其元件，该系统包括存储器和至少一个处理器，至少一个处理器耦合到存储器并且被配置为执行所指出的方法步骤。更进一步，本发明的另一实施例或其元素能够以用于执行本文描述的方法步骤的装置或其元素的形式来实现；该装置可以包括硬件模块或硬件和软件模块的组合，其中，软件模块被存储在有形的计算机可读存储介质(或多个介质)中。
6.从以下将结合附图阅读的对本发明的示例性实施例的详细描述中，本发明的这些和其他目的、特征和优点将变得显而易见。
附图说明
7.图1是示出根据本发明的示例实施例的系统架构的图；
8.图2是示出根据本发明的实施例的技术的流程图；
9.图3是可以在其上实现本发明的至少一个实施例的示例性计算机系统的系统图；
10.图4示出根据本发明的实施例的云计算环境；以及
11.图5描述根据本发明的实施例的抽象模型层。
具体实施方式
12.如本文所描述的，本发明的实施例包括具有空间涵盖约束的协作神经网络。更具体地，至少一个实施例包括生成和/或实现用于机器学习任务的基于约束的神经网络训练框架。在一个或多个实施例中，该框架包括实现以下步骤：将给定任务分为多个子任务；针对相应子任务中的每个子任务训练至少一个独立的神经网络(例如，潜在地使用不同的数据集)；利用与给定任务有关的基于约束的域知识并且定义涉及每个子任务的结果的约束损失；以及使用一个或多个其他模型的预测结果以对抗的风格顺序地训练每个神经网络模型。
13.因此，如以上至少部分强调的，至少一个实施例包括：将给定任务分为多个子任务(例如，单独地检测表和这些表的单元)；利用潜在不同的数据集来训练每个子任务的单独模型；定义和/或学习每个子任务的输出之间的至少一个空间约束关系；向每个子任务模型添加至少一个损失；惩罚约束违反并继续训练；以及进一步修改和/或微调框架(例如，仅采用具有未标记数据的约束损失)。
14.在本文中至少一个实施例的这种框架也被称为基于约束的协作神经网络(c2nn)，因为多个神经网络结合一个或多个预定义的约束彼此协作。c2nn提供了优于常规建模和/或分析方法的至少以下优点。例如，c2nn可以增加使用(例如，完全使用)部分标记的数据，来同时采集鲁棒的局部特征并保留全局结构。另外，在与示例实施例关联的训练阶段期间，单独地训练每个模型，使得可以使用部分标记的数据来训练更鲁棒的子任务模型。如同样作为训练阶段的一部分所涵盖的，多个神经网络彼此协作以保留给定(总体)任务的全局结构。
15.优于常规方法的另一优点包括存储器效率。例如，训练大量的端到端模型通常需要相当大的图形处理单元(gpu)和/或张量处理单元(tpu)存储器。然而，在至少一个实施例中，因为在c2nn实施的任何时间，仅实时(on the fly)训练针对子任务的一个神经网络，所以在资源密集环境下可使用c2nn训练更小的子模型。另外，在一个或多个实施例中，可使用c2nn来增强域适配。例如，在训练阶段期间，c2nn可以通过保留由源和目标域两者所拥有的相同约束来促进采用有限标记数据将当前模型适配到不同域中。
16.因此，并且如在此详述的，一个或多个实施例包括并入部分标记的数据(例如，用于训练目的)。因为反向传播对训练样本中涉及的模型的神经元是有效的，所以端到端模型通常是资源密集的。然而，至少一个实施例包括在每个时间戳中仅训练(相对较小的)子任务模型。
17.进一步，至少一个实施例包括通过独立地检测随后变成其他网络可以结合的至少一个约束的问题的至少一个方面来实现和/或促进跨多个神经网络的协作。仅仅通过说明的方式，该约束可与涵盖有关，例如，使得一个网络的输出需要物理地包含在另一个网络的输出内。
18.作为附加示例，通过使用子对象之间的空间关系，一个或多个实施例可以包括：使用部分标记的数据(其不包含完整任务所需的所有标记)，结合域知识以提高训练速度和准
确度，以及从未标记的数据中学习。
19.图1描绘了具有表识别的基于约束损失的训练机制的示例。然而，可将一个或多个实施例实现和/或应用到任何网络，网络的输出具有一些约束关系(例如，涵盖约束、时间一致性约束等)。例如，至少一个实施例可以包括在至少一个时间相似性约束的上下文内的实现方式，其中，各自预测未来和过去事件的两个网络可以具有相似的结果，并且两个网络的输出的像素级相似性成为约束。
20.如图1所示，表边界框架104可以通过利用表必须包含至少一些单元的事实来使用单元检测网络。在训练阶段中，除了回归和分类损失之外，一个或多个实施例包括添加分段的约束损失，当考虑单元位置时，该分段约束损失惩罚不切实际的表的检测概率。可将这种新颖的基于单元约束的损失函数添加到任何检测网络中。
21.因而，如图1中所描绘的，表边界框架104包括表的对象检测器106和单元的对象检测器108。表的对象检测器106检测输入(全页)图像102中的一个或多个表110，而单元的对象检测器108检测输入(全页)图像102中的一个或多个单元114。根据一个或多个检测到的表110，确定候选表边界框112。根据一个或多个检测到的单元114，确定一个或多个单元边界框116。
22.一个或多个实施例包括使用受引导的单元网络来生成一组单元边界框(例如，单元边界框116)。给定该组单元边界框，该实施例可以包括定义布尔运算符，其中，输入包括内部框和外部框，其中，该输入定义掩码(mask)输入区域的边界。当小于一定百分比的表具有单元时，惩罚指示符为真。
23.在推断阶段中，一个或多个实施例包括通过考虑表的外部和内部的单元的存在以及检测概率来对所提议的边界框进行排名。该实施例还可以包括针对每个边界框定义约束系数，并且针对表边界框的每个边界，计算表外部的单元的数量减去表内部的单元的数量。对于彼此重叠超过给定百分比的任何一对边界框，该实施例包括丢弃具有更高约束系数的边界框。
24.结合表识别的上述示例，单元必须位于表内部的事实表示表和单元之间的空间约束。使用常规建模方法，检测每个方面(单元和表)的独立神经网络不能利用这种类型的全局约束。然而，如以上示例用例中所详述的，一个或多个实施例可以包括利用每个单独模型和/或网络的输出以及单元和表如何相关的域知识来改进训练和推断阶段两者的检测。
25.用于实现本发明的一个或多个实施例的附加示例用例可包括零样本学习(zero-shot learning)。例如，当检测新的动物(如斑马)类型时，可具有预先训练为马检测器的网络和预先训练为条纹检测器的另一网络。已知斑马在某些方面类似于马但具有条纹，可以对马检测器增加惩罚，使得在动物内没用条纹检测器也被激活的任何检测被惩罚。类似地，也可以惩罚不在马检测器内的任何条纹检测器。最终，网络可适用于在无任何标记的斑马实例的情况下检测斑马。
26.图2是示出根据本发明的实施例的技术的流程图。步骤202包括将处理任务划分为多个子任务。多个子任务可以对应于给定对象的不同部分和/或多个子任务中的另一个子任务的至少一部分。此外，在至少一个实施例中，处理任务包括确定文档中的一个或多个表的结构和位置。在该实施例中，涵盖约束可以在单元和表边界之间以用于表识别。例如，单元应总是被包含在表的内部，并且表应当总是包含单元。因此，当在表网络所检测的任何表
之外检测到单元时，针对额外单元检测向单元网络添加额外惩罚。如果检测到表，其中该表中所检测到的单元的密度较低，或者如果在该表之外检测到若干个单元，则向表网络添加额外的惩罚。
27.步骤204包括训练多个独立的神经网络，使得多个子任务中的至少一些子任务对应于多个独立的神经网络中的不同的神经网络。在至少一个实施例中，训练多个独立的神经网络可包括训练多个独立的神经网络使得每个网络专门检测至少两种类型的对象，其中已知该至少两种类型的对象彼此具有至少一个空间关系(例如，涵盖关系)。
28.步骤206包括至少部分地基于与处理任务相关的基于约束的域知识，定义多个子任务中的给定一个子任务的至少一个约束损失，该至少一个约束损失取决于来自其他多个子任务中的至少一个子任务的输出。在至少一个实施例中，定义至少一个约束损失包括通过分析标记的数据来自动发现对应的约束。
29.步骤208包括重新训练多个独立的神经网络的至少一部分，该重新训练取决于使用该至少一个约束损失。在至少一个实施例中，鉴于针对任何给定输入在至少一个神经网络的一个或多个输出与其他神经网络的至少一部分之间违反至少一个空间关系，重新训练包括将至少一个约束损失并入到多个独立的神经网络中的至少一个神经网络中。该实施例还可包括通过朝向将产生满足约束的输出的值来修改分配给至少一个神经网络中的一个或多个单元中的每一个单元的权重来贯穿至少一个神经网络反向传播至少一个约束损失。附加地或可替代地，在一个或多个实施例中，重新训练包括在受监督的环境中或在无监督的环境中使用至少一个约束损失。
30.此外，本发明的另外的实施例包括将处理任务分成多个子任务，以及训练其中具有多个发散分支的神经网络，使得多个子任务中的至少一些子任务与神经网络的多个分散分支中的不同分支相对应。该实施例还包括至少部分地基于与处理任务有关的基于约束的域知识来定义多个子任务中的给定子任务的至少一个约束损失，该至少一个约束损失取决于来自其他多个子任务中的至少一个子任务的输出，以及重新训练神经网络的至少一部分，该重新训练取决于使用至少一个约束损失。
31.如本文所描述的，图2中所描绘的技术还可以包括提供系统，其中，系统包括不同的软件模块，在有形的计算机可读可记录存储介质上体现不同的软件模块中的每个模块。例如，所有模块(或其任何子集)可以在同一介质上，或者各自可以在不同的介质上。模块可包括图中所示和/或本文所述的任何组件或所有组件。在本发明的实施例中，模块可以例如在硬件处理器上运行。然后可以使用在硬件处理器上执行的如上所述的系统的不同软件模块来执行方法步骤。进一步地，计算机程序产品可以包括有形的计算机可读可记录存储介质，该存储介质具有适于执行本文中所描述的至少一个方法步骤的代码，该方法包括为系统提供不同的软件模块。
32.另外，可经由计算机程序产品来实现图2中所描绘的技术，该计算机程序产品可包括存储在数据处理系统中的计算机可读存储介质中的计算机可用程序代码，并且其中通过网络从远程数据处理系统下载计算机可用程序代码。此外，在本发明的实施例中，计算机程序产品可包括存储在服务器数据处理系统中的计算机可读存储介质中的计算机可用程序代码，并且其中通过网络将计算机可用程序代码下载到远程数据处理系统，以在具有远程系统的计算机可读存储介质中使用。
33.本发明的实施例或其元素能够以包括存储器和至少一个处理器的设备的形式来实现，至少一个处理器耦合到存储器并被配置为执行示例性方法步骤。
34.此外，本发明的实施例可利用在计算机或工作站上运行的软件。参见图3，该实现方式可以采用例如处理器302、存储器304和例如由显示器306和键盘308形成的输入/输出接口。如本文中使用的术语“处理器”旨在包括任何处理设备，诸如例如，包括cpu(中央处理单元)和/或其他形式的处理电路的处理设备。此外，术语“处理器”可以指多于一个的单独的处理器。术语“存储器”旨在包括与处理器或cpu相关联的存储器，例如，ram(随机存取存储器)、rom(只读存储器)、固定存储设备(例如，硬盘驱动器)、可移动存储设备(例如，磁盘)、闪存等。此外，如本文中使用的短语“输入/输出接口”旨在包括例如用于将数据输入到处理单元的机构(例如，鼠标)以及用于提供与处理单元相关联的结果的机构(例如，打印机)。处理器302、存储器304以及诸如显示器306和键盘308的输入/输出接口可例如经由作为数据处理单元312的一部分的总线310互连。也可对网络接口314(诸如网卡)和介质接口316(诸如磁盘或cd-rom驱动器)提供合适的互连(例如经由总线310)，可提供网络接口314来与计算机网络进行接口连接，可提供介质接口316来与介质318进行接口连接。
35.因此，可以在相关联的存储器设备(例如，rom、固定或可移动存储器)中存储包括如此处所述的用于执行本发明的方法的指令或代码的计算机软件，并且当准备好使用计算机软件时，部分或全部加载(例如，加载到ram中)计算机软件并且由cpu实现。该软件可以包括但不限于固件、驻留软件、微代码等。
36.适合于存储和/或执行程序代码的数据处理系统可包括至少处理器302，其通过系统总线310直接或间接耦合到存储器元件304。存储器元件可以包括在实际实现程序代码期间使用的本地存储器、大容量存储器和提供至少一些程序代码的临时存储以便减少在实现期间必须从大容量存储器取回代码的次数的高速缓冲存储器。
37.输入/输出或i/o设备(包括但不限于键盘308、显示器306、指向设备等)可以直接(诸如经由总线310)或通过中间i/o控制器(为了清楚起见省略)耦合到系统。
38.诸如网络接口314的网络适配器也可以耦合到系统，以使得数据处理系统能够通过中间的私有或公共网络耦合到其他数据处理系统或远程打印机或存储设备。调制解调器、电缆调制解调器和以太网卡仅是一些当前可用的网络适配器的类型。
39.如本文中使用的，包括权利要求书，“服务器”包括运行服务器程序的物理数据处理系统(例如，如图3所示的系统312)。将理解，该物理服务器可包括或可不包括显示器和键盘。
40.本发明可以是以任何可能的技术细节集成度的系统、方法和/或计算机程序产品。计算机程序产品可包括计算机可读存储介质(或多个介质)，其上具有用于使处理器执行本发明的各方面的计算机可读程序指令。
41.计算机可读存储介质可为可保留和存储供指令执行设备使用的指令的有形设备。计算机可读存储介质可以是，例如但不限于，电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备、或者上述的任意合适的组合。计算机可读存储介质的更具体示例的非穷尽列表包括以下各项：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式紧凑盘只读存储器(cd-rom)、数字通用盘(dvd)、记忆棒、软盘、诸如穿孔卡的机械编码设备或具
有记录在其上的指令的槽中的凸出结构、以及上述各项的任何合适的组合。如本文所使用的计算机可读存储介质不应被解释为暂时性信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线发射的电信号。
42.本文中所描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如，互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输纤维、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
43.用于执行本发明操作的计算机可读程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据、或以一种或多种编程语言的任何组合编写的源代码或目标代码，编程语言包括面向对象的编程语言(诸如smalltalk、c 等)和过程编程语言(诸如“c”编程语言或类似编程语言)。计算机可读程序指令可以完全地在用户计算机上执行、部分在用户计算机上执行、作为独立软件包执行、部分在用户计算机上部分在远程计算机上执行或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可通过任何类型的网络(包括局域网(lan)或广域网(wan))连接至用户计算机，或者可连接至外部计算机(例如，使用互联网服务提供商通过互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来使电子电路个性化以执行计算机可读程序指令，以便执行本发明的各方面。
44.下面将参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。可以理解，可以由计算机可读程序指令实现流程图和/或框图的每个框以及流程图和/或框图中各框的组合。
45.这些计算机可读程序指令可被提供给计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现在流程图和/或框图的框或多个框中指定的功能/动作的装置。也可以将这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置、和/或其他设备以特定方式工作，使得其中存储有指令的计算机可读存储介质包括包含实现流程图和/或框图中的框或多个框中指定的功能/动作的方面的指令的制品。
46.也可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的处理，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图中框的或多个框中指定的功能/动作。
47.附图中的流程图和框图示出了根据本发明的不同实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。对此，流程图或框图中的每个框可表示指令的部分、段或模块，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些可替换实现中，框中标注的功能可以不按照图中标注的顺序发生。例如，示出的连续两个框实际上可以作为一个步骤完成，同时、基本上同时、以部分或完全时间上重叠的方式执行，或者框
有时可以以相反的顺序执行，这取决于所涉及的功能。也要注意的是，框图和/或流程图中的每个框、以及框图和/或流程图中的框的组合，可以用执行指定的功能或动作或执行专用硬件与计算机指令的组合的专用的基于硬件的系统来实现。
48.应注意，本文描述的任何方法可包括提供系统的附加步骤，系统包括在计算机可读存储介质上体现的不同软件模块；这些模块可以包括例如在此详述的任何或所有部件。然后可以使用在硬件处理器302上执行的如上所述的系统的不同软件模块和/或子模块来执行方法步骤。此外，计算机程序产品可包括计算机可读存储介质，该计算机可读存储介质具有适于实施以执行在此描述的至少一个方法步骤的代码，该方法包括为该系统提供这些不同的软件模块。
49.在任何情况下，可以理解，本文所示的组件可以用硬件、软件或其组合的不同形式来实现，例如，专用集成电路(asic)、功能电路、具有相关联存储器的适当编程的数字计算机等。给定在此所提供的本发明的教导，相关领域的普通技术人员将能够设想本发明的部件的其他实现方式。
50.此外，提前理解的是，在本文中引用的教导的实现不限于特定的计算环境。相反，本发明的实施例能够结合现在已知的或以后开发的任何类型的计算环境来实现。
51.例如，云计算是一种服务交付模型，用于使得能够方便地、按需地网络访问可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储、应用、虚拟机和服务)的共享池，该可配置计算资源可以以最小的管理努力或与服务提供者的交互来快速供应和释放。该云模型可以包括至少五个特性、至少三个服务模型和至少四个部署模型。
52.特性如下：
53.按需自助服务：云消费者可以单方面地根据需要自动地提供计算能力，诸如服务器时间和网络存储，而不需要与服务的提供者的人类交互。
54.广泛的网络接入：能力可通过网络获得并且通过标准机制接入，该标准机制促进异构瘦客户机平台或厚客户机平台(例如，移动电话、膝上型计算机和pda)的使用。
55.资源池：提供者的计算资源被池化以使用多租户模型来服务于多个消费者，其中根据需要动态地分配和重新分配不同的物理和虚拟资源。存在位置独立性的感觉，因为消费者通常不具有对所提供的资源的确切位置的控制或了解，但可能能够以较高抽象级别(例如，国家、州或数据中心)指定位置。
56.快速弹性：可快速和弹性地提供能力，在一些情况下自动地快速缩小和快速释放以快速放大。对于消费者而言，可用于供应的能力通常显得不受限制并且可以在任何时间以任何数量购买。
57.测量的服务：云系统通过利用在适合于服务类型(例如，存储、处理、带宽、和活动用户账户)的某个抽象级别的计量能力来自动控制和优化资源使用。可以监测、控制和报告资源使用，为所利用的服务的提供者和消费者提供透明度。
58.服务模型如下：
59.软件即服务(saas)：提供给消费者的能力是使用在云基础设施上运行的提供者的应用。可通过诸如web浏览器(例如，基于web的电子邮件)的瘦客户端接口从不同客户端设备访问应用。消费者不管理或控制包括网络、服务器、操作系统、存储或甚至单独的应用能力的底层云基础设施，可能的例外是有限的用户特定应用配置设置。
60.平台即服务(paas)：提供给消费者的能力是将消费者创建的或获取的使用由提供者支持的工具和编程语言创建的应用部署到云基础设施上。消费者不管理或控制包括网络、服务器、操作系统或存储的底层云基础设施，但是对所部署的应用和可能的应用托管环境配置具有控制。
61.基础设施即服务(iaas)：提供给消费者的能力是提供处理、存储、网络和消费者能够部署和运行任意软件的其他基本计算资源，该任意软件可以包括操作系统和应用。消费者不管理或控制底层云基础架构，而是具有对操作系统、存储、所部署的应用的控制，以及对所选的联网组件(例如，主机防火墙)的可能受限的控制。
62.部署模型如下：
63.私有云：云基础设施仅为组织运作。该云基础设施可以由组织或第三方来管理，并且可以存在于场所内或场所外。
64.社区云：云基础设施由若干组织共享并且支持共享了关注(例如，任务、安全要求、策略、和合规性考虑)的特定社区。该云基础设施可以由组织或第三方管理，并且可以存在于场所内或场所外。
65.公共云：使云基础设施对公众或大型行业组可用，并且由出售云服务的组织拥有。
66.混合云：云基础设施是两个或更多个云(私有、社区或公共)的组合，这些云保持唯一实体但通过使数据和应用能够移植的标准化或专有技术(例如，云突发以用于云之间的负载平衡)绑定在一起。
67.云计算环境是面向服务的，集中于无状态、低耦合、模块化和语义互操作性。云计算的核心是包括互连节点网络的基础设施。
68.现在参见图4，描绘了说明性云计算环境50。如图所示，云计算环境50包括云消费者使用的本地计算设备可以与其通信的一个或多个云计算节点10，本地计算设备诸如例如个人数字助理(pda)或蜂窝电话54a、台式计算机54b、膝上型计算机54c和/或汽车计算机系统54n。节点10可彼此通信。它们可以在一个或多个网络中物理地或虚拟地分组(未示出)，诸如如上所述的私有云、社区云、公共云或混合云、或其组合。这允许云计算环境50提供基础设施、平台和/或软件作为服务，云消费者不需要为该服务在本地计算设备上维护资源。可以理解，图4中所示的计算设备54a-n的类型仅旨在是说明性的，并且计算节点10和云计算环境50可通过任何类型的网络和/或网络可寻址连接(例如，使用网络浏览器)与任何类型的计算机化设备通信。
69.现在参见图5，示出了由云计算环境50(图4)提供的一组功能抽象层。可事先理解，图5中所示的组件、层和功能仅仅是说明性的，本发明的实施例不限于此。如所描述，提供以下层和对应功能：
70.硬件和软件层60包括硬件和软件组件。硬件组件的示例包括：大型机61；基于risc(精简指令集计算机)架构的服务器62；服务器63；刀片服务器64；存储设备65；以及网络和联网组件66。在一些实施例中，软件组件包括网络应用服务器软件67和数据库软件68。
71.虚拟化层70提供抽象层，从该抽象层可以提供虚拟实体的以下示例：虚拟服务器71；虚拟存储器72；虚拟网络73，包括虚拟专用网络；虚拟应用和操作系统74；以及虚拟客户端75。在一个示例中，管理层80可以提供以下描述的功能。资源供应81提供用于在云计算环境内执行任务的计算资源和其他资源的动态采购。计量和定价82在云计算环境内利用资源
时提供成本跟踪，并为这些资源的消费开账单或发票。
72.在一个示例中，这些资源可以包括应用软件许可证。安全性为云消费者和任务提供身份验证，以及为数据和其他资源提供保护。用户门户83为消费者和系统管理员提供对云计算环境的访问。服务水平管理84提供云计算资源分配和管理，使得满足所需的服务水平。服务水平协议(sla)规划和履行85提供根据sla预期未来需求的云计算资源的预安排和采购。
73.工作负载层90提供可以利用云计算环境的功能的示例。可从该层提供的工作负荷和功能的示例包括：地图绘制和导航91；软件开发和生命周期管理92；虚拟课堂教育交付93；数据分析处理94；事务处理95；以及根据本发明的一个或多个实施例的具有空间涵盖约束的协作神经网络96。
74.本文中使用的术语仅用于描述具体实施方式的目的，而并非旨在限制本发明。如本文中使用的，除非上下文另有明确指示，否则单数形式“一个”、“一种”和“该”旨在也包括复数形式。还可以理解，当在本说明书中使用术语“包括”和/或“包含”时，其指定所述特征、步骤、操作、元件和/或部件的存在，但不排除另一特征、步骤、操作、元件、部件和/或其组合的存在或添加。
75.本发明的至少一个实施例可以提供有益效果，例如，有效地利用部分标记的数据，其不包含全部任务所需的所有标记，结合域知识以提高网络训练速度和准确度，以及从未标记的数据中学习。
76.已经出于说明的目的呈现了本发明的各种实施方式的描述，但并不旨在是详尽的或者限于所公开的实施方式。在不脱离所描述的实施例的范围的情况下，对于本领域普通技术人员来说许多修改和变化是显而易见的。选择这里使用的术语来最好地解释实施例的原理、实际应用或对在市场中找到的技术的技术改进，或者使得本领域普通技术人员能够理解这里公开的实施例。