将模型输出组合为组合模型输出的制作方法

1.本发明涉及一种预测系统，用于将多个经过训练的模型应用于输入实例，例如，用于检测或分割医学图像中的对象。本发明还涉及一种用于对经训练模型进行指纹识别的训练系统，以及一种相应的计算机实现的方法。本发明还涉及用于从多个经过训练的模型中确定组合模型的组合系统，以及相应的计算机实现的方法。本发明还涉及一种计算机可读介质。


背景技术：

2.癫痫是一种慢性脑病，是全球最常见的神经系统疾病之一。据世界卫生组织称，全世界约有5千万人患有癫痫。诊断和监测癫痫的最常见方法之一是基于脑电活动的非侵入性测量，称为脑电图(eeg)。临床实践中相关的常见任务之一是离线发作标记(“分割”)。例如，对于疾病进展监测和治疗计划，可以监测患者的eeg，例如持续一个或多个小时。在完成信号采集之后，医生可以检查eeg信号并手动标记观察到癫痫eeg活动的周期，用于随后的分析(例如，用于癫痫活动源定位)。
3.eeg信号的分割是(医学)信号处理或(医学)图像处理中的任务的示例，其中知识的硬编码和/或静态配置的表示越来越多地被使用人工智能(ai)创建的解决方案代替，解决方案例如机器学习(ml)和/或深度学习(dl)方法。机器学习可以基于：以参数形式形成解，然后例如在迭代过程中通过训练来确定模型参数。例如：在监督学习中，可以向系统呈现一组输入实例及其相应的期望模型输出。输入－输出对的集合可以被称为训练数据集。训练系统通常分析训练数据并产生经训练模型，该经训练模型可用于映射以前看不见的新输入实例(有时称为“推理”)。机器学习模型的一个重要特性是它们能够归纳(generalize)，以例如在训练之后对新的、未见的输入实例充分执行。
4.在癫痫发作检测的设置中，已知eeg信号内的癫痫模式通常在患者与患者之间变化很大。例如，一些患者的癫痫活动与其它患者的正常活动非常相似，反之亦然。为了提供良好的发作分割质量，需要在从不同患者记录的癫痫活动的大量或巨大数量的实例上训练模型。更一般地，为了建立具有良好归纳能力的精确机器学习模型，使用来自尽可能多的不同源的尽可能多的训练数据通常是有益的。例如，对于医学成像数据，收集尽可能多的数据以确保机器学习模型对于不同群体，对于来自不同医疗设备供应商的数据等充分地执行是重要的。训练数据集大小在高度异质数据的情况下尤其重要。例如，重要的是避免对具有低流行率的罕见疾病或病症的偏见，其中基于相对少量的受试者构建的机器学习模型可能承受较差的普适性。
5.在实践中，构建足够大的数据集通常意味着从多个组织收集数据，例如，表示跨不同国家的数据和/或表示在性别、年龄、种族或类似方面的不同组群。例如，在癫痫发作检测的情况下，标记的癫痫发作eeg数据的相对小的数据库可在诊所获得，但是由于技术、法律和伦理方面的考虑，在实践中将该数据组合为单个数据集是非常困难的。与其他医学数据一样，eeg数据是敏感的，因此其共享受到严格管制，具有机密性、同意性、隐私性和地理/驻
留要求，使得实际上不可能在一个地方收集数据。此外，由于保密性，非个人信息的交换实际上可能是困难的。例如，可以通过从使用该系统的数据中学习来改进包括在客户站点处部署的经训练模型的系统，但是客户通常对提供这样的信息是犹豫的。通常，数据共享限制在卫生保健领域和许多其它领域中是常见的，例如金融或商业领域，在这些领域不能共享商业秘密和机密信息。
6.在petr等人的“multi-center machine learning in imaging psychiatry:a meta-model approach”(其以引用的方式并入本文中)，提议通过在不共享基础训练数据集(例如，医学图像或任何其它个人数据)的情况下组合对相应局部数据集训练的支持向量机(svm)分类器来创建元模型。在那里，基于源自结构mri扫描的三种不同类型的成像特征，建立svm模型以将患者与对照分开。元模型是计算为局部模型的svm权重的几何平均值的平均模型。在所提出的实验中，患者和对照之间的混杂参数如年龄、性别或偏手性的分布是平衡的，并且在计算之前将各个数据集标准化。
7.需要用于将多个经过训练的模型应用于输入实例的改进技术，其中在相应的训练数据集上训练多个经过训练的模型，并且其中不需要在一个地方(例如在医学传感器数据的分类或回归的设置)中收集和处理相应的训练数据集。例如，希望进一步提高这种技术的准确度。特别地，期望对于从较不均匀的数据集组合的模型而言具有更高的准确度，该数据集例如患者年龄/性别/
……
的分布在数据集之间显著不同的数据集，和/或在数据集之间使用不同种类的传感器(例如，不同或不同配置的医学图像扫描仪)的数据集。


技术实现要素：

8.根据本发明的第一方面，提供了一种如权利要求1所限定的用于将多个经训练模型应用于输入实例的预测系统。根据本发明的另一方面，如权利要求8所限定的，提供了一种用于对经训练模型进行指纹识别的训练系统。根据本发明的另一方面，提供了一种如权利要求10所限定的用于从多个经训练模型中确定组合模型的组合系统。根据本发明的另一方面，提供了一种如权利要求12所限定的将多个经训练模型应用于输入实例的计算机实现的方法。根据本发明的另一方面，提供了一种如权利要求13所限定的对经训练模型进行指纹识别的计算机实现的方法。根据本发明的另一方面，提供了一种如权利要求14所限定的从多个经训练模型中确定组合模型的计算机实现的方法。根据本发明的另一方面，提供了一种如权利要求15所限定的计算机可读介质。
9.各种特征涉及组合模型的确定，以及使用这种组合模型进行预测。术语“预测”这里在词的普通机器学习意义上使用，即，用作例如在回归或分类任务中基于训练数据集执行关于先前未见的输入实例的推断。因此，术语“预测”并不意味着任何时间关系，而是还包括对象的检测和描绘、分类和标记。组合模型通常作用于传感器数据。作为示例，输入实例可以包括图像或多个图像的堆叠。作为另一示例，输入实例可以包括单通道或多通道时间序列传感器数据。例如，这样的时间序列传感器数据可以包括重症监护室(icu)的生命参数，例如，诸如脑电图(eeg)数据，心电图(ecg)数据和/或2d或3d医学图像的时空生理测量。
10.用于预测的模型可以是“组合模型”，其意思是它包括多个经训练模型。组合模型在本领域中也被称为元模型或集合模型，尽管这些术语有时也更具体地用于多个经训练模型的组合，每个经训练模型在相同的数据集上训练。然而，在各种实施例中，多个经训练模
型在例如不同组织的相应训练数据集上训练。例如，这些组织不能彼此共享训练数据集，但仍然希望能够基于相应的训练数据集创建和使用组合模型。多个经训练模型可以具有共同的架构，例如，每个经训练模型可以采用相同的过程来确定来自输入实例的模型输出，但是使用通过对相应数据集进行训练而获得的相应参数集。然而，这不是必需的，例如，作为手动或自动模型选择的结果，可以为不同的训练数据集获得不同类型的经训练模型。
11.有趣的是，多个经训练模型通常具有由组合模型所限定的公共潜在空间。通常，潜在空间可以是由机器学习模型用来从其确定模型输出的输入实例的中间表示。典型地，潜在空间表示表示图像/传感器数据的低级特征。例如，潜在空间可以包括神经网络或深度高斯过程的内层的神经元的值；任何类型的嵌入模型的输出，例如自动编码器的编码器部分；从输入数据等中提取的手工特征的值。因此，经训练模型可被配置成通过确定输入实例在该潜在空间中的表示并由此确定模型输出来确定输入实例的模型输出。确定潜在空间表示的经训练模型的部分可通篇称为“特征提取器”，而经训练模型中的从潜在空间表示确定模型输出的部分可称为“预测模型”，例如分类器或回归模型。
12.如在别处更详细地讨论的，多个经训练模型可以各自使用相同的特征提取器，但是也可以使用不同的特征提取器，只要比较输入实例的潜在空间表示和训练实例的潜在空间表示的结果可以在经训练模型上一致地测量即可。例如，如下所述，经训练模型可以包括预训练特征提取器的精炼版本，该精炼版本被精炼以提高经训练模型在其相应训练数据集上的性能。在这种情况和其它类似情况下，尽管相应经训练模型可以使用不同的特征提取器，例如仅在参数上不同，但是由各个特征提取器所限定的潜在空间表示之间的差异仍然是可比较的。
13.有趣的是，各种特征涉及不仅包括经训练模型而且包括相应经训练模型的相应数据集指纹的组合模型。这样的数据集指纹可以至少表征经训练模型的训练数据集的训练实例的潜在空间表示。例如，数据集指纹可以包括训练实例的潜在空间表示的统计特性，例如，拟合至潜在空间表示的一些或全部特征的概率分布的参数。在全文中提供了数据集指纹的其他示例。
14.通过表征训练实例的潜在表示，数据集指纹可以允许在给定实例(例如，非训练实例)的潜在表示的情况下确定实例的潜在表示与训练实例的潜在表示的偏差，并由此确立该实例是否对应于模型被训练的实例。换言之，基于数据集指纹，可以确定该实例是否是相对于特定训练数据集的离群值，例如，该实例在训练群体或从中提取训练数据集的群体中是否不太可能发生或已经发生。
15.数据集指纹优选地被聚集，例如，它们将训练数据集表示为整体，而不是包括任何特定训练实例的潜在空间表示。因此，关于训练数据集的任何单个训练实例的信息通常不能从数据集指纹导出，这可以使得能够共享数据集指纹而不影响隐私(例如在医疗数据的情况下)或机密性(例如，在例如金融应用中的交易秘密)。这通过使用数据集指纹中的潜在表示来帮助，例如，包括关于输入特征的其他信息——即使以聚集的方式——通常也可能泄漏比包括关于潜在空间表示的信息更多的关于特定训练实例的信息。数据集指纹甚至可以被配置为例如通过应用本身已知的技术来满足关于训练数据集的匿名属性，例如k－匿名，所述已知的技术诸如添加噪声或去除从不足数量的训练实例计算的数据。因此，因为数据集指纹是聚集的，所以即使在例如由于隐私约束而不能共享训练数据集的情况下，也可
以在例如被包括在共享的组合模型中的组织之间共享数据集指纹。
16.尽管隐私是一个重要的方面，但是基于潜在表示优选数据指纹并不是唯一的原因：例如，潜在表示可以比输入实例小，有时小很多。结果，就潜在空间表示方面来表征训练数据集可以节省大量存储和通信。例如，医学图像的训练数据集可以容易地为千兆字节、太字节(terabyte)或甚至拍字节(petabyte)大小。结果，当传送一些或全部训练实例，例如为了确定哪些实例最好地表示在哪些训练数据集中时，可以节省大量的通信和/或计算。
17.如本发明人所认识到的，数据集指纹的使用可以有效地使组合模型不作为其所包括的经训练模型的固定系综(ensemble)，而是作为通过考虑用于该输入实例的相应经训练模型的相关性而被动态地适配到该输入实例的系综。实质上，组合模型和关于经训练模型的相关性的信息(如下所述的作为对应性分数而被捕获)，可以一起被认为是为该输入实例优化的动态构建的系综。
18.通过考虑相应的对应性分数，例如在选择或加权相应的经训练模型时，可以获得更精确的总体模型输出。例如，考虑包括第一和第二机器学习模型的系综。在分别更类似于第一和第二机器学习模型的第一和第二实例上应用固定系综模型，可以通过为第一实例的第一模型的输出分配太少的重要性、为第二实例的第二模型的输出分配太少的重要性、或它们两者，来产生次优结果。例如，第一实例可以是第二模型的离群值，从而产生可能不利地影响总输出的准确性的不可预测的结果。然而，如这里所描述的基于对应性分数动态地调整系综允许：第一实例的总模型输出更严重地基于第一模型的模型输出，并且第二实例的总模型输出更严重地基于第二模型的模型输出。因此，可以提高组合模型的总准确度，同时仍然仅使用关于训练数据集的聚集信息，例如经训练模型和数据集指纹。例如，可以根据各种客观测量(例如灵敏度和/或特异性和/或dice系数)来测量增加的准确度。
19.具体地，当将组合模型应用于输入实例时，可以基于潜在空间中的输入实例的表示和经训练模型的数据集指纹来确定输入实例和多个经训练模型之间的对应性分数。将潜在空间表示与指纹进行比较的方式取决于所使用的何种确切指纹。例如，在指纹包括一个或多个特征的平均值或中值的情况下，可以使用欧几里得距离或加权闵可夫斯基距离。贯穿全文讨论了各种其他示例。可以使用相同的潜在空间表示来确定每个对应性分数，例如，如果经训练模型具有共同的特征提取器，则这是适当的。然而，也可以使用例如由相应经训练模型的相应特征提取器确定的相应潜在特征表示来确定相应的对应性分数。
20.输入实例和经训练模型之间的对应性分数可以指示输入实例和经训练模型的训练数据集之间的对应性，并且因此可以通过向具有高对应性的模型的模型输出分配相对更多的重要性来允许提高模型输出的准确性。因此，输入实例的模型输出可以由多个经训练模型中的一个或多个——例如，所有经训练模型或充分对应于训练实例的经训练模型的严格子集——来确定。所确定的模型输出然后可以根据相应经训练模型的所确定的对应性分数被组合为组合模型输出，例如，作为充分对应的模型的子集的平均值、作为加权平均值、作为多数分数、作为加权多数分数、或者以具有更高对应性的经训练模型的模型输出更严重地影响组合模型输出的任何其他方式。例如，可以将经训练模型的严格子集的模型输出组合为组合模型输出。
21.有利地，可以基于训练数据集来确定经训练模型的数据集指纹。通常，这是模型正在被训练时完成的，例如，训练和数据集指纹的确定通常发生在同一组织中。然后可以将经
训练模型和对应的数据集指纹提供给另一方，用于将多个这样的经训练模型和对应的数据集指纹组合为组合模型，上传到具有相关联的指纹的经训练模型的储存库等。该组合可以例如由也应用该模型的组织(例如医院)来完成。例如，组织可以训练模型并生成伴随的数据集指纹，并且与一个或多个其他组织共享该模型和指纹，并且作为回报从其他组织接收相应的经训练模型和指纹。
22.然而，经训练模型和指纹也可以由不必将该模型应用于新实例本身的组织集中收集。例如，组合模型的供应可以作为服务来提供。有趣的是，执行这里描述的组合方法或操作这里描述的组合系统的这样的组合方也可以执行与组合模型相关的各种其它功能。例如，组合方可以协调训练和确定指纹的整个过程，例如，通过提供训练参数或超参数，或通过指定经训练模型和/或指纹的格式，诸如机器学习模型类型和/或架构。具体地，当将模型和指纹组合为组合模型时，也可以可选地在验证数据集上执行组合模型的验证，以提供组合模型的质量保证。该验证可以包括确定个体模型对总准确度的贡献，这例如通过将组合模型的准确度与从中去除经训练模型之一的组合模型的准确度进行比较来进行。诸如个体模型的贡献的验证结果可以作为对组合模型的内部工作的反馈提供给用户和/或例如通过移除不利地影响准确度的模型而被自动地使用。每个模型对组合模型的影响——其在输入数据的实际单词序列(real-word sequence)上进行评估——也可用于例如在财务上奖励贡献了该个体模型的实体。
23.有趣的是，使用这里描述的技术可以使得能够使用被包括在组合模型中的多个模型的知识，例如，至少三个，至少五个或至少十个这样的模型。相应模型的相应训练数据集不必非常大。相反，本领域本身已知的来自迁移学习(transfer learning)的技术通常使用一个训练数据集来获得预训练模型，然后允许在部署该预训练模型的相应机构中精炼该预训练模型，但不提供这些机构之间的知识共享。此外，在迁移学习中，准确度很大程度上取决于用于获得预训练模型的初始数据集的质量，例如，可能需要大的初始数据集。此外，用于精炼预经训练模型的数据集可能需要相对较大，并且它需要在单个机构可用。例如，在图像分类中，结果已经在迁移学习中基于非常大的数据集而被获得，该数据集具有经由大量众包(crowd－sourcing)努力而提供的真实标记。在各种情况下，例如对于医学图像分类，在一个地方收集这样大的数据集是困难的，并且使用众包来获得标记甚至更是如此，假定这样的标记需要由医生来执行并且图像通常例如由于隐私而不能与外部世界共享。与迁移学习相比的另一个优点是可以避免所谓的“灾难性遗忘”，例如在学习神经网络时完全和突然遗忘先前学习的信息的趋势。
24.例如，获得用于脑电图(eeg)信号中的癫痫发作检测的单个大的标记数据集可能是非常困难的。然而，对于该应用，相对小但高质量的数据集存在于具有显著不同的群体和环境的若干诊所中，这里描述的技术可以成功地应用于这些诊所。
25.这里提供的技术的另一个优点是它们适用于广泛的机器学习模型。例如，被包括在组合模型中的相应经训练模型可能需要共享共同的潜在空间，但是存在许多不同种类的机器学习模型，例如，许多神经网络或深度高斯处理架构，它们满足该属性。如上所述，在不同组织中使用的模型的类型也可以彼此不同，或者至少在训练数据集中使用的参数或超参数可以不同。例如，对于相对较小或相对相干(coherence)的数据集，与较大或较少相干的数据集相比，预测模型的不同超参数可能是适当的。另一个优点是相应经训练模型的训练
可以在很大程度上彼此独立地发生，例如，在相应经训练模型在相应数据集上训练时，不需要同步。此外，如在此描述的组合模型可以使得能够从组合模型中添加、移除和/或替换训练的模型，由此允许随着更多或更好的数据变得可用而连续地改进组合模型。
26.可选地，通过将可训练的组合模型应用于所确定的对应性分数和模型输出，可以将所确定的模型输出组合为组合模型输出。经训练组合模型通常被包括在组合模型中，并且因此可以与经训练模型及其指纹一起分布以应用组合模型。如所讨论的，可以使用各种非可训练技术来将所确定的模型输出组合为组合模型，例如平均或多数表决。然而，本发明人认识到，通过训练组合模型，可以进一步提高所确定的模型输出的准确度。例如，组合模型可以是用于选择要在组合中使用的一个或多个特定模型输出的决策树、用于从所确定的模型输出计算组合模型输出的线性回归模型等。例如，可以通过构建组合模型的一方来训练组合模型，但是也可以在相应经训练模型的训练数据集上使用分布式学习技术来训练组合模型，这可能比整体分布式学习方法可行得多，因为用于训练组合模型的数据集可以相对较小并且可以使用较小的输入。
27.可选地，可以基于所确定的对应性分数来确定组合模型输出的可靠性分数。可靠性分数可以指示输入实例和多个经训练模型的训练数据集的组合之间的对应性。如本发明人所认识到的，由于对应性分数指示输入实例与相应训练数据集之间的对应性，因此它们不仅可用作经训练模型的相对适合性的量度，而且可用作可跨输入实例进行比较的组合模型的预期可靠性的量度。例如，在组合的模型输出中被组合的模型输出的数目可以用作对应性分数，或对应性分数的适当组合(诸如平均值)。例如，如果由可靠性分数指示的可靠性与预定阈值不匹配，则可以以感官可察觉的方式向用户记录和/或标记错误。
28.可选地，经训练模型的数据集指纹可以包括潜在空间中的多个聚类形心。聚类形心可以表示训练输入实例的聚类。例如，经训练模型的特征提取器可用于获得潜在空间中训练数据集的训练实例的表示，并且本领域本身已知的聚类算法可应用于潜在空间表示以获得多个聚类形心。可以基于输入实例和多个聚类形心之间的相似度值来确定输入实例和经训练模型之间的对应性分数。通过使用本身已知的聚类技术，可以获得训练数据集的各种训练实例的良好的聚集概要。可以以各种方式将输入实例的潜在特征向量与形心进行比较，这例如通过计算余弦相似性、欧几里得距离或加权闵可夫斯基距离来进行。根据应用，例如，使用到形心的最小、最大或平均距离作为对应性分数可能是适当的。例如，为了准确度，最接近的形心距离可能是优选的，而为了可靠性，平均或最大形心距离可能更合适。
29.可选地，经训练模型的数据集指纹可以包括生成模型。输入实例和经训练模型之间的对应性分数可以基于生成模型生成的潜在空间表示的可能性来确定。例如，如本领域中已知的，可以在数据集上训练各种已知的生成模型，这些生成模型诸如生成对抗网络(gan)或自动编码器或变分自动编码器(vae)的生成器，并且然后允许为实例确定该实例由生成模型生成的概率。可以训练自动编码器模型以生成训练数据集的实例的潜在空间表示。在这种情况下，输入实例的对应性分数可以通过确定输入实例的潜在表示并计算该潜在表示由自动编码器模型生成的可能性来确定，并且对于其它类型的生成模型也是类似的。自动编码器模型还可以对应于经训练模型的特征提取器，对应性分数通过确定输入实例本身由自动编码器模型产生的可能性来确定。有趣的是，在训练数据集上训练的生成模型通常不揭示关于特定训练实例的潜在隐私敏感的信息。
30.可选地，可以通过基于相应的对应性分数计算所确定的模型输出的加权和，将所确定的模型输出组合为组合模型输出。通过使用所确定的模型输出的加权和而不是例如选择要使用的模型输出的子集，可以对对应性分数进行更细粒度的使用，从而导致更高的准确度。加权和的权重通常在由对应性分数指示的对应性中增加，例如，权重可以与表示对应性程度的对应性分数成比例，或者与表示数据集指纹和输入实例之间的差异的对应性分数成反比。
31.可选地，输入实例和经训练模型之间的对应性分数可以进一步基于输入实例和/或输入实例的经训练模型的模型输出。经训练模型的数据集指纹可以进一步表征训练实例和/或训练输出——通常是训练数据集的标签。例如，可以将输入实例或经训练模型的输出的一些或全部特征添加到潜在空间表示中，以便确定数据集指纹，或者可以单独处理，这例如通过将关于输入或输出特征的统计单独包括到指纹中来进行。这样，可以通过确定更准确的对应性分数来进一步提高准确性。注意，如果模型输出用于确定对应性分数，则这并不意味着模型输出也用于组合模型，例如，可以仅使用所确定的模型输出的子集。
32.可选地，输入实例包括例如生理测量的时间序列传感器数据。这种类型的数据——例如时间生命体征段数据——在医学数据分析中出现很多。生理测量的示例是eeg数据，ecg数据，icu监视数据等。可选地，输入实例包括图像，例如医学图像。这些类型的数据通常相对较大且详细，并且因此可以包含许多敏感信息，这些敏感信息难以在组织之间交换，或者简单地太大而不能在组织之间交换。使用这里的技术，仍然可以获得组合模型。
33.各种类型的经训练模型可以适当地用于它们所应用的数据，例如svm分类器、梯度增强树、神经网络等。例如，可以使用各种类型的神经网络架构，例如深度神经网络、卷积神经网络等。神经网络也称为人工神经网络。经训练模型的参数的数量可以相当大，例如，至少10000，或至少1百万，至少1亿等。
34.可选地，可以使用用于确定输入实例在潜在空间中的表示的预训练特征提取器。例如，多个组合模型可以共享相同的预训练特征提取器，后者例如通过确定组合模型的一方对初始数据集进行预训练，该初始数据集例如公共可用的数据集。可以基于预训练特征提取器来训练组合模型的相应经训练模型。可选地，该训练可以包括精炼预训练特征提取器以增加准确度，如从迁移学习领域本身已知的。然而，不管特征提取器是否被精炼，在经训练模型之间使用共同的预训练特征提取器可以帮助确保潜在表示或至少由它们产生的对应性分数在组合模型的经训练模型之间是可比较的。
35.可选地，可以基于预训练的预测模型来训练相应的经训练模型，以从潜在空间中的输入实例的表示中确定模型输出。类似于预训练特征提取器，该预训练的预测模型可以例如由产生组合模型的一方在初始数据集(例如公开可用的数据集)上训练。当训练相应的经训练模型时，预训练的预测模型可以基于相应的训练数据集来精炼，这例如使用来自本身已知的迁移学习的技术来进行。通过将预测模型基于共同的预训练模型，可以提高所得模型的准确性，而且还可以提高其输出的可比性，例如，它们可以提供类似缩放的输出，使得它们可以更容易地组合为组合模型输出。
36.可选地，产生组合模型的一方可以训练用于确定输入实例在潜在空间中的表示的特征提取器。例如，特征提取器可以是要在相应经训练模型中精炼的初始特征，或者是要由每个经训练模型使用的公共特征提取器。还可以至少部分地使用分布式学习技术在相应经
训练模型的训练数据集上训练特征提取器。这可以提高精确度，同时仍然允许至少分别训练预测模型。可选地，产生组合模型的一方可以训练初始预测模型，用于根据输入实例在潜在空间中的表示确定模型输出，例如，用于在相应经训练模型中进行精炼。
37.可选地，产生组合模型的一方可以训练用于将模型输出组合为组合模型输出的组合模型，以增加组合操作的准确性。例如，训练组合模型可以包括：基于相应经训练模型的输出和对应性分数来确定训练输入实例的组合模型输出的一个或多个迭代；从所确定的组合模型输出与对应于训练输入实例的训练输出之间的差导出训练信号；以及根据训练信号调整组合模型。组合模型可以被包括在组合模型中。
38.可选地，产生组合模型的一方可以被配置为通过添加、移除和/或替换经训练模型及其各自的数据集指纹来更新组合模型。有趣的是，由于各个经训练模型彼此相对分离，这可能比在组合数据集上训练的单个模型的情况更可行。因此，可以获得基于相应训练数据集的模型，该模型可以更灵活地适应可用训练数据中的变化。
39.可选地，单个实体可以对多个经训练模型进行指纹识别，并且可选地将多个经训练模型组合为如本文所述的组合模型。例如，可以获得组合数据集，然后将其分成多个训练数据集，例如，多个不相连的训练数据集。然后可以获得用于相应训练数据集的经训练模型，并如本文所述确定它们的指纹，并且可以将多个经训练模型组合为组合模型。有趣的是，与用于组合数据集的模型的常规训练相比，这可以导致用于组合数据集的更精确的模型，因为经由潜在特征的动态自适应组合可以更好地适应被组合为原始数据集的不同子组群。
40.可以理解，还设想了包括如本文所述的多个训练系统、如本文所述的组合系统以及如本文所述的一个或多个预测系统的组合系统。一些或所有系统可以具有双重作用，例如，训练系统集合和预测系统集合可以重叠。在这样的组合系统中，训练系统可以训练模型并确定要提供给组合系统的数据集指纹，该组合系统可以确定要提供给预测系统的组合模型，以便将其应用于输入实例。
41.本领域技术人员将理解，本发明的上述实施例、实施方式和/或可选方面中的两个或更多个可以以认为有用的任何方式组合。
42.在本说明书的基础上，本领域技术人员可以对本文所述的系统进行修改和变化。对应于所描述的相应系统的修改和变化的任何计算机实现的方法和/或任何计算机程序产品的修改和变化可以由本领域技术人员基于本说明书来执行。
附图说明
43.本发明的这些和其他方面将从以下描述中通过举例方式描述的实施例并且参考附图而变得清楚并且得以进一步阐明，在附图中：
44.图1示出了使用组合模型的预测系统；
45.图2示出了用于对经训练模型进行指纹识别的训练系统；
46.图3示出了用于确定组合模型的组合系统；
47.图4示出了如何使用组合模型来确定组合模型输出的详细示例；
48.图5示出了如何获得组合模型的详细示例；
49.图6示出了将多个经训练模型应用于输入实例的计算机实现的方法；
50.图7示出了对经训练模型进行指纹识别的计算机实现的方法；
51.图8示出了从多个经训练模型中确定组合模型的计算机实现的方法。
52.图9示出了包括数据的计算机可读介质。
53.应当注意，附图仅仅是示意性的而不是按比例绘制的。在附图中，对应于已经描述的要素的要素可以具有相同的附图标记。
54.附图标记列表
55.提供以下附图标记列表是为了便于解释附图，而不应被解释为限制权利要求。
56.021、022、023 数据存储器
57.030 训练数据集
58.040 组合模型
59.041 经训练模型
60.042 数据集指纹
61.043 组合模型
62.044 特征提取模型
63.050 验证数据集
64.071 传感器
65.100 预测系统
66.200、201、202 训练系统
67.300 组合系统
68.120、220、320 数据接口
69.121－124、221－222、321－324 数据通信
70.140、240、340 处理器子系统
71.160 传感器接口
72.380 通信接口
73.410 输入实例
74.420、520 特征提取
75.430、530 潜在空间表示
76.440、540 指纹识别
77.450 对应性分数
78.460 模型应用
79.470 模型输出
80.480 组合操作
81.490 组合输出
82.510 第一训练操作
83.511 初始预测模型
84.515 第二训练操作
85.555 训练数据集
86.560 训练
87.590 验证
88.600、100、700、800 计算机实现的方法
89.900 计算机可读介质
90.910 非暂时性数据
具体实施方式
91.图1示出了用于将多个经训练模型应用于输入实例的预测系统100。可以在相应训练数据集上训练多个经训练模型。系统100可以包括数据接口120和处理器子系统140，其可以经由数据通信121进行内部通信。数据接口120可以用于访问组合模型040形式的多个经训练模型。组合模型040可以限定潜在空间。训练模型可被配置成通过确定输入实例在潜在空间中的表示并由此确定模型输出来确定输入实例的模型输出。组合模型040还可以包括多个经训练模型的相应数据集指纹。经训练模型的数据集指纹可以表征经训练模型的训练数据集的训练实例的潜在空间表示。例如，可以从另一系统(例如，图3的组合系统300)接收组合模型。系统100还可与本文所述的训练系统200和/或组合系统300组合，例如，系统可以训练模型，将经训练模型提供给组合系统，并接收回组合模型。
92.处理器子系统140可被配置成在系统100的操作期间并使用数据接口120访问组合模型040。例如，如图1所示，数据接口120可以提供对可以包括所述数据040的外部数据存储器021的访问122。可替换地，可以从作为系统100的一部分的内部数据存储器访问数据040。可替换地，可经由网络从另一实体接收数据040。通常，数据接口120可采用各种形式，例如到局域网或广域网(例如因特网)的网络接口，到内部或外部数据存储装置的存储接口，等。数据存储装置021可采用任何已知且合适的形式。
93.处理器子系统140还可以被配置成在系统100的操作期间获得输入实例。处理器子系统140可进一步经配置以为多个经训练模型提供组合模型输出。为了提供组合模型输出，处理器子系统140可以被配置成在系统100的操作期间确定输入实例和多个经训练模型之间的对应性分数。输入实例和经训练模型之间的对应性分数可以指示输入实例和经训练模型的训练数据集之间的对应性。对应性分数可以基于潜在空间中的输入实例的表示和经训练模型的数据集指纹。为了提供组合模型输出，处理器子系统140还可以被配置成在系统100的操作期间为输入实例确定多个经训练模型中的一个或多个经训练模型的模型输出。为了提供组合模型输出，处理器子系统140还可以被配置为在系统100的操作期间根据所确定的相应经训练模型的对应性分数将模型输出组合为组合模型输出。
94.通常，包括在组合模型040中的经训练模型和数据指纹的内容可以与组合模型一起存储在例如存储器021中，例如存储在相同的文件和/或目录/文件夹中。然而，也可以单独存储经训练模型和/或数据指纹。例如，在一些实施例中，经训练模型可以包括到一个或多个经训练模型和/或数据指纹的内容的链接，例如通过包含可访问模型或指纹的url。各种其他关联方式同样是可以想到的，并且在本领域技术人员的范围内。
95.作为可选组件，系统100可以包括传感器接口160或用于从一个或多个传感器获得传感器数据124的任何其它类型的输入接口。该图示出了脑电图仪071。处理器子系统140可以被配置成至少部分地基于传感器数据124—例如通过将传感器数据转换成包括在输入实例中的输入特征—经由数据通信123获得输入实例。例如，相机可以被配置成捕获脑电图测量124，处理器子系统140被配置成根据来自给定时间窗口(例如，1或2秒)的测量数据来确
定输入实例。通常，传感器接口可以被配置用于各种类型的传感器信号，例如视频信号，雷达/激光雷达信号，超声信号等。替代地或附加地，传感器可以从存储装置读取，例如从诸如pac(图片存档和通信)系统，厂商中立存档(vna)系统和/或电子医疗记录(emr)系统之类的记录系统读取。
96.作为可选组件，系统100可以包括显示器输出接口或任何其它类型的输出接口(未示出)，用于向诸如显示器的呈现设备输出数据。例如，显示器输出接口可以生成用于显示器的显示数据，这使得显示器以感官可感知的方式呈现数据，例如作为屏幕上的可视化。例如，输出数据可以包括确定的组合模型输出、它们的可靠性分数等。
97.系统100还可以包括通信接口(未示出)，其被配置用于与其他系统(例如用于获得组合模型的组合系统)通信。在图3中更详细地讨论了通信接口。
98.系统100的操作的各种细节和方面将参考图4和其它附图得以进一步阐明，上述方面包括其可选方面。
99.通常，系统100可以实现为单个设备或装置，或者实现在单个设备或装置中，单个设备或装置诸如工作站(例如膝上型或基于桌面的工作站)，或者服务器，或者移动设备，例如智能电话。该设备或装置可以包括执行适当软件的一个或多个微处理器。举例来说，处理器子系统可由单个中央处理单元(cpu)实施，但也可由此类cpu和/或其它类型的处理单元(例如图形处理单元(gpu))的组合或系统来实现。软件可以被下载和/或存储在相应的存储器中，例如诸如ram的易失性存储器或诸如闪存的非易失性存储器。可替换地，系统的功能单元，例如数据接口和处理器子系统，可以以可编程逻辑的形式在设备或装置中实现，例如作为现场可编程门阵列(fpga)。通常，系统的每个功能单元可以以电路的形式实现。注意，系统100还可以以分布式方式实现，例如，包括不同的设备或装置，诸如分布式服务器，例如以云计算的形式。
100.图2示出了用于对经训练模型进行指纹识别的训练系统200。系统200可以包括数据接口220和处理器子系统240，其可以经由数据通信221进行内部通信。数据接口220可以用于访问训练数据集030。数据接口220还可以用于访问由系统200确定的经训练模型041和/或数据集指纹042。系统200可以与系统100或300组合，如在别处进一步描述的。
101.处理器子系统240可经配置以在系统200的操作期间且使用数据接口220访问数据030，041，042。例如，如图2所示，数据接口220可以提供对外部数据存储装置022的访问222，外部数据存储装置022可以包括所述数据030，041，042。可替换地，可从作为系统200的一部分的内部数据存储装置访问数据030，041，042。可替换地，可经由网络从另一实体接收数据030，041，042。通常，数据接口220可以采用各种形式，例如到局域网或广域网(例如因特网)的网络接口，到内部或外部数据存储装置的存储接口，等。数据存储装置022可以采用任何已知和合适的形式。
102.处理器子系统240还可以被配置成在系统200的操作期间在训练数据集030上训练模型以获得经训练模型041。经训练模型041可经配置以通过确定输入实例在潜在空间中的表示并由此确定模型输出来确定输入实例的模型输出。处理器子系统240还可以被配置为在系统200的操作期间基于训练数据集041确定经训练模型的数据集指纹042。数据集指纹042可以表征训练数据集041的潜在空间表示，在训练数据集041上训练了经训练模型。
103.作为可选组件，系统200可以包括用于从一个或多个传感器获得传感器数据的传
感器接口(未示出)。训练数据集可以至少部分地基于所获得的传感器数据来确定。参考图1更详细地讨论传感器接口。系统200还可以包括通信接口(未示出)，其被配置用于与其他系统(例如用于向其提供经训练模型和数据集指纹的组合系统)通信。在图3中更详细地讨论了通信接口。
104.系统200的操作的各种细节和方面将参考图5和其它附图而得以进一步阐明，上述方面包括其可选方面。
105.通常，系统200可以实现为单个设备或装置，或者实现在单个设备或装置中，单个设备或装置诸如工作站(例如基于膝上型电脑或台式电脑)，或者服务器。该设备或装置可以包括执行适当软件的一个或多个微处理器。举例来说，处理器子系统可由单个中央处理单元(cpu)实施，但也可由此类cpu和/或其它类型的处理单元(例如图形处理单元(gpu))的组合或系统来实施。软件可以被下载和/或存储在相应的存储器中，例如诸如ram的易失性存储器或诸如闪存的非易失性存储器。可替换地，系统的功能单元，例如数据接口和处理器子系统，可以以可编程逻辑的形式在设备或装置中实现，例如作为现场可编程门阵列(fpga)。通常，系统的每个功能单元可以以电路的形式实现。注意，系统200还可以以分布式方式实现，例如，包括不同的设备或装置，诸如分布式服务器，例如以云计算的形式。
106.图3示出了用于从多个经训练模型中确定组合模型的组合系统300。系统300可以包括数据接口320和处理器子系统340，它们可以经由数据通信321进行内部通信。数据接口320可以用于访问包括多个验证输入实例和对应的验证输出的可选验证数据集050。数据接口320还可以用于访问由系统300确定的组合模型040。系统300还可将所确定的组合模型应用于如本文所述的输入实例，例如，系统300可与系统100组合。系统300还可以训练要被包括在如本文所述的经训练模型中的模型，例如，系统300可以与系统200组合。
107.处理器子系统340可经配置以在系统300的操作期间且使用数据接口320访问数据040，050。例如，如图3所示，数据接口320可以提供对外部数据存储装置023的访问322，该外部数据存储器023可以包括所述数据040，050。可替换地，可从作为系统300的一部分的内部数据存储装置访问数据040，050。可替换地，可经由网络从另一实体接收数据040，050。通常，数据接口320可以采用各种形式，例如到局域网或广域网(例如因特网)的网络接口，到内部或外部数据存储装置的存储接口，等。数据存储装置023可以采用任何已知和合适的形式。
108.处理器子系统340还可以被配置为在系统300的操作期间从如本文所述的多个训练系统接收多个经训练模型和对应的数据集指纹。图中示出了两个训练系统201，202。通常，训练系统的数量可以是至少两个，至少十个，至少五十个等。经训练模型可以被配置成通过确定输入实例在多个经训练模型所公共的潜在空间中的表示并从其确定模型输出来确定输入实例的模型输出。经训练模型的数据集指纹可以表征经训练模型的训练数据集的训练实例的潜在空间表示。处理器子系统340还可以被配置为在系统300的操作期间将多个经训练模型和对应的数据集指纹组合为组合模型040，以确定组合模型输出。可选地，处理器子系统340还可以被配置成在系统300的操作期间在验证数据集050上验证组合模型。执行验证不是必需的，并且这里描述了可以由组合系统代替地或附加地执行的各种其它操作。可选地，处理器子系统340还可以被配置为在系统300的操作期间将组合模型040提供给本文所述的一个或多个预测系统。该示例示出了单个预测系统100。可以以各种方式提供组
合模型，例如通过直接发送，通过经由外部储存库提供访问等。
109.系统300还可以包括通信接口380，其被配置用于与其他系统(例如，多个训练系统201，202和/或一个或多个预测系统100)进行数字通信324。通信接口380可以经由数据通信323与处理器子系统340进行内部通信。通信接口360可以被布置为例如使用usb，ieee1394或类似接口与其他系统100，201，202直接通信。通信接口380还可以通过计算机网络进行通信，计算机网络例如无线个域网，因特网，内联网，lan，wlan等。例如，通信接口380可以包括适合于计算机网络的连接器，例如无线连接器，以太网连接器，wi－fi，4g或5g天线，zigbee芯片等。通信接口380还可以是内部通信接口，例如总线，api，存储接口等。
110.系统300的操作的各种细节和方面将参考图5和其他附图而得以进一步阐明，上述方面包括其可选方面。
111.通常，系统300可以实现为单个设备或装置，或者实现在单个设备或装置中，单个设备或装置诸如工作站(例如基于膝上型电脑或台式电脑)，或者服务器。该设备或装置可以包括执行适当软件的一个或多个微处理器。举例来说，处理器子系统可由单个中央处理单元(cpu)实施，但也可由此类cpu和/或其它类型的处理单元(例如图形处理单元(gpu))的组合或系统来实施。软件可以被下载和/或存储在对应的存储器中，例如诸如ram的易失性存储器或诸如闪存的非易失性存储器。可替换地，系统的功能单元，例如数据接口和处理器子系统，可以以可编程逻辑的形式在设备或装置中实现，例如作为现场可编程门阵列(fpga)。通常，系统的每个功能单元可以以电路的形式实现。注意，系统300还可以以分布式方式实现，例如，包括不同的设备或装置，诸如分布式服务器，例如以云计算的形式。
112.图4示出了例如在用于癫痫发作检测的脑电图波形信号的分类中使用组合模型的详细但非限制性的示例。图中所示的是组合模型cm 040，其用于从输入实例ii 410确定组合模型输出cmo 490。
113.组合模型cm可以包括在相应训练数据集上训练的多个经训练模型，例如至少3个，至少10个或至少50个模型。每个经训练模型可以被配置成通过确定输入实例在公共潜在空间中的表示并由此确定模型输出来确定输入实例的模型输出。在该具体示例中，多个经训练模型中的每一个使用公共特征提取模型fem 044来将输入实例映射到潜在空间，并且每一个使用单独的预测模型pmi 041来将潜在空间表示映射到模型输出。尽管这是用于确保相应模型的潜在空间表示的可交换性的良好选择，但是如在别处所讨论的，相应经训练模型也可以具有它们自己的单独的特征提取器。由于该示例在经训练模型之间使用公共特征提取器，所以术语“经训练模型”和“预测模型”在下面可互换地使用。
114.作为基于潜在空间中的输入的提取特征而执行预测的具体示例，可以考虑eeg信号的分析。如上所述，为了诊断和监测癫痫，可以在脑电图(eeg)中测量脑的电活动。因此，组合模型可以用于各种应用，包括eeg信号中的癫痫发作检测。在这种情况下，输入实例可以是eeg信号的段，也称为窗口，例如具有1或2秒的长度。由组合模型执行的任务可以是用于这种窗口的二进制分类任务，例如，分类是否存在癫痫发作活动。这种分类可以在经训练模型中通过首先应用将多通道eeg信号转换成多维特征空间的潜在向量的特征提取模型fem来执行。在经训练模型中，可使用分类模型(例如，svm分类器，梯度提升树，神经网络等)来拟合分类的决策边界。这些方法的示例描述于2010年的a.shoeb和j.guttag中的“application of machine learning to epileptic seizure detection”；和
k.tsiouris,s.markoula,s.konitsiotis,d.d.koutsouris和d.i.fotiadis中的“a robust unupervised epileptic seizure detection methodology to accelerate large eeg database evaluation”，biomed.signal process.control.，第40卷，第275－285页，2018(这两篇文献均通过引用并入本文)。
115.作为可以使用的潜在空间表示的另一示例，经训练模型可以包括例如用于图像中的面部识别的卷积神经网络。在这样的卷积神经网络中，通常训练相应层以在最终识别全脸之前识别各种抽象级别的低级图像特征，例如首先识别轮廓和线，然后识别低级结构，例如耳朵，眼睛等。在这样的示例中，例如，轮廓/线或者低级结构可以用作潜在空间表示。
116.然而，对于各种类型的输入实例ii，潜在空间中的输入实例的表示更为普遍地出现。特别地，代替eeg信号，可以使用各种类型的时间序列传感器数据，特别是生理测量的时间序列传感器数据，例如生命体征读数。这样的时间序列数据可以在特定时间点通过分类段来分析，但是也可以例如使用递归神经网络等来分析它们随时间的发展。这样的递归神经网络或其它递归模型的输出然后可以在预测模型中被进一步分析以达到期望的结论。此外，时间序列信号的这种递归模型表示可以用作如这里所述的潜在空间表示，该递归模型被认为是特征提取模型fem。作为另一示例，用于分析图像的经训练模型(例如卷积神经网络，深度神经网络等)通常也具有中间潜在空间表示，例如中间神经网络层的输出。直到该中间层的神经网络部分可以被视为特征提取模型fem。各种其它应用将是显而易见的。
117.注意，典型地，潜在空间表示lsr比输入实例ii小得多，例如包含少得多的元素。例如，典型的输入实例可以包括至少1000，至少10000或至少1000000个特征。例如，潜在空间表示可以包括至多100或至多1000个特征，或者具有输入实例的特征数量的至多十分之一或百分之一。
118.如图所示，组合模型cm还可以包括多个经训练模型的相应数据集指纹dfi 042。经训练模型pmi的数据集指纹dfi可以表征经训练模型pmi在其上被训练的训练数据集的训练实例的潜在空间表示。通常，数据集指纹dfi可以是捕获数据集的重要特征的数据集的特征，优选地不损害数据隐私。要使用的数据集指纹的确切类型通常强烈地取决于数据的性质，例如，可以为特定域和/或问题限定不同类型的指纹。下面提供了数据集指纹的几个具体示例。
119.使用数据集指纹dfi，在特征对应步骤fc 440中，可以确定输入实例ii和多个经训练模型pmi之间的对应性分数csi 450，这表示输入实例ii和经训练模型在其上被训练的训练数据集之间的对应性。由于数据集指纹表征训练实例的潜在空间表示，因此输入实例ii通常也被转换成潜在空间。在这个示例中，由于多个经训练模型共享特征提取模型fem，所以通过使用特征提取模型fem的特征提取fe 420，为输入实例ii获得单个潜在空间表示lsr 430。然而，在相应经训练模型具有相应特征提取器的情况下，也可以确定输入实例的相应潜在空间表示，以便与相应数据集指纹dfi进行比较。
120.通常，可以通过将输入实例ii的潜在特征向量的分布与被包括在其数据集指纹dfi中的经训练模型的潜在特征向量的分布进行比较，来确定关于经训练模型pmi的对应性分数csi。可以以各种方式捕获分布，例如，通过均值或中值和/或通过拟合在训练数据集上的概率分布(例如，单变量或多变量高斯分布)的参数，通过存储特征的值或多个特征的值的组合的直方图，等。
121.捕获潜在特征向量分布的一种特别有效的方法是利用聚类形心。在这种情况下，数据集指纹dfi可以包括潜在空间中的多个聚类形心，其中聚类形心表示训练输入实例的聚类。这样的聚类可以表示在潜在空间中具有相同标记和/或具有类似表示的多个训练实例。然后可以基于输入实例ii和多个聚类形心之间的相似性值(例如距离)来确定输入实例ii和经训练模型pmi之间的对应性分数csi。除了聚类形心之外，还可以包括相应聚类的方差。然后，对应性分数csi可以附加地基于这些方差，例如通过根据它们的方差归一化距离，或者以本身已知的用于聚类算法的其它方式。
122.当比较潜在表示或潜在表示的特征子集时，例如，当将输入实例ii与特征的聚类形心或均值或中值比较时，通常可以使用各种距离度量。作为具体示例，可以使用欧几里得或加权的闵可夫斯基距离。具体来说，使用闵可夫斯基距离可允许调整不同特征的相对贡献，例如，允许强调显著潜在特征的重要性且降低对具有高方差的特征的敏感性。因此，可以选择或分配更高的重要性给在类似数据上训练的模型，例如，该类似数据的特征向量分布接近于输入实例的分布。
123.例如，在eeg情况下，对应于典型的发作和非发作窗口的形心特征向量的组合，以及发作和非发作特征向量分布的方差可以用作例如用于癫痫发作检测问题的数据集指纹dfi。例如，可以通过在潜在空间中应用聚类算法来构建数据集指纹dfi，其中数据集指纹dfi包含关于所找到的聚类的信息。
124.在各种实施例中，输入实例ii和经训练模型pmi之间的对应性分数csi还基于输入实例ii和/或输入实例的经训练模型pmi的模型输出。在这种情况下，数据指纹不仅可以表征训练数据集的潜在空间表示，而且可以表征训练实例和/或训练实例的经训练模型的模型输出。这里，训练实例和输入实例可以包括未被经训练模型pmi使用的元数据，例如pmi可以是图像分类器，元数据包括关于图像中捕获的患者的信息。应注意，在使用输出的情况下，可在输入实例ii上执行经训练模型pmi以确定对应分数csi，但这不一定意味着此输出也用于确定组合模型输出cmo，例如，如果证明经训练模型在输入、潜在特征和/或输出方面与输入实例ii不匹配。
125.例如，在医学上下文中，可以被包括在数据集指纹中的输入实例的特征或元数据可以是关于训练数据集中的患者的群体特质的信息，例如：
126.－患者组群的最小、中值和/或最大年龄，或患者年龄的分布，例如，以允许适当选择婴儿或老年患者的模型，同时保持患者隐私；
127.－患者组群的性别比；
128.－在患者组群中最普遍的医疗类型；
129.－癫痫病灶、症状、药物等的最可能位置。
130.作为上述示例的替代或补充，数据集指纹dfi可以包括生成模型。在这种情况下，可以基于由生成模型生成的潜在空间表示的可能性来确定对应性分数csi。例如，各种生成模型本身在本领域中是已知的，诸如变分自动编码器(vae)或生成对抗网络(gan)，尤其是对于图像而言。图像数据集在从图像分类到医学图像分割的各种应用和领域中是非常常见的。这种生成模型，例如深度卷积生成模型，可以有效地学习训练数据集的概率分布。因此，训练的生成模型可以被包括在数据集指纹dfi中。然后，训练数据集指纹dfi与输入实例ii之间的距离的限定可以基于输入实例ii属于训练实例在潜在空间表示方面的分布的估计
概率。例如，在vae的情况下，重建损失可以用作对应性分数csi。在gan的情况下，训练gan的鉴别器部分可用于区分与训练集相似的实例和看起来不相似的实例。应当注意，诸如vae和gan的生成模型也可以用于非成像数据，例如也在别处描述的eeg信号。
131.基于对应性分数csi，在组合操作cb 480中，可以通过根据相应经训练模型pmi的所确定的对应性分数csi将相应模型输出moi 470组合到组合模型输出cmo中来确定组合模型输出cmo。例如，根据如何组合输出，可以使用足够对应的经训练模型的模型输出moi的严格子集。在这种情况下，模型应用操作ma 460可以确定经训练模型pmi的子集的模型输出。组合操作cb也可以使用所有经训练模型的输出moi，在这种情况下，模型应用操作ma可以确定所有模型输出。有效地，通过选择或分配更多的重要性给由训练数据集指纹dfi所指示的大多数模型，组合操作cb可以被视为构建动态自适应的、优化的元模型，该元模型包括在类似数据上训练的个体模型。
132.给定如通过确定对应分数csi所识别的适当模型，可使用各种方法来从个体模型pmi构建此元模型。例如，一种可能性是执行模型混合，例如，将组合的模型输出cmo确定为充分对应的模型的子集的模型输出的平均值，例如，对于预定阈值t，有csi》t，其独立地应用于输入实例：
[0133][0134]
作为另一示例，还可以基于相应的对应性分数csi来计算所确定的模型输出moi中的一些或全部的加权和。例如，加权和的权重可以与模型对应性成比例，例如：
[0135][0136]
作为具体示例，权重wi可以与新数据f(新数据)的指纹和用于训练经训练模型的数据f(datai)之间的距离d成反比：
[0137]
wi∝
d-1
(f(新数据)，f(datai))
[0138]
如图所示，还可以通过将可训练的组合模型com 043应用于所确定的对应性分数csi和模型输出moi，来将所确定的模型输出moi组合为组合模型输出cmo。组合模型com通常被包括在组合模型cm中。例如，组合模型可以是用于从所确定的模型输出计算组合模型输出的决策树或线性回归模型等。组合模型com可以将对应性分数作为输入和输出权重，或者选择由组合函数使用的模型，但是组合模型除了对应性分数csi之外还可以将模型输出moi本身作为输入，并且直接输出组合模型输出cmo。
[0139]
代替确定组合模型输出cmo，或者除了确定组合模型输出cmo之外，还可以基于所确定的对应性分数csi来确定组合模型输出cmo的可靠性分数。可靠性分数可以指示输入实例ii和多个经训练模型dfi的组合训练数据集之间的对应性。可靠性分数可以这样地被确定，即其适合于将模型输出moi组合为组合模型输出cmo的方式，例如，当使用如上所述的模型混合时的经训练模型的数目，或者在使用加权和的情况下的平均对应分数，等。组合模型com可以是随机模型，例如贝叶斯神经网络，其被配置成提供组合模型输出cmo和指示组合模型输出的确定性的可靠性分数。
[0140]
图5示出了对经训练模型进行指纹识别并将经训练模型和数据集指纹组合为组合模型的详细但非限制性的示例。例如，可以通过这里描述的训练系统或方法来执行指纹识别，并且可以通过这里描述的方法的组合系统来执行组合。此图中的若干要素对应于图4的
元件，尤其是组合模型cm 040和其所应用的实例，并且关于所述图描述的任何许多选项也适用于此。
[0141]
具体地，在该图中示出了训练数据集tdi 030，用于训练在组合模型cm中使用的经训练模型。训练数据集通常包括不能在这些组织之外共享的一个或几个协作组织的数据。例如，特定医院的数据集例如在普通状况的情况下可以包括大约至多10万或至多一百万患者的数据，或者例如在较罕见状况的情况下，包括至多100，至多1000，或至多10000患者的数据。
[0142]
基于训练数据集tdi，可以在训练操作tr 560中经训练模型，以获得训练的模型pmi 041。经训练模型可经配置以通过确定输入实例在潜在空间中的表示lsri 530且从其确定模型输出来确定输入实例的模型输出，如也关于图4所讨论的。在该示例中，如在图4中所示的，相应经训练模型包括公共特征提取模型fem 044和相应预测模型pmi。例如，可以在特征提取操作fe520中使用特征提取模型fem，以获得训练数据集tdi的训练实例的潜在空间表示lsr530。如从特征提取模型fem到特征提取器fe的虚线所示，在该特定示例中，特征提取模型不作为训练经训练模型的一部分来训练，而是作为预先训练的特征提取模型从例如组合系统的另一方获得。然而，还可以基于训练数据集从零开始训练特征提取器(作为训练的一部分)，或者精炼预训练的特征提取模型fem，这例如通过执行一个或多个梯度下降迭代，或者使用在迁移学习领域中本身已知的用于精炼经训练模型的技术来实现。在这种情况下，经训练模型可以包括精炼的特征提取模型以及预测模型。
[0143]
可以使用潜在表示来训练预测模型pmi，例如，使用本领域本身已知的技术，如随机梯度下降或适合于现有模型类型的任何其他方法。如图所示，预测模型pmi可以基于预训练的预测模型pm0 511。可以获得预训练的预测模型pm0，然后例如使用本身已知的技术将其精炼为训练该经训练模型pmi的一部分。可以在组合训练操作中训练特征提取器和预测模型。
[0144]
除了经训练模型pmi之外，还在指纹识别操作fp 540中，可以基于训练数据集tdi来确定经训练模型的数据集指纹dfi 042。数据集指纹dfi可以表征训练数据集tdi的潜在空间表示lsri，在训练数据集tdi上经训练模型曾被训练。可以被包括在数据集指纹中的各种数据例如始终参考图4讨论，并且可以被相应地确定。例如，可以使用聚类算法来确定聚类形心；可以训练生成对抗网络或变分自动编码器以获得生成模型；可以确定潜在特征或训练输入或输出的统计参数，例如元数据等。
[0145]
训练的模型，例如预测模型pmi和可能的精炼特征提取模型，可以被提供给另一方用于确定组合模型cm，例如，上传到储存库或被发送。有趣的是，由于经训练模型和数据集指纹通常表示聚集的信息，这可以在对训练数据集tdi的隐私或灵敏度影响最小的情况下完成。为了确保这一点，可选地，可以执行私密性检查，例如，可以检查训练的模型和/或数据集指纹是否满足诸如k匿名的私密性。还可以例如通过添加噪声、去除基于太少的训练记录的元素等来精炼经训练模型和/或数据集指纹以满足私密性。因此，可以使持有训练数据集tdi的组织能够使该数据集可用于组合模型cm而无需公开敏感数据。
[0146]
现在关注如何确定组合模型cm。编译组合模型cm的一方可以从多个训练系统接收或以其他方式获得多个经训练模型pmi和相应的数据集指纹dfi，如本文所述。然后可以将这些多个经训练模型pmi和相应的数据集指纹dfi组合为组合模型cm，用以确定组合模型输
出。例如，组合模型cm可以被存储为包括多个经训练模型和数据集指纹的单个文件或数据库，或者组合模型可以包含对多个经训练模型和数据集指纹的引用，例如，可以从其获得经训练模型的url或者可以例如使用api调用来访问它们的url。在该示例中，经训练模型具有公共特征提取模型fem，使得多个经训练模型以公共特征提取模型fem和单独的预测模型pmi(例如，使用潜在空间表示作为输入的分类或回归模型)的形式被包括在组合模型cm中。
[0147]
除了组合所获得的经训练模型pmi和数据集指纹dfi之外，组合模型的确定可以包括各种其它可选步骤，其中的几个在图中示出，并且其中的许多可以被任意组合。
[0148]
具体地，如图所示，在第一训练操作tr1 510中，确定组合模型可以可选地包括训练特征提取模型fem 044。该训练可以在训练数据集tdc 555上进行。例如，这可以是公开可用的数据集，或者是也用于确定经训练模型的数据集，该经训练模型的确定例如是根据如下的情况来确定的，即：组合模型cm的确定与被包括在组合模型cm中的经训练模型的训练相组合的情况。作为初始训练的一部分，并且典型地在相同的数据集上，还可以训练用于从潜在空间中的输入实例的表示确定模型输出的初始预测模型pm0 511。初始预测模型pm0可以是单独的预测模型，例如在公共数据集上训练的预测模型，或者是组合模型的预测模型pmi之一。
[0149]
训练的特征提取模型fem和/或初始预测模型pm0通常被提供给训练系统，用于对它们相应的数据集执行训练，如从这些模型到作为训练的一部分执行的特征提取操作fe和训练操作tr的虚线所示。在该示例中，使用公共特征提取模型，因此模型fem也被包括在组合模型cm中，尽管也可以获得相应的精炼特征提取模型并将其包括在组合模型中，如在别处所讨论的。
[0150]
可以可选地作为确定组合模型cm的一部分而执行的另一操作是在第二训练操作tr2 515中对组合模型com 043进行训练，用于将模型输出组合为组合模型输出。例如，基于如上所述的训练数据集tdc或包括训练实例和期望训练输出的另一数据集，可以确定训练实例的相应经训练模型tmi的模型输出，以及训练实例相对于相应经训练模型的相应对应性分数。基于此，可以对组合模型com进行训练，以直接计算期望的训练输出，或者通过计算权重或选择可以与相应经训练模型的输出组合使用的模型，以确定组合模型输出。然后，训练的组合模型com可以被包括在组合模型cm中。
[0151]
可以可选地作为确定组合模型的一部分执行的另一操作是在验证数据集vdc 050上验证组合模型cm的验证操作val 590。例如，可以确定组合模型在验证数据集上的准确度，例如，如果准确度不满足预定阈值，则标记错误。因此，可以保证组合模型的整体性能。而且，个体经训练模型对整体模型的贡献可以被确定，这例如通过确定经训练模型之一被移除的组合模型的准确度并确定其对整体准确度的影响来进行。作为另一示例，个体经训练模型对组合模型cm的贡献可以被验证，这例如通过计算加权组合中的个体经训练模型的平均权重，经训练模型的模型输出被包括在组合模型输出中的次数等来进行。因此，可以为模型用户提供各种可能性来获得关于组合模型的内部的反馈，换句话说，允许对经训练模型进行“调试”以进一步提高其准确度。
[0152]
具体地，组合模型的确定可以包括两个阶段：第一阶段，其中确定数据以提供给训练系统，例如特征提取模型fem和初始预测模型pm0；以及第二阶段，其中使用从训练系统接收的信息来确定组合模型cm，这例如通过训练组合模型com、将接收的模型和指纹组合为组
合模型，和/或执行验证来进行。
[0153]
所确定的组合模型还可以被更新，这例如通过向组合模型cm添加附加的经训练模型pmi和相应的数据集指纹dfi来进行；通过去除经训练模型及其指纹来进行，例如如果发现该经训练模型不利地影响准确性的话；或者通过更新它们来进行，例如，当新的训练变得可用时。例如，更新还可以包括重新训练或精炼组合模型com。有趣的是，由于在组合模型中分别处理经训练模型，所以这种更新操作可以相对有效地执行。
[0154]
图6示出了将多个经训练模型应用于输入实例的计算机实现的方法600的框图。可以在相应训练数据集上训练多个经训练模型。方法600可以对应于图1的系统100的操作。然而，这不是限制，因为方法600也可以使用另一系统、装置或设备来执行。
[0155]
方法600可以包括：在题为“访问作为组合模型的经训练模型”的操作中，访问610形式为组合模型的多个经训练模型。组合模型可以限定潜在空间。经训练模型可被配置成通过确定输入实例在潜在空间中的表示并由此确定模型输出来确定输入实例的模型输出。组合模型还可以包括多个经训练模型的相应数据集指纹。经训练模型的数据集指纹可以表征经训练模型的训练数据集的训练实例的潜在空间表示。
[0156]
方法600还可以包括：在题为“获得输入实例”的操作中，获得620输入实例。
[0157]
方法600还可以包括：在题为“确定对应性分数”的操作中，确定630输入实例和多个经训练模型之间的对应分数。输入实例和经训练模型之间的对应性分数可以指示输入实例和经训练模型的训练数据集之间的对应性。对应性分数可以基于输入实例在潜在空间中的的表示和经训练模型的数据集指纹。
[0158]
方法600还可以包括：在题为“确定经训练模型的模型输出”的操作中，确定640用于输入实例的多个经训练模型中的一个或多个的模型输出。
[0159]
方法600可以包括：在题为“组合为组合模型输出”的操作中，根据所确定的相应经训练模型的对应性分数将模型输出组合650为组合模型输出。
[0160]
图7示出了对经训练模型进行指纹识别的计算机实现的方法700的框图。方法700可以对应于图2的系统200的操作。然而，这不是限制，因为方法700也可以使用另一系统、装置或设备来执行。
[0161]
方法700可以包括：在题为“访问训练数据集”的操作中，访问710训练数据集。
[0162]
方法700还可以包括：在题为“训练模型”的操作中，在训练数据集上训练720模型以获得经训练模型。经训练模型可经配置以通过确定输入实例在潜在空间中的表示并从其确定模型输出来确定输入实例的模型输出。
[0163]
方法700还可以包括：在题为“确定数据集指纹”的操作中，基于训练数据集确定730经训练模型的数据集指纹。数据集指纹可以表征经训练模型在其上被训练的训练数据集的潜在空间表示。
[0164]
图8示出了从多个经训练模型中确定组合模型的计算机实现的方法800的框图。方法800可以对应于图3的系统300的操作。然而，这不是限制，因为方法800也可以使用另一系统、装置或设备来执行。
[0165]
方法800可以包括：在题为“访问验证数据集”的操作中，访问810包括多个验证输入实例和对应的验证输出的验证数据集。
[0166]
方法800还可以包括：在题为“布置数字通信”的操作中，布置820与多个训练系统
的数字通信；
[0167]
方法800还可以包括：在题为“接收模型、指纹”的操作中，从多个训练系统接收830多个经训练模型和对应的数据集指纹。经训练模型可经配置以通过确定输入实例在多个经训练模型公共的潜在空间中的表示并从其确定模型输出来确定输入实例的模型输出。经训练模型的数据集指纹可以表征经训练模型的训练数据集的训练实例的潜在空间表示。
[0168]
方法800还可以包括：在题为“组合为组合模型”的操作中，将多个经训练模型和对应的数据集指纹组合840为组合模型，用于确定组合模型输出。
[0169]
方法800还可以包括：在题为“验证组合模型”的操作中，在验证数据集上验证850组合模型。
[0170]
应当理解，通常，图6的方法600，图7的方法700和/或图8的方法800的操作可以以任何合适的顺序来执行，例如，连续地、同时地、或其组合，这些合适的顺序在适用时受制于例如输入/输出关系所需要的特定顺序。这些方法也可以组合在单个方法中，例如通过将先前确定的组合模型应用于输入实例，或者通过确定和/或应用包括先前经训练模型的组合模型。
[0171]
所述方法可在计算机上实施为计算机实现的方法、专用硬件或两者的组合。同样如图9所示，用于计算机的指令(例如，可执行代码)可以存储在计算机可读介质900上，例如，以一系列910机器可读物理标记的形式和/或作为具有不同电(例如，磁或光)特性或值的一系列要素。可执行代码可以以暂时或非暂时方式存储。作为替代或附加，介质900可以存储表示组合模型的数据，例如用于在此描述的方法中。组合模型可以限定潜在空间。组合模型可以包括在相应的训练数据集上训练的多个经训练模型。这样的经训练的模型可以被配置成通过确定输入实例在潜在空间中的表示并由此确定模型输出来确定输入实例的模型输出。组合模型还可以包括多个经训练模型的相应数据集指纹。经训练模型的数据集指纹可以表征经训练模型的训练数据集的训练实例的潜在空间表示。计算机可读介质的示例包括存储设备、光存储设备、集成电路、服务器、在线软件等。图9示出了光盘900。
[0172]
示例、实施例或可选特征，无论是否被指示为非限制性的，都不应被理解为限制所要求保护的本发明。
[0173]
应注意，上述实施例说明而非限制本发明，且所属领域的技术人员将能够在不脱离所附权利要求书的范围的情况下设计许多替代实施例。在权利要求中，置于括号中的任何附图标记不应解释为限制权利要求。动词“包括”及其动词变化的使用不排除权利要求中所记载的要素或阶段之外的要素或阶段的存在。要素之前的冠词“一”或“一个”不排除多个这种要素的存在。当在要素列表或组之前时，诸如
“……
中的至少一个”的表达表示从列表或组中选择所有要素或任何要素子集。例如，表述“a，b和c中的至少一种”应理解为仅包括a，仅包括b，仅包括c，包括a和b两者，包括a和c两者，包括b和c两者，或包括a，b和c的全部。本发明可以通过包括几个不同要素的硬件以及通过适当编程的计算机来实现。在列举了几个装置的设备权利要求中，这些装置中的几个可以由同一项硬件来实现。在相互不同的从属权利要求中叙述某些措施的仅有事实并不表示不能有利地使用这些措施的组合。