预测患者对化学物质的反应的制作方法

预测患者对化学物质的反应
相关申请的交叉引用
1.本技术要求2020年1月16日提交的申请号ep 20305030.7和2019年8月13日提交的美国临时申请号62/886,199的优先权。其公开内容在此引入作为参考。
技术领域
2.本公开总体上涉及预测患者对化合物(诸如药品)的反应的系统和方法。


背景技术：

3.临床试验通常是为了收集关于药物安全性和有效性的数据。一般来说，这些试验涉及一个或多个阶段，以确定药物是否可以在消费市场上销售。例如，临床试验可能包括三个阶段。在第一阶段，药物在相对少量的有偿志愿者(例如20至100名志愿者)身上进行测试，以确定药物的效果，包括吸收、代谢、排泄等。这个阶段可能需要几个月才能完成，大约70％的实验药物通过了第一阶段。在第二阶段，实验药物在数百名符合一个或多个入选标准的患者身上进行测试。一组患者接受实验药物，而另一组接受安慰剂或标准治疗。大约三分之一的实验药物完成了第一阶段和第二阶段的测试。在第三阶段，药物在数百至数千名(或更多)患者身上进行测试。这一阶段往往是所有阶段中最昂贵的，大约70％进入第三阶段的药物可能会成功完成这一阶段。


技术实现要素：

4.在本公开的至少一个方面，提供了一种数据处理系统。该数据处理系统包括计算机可读存储器，所述计算机可读存储器包括计算机可执行指令；和至少一个处理器，所述至少一个处理器被配置成执行可执行逻辑，所述可执行逻辑包括至少一个人工神经网络，所述人工神经网络被训练用于通过识别生物图像中的一个或多个离散生物组织成分来预测对化学物质的一个或多个反应。当所述至少一个处理器正在执行所述计算机可执行指令时，所述至少一个处理器被配置成执行一个或多个操作。所述一个或多个操作包括接收代表患者的生物图像的在空间上排列的图像数据。所述一个或多个操作包括生成代表多个图像块的在空间上排列的图像块数据，其中所述多个图像块中的每个图像块包括所述生物图像的离散部分.所述一个或多个操作包括通过一个或多个数据结构处理所述在空间上排列的图像块数据，以通过针对每个图像块识别该图像块中代表患者的一个或多个离散生物组织成分位置的一个或多个像素来预测所述患者的一个或多个反应，所述一个或多个数据结构存储有包括在所述人工神经网络中的可执行逻辑的一个或多个部分。
5.所述一个或多个操作可以包括生成经预处理的在空间上排列的图像块数据，其针对每个图像块代表经预处理的图像块。对于每个图像块，生成经预处理的在空间上排列的图像块数据可以包括：识别该图像块中代表一个或多个生物组织位置的一个或多个像素，以及对所述一个或多个生物组织位置进行颜色归一化。通过存储有包括在所述人工神经网络中的可执行逻辑的一个或多个部分的所述一个或多个数据结构处理的所述在空间上排
列的图像块数据可以包括所述经预处理的在空间上排列的图像块数据。
6.人工神经网络可以包括卷积神经网络。
7.预测患者的所述一个或多个反应可以包括针对每个图像块为该图像块指定加权值。每个图像块的所述指定加权值可以基于该图像块的所述离散生物组织成分的预测能力。
8.在至少一个方面，提供了一种数据处理系统。一种数据处理系统包括：包含计算机可执行指令的计算机可读存储器。该数据处理系统包括至少一个处理器，所述至少一个处理器被配置成执行可执行逻辑，所述可执行逻辑包括至少一个人工神经网络，所述人工神经网络被训练用于通过识别生物图像中的一个或多个离散生物组织成分来预测对化学物质的一个或多个反应。当所述至少一个处理器正在执行所述计算机可执行指令时，所述至少一个处理器被配置成执行一个或多个操作。所述一个或多个操作包括接收代表患者的生物图像的在空间上排列的图像数据。所述一个或多个操作包括通过存储有包括在所述人工神经网络中的可执行逻辑的一个或多个部分的所述一个或多个数据结构处理所述在空间上排列的图像数据，以通过识别代表患者的一个或多个离散生物组织成分位置的一个或多个像素来预测所述患者的一个或多个反应。处理所述在空间上排列的数据包括：选择所述在空间上排列的图像数据的第一部分。处理所述在空间上排列的数据包括：处理所述第一部分以识别所述第一部分的一个或多个像素，所述一个或多个像素代表对应于所述第一部分的离散生物组织成分的一个或多个位置。处理所述在空间上排列的数据包括：选择所述在空间上排列的图像数据的至少一个后续部分。处理所述在空间上排列的数据包括：处理所述至少一个后续部分以识别所述至少一个后续部分中代表对应于所述至少一个后续部分的一个或多个离散生物组织成分位置的一个或多个像素。
9.生物图像可以包括免疫组织化学图像。人工神经网络可以包括深度循环注意力模型。所述一个或多个反应可以包括肿瘤大小的减少量。
10.所述一个或多个操作可以包括生成代表经预处理的生物图像的经预处理的在空间上排列的图像数据。生成经预处理的在空间上排列的图像数据可以包括识别所述生物图像中代表一个或多个生物组织位置的一个或多个像素，以及对所述一个或多个生物组织位置进行颜色归一化。通过存储有包括在所述人工神经网络中的可执行逻辑的一个或多个部分的所述一个或多个数据结构处理的所述在空间上排列的图像数据可以包括所述经预处理的在空间上排列的图像数据。
11.这些和其他方面、特征和实现方式可以被表达为用于执行功能的方法、装置、系统、部件、程序产品、手段或步骤，以及其他方式。
12.本公开的实现可以提供一个或多个以下优点。图像处理和机器学习技术可用于处理图像数据以预测患者对药物的反应，使得与传统技术相比，预测准确度提高，计算效率提高，和/或计算能力要求降低。与传统技术相比，预测可以考虑更多的变量，这可以提高预测的准确性。
13.从包括权利要求在内的以下描述中，这些和其他方面、特征和实现方式将变得显而易见。
附图说明
14.图1是示出数据处理系统的示例的图。
15.图2是示出数据处理系统的示例架构的流程图。
16.图3是示出数据处理系统的示例架构的流程图。
17.图4是说明用于预测患者对化合物的反应的示例方法的流程图。
18.图5是说明用于预测患者对化合物的反应的示例方法的流程图。
19.图6是用于提供与本公开文本中描述的算法、方法、功能、过程、流程和步骤相关联的计算功能的示例计算机系统的框图。
具体实施方式
20.对于涉及给定药物的临床试验，选择可能受益于副作用可控的治疗的患者可能很重要，尤其是在威胁生命的疾病领域，如肿瘤学。由于医学成像技术的最新进展，医学图像或生物图像(例如，免疫组织化学图像)可用于预测研究性治疗的患者结果。然而，传统的患者结果预测技术通常只从生物图像中提取一些特征，例如比例得分和组织化学得分(有时称为“h得分”)。因此，最终的患者反应预测准确度可以在20％-45％之间。此外，使用传统的机器学习技术来预测患者对给定药物的反应在计算上是不可行的，因为生物图像可以具有50,000像素乘40,000像素(或更大)的尺寸，2千兆字节(或更大)的大小。也就是说，这些尺寸的图像可能需要机器学习模型来估计数十亿(或更多)的参数。
21.本公开的实现方式提供了用于预测患者反应的系统和方法，其可用于减轻一些或所有前述缺点。本公开中描述的系统和方法可以实现图像处理技术和机器学习技术，使得当与传统技术相比时，可以以计算效率更高的方式处理代表生物图像的图像数据，以更高的准确度预测患者对药物的反应。在一些实现方式中，本公开中描述的系统和方法可以接收患者的生物图像并生成图像块，其中每个图像块代表生物图像的离散部分。然后，可以预处理代表每个图像块的数据，以例如识别在生物图像中捕获的生物组织的位置，并对这些识别的位置进行颜色归一化。然后，经预处理的图像数据可以用人工神经网络(ann)进行处理，ann可以为每个图像块识别离散组织成分位置，该人工神经网络已经学会预测给定药物的患者反应。也就是说，基于所识别的离散组织成分，ann可以从图像中识别可能影响患者反应预测的更高级特征。例如，ann可以学习将肿瘤巢膜上靶向蛋白的部分染色模式与患者反应不好联系起来，因为活性药物成分可能不识别靶向蛋白来攻击肿瘤巢。患者反应的例子可以包括疗效反应(例如，接受肿瘤药物治疗方案的患者导致的癌性肿瘤大小的减少/改变)、安全性反应(例如，接受肿瘤药物治疗方案的患者导致的不良反应、毒性和心血管风险)或两者。
22.每个离散组织成分可以基于习得预测能力(例如，它们通过ann学习的预测患者反应的功效)被赋值，并且预测反应可以包括聚集对应于所有图像块的赋值。在一些实现方式中，ann可用于处理代表整个图像的图像数据，其中ann被配置成一次处理生物图像的一个离散部分(有时称为“分块”)。
23.通过对生物图像中生物组织的位置进行颜色归一化，可以促进处理生物图像数据的计算效率的提高，因为例如，与传统技术相比，ann可以更容易地识别生物组织的位置。此外，通过使用ann一次处理医学图像数据的一个离散部分(例如，一次一个分块或一次一个
图块)，与传统技术相比，可以减轻计算需求问题。
24.在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对本公开的透彻理解。然而，显而易见的是，本公开可以在没有这些具体细节的情况下实施。在其他实例中，众所周知的结构和设备以框图形式示出，以避免不必要地模糊本公开。
25.在附图中，为了便于描述，示出了示意性元素的特定排列或排序，例如表示设备、模块、指令块和数据元素的排列或排序。然而，本领域的技术人员应该理解，附图中示意性元素的特定顺序或排列并不意味着需要特定的处理顺序或过程分离。此外，在附图中包括示意性元素并不意味着在所有实施方案中都需要这样的元素，或者在一些实现方式中，由这样的元素表示的特征可以不包括在其他元素中或者不与其他元素组合。
26.进一步，在附图中，连接元素，例如实线或虚线或箭头，用于说明两个或多个其他示意性元素之间的连接、关系或关联，缺少任何这样的连接元素并不意味着不存在连接、关系或关联。换句话说，元素之间的一些连接、关系或关联没有在附图中示出，以免混淆本公开。此外，为了便于图示，单个连接元素用于表示元素之间的多个连接、关系或关联。例如，在连接元素代表信号、数据或指令的通信的情况下，本领域技术人员应该理解，这种元素代表一个或多个信号路径(例如，总线)，如可能需要的，以影响通信。
27.现在将详细参考实现方式，其示例在附图中示出。在以下详细描述中，阐述了许多具体细节，以便提供对各种描述的实现方式的透彻理解。然而，对于本领域普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实施所描述的各种实现方式。在其他实例中，没有详细描述众所周知的方法、步骤、部件、电路和网络，以免不必要地模糊实现方式的各个方面。
28.下文描述了几个特征，每个特征可以彼此独立使用或者与其他特征的任意组合一起使用。然而，任何单个的特征可能不能解决上文讨论的任何问题，或者可能只解决上文讨论的问题之一。本说明书中描述的任何特征都可能不能完全解决上面讨论的一些问题。尽管提供了标题，与特定标题相关但未在具有该标题的部分中找到的数据也可以在本说明书的其他地方找到。
29.图1示出了数据处理系统100的示例。通常，数据处理系统被配置成处理代表患者生物图像的图像数据，以预测给定化学物质(例如，药物)的患者反应(例如，癌性肿瘤的大小减小)。系统100包括计算机处理器110。计算机处理器110包括计算机可读存储器111和计算机可读指令112。系统100还包括机器学习系统150。机器学习系统150包括机器学习模型120。机器学习模型120可以与计算机处理器110分离或集成。
30.计算机可读介质111(或计算机可读存储器)可以包括适合于本地技术环境的任何数据存储技术类型，包括但不限于基于半导体的存储器设备、磁存储器设备和系统、光存储器设备和系统、固定存储器、可移动存储器、盘存储器、闪存、动态随机存取存储器(dram)、静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)等。在一些实现方式中，计算机可读介质111包括具有可执行指令的代码段。
31.在一些实现方式中，计算机处理器110包括通用处理器。在一些实现方式中，计算机处理器110包括中央处理单元(cpu)。在一些实现方式中，计算机处理器110包括至少一个专用集成电路(asic)。计算机处理器110还可以包括通用可编程微处理器、图形处理单元、专用可编程微处理器、数字信号处理器(dsp)、可编程逻辑阵列(pla)、现场可编程门阵列
(fpga)、专用电子电路等、或它们的组合。计算机处理器110被配置成执行诸如计算机可执行指令112的程序代码，并且被配置成执行包括机器学习模型120的可执行逻辑。
32.计算机处理器110被配置成接收代表患者医学图像的图像数据。例如，患者的医学图像可以是免疫组织化学染色结果的图像，其描述了通过利用特异性结合生物组织中抗原的抗体的原理来选择性识别生物组织切片的细胞中的蛋白质(例如抗原)的过程。图像数据可以通过各种技术获得，例如与数据库的无线通信、光纤通信、usb、cd-rom等。
33.在一些实现方式中，计算机处理器110被配置成生成代表多个图像块的图像块数据，其中每个图像块包括生物图像的离散部分。稍后参考图2讨论生成图像块数据的更详细的例子。在一些实现方式中，计算机处理器110被配置成在将图像数据传输到机器学习模型120之前预处理图像数据。在一些实现方式中，预处理图像数据包括识别对应于生物组织的图像数据的一个或多个像素位置，以及对这些识别的位置进行颜色归一化。颜色归一化可以指将不同的配色方案归一化为标准配色方案的过程，并且可以增加捕获的生物组织/肿瘤和图像背景之间的对比度，以进行更有效的信号识别。例如，计算机处理器110可以将图像数据中具有对应于生物组织的值(例如，颜色值、强度值等)的某些像素位置相关联，并且对这些像素位置进行颜色归一化。所述关联可以被预编程或通过一种或多种机器学习技术(例如，贝叶斯技术、神经网络技术等)来学习。
34.机器学习模型120能够处理图像数据(在一些实现方式中，在它已经被计算机处理器110预处理之后，在它已经被转换成图像块数据之后，或者两者兼而有之)，以预测对应于特定药物的患者反应。例如，对于给定的肿瘤治疗药物方案，机器学习模型120可以基于识别和分析代表离散生物组织成分的图像数据的一个或多个像素位置来预测癌性肿瘤尺寸的减少量。在一些实现方式中，预测患者反应包括基于离散生物组织成分与患者反应的习得关联，为所识别和分析的表示离散生物组织成分的一个或多个像素位置赋值。稍后参考图2-5更详细地讨论预测患者反应。
35.机器学习系统150能够应用机器学习技术来训练机器学习模型120。作为机器学习模型120的训练的一部分，机器学习系统150通过识别已经被确定为具有所述属性的输入数据项的正训练集来形成输入数据的训练集，并且在一些实施方案中，形成缺少所述属性的输入数据项的负训练集。
36.机器学习系统150从训练集的输入数据中提取特征值，这些特征是被认为与输入数据项是否具有相关属性潜在相关的变量。输入数据的特征的有序列表在这里被称为输入数据的特征向量。在一个实施方案中，机器学习系统150应用降维(例如，通过线性判别分析(lda)、主成分分析(pca)等)来将输入数据的特征向量中的数据量减少到更小、更具代表性的数据集。
37.在一些实现方式中，机器学习系统150使用监督机器学习以正训练集和负训练集的特征向量作为输入来训练机器学习模型120。在不同的实施方案中可以使用不同的机器学习技术，例如线性支持向量机(线性svm)、针对其他算法的增强(例如，adaboost)、神经网络、逻辑回归、朴素贝叶斯、基于记忆的学习、随机森林、袋装树、决策树、增强树或增强树桩。当应用于从输入数据项提取的特征向量时，机器学习模型120输出输入数据项是否具有所讨论的属性的指示，例如布尔是/否估计，或者表示概率的标量值。
38.在一些实施方案中，验证集由除了训练集中的那些数据之外的附加输入数据形
成，这些数据已经被确定具有或缺乏所讨论的属性。机器学习系统150将训练的机器学习模型120应用于验证集的数据，以量化机器学习模型120的准确性。准确度度量中应用的常见度量包括：precision＝tp/(tp fp)和recall＝tp/(tp fn)，其中precision是机器学习模型在其预测的总数(tp fp或假阳性)中正确预测了多少(tp或真阳性)，recall是机器学习模型在确实具有所讨论的属性的输入数据项总数(tp fn或假阴性)中正确预测了多少(tp)。f得分(f-score＝2*pr/(p r))将precision和recall统一到一个单一的衡量标准中。在一个实施方案中，机器学习模块迭代地重新训练机器学习模型，直到停止条件的出现，例如模型足够准确的准确度测量指示，或者已经进行了若干轮训练。
39.在一些实现方式中，机器学习模型120是卷积神经网络(cnn)。可以基于以下假设来配置cnn：向cnn的输入对应于图像的图像像素数据或包括多个空间位置的特征的其他数据。例如，多组输入可以形成多维数据结构，例如张量，其表示示例数字图像(例如，生物组织的生物图像)的颜色特征。在一些实现方式中，向cnn的输入对应于各种其他类型的数据，例如从车辆的不同设备和传感器获得的数据、点云数据、包括多个时间步长中的每一个的特定特征或原始音频的音频数据、或各种类型的一维或多维数据。cnn的卷积层可以处理输入，以变换由数据结构的输入表示的图像特征。例如，通过使用沿着数据结构的给定维度的输入数据和卷积层的一组参数执行点积运算来处理输入。
40.执行卷积层的计算可以包括将一组或多组核应用于数据结构中的输入部分。cnn执行计算的方式可以基于支持深度神经网络工作负载的示例多层神经网络或深度神经网络的每一层的特定属性。深度神经网络可以包括一个或多个卷积塔(或层)以及其他计算层。特别地，例如计算机视觉应用，这些卷积塔通常占所执行的推理计算的大部分。cnn的卷积层可以有三维排列的人工神经元集，包括宽度维度、高度维度和深度维度。深度维度对应于输入或激活体积的第三维，并且可以表示图像的相应颜色通道。例如，输入图像可以形成数据的输入体积(例如，激活)，并且该体积具有32x32x3的尺寸(分别是宽度、高度、深度)。深度维度3可以对应于红色(r)、绿色(g)和蓝色(b)的rgb颜色通道。
41.通常，cnn的层被配置成将三维输入体积(输入)转换成神经元激活(激活)的多维输出体积。例如，32x32x3的3d输入结构保存示例图像的原始像素值，在这种情况下，示例图像的宽度为32，高度为32，并且具有三个颜色通道，即r、g和b。机器学习模型120的cnn的卷积层计算可以连接到输入体积中的局部区域的神经元的输出。卷积层中的每个神经元可以仅在空间上连接到输入体积中的局部区域，但是连接到输入体积的整个深度(例如，所有颜色通道)。对于卷积层的一组神经元，该层计算神经元的参数(权重)和输入体积中神经元所连接的特定区域之间的点积。这种计算可能导致诸如32
×
32
×
12的体积，其中12对应于用于计算的核的数量。神经元与区域输入的连接可以沿着深度轴具有等于输入体积深度的空间范围。空间范围对应于核的空间维度(例如，x和y维度)。
42.一组核可以具有包括宽度和高度并且延伸穿过输入体积的深度的空间特征。该层的每组核被应用于提供给该层的一组或多组输入。也就是说，对于每个核或每组核，机器学习模型120可以将可以多维表示的核覆盖在可以多维表示的层输入(例如，形成输入体积或输入张量)的第一部分上。例如，用于cnn的第一层的一组核可以具有5
×5×3×
16的大小，对应于5个像素的宽度，5个像素的高度，对应于应用核的输入体积的颜色通道的3的深度，以及对应于多个输出通道的16的输出维度。在这种情况下，该组核包括16个核，使得卷积的
输出具有16的深度维度。
43.机器学习模型120然后可以从重叠的元素计算点积。例如，机器学习模型120可以在输入体积的宽度和高度上卷积(或滑动)每个核，并且计算核的条目和图像的位置或区域的输入之间的点积。卷积输出中的每个输出值都是核和来自示例输入张量的某组输入之间的点积的结果。点积可以导致对应于单层输入的卷积输出，例如，在重叠多维空间中具有左上角位置的激活元素。如上所述，卷积层的神经元可以连接到包括多个输入的输入体积的区域。机器学习模型120可以在输入体积的每个输入上卷积每个核。机器学习模型120可以通过例如在区域中的每个输入上移动(或滑动)每个核来执行该卷积运算。
44.机器学习模型120可以基于给定卷积层的步幅值在区域的输入上移动每个核。例如，当步幅被设置为1时，机器学习模型120可以一次在一个像素(或输入)的区域上移动核。类似地，当步幅为2时，机器学习模型120可以一次在两个像素的区域上移动核。因此，可以基于层的步幅值来移动核，并且机器学习模型120可以重复执行该过程，直到该区域的输入具有相应的点积。与步幅值相关的是跳跃值。跳跃值可以识别输入体积区域中的一组或多组输入(2
×
2)，当输入被加载以在神经网络层进行处理时，这些输入被跳跃。在一些实现方式中，图像的输入像素体积可以用零“填充”，例如，在图像的边界区域周围。这种零填充用于控制输出体积的空间大小。
45.如前所述，cnn的卷积层被配置成将三维输入体积(区域的输入)转换成神经元激活的多维输出体积。例如，当核在输入体积的宽度和高度上卷积时，机器学习模型120可以产生多维激活图，其包括基于步幅值在一个或多个空间位置卷积核的结果。在某些情况下，增加步幅值会在空间上产生较小的激活输出量。在一些实现方式中，在卷积的输出被发送到cnn的后续层之前，激活可以被应用于卷积的输出。
46.示例卷积层可以具有一个或多个表示该层属性的控制参数。例如，控制参数可以包括核的数量k、核的空间范围f、步幅(或跳跃)s和零填充量p。这些参数的数值、层的输入以及层的核的参数值决定了在层上发生的计算以及层的输出体积的大小。在一些实现方式中，使用公式(w-f 2p)/s 1，输出体积的空间大小被计算为输入体积大小w的函数。例如，输入张量可以表示大小为[227
×
227
×
3]的像素输入体积。cnn的卷积层可以具有f＝11的空间范围值，s＝4的步幅值，并且没有零填充(p＝0)。使用上述公式和k＝96的层核量，机器学习模型120对层执行计算，导致大小为[55
×
55
×
96]的卷积层输出体积，其中根据[(227-11 0)/4 1＝55]得到55。
[0047]
cnn的卷积层或其他层的计算(例如点积计算)包括使用机器学习模型120的硬件电路的计算单元来执行数学运算，例如乘法和加法。当对神经网络的层执行计算时，硬件电路的设计会导致系统在充分利用电路的计算单元的能力方面受到限制。稍后将参考图2讨论具有包括cnn的机器学习模型120的系统100的架构的更详细示例。
[0048]
在一些实现方式中，机器学习模型120包括循环注意力模型(ram)。ram可以顺序方式处理生物图像数据，建立生物图像的动态表示。例如，在时间步长(t)的每一步，ram可以选择性地聚焦在图像的分块中的给定位置，该位置指的是图像的离散部分。然后，ram可以从分块中提取特征，更新其内部状态，并选择下一个分块进行聚焦。该过程可以重复固定数量的步长，在此期间，ram能够以一致的方式递增地组合提取的特征。ram的一般结构可以由许多多层神经网络定义，其中每个多层神经网络能够将一些输入向量映射成输出向量。稍
后将参考图3讨论具有包括ram的机器学习模型120的系统100的架构的更详细示例。
[0049]
虽然本说明书通常将患者描述为人类患者，但是实现方式并不局限于此。例如，患者可以指非人动物、植物或人类复制系统。
[0050]
图2是示出数据处理系统200的架构的流程图。数据处理系统200可以基本上类似于前面参考图1描述的数据处理系统100。数据处理系统200包括图像块生成模块220、预处理模块230、反馈模块240和机器学习系统250。模块220、230、240可以由例如前面参考图1讨论的数据处理系统100的计算机处理器110来执行。
[0051]
图像块生成模块220能够接收代表生物图像210的图像数据，并生成代表生物图像210的多个图像块210a的图像块数据。如图所示，多个图像块210a中的每一个包括生物图像210的离散部分。尽管所示的实现方式示出了六个图像块210a，但是图像块的数量可以多于或少于六个，并且可以基于计算效率、计算能力和计算准确度考虑来选择数量。例如，由于医学图像的异质性(例如，如在来自癌症患者的活检样本的免疫组织化学图像中所见)，每个图像的图块数量可以是几个图块到几千个图块。表每个图像块210a的图像块数据被传输到预处理模块230。对于每个图像块，预处理模块230能够通过识别对应于生物组织的图像块数据的一个或多个像素位置，并对所识别的位置进行颜色归一化来生成经预处理的图像块数据，如前面参考图1所讨论的。
[0052]
经预处理的图像块数据被传输到机器学习系统250。如图所示，预处理图像块数据被顺序地传输到机器学习系统250，其中对应于第一图像块的预处理图像块数据在第一时间被传输到机器学习系统250，对应于第二图像块的预处理图像块数据在第二时间被传输到机器学习系统250，以此类推，直到对应于所有(或一部分)图像块的预处理图像块数据已经被机器学习系统250接收。
[0053]
在所示的实现中，机器学习系统250包括cnn。机器学习系统250能够为每个图像块识别经预处理的图像块数据中的一个或多个像素位置，该图像块数据代表预测给定药物的患者结果的一个或多个离散组织成分。机器学习系统250可以将值分配给一个或多个像素位置，并且可以基于所识别的离散组织成分的习得预测功效来加权分配的值。机器学习系统250可以在所有图像块210a上聚集加权值(例如，加权值求和、加权值平均等)，以生成聚集权重值，并且基于聚集权重值预测患者反应(例如，癌性肿瘤的减少量)。例如，机器学习系统250可以基于总权重值和患者反应之间的习得关联来预测患者结果。预测的患者反应可以被传输到反馈模块240，反馈模块能够将预测的患者反应与观察到的患者反应(例如，观察到的实验结果)进行比较，并基于比较产生误差值。误差值可以被传输到机器学习系统150，并且机器学习系统可以根据误差值更新其权重和偏差。在一些实现方式中，反馈模块240使用交叉验证技术来验证预测结果。例如，在药物开发的早期阶段，可能是少数患者的医学影像。为了评估在如此小的数据集上拟合的模型的稳健性，可以利用统计学方法，即交叉验证。例如，在k倍交叉验证过程中，整个数据集可以随机分割成k个大小大致相等的子集。每次拿出一个子集作为验证数据集，其余的用作训练集时，就可以拟合一个模型，并记录它在测试集上的表现。然后，将一个不同的子集作为验证集，并在其余的子集上训练一个新的模型。作为最终结果，每个子集可能已经充当了一次验证集，并且所有k重验证的预测结果被聚集以获得precision度量、recall度量等等。这些汇总结果可以更准确地衡量该方法的稳健性。
[0054]
尽管包括图像块生成模块220、预处理模块230和反馈模块240在内的特定模块被描述为执行本说明书中描述的技术的某些方面，但是在一些实现方式中，一些或所有技术可以由附加的、更少的或替代的模块来执行。
[0055]
图3是示出数据处理系统300的示例架构的流程图。数据处理系统300包括预处理模块330、反馈模块340和机器学习系统350。
[0056]
预处理模块330被配置成接收代表生物图像310的图像数据。在一些实现方式中，预处理模块330基本上类似于之前参考图2讨论的数据处理系统200的预处理模块230。因此，预处理模块330能够识别图像数据中表示生物组织的一个或多个像素位置，并对所识别的一个或多个像素位置进行颜色归一化以生成预处理图像数据。经预处理的图像数据然后可以被传输到机器学习系统350。
[0057]
机器学习系统350能够处理经预处理的图像数据，以预测给定药物的患者反应。在所示的实现中，机器学习系统350包括ram 350。ram 350包括分块模块351、特征提取模块352、位置模块353和预测模块354。
[0058]
在一些实现方式中，分块模块351包括一个或多个卷积层(例如，3个卷积层)。在一些实现方式中，分块模块351包括一个或多个最大池层，最大池层是指可以执行基于样本的离散化过程的层。在一些实现方式中，分块模块351包括一个或多个完全连接的层。在一些实现方式中，分块模块351在一系列连续时间步长中的每一个接收相应分块的位置数据。如前所述，分块对应于图像310的离散部分。分块模块351生成代表对应于位置数据的每个分块的分块数据。例如，如图所示，分块模块351为第一时间步长生成第一分块310a。在一些实现方式中，分块模块351随机选择第一分块310a的第一位置。在一些实现方式中，分块模块351选择图像310的中心作为第一分块310a的第一位置。
[0059]
特征提取模块352接收对应于第一分块310a的分块数据。特征提取模块352能够识别对应于患者的一个或多个离散组织成分的第一分块310a的一个或多个像素位置，并且能够基于一个或多个离散组织成分和患者反应之间的习得关联为一个或多个离散组织成分中的每一个分配值。在一些实现方式中，特征提取模块352包括两个或更多堆叠的长短期存储单元，其描述了包括反馈连接的神经网络架构，该反馈连接处理单个数据点(例如图像)和整个数据序列(例如语音或视频)。
[0060]
位置模块353接收分配的值，并基于分配的值确定下一个分块位置。可以基于位置模块353通过强化学习过程学习的优化协议来确定下一个分块的位置，其中可以评估不同的协议，并且可以决定为给定的下一个分块分配位置的最优协议：当前分块的位置、从先前分块提取的信息以及最大化奖励函数，奖励函数的一部分可以对应于预测准确度。位置模块353生成指示要处理的下一个分块的位置的位置数据。
[0061]
分块模块353接收由位置模块353生成的位置数据，并生成代表要处理的第二分块310b的分块数据。前述处理分块和选择下一个位置的过程继续，直到通过特征提取模块352处理最终分块310c。每个分配的值被传输到预测模块354。一旦预测模块354接收到对应于所有分块的分配值，预测模块354就通过生成聚集值并基于聚集值和患者反应之间的习得关联预测患者反应来预测给定药物的患者反应。代表预测患者反应的数据被传输到反馈模块340，反馈模块将预测患者结果与观察结果进行比较，并产生误差值。代表误差值的数据被传输到机器学习系统350，机器学习系统相应地更新其权重和偏差。在一些实现方式中，
反馈模块340使用交叉验证技术来验证预测结果，如先前参考图2所讨论的。
[0062]
尽管包括预处理模块330、分块模块351、特征提取模块352、位置模块353、预测模块354和反馈模块340在内的特定模块被描述为执行本说明书中描述的技术的某些方面，但是在一些实现方式中，一些或所有技术可以由附加的、更少的或替代的模块来执行。
[0063]
图4是说明用于预测患者对化合物的反应的示例方法400的流程图。为了说明的目的，方法400将被描述为由之前参考图1讨论的数据处理系统100执行。方法400包括接收在空间上排列的图像数据(块410)，生成在空间上排列的图像块数据(块420)，以及处理在空间上排列的图像块数据(块430)。
[0064]
在框410，计算机处理器110接收代表患者生物图像的在空间上排列的图像数据。例如，如前面参考图1所讨论的，生物图像可以是患者生物组织的免疫组织化学图像。
[0065]
在框420，计算机处理器110生成代表图像的图像块的在空间上排列的图像块数据。例如，如先前参考图1-2所讨论的，每个图像块可以包括图像的离散部分。
[0066]
在框430，机器学习模型120通过一个或多个数据结构处理所述在空间上排列的图像块数据，以通过针对每个图像块识别该图像块中代表患者的一个或多个离散生物组织成分位置的一个或多个像素来预测所述患者的一个或多个反应，所述一个或多个数据结构存储有包括在所述机器学习模型120中的可执行逻辑的一个或多个部分。在一些实现方式中，机器学习模型120可以将值分配给离散生物组织成分的每个识别位置。这些值可以基于例如所识别的离散生物组织成分的习得预测能力来加权。对应于所有图像块的值可以被聚集(例如，求和、平均等)以生成聚集值，并且该值可以用于预测反应。这种反应可以是对特定化合物(如药物)的反应。例如，反应可以是由于患者接受肿瘤药物治疗方案而导致的癌性肿瘤大小的减少量。
[0067]
如先前参考图1-2所指示的，在被机器学习模型120处理之前，计算机处理器110可以生成经预处理的图像块数据，其中，对于每个图像块，计算机处理器110可以识别代表生物组织的相应图像块数据的一个或多个像素，并且对所识别的一个或多个像素进行颜色归一化。
[0068]
图5是说明用于预测患者对化合物的反应的示例方法500的流程图。为了说明的目的，方法500将被描述为由先前参考图1讨论的系统100执行。方法500包括接收在空间上排列的图像数据(块510)和处理在空间上排列的图像数据(块520)。
[0069]
在框510，计算机处理器110接收代表患者生物图像的在空间上排列的图像数据。例如，如前面参考图1所讨论的，生物图像可以是患者生物组织的免疫组织化学图像。
[0070]
在框520，机器学习模型120通过存储机器学习模型120中包括的可执行逻辑的一个或多个部分的一个或多个数据结构来处理在空间上排列的图像数据，以通过识别表示患者的离散生物组织成分的一个或多个位置的一个或多个像素来预测患者的一个或多个反应。在一些实现方式中，处理在空间上排列的图像数据包括选择在空间上排列的图像数据的第一部分(例如，如先前参考图3所述的第一分块)，处理所述第一部分以识别所述第一部分的一个或多个像素，所述一个或多个像素代表对应于所述第一部分的离散生物组织成分的一个或多个位置，如先前参考图3所述。在一些实现方式中，处理在空间上排列的图像数据包括选择所述在空间上排列的图像数据的至少一个后续部分(例如，如先前参考图3所述的第二分块)，以及处理所述至少一个后续部分以识别所述至少一个后续部分中代表对应
于所述至少一个后续部分的一个或多个离散生物组织成分位置的一个或多个像素，如先前参考图3所述。
[0071]
在一些实现方式中，机器学习模型120可以针对每个分块给离散生物组织成分的每个识别位置赋值。这些值可以基于例如离散生物组织成分的习得预测能力来加权。对应于所有分块的值可以被聚集(例如，求和、平均等)以生成聚集值，并且该值可以用于预测反应。这种反应可以是对特定化合物(如药物)的反应。例如，反应可以是由于患者接受肿瘤药物治疗方案而导致的癌性肿瘤大小的减少量。
[0072]
图6是根据本公开的一些实现方式的示例计算机系统600的框图，该示例计算机系统用于提供与本公开中描述的算法、方法、功能、过程、流程和步骤(例如先前参考图2描述的方法200和先前参考图3描述的方法300)相关联的计算功能。图示的计算机602旨在包含任何计算设备，例如服务器、台式计算机、膝上型/笔记本计算机、无线数据端口、智能电话、个人数据助理(pda)、平板计算设备或这些设备中的一个或多个处理器，包括物理实例、虚拟实例或两者。计算机602可以包括能够接受用户信息的输入设备，例如小键盘、键盘和触摸屏。此外，计算机602可以包括输出设备，该输出设备可以传送与计算机602的操作相关联的信息。该信息可以包括数字数据、视觉数据、音频信息或信息的组合。信息可以在图形用户接口(ui)(或gui)中呈现。
[0073]
计算机602可以充当客户端、网络组件、服务器、数据库、持久性或用于执行本公开中描述的主题的计算机系统的组件。图示的计算机602与网络630可通信地联接。在一些实现方式中，计算机602的一个或多个组件可以被配置成在不同的环境中操作，包括基于云计算的环境、本地环境、全局环境以及环境的组合。
[0074]
在高级别上，计算机602是可操作来接收、传输、处理、存储和管理与所描述的主题相关联的数据和信息的电子计算设备。根据一些实现方式，计算机602还可以包括应用服务器、电子邮件服务器、网络服务器、缓存服务器、流数据服务器或服务器的组合，或者与之可通信地联接。
[0075]
计算机602可以通过网络630从客户端应用程序(例如，在另一台计算机602上执行的)接收请求。计算机602可以通过使用软件应用处理接收到的请求来响应接收到的请求。请求也可以从内部用户(例如，从命令控制台)、外部(或第三方)、自动化应用、实体、个人、系统和计算机发送到计算机602。
[0076]
计算机602的每个组件可以使用系统总线603进行通信。在一些实现方式中，计算机602的任何或所有组件，包括硬件或软件组件，可以通过系统总线603彼此接口或与接口604(或两者的组合)接口。接口可以使用应用编程接口(api)612、服务层613或api 612和服务层613的组合。api 612可以包括例程、数据结构和对象类的规范。api 612可以独立于计算机语言，也可以依赖于计算机语言。api 612可以指完整的接口、单个功能或一组api。
[0077]
服务层613可以向计算机602和可通信地联接到计算机602的其他组件(无论是否示出)提供软件服务。使用该服务层的所有服务消费者都可以访问计算机602的功能。诸如由服务层613提供的软件服务可以通过定义的接口提供可重用的、定义的功能。例如，接口可以是用java、c 或以可扩展标记语言(xml)格式提供数据的语言编写的软件。虽然被示为计算机602的集成组件，但是在替代实现中，api 612或服务层613可以是与计算机602的其他组件以及可通信地联接到计算机602的其他组件相关的独立组件。此外，在不脱离本公
开的范围的情况下，api 612或服务层613的任何或所有部分可以被实现为另一软件模块、企业应用或硬件模块的子模块或子模块。
[0078]
计算机602包括接口604。尽管在图6中被示为单个接口604，但是根据计算机602和所描述的功能的特定需求、期望或特定实现方式，可以使用两个或更多个接口604。计算机602可以使用接口604与分布式环境中连接到网络630(无论是否示出)的其他系统通信。通常，接口604可以包括或使用编码在可操作来与网络630通信的软件或硬件(或软件和硬件的组合)中的逻辑来实现。更具体地，接口604可以包括支持与通信相关联的一个或多个通信协议的软件。这样，网络630或接口的硬件可用于在所示计算机602内部和外部传送物理信号。
[0079]
计算机602包括处理器605。尽管在图6中被示为单个处理器605，但是根据计算机602和所描述的功能的特定需求、期望或特定实现方式，可以使用两个或更多个处理器605。通常，处理器605可以执行指令并且可以操纵数据来执行计算机602的操作，包括使用如本公开文本中描述的算法、方法、功能、过程、流程和步骤的操作。
[0080]
计算机602还包括数据库606，该数据库可以保存计算机602和连接到网络630的其他组件(无论是否示出)的数据。例如，数据库606可以是存储器内的、传统的或存储与本公开文本一致的数据的数据库。在一些实现方式中，根据计算机602和所述功能的特定需求、期望或特定实现方式，数据库606可以是两种或更多种不同数据库类型的组合(例如，混合存储器内数据库和传统数据库)。尽管在图6中被示为单个数据库606，但是根据计算机602和所描述的功能的特定需求、期望或特定实现方式，可以使用两个或更多个数据库(相同类型、不同类型或类型的组合)。虽然数据库606被示为计算机602的内部组件，但是在替代实现方式中，数据库606可以在计算机602的外部。
[0081]
计算机602还包括存储器607，其可以保存计算机602或连接到网络630的组件的组合(无论是否示出)的数据。存储器607可以存储符合本公开文本的任何数据。在一些实现方式中，根据计算机602的特定需求、期望或特定实现方式以及所描述的功能，存储器607可以是两种或多种不同类型的存储器的组合(例如，半导体和磁存储器的组合)。尽管在图6中被示为单个存储器607，但是根据计算机602和所描述的功能的特定需求、期望或特定实现，可以使用两个或更多个存储器607(相同、不同或类型的组合)。虽然存储器607被示为计算机602的内部组件，但是在替代实现方式中，存储器607可以在计算机602的外部。
[0082]
应用608可以是算法软件引擎，其根据计算机602的特定需求、期望或特定实现方式以及所描述的功能来提供功能。例如，应用608可以充当一个或多个组件、模块或应用。此外，尽管被示为单个应用608，但是应用608可以被实现为计算机602上的多个应用608。此外，尽管图示为在计算机602内部，但是在替代实现中，应用608可以在计算机602外部。
[0083]
计算机602还可以包括电源614。电源614可以包括可充电或不可充电的电池，该电池可以被配置成用户可更换或用户不可更换。在一些实现方式中，电源614可以包括功率转换和管理电路，包括再充电、待机和功率管理功能。在一些实现方式中，电源614可以包括电源插头，以允许计算机602插入墙壁插座或电源，例如，给计算机602供电或给可充电电池再充电。
[0084]
可以有任意数量的计算机602与包含计算机602的计算机系统相关联或在计算机系统外部，每个计算机602通过网络630通信。此外，在不脱离本公开的范围的情况下，术语“客户端”、“用户”和其他适当的术语可以适当地互换使用。此外，本公开文本设想许多用户可以使用一台计算机602，并且一个用户可以使用多台计算机602。
[0085]
本说明书中描述的主题和功能操作的实现可以在数字电子电路中、在有形体现的计算机软件或固件中、在包括本说明书中公开的结构及其结构等同物的计算机硬件中、或者在它们中的一个或多个的组合中实现。所描述主题的软件实现可以被实现为一个或多个计算机程序。每个计算机程序可以包括编码在有形的、非暂时性的、计算机可读的计算机存储介质上的计算机程序指令的一个或多个模块，用于由数据处理设备执行或控制数据处理设备的操作。替代地或附加地，程序指令可以被编码在人工生成的传播信号中/上。例如，信号可以是机器生成的电、光或电磁信号，其被生成以编码信息，用于传输到合适的接收器设备，以由数据处理设备执行。计算机存储介质可以是机器可读存储设备、机器可读存储基底、随机或串行存取存储设备或计算机存储介质的组合。
[0086]
术语“数据处理设备”、“计算机”和“电子计算机设备”(或本领域普通技术人员理解的等同物)指的是数据处理硬件。例如，数据处理设备可以包括用于处理数据的所有种类的设备、装置和机器，包括例如可编程处理器、计算机或多个处理器或计算机。该装置还可以包括专用逻辑电路，包括例如中央处理器(cpu)、现场可编程门阵列(fpga)或专用集成电路(asic)。在一些实现方式中，数据处理装置或专用逻辑电路(或数据处理装置或专用逻辑电路的组合)可以是基于硬件或软件的(或基于硬件和软件的组合)。该装置可以可选地包括为计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或执行环境的组合的代码。本公开文本涵盖使用具有或不具有常规操作系统的数据处理设备，例如linux、unix、windows、mac os、android或ios。
[0087]
计算机程序也可以被称为或描述为程序、软件、软件应用、模块、软件模块、脚本或代码，可以用任何形式的编程语言编写。编程语言可以包括例如编译语言、解释语言、声明语言或过程语言。程序可以以任何形式部署，包括在计算环境中使用的独立程序、模块、组件、子程序或单元。计算机程序可以，但不是必须，对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的一部分中，例如存储在标记语言文档中的一个或多个脚本，存储在专用于所讨论的程序的单个文件中，或者存储在存储一个或多个模块、子程序或部分代码的多个协同文件中。计算机程序可以被部署用于在一台计算机或多台计算机上执行，这些计算机例如位于一个站点或分布在通过通信网络互连的多个站点上。虽然各图中所示的部分程序可以被示为通过各种对象、方法或过程实现各种特征和功能的单独模块，但是这些程序可以替代地包括多个子模块、第三方服务、组件和库。相反，各种组件的特征和功能可以适当地组合成单个组件。用于进行计算确定的阈值可以是静态的、动态的，或者是静态和动态确定的。
[0088]
本说明书中描述的方法、过程或逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机来执行，以通过对输入数据进行操作并生成输出来执行功能。方法、过程或逻辑流程也可以由专用逻辑电路来执行，并且装置也可以被实现为专用逻辑电路，例如，cpu、fpga或asic。
[0089]
适于执行计算机程序的计算机可以基于一个或多个通用和专用微处理器以及其他类型的cpu。计算机的元件是用于执行或执行指令的cpu和用于存储指令和数据的一个或多个存储设备。通常，cpu可以从存储器接收指令和数据(并向存储器写入数据)。计算机还
可以包括或可操作地联接到一个或多个用于存储数据的大容量存储设备。在一些实现方式中，计算机可以从大容量存储设备接收数据，并将数据传输到大容量存储设备，例如包括磁盘、磁光盘或光盘。此外，计算机可以嵌入另一个设备中，例如，例如移动电话、个人数字助理(pda)、移动音频或视频播放器、游戏控制台、全球定位系统(gps)接收器或便携式存储设备(例如，通用串行总线(usb)闪存驱动器)。
[0090]
适合于存储计算机程序指令和数据的计算机可读介质(暂时的或非暂时的，视情况而定)可以包括所有形式的永久/非永久和易失性/非易失性存储器、介质和存储设备。计算机可读介质可包括例如半导体存储器装置，诸如随机存取存储器(ram)、只读存储器(rom)、相变存储器(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)和闪存存储器装置。计算机可读介质还可以包括例如磁性设备，例如磁带、盒式磁带、盒式磁带和内部/可移动磁盘。计算机可读介质还可包括磁光盘和光学存储器装置和技术，包括例如数字视频光盘(dvd)、cd rom、dvd /-r、dvd-ram、dvd-rom、hd-dvd和bluray。内存可以存储各种对象或数据，包括缓存、类、框架、应用、模块、备份数据、作业、网页、网页模板、数据结构、数据库表、存储库和动态信息。存储在内存中的对象和数据的类型可以包括参数、变量、算法、指令、规则、约束和引用。此外，内存可以包括日志、策略、安全或访问数据以及报告文件。处理器和存储器可以由专用逻辑电路补充或结合在其中。
[0091]
本公开中描述的主题的实现可以在具有显示设备的计算机上实现，该显示设备用于提供与用户的交互，包括向用户显示信息(以及从用户接收输入)。显示设备的类型可以包括，例如，阴极射线管(crt)、液晶显示器(lcd)、发光二极管(led)和等离子显示器。显示设备可以包括键盘和定点设备，包括例如鼠标、轨迹球或轨迹板。还可以通过使用触摸屏向计算机提供用户输入，例如具有压力灵敏度的平板计算机表面或使用电容或电传感的多点触摸屏。其他类型的设备可以用于提供与用户的交互，包括接收用户反馈，包括例如包括视觉反馈、听觉反馈或触觉反馈的感觉反馈。可以以声音、语音或触觉输入的形式接收来自用户的输入。此外，计算机可以通过向用户使用的设备发送文档和从用户使用的设备接收文档来与用户交互。例如，计算机可以反应于从网络浏览器接收的请求，向用户的客户端设备上的网络浏览器发送网页。
[0092]
术语“图形用户接口”或“gui”可以用单数或复数来描述一个或多个图形用户接口以及特定图形用户接口的每个显示。因此，gui可以代表任何图形用户接口，包括但不限于网络浏览器、触摸屏或命令行接口(cli)，其处理信息并向用户有效地呈现信息结果。一般来说，gui可以包括多个用户接口(ui)元素，其中的一些或全部元素与网络浏览器相关联，例如交互字段、下拉列表和按钮。这些和其他ui元素可以与网络浏览器的功能相关或代表网络浏览器的功能。
[0093]
本说明书中描述的主题的实现可以在包括后端组件(例如，作为数据服务器)或包括中间件组件(例如，应用服务器)的计算系统中实现。此外，计算系统可以包括前端组件，例如，具有图形用户接口或网络浏览器之一或两者的客户端计算机，用户可以通过该图形用户接口或网络浏览器与计算机交互。系统的组件可以通过通信网络中任何形式或介质的有线或无线数字数据通信(或数据通信的组合)来互连。通信网络的实例包括局域网(lan)、无线接入网络(ran)、大都市域网(man)、广域网(wan)、微波接入的全球互操作性(wimax)、
无线局域网(wlan)(例如，使用802.11a/b/g/n或802.20或协议的组合)、互联网的全部或一部分或在一个或多个位置处的任何其他通信系统或系统(或通信网络的组合)。网络可以与例如互联网协议(ip)数据包、帧中继帧、异步传输模式(atm)单元、语音、视频、数据或网络地址之间的通信类型的组合通信。
[0094]
计算系统可以包括客户端和服务器。客户端和服务器通常可以彼此远离，并且通常可以通过通信网络进行交互。客户端和服务器的关系可以借助于运行在各自计算机上并具有客户端-服务器关系的计算机程序而产生。
[0095]
群集文件系统可以是任何类型的文件系统，可从多个服务器访问以进行读取和更新。锁定或一致性跟踪可能是不必要的，因为交换文件系统的锁定可以在应用层处完成。此外，unicode数据文件可以不同于非unicode数据文件。
[0096]
虽然本说明书包含许多具体的实施细节，但是这些不应被解释为对所要求保护的范围的限制，而是对特定实现方式特有的特征的描述。本说明书中在分别的实现的上下文中描述的某些特征也可以在单个实现中组合实现。相反，在单个实现的上下文中描述的各种特征也可以在多个实现中分别实现，或者以任何合适的子组合实现。此外，尽管先前描述的特征可以被描述为在某些组合中起作用，并且甚至最初如此要求保护，但是在一些情况下，要求保护的组合中的一个或多个特征可以从该组合中删除，并且要求保护的组合可以指向子组合或子组合的变体。
[0097]
在前面的描述中，已经参考许多具体细节描述了本发明的实施方案，这些细节可能因实现方式而异。因此，说明书和附图被认为是说明性的，而不是限制性的。本发明范围的唯一和排他的指示、以及申请人希望的本发明的范围是本技术中以特定形式给出的权利要求(包括任何后续的修正)的字面和等同范围。本文中对包含在权利要求中的术语的任何明确定义将决定权利要求中使用的术语的含义。此外，当我们在前面的描述或后面的权利要求中使用术语“进一步包括”或“进一步包含”时，这个短语后面的可以是附加步骤或实体，或者前面叙述的步骤或实体的子步骤/子实体。
[0098]
已经描述了主题的特定实现方式。对本领域技术人员来说显而易见的是，所描述的实现方式的其他实现方式、变更和置换都在以下权利要求的范围内。虽然在附图或权利要求中以特定顺序描述了操作，但是这不应该理解为要求必须以所示的特定顺序或序列执行这些操作，或者要求执行所有示出的操作(一些操作可以被认为是可选的)，以获得期望的结果。在某些情况下，多任务或并行处理(或多任务和并行处理的组合)可能是有利的，并且被认为是适当的。
[0099]
此外，前面描述的实现中的各种系统模块和组件的分离或集成不应该被理解为在所有实现中都需要这种分离或集成，并且应该理解，所描述的程序组件和系统通常可以集成在单个软件产品中或者封装到多个软件产品中。
[0100]
因此，先前描述的示例实现方式不限定或限制本公开。在不脱离本公开的精神和范围的情况下，其他改变、替换和变更也是可能的。
[0101]
此外，任何要求保护的实现方式被认为至少适用于：计算机实现的方法；存储计算机可读指令以执行计算机实现的方法的非暂时性计算机可读介质；和计算机系统，该计算机系统包括与硬件处理器可操作地互连的计算机存储器，该硬件处理器被配置成执行计算机实现的方法或存储在非暂时性计算机可读介质上的指令。
[0102]
已经描述了这些系统和方法的多个实施方案。然而，应当理解，在不脱离本公开的精神和范围的情况下，可以进行各种修改。