从白质纤维束中移除假阳性的制作方法

1.本发明涉及磁共振成像，尤其涉及扩散张量成像。


背景技术：

2.作为用于产生患者体内的图像的流程的部分，由磁共振成像(mri)扫描器使用大的静态磁场以使原子的核自旋对准。这一大的静态磁场称为b0场或主磁场。梯度磁场和由射频(rf)脉冲引起的磁场(b1场)可以用于操纵自旋的取向。如果b1场将自旋旋转脱离与b0场的对准，则它们将开始处理并生成射频信号。
3.在扩散加权成像(dwi)中，在自旋已经相对于b0场旋转到一角度之后，第一扩散加权梯度用于使体积内的自旋失相。第二相同扩散加权梯度然后对体积内的自旋重新定相。在对自旋重新定相之后，可以测量它们的射频信号。如果自旋移入或移出体积，则它们不会被正确地重新定相。dwi是方向敏感的。如果在多个方向上执行dwi，则可以计算扩散张量图像。扩散张量图像例如在确定脑中白质纤维束的位置方面是有用的。例如在bihan等人的“diffusion tensor imaging:concepts and applications”(journal of magnetic resonance imaging 13:534
‑
5436(2001))中回顾了扩散张量成像。
4.中国专利申请公开cn106971410a公开了一种基于深度学习的白质纤维束重建方法，其主要针对白质纤维束重建。该方法包括以下步骤：提取训练样本集中的数字图像的信号稀疏性特征；将信号稀疏性特征导入到卷积神经网络以进行训练，向前传播分类结果，将反向传播算法用于分类误差，并且得到最佳网络模型；将测试样本集中的图像的提取的信号稀疏性特征输入到经训练的网络模型以得到最终预测结果；并且最后通过连续曲线拟合将结果描述为白质纤维的取向和分布，并且重建三维白质纤维束。交叉和分叉的白质纤维束可以被准确地构建以为白质纤维束的临床研究和生理病理机制提供帮助。


技术实现要素：

5.本发明在独立权利要求中提供了一种医学成像系统、一种计算机程序产品以及一种方法。在从属权利要求中给出了实施例。
6.当使用扩散张量成像绘制白质纤维束时，常见的问题是产生假阳性白质纤维束。假阳性白质纤维束是实际上不在脑中的束，而是使用扩散张量图像来确定输入白质纤维束的算法的伪影。实施例可以提供移除假阳性纤维束的手段。作为结果，实施例可以被认为是对实际上任何现有的手动或自动扩散张量纤维束成像算法的增强。
7.为此，训练或构建生成对抗网络(gan)。gan包括生成器神经网络和鉴别器神经网络。生成器神经网络被训练为将特征向量采取为输入并输出一组生成的白质束。单个白质束是连接点的集合。鉴别器被训练为将一组输入白质束识别为在解剖学上正确或在解剖学上不正确。生成器神经网络和鉴别器神经网络一起训练。
8.该组输入白质束被输入到鉴别器神经网络中，并且整个组被标记为在解剖学上正确或在解剖学上不正确。如果它们被标记为在解剖学上不正确，那么生成器神经网络用于
生成一组生成的白质纤维束，其尽可能接近地匹配该组输入白质束。这通过采用该组输入白质束并利用生成器神经网络向后工作以生成优化特征向量来完成。这例如可以使用反向传播来实现。然后将优化特征向量输入到生成器神经网络中以产生该组生成的白质纤维束。通过将该组输入白质束与该组生成的白质纤维束进行比较，可能是假阳性白质束的束可以被识别并添加到该组输入白质纤维束的假阳性子集中。
9.如本文所使用的医学成像系统涵盖能够执行用于图像处理、数据操纵和/或两幅医学图像中的医学成像数据的重建或进入经处理的医学图像数据的计算的工作站或数据处理系统。医学图像数据是可以被绘制成图像的数据。医学成像系统还可以涵盖用于采集医学成像数据(诸如磁共振成像数据)的装置。例如，医学成像系统还可以包含磁共振成像系统和/或其他类型的医学扫描器。
10.在一个方面中，本发明提供了一种医学成像系统，其包括用于存储机器可执行指令的存储器和生成对抗神经网络。这通常也称为gan。所述生成对抗神经网络包括生成器神经网络和鉴别器神经网络。所述生成器神经网络被配置用于响应于输入特征向量而输出一组生成的白质纤维束。所述鉴别器神经网络被配置用于响应于输入一组输入白质纤维束而输出标签。所述标签将所述一组输入白质纤维束指示为在解剖学上正确或在解剖学上不正确。在用于磁共振成像的扩散张量成像中，脑组织的扩散张量可以用于跟踪白质纤维束的位置和方向。参考本发明，所生成的白质纤维束和输入白质纤维束被表示为一组连接点。它们表示个体白质纤维束的路径。
11.所述医学成像系统还包括用于控制所述医学成像系统的处理器。所述机器可执行指令的运行还使所述处理器接收所述一组输入白质纤维束。可以经由网络连接接收或从存储器检索所述一组输入白质纤维束。它们也可以从扩散张量导出或计算。所述机器可执行指令的运行还使所述处理器响应于输入所述一组输入白质纤维束而从所述鉴别器神经网络接收所述标签。标签在整体上用于所述一组输入白质纤维束。鉴别器神经网络能够鉴别所述一组输入白质纤维束表现为是在解剖学上正确还是在解剖学上不正确。
12.所述机器可执行指令的运行还使所述处理器在所述标签指示在解剖学上不正确的情况下，使用所述一组输入白质纤维束和所述生成器神经网络来生成优化特征向量。如果标签指示在解剖学上正确，那么例如所述一组输入白质纤维束可以被接受为是正确的。优化特征向量可以例如通过使用反向传播技术来生成。所述机器可执行指令的运行还使所述处理器响应于输入所述优化特征向量而从所述生成器神经网络接收所述一组生成的白质纤维束。
13.例如，优化特征向量可以用于生成与所述一组输入白质纤维束最接近的一组生成的白质纤维束。一组最接近的生成的白质纤维束表示在生成器神经网络的训练空间的背景下的一组在解剖学上正确的最接近白质纤维束。这样做使得能够在两组白质纤维束之间进行比较。然后，所述机器可执行指令的运行还使所述处理器使用所述一组生成的白质纤维束作为参考来构建所述一组输入白质纤维束的假阳性子集。该步骤可以例如通过在所述一组生成的白质纤维束与输入白质纤维束之间进行比较来执行。与所述一组生成的白质纤维束的纤维束不匹配的个体白质纤维束可以例如被分配给假阳性子集。
14.该实施例可以是有益的，因为当从扩散张量成像确定白质纤维束的路径和位置时，存在产生假阳性白质纤维束的趋势。该实施例可以提供自动识别这些假阳性白质纤维
束的有效手段。
15.在另一实施例中，所述机器可执行指令的运行还使所述处理器在所述标签指示在解剖学上正确的情况下，在显示器上绘制所述一组白质纤维束。这还可以使处理器存储白质纤维束以供进一步使用或与诸如dicom图像的其他图像数据一起使用。
16.在另一实施例中，所述机器可执行指令的运行还使所述处理器在所述显示器上绘制所述一组输入纤维束。所述机器可执行指令的运行还使所述处理器在所述显示器上指示所述假阳性子集和/或使用所述假阳性子集在所述显示器上指示在解剖学上正确的子集。在该实施例中，在显示器上绘制输入纤维束组的整个组，并且以一种方式或另一种方式使用假阳性子集，以使用户清楚哪些纤维束是假阳性纤维束以及哪些纤维束被识别为在解剖学上正确。例如，当医师或医疗保健专业人员正在检查数据时，这可能是有用的。
17.在另一实施例中，机器可执行指令的运行提供了用户接口，所述用户接口可以被配置为允许移除假阳性子集。这例如可以由个体控制提供，所述个体控制使得整个假阳性子集能够从所述一组输入白质纤维束中移除，或可以用于移除假阳性子集的部分。
18.在另一实施例中，所述机器可执行指令的运行还使所述处理器通过从所述一组输入白质纤维束中移除所述假阳性子集来提供一组经校正的纤维束。这可以是有益的，因为它可以提供从所述一组输入白质纤维束中移除假阳性的有效手段。
19.应当注意，一旦提供了所述一组经校正的纤维束，则所述一组经校正的纤维束可以被设置为等于所述一组输入白质纤维束，并且通过运行机器可执行指令执行的所有步骤可以再次或甚至多次重复。这可以提供迭代地移除假阳性白质纤维束的手段。
20.在另一实施例中，响应于来自用户接口的信号而提供所述一组经校正的纤维束。例如，可以在图形用户接口上绘制该组输入纤维束。图形用户接口可以具有控件，所述控件使得能够发送信号，所述信号指示应当从所述一组输入纤维束中移除假阳性子集或假阳性子集的部分。
21.在另一实施例中，所述机器可执行指令的运行还使所述处理器响应于输入所述一组经校正的白质纤维束而从鉴别器神经网络接收标签。所述机器可执行指令的运行还使所述处理器在来自经校正的白质纤维束的标签指示在解剖学上不正确的情况下使用所述一组经校正的白质纤维束和所述生成器神经网络来生成所述优化特征向量。所述机器可执行指令的运行还使所述处理器响应于针对所述一组经校正的白质纤维束重新输入所述优化特征向量而从所述生成器神经网络接收所述一组生成的白质纤维束。所述机器可执行指令的运行还使所述处理器使用所述一组生成的白质纤维束和所述一组输入白质纤维束来构建所述假阳性子集。该实施例可以是有益的，因为在假阳性子集已经被移除一次之后，可以迭代地重复整个过程。
22.在另一实施例中，通过将所述一组输入白质纤维束中的每个与所述一组生成的白质纤维束进行比较来构建所述一组输入白质纤维束的假阳性子集。在该实施例中，所生成的白质纤维束表示最佳地表示训练数据的所述一组白质纤维束。通过例如搜索生成与一组输入白质纤维束一样接近的生成器白质纤维束的优化特征向量，这使得能够识别假阳性。
23.在另一实施例中，所述一组输入白质纤维束中的每个具有端点和路径。如本文所使用的路径可以表示一组顺序连接的点。所述一组生成的白质纤维束中的每一个具有端点和路径。将所述一组输入白质纤维束中的每个与所述一组生成的白质纤维束进行比较包括
以下中的任一项：将所述一组白质纤维束的所述端点与所述一组生成的白质纤维束的所述端点进行比较，将所述一组输入白质纤维束与所述一组生成的白质纤维束的所述路径进行比较，以及其组合。在观察白质纤维束时，路径以及起点和端点在确定其是否匹配时可能是重要的。然而，具有精确匹配可能是不可能的或甚至不期望的。在这种情况下，可以使用不同的准则来进行比较。
24.在另一实施例中，将所述一组输入白质纤维束的所述端点与所述一组生成的白质纤维束的所述端点进行比较包括生成围绕所述一组生成的白质纤维束的端点的预定端点体积。在测试中是测试所述一组输入白质纤维束中的每个是否都在所述一组生成的白质纤维束之一的所述预定端点体积内。预定端点体积可以例如是由到端点的预定距离定义的体积。在该示例中，如果正在比较的白质纤维束在两个端点体积中具有端点，则可以认为比较是成功的。
25.在另一实施例中，将所述一组输入白质纤维束的端点与所述一组生成的白质纤维束的端点进行比较包括计算所述一组生成的白质纤维束之一的端点与所述一组输入白质纤维束中的每个的端点之间的端点距离，并且然后将所述端点距离输入到端点量度函数中以至少部分地提供所述比较。例如，端点度量函数可以是数学度量或用于在距离之间进行比较的一些其他函数。例如，如果一个端点非常接近参考端点并且另一个远得多，则可以使用至少平方量度或其他量度来补偿。
26.在另一实施例中，将所述一组输入白质纤维束的路径与所述一组生成的白质纤维束的路径进行比较包括生成围绕所述一组生成的白质纤维束之一的路径的预定路径体积，并且然后测试所述一组输入白质纤维束中的每个的路径是否在所述一组生成的白质纤维束之一的预定路径体积内。例如，预定路径体积可以是围绕特定所生成的白质纤维束的体积或圆柱形路径。如果从输入白质纤维束中选择的白质纤维束完全在体积内，则可以认为其具有相同或等效的路径。
27.在另一实施例中，将一组输入白质纤维束的路径与一组生成的白质纤维束的路径进行比较包括计算所述一组生成的白质纤维束之一的路径与所述一组输入白质纤维束的路径之间的输入路径距离，并且然后将这些距离输入到路径距离量度函数中以至少部分地提供比较。例如，可以周期性地计算距离，并且可以将其放入诸如最小二乘函数的函数中，以测量两条路径彼此匹配有多好的程度。可以设置阈值以允许区分匹配的路径和不匹配的路径。
28.在另一实施例中，所述机器可执行指令的运行还使所述处理器根据纤维束成像算法使用描述脑的至少部分的感兴趣区域的扩散张量图像来构建所述一组输入白质纤维束。该纤维束成像算法可以例如是自动程序，其使用特定算法，或甚至可能使用神经网络以找到种子位置。该实施例可以是有益的，因为该组假阳性的移除可以提供对通用纤维束成像算法提供改进的手段。
29.在另一实施例中，所述机器可执行指令的运行还使所述处理器接收所述扩散张量图像。在一些示例中，其例如可以从存储系统调用或经由网络查看。在其他示例中，所述医学成像系统包括磁共振成像系统，所述磁共振成像系统采集并重建所述扩散张量图像。
30.在另一实施例中，所述机器可执行指令的运行还使所述处理器使用扩散加权磁共振成像数据来重建针对所述感兴趣区域的所述扩散张量图像。
31.在另一实施例中，所述医学成像系统还包括被配置用于从成像区采集所述扩散加权磁共振成像数据的磁共振成像系统。所述存储器还包括被配置用于控制所述磁共振成像系统根据扩散加权磁共振成像协议采集针对所述感兴趣区域的所述扩散加权磁共振成像数据的脉冲序列命令。扩散加权磁共振成像采集特定方向上的扩散。应理解，扩散加权磁共振成像协议在足够数目的方向上采集扩散加权，以便构建扩散张量图像。所述机器可执行指令的运行还使所述处理器通过利用所述脉冲序列命令控制所述磁共振成像系统来采集所述扩散加权磁共振成像数据。
32.在另一实施例中，通过使用搜索算法迭代地修改优化特征向量的元素来计算优化特征向量。这可以被执行，使得找到所述一组生成的白质纤维束与所述一组输入白质纤维束之间的最接近的匹配。
33.在另一实施例中，通过经由生成器白质网络的反向传播来计算优化特征向量。这可以被执行，使得使用所述一组输入白质纤维束来执行反向传播。这可以是有用的，因为其可以找到优化特征向量，所述优化特征向量产生与所述一组输入白质纤维束类似的一组生成的白质纤维束。
34.在另一实施例中，所述机器可执行指令的运行还使所述处理器初始化所述生成器神经网络和所述鉴别器神经网络。所述机器可执行指令的运行还使所述处理器接收训练数据。训练数据包括标准数据白质纤维束组。所述机器可执行指令的运行还使所述处理器根据生成对抗神经网络训练算法来训练鉴别器神经网络和生成器神经网络。
35.所述生成器神经网络被配置用于响应于在训练之后输入特征向量而输出一组生成的白质纤维束。所述鉴别器神经网络被配置用于响应于在训练之后输入一组输入白质纤维束而输出标签。所述标签将所述一组输入白质纤维束指示为在解剖学上正确或在解剖学上不正确。。
36.在另一实施例中，根据实施例训练包括生成器神经网络和鉴别器神经网络的生成对抗神经网络。
37.在另一方面，所述方法提供了一种训练生成对抗神经网络的方法，所述生成对抗神经网络包括生成器神经网络和鉴别器神经网络。所述方法还包括接收训练数据，其中，所述训练数据包括标准数据白质纤维束组。
38.所述方法还包括根据生成对抗神经网络训练算法来训练鉴别器神经网络和生成器神经网络。所述生成器神经网络被配置用于响应于在训练之后输入特征向量而输出一组生成的白质纤维束。所述鉴别器神经网络被配置用于响应于在训练之后输入所述一组输入白质纤维束而输出标签。所述标签将所述一组输入白质纤维束指示为在解剖学上正确或在解剖学上不正确。。
39.在另一方面中，本发明提供了一种使用生成对抗神经网络来操作医学成像系统的方法。所述生成对抗神经网络包括生成器神经网络和鉴别器神经网络。所述生成器神经网络被配置用于响应于输入特征向量而输出一组生成的白质纤维束。所述鉴别器神经网络被配置用于响应于输入一组输入白质纤维束而输出标签。所述标签将所述一组输入白质纤维束指示为在解剖学上正确或在解剖学上不正确。
40.所述方法包括接收所述一组输入白质纤维束。所述方法还包括响应于输入所述一组输入白质纤维束而从所述鉴别器神经网络接收所述标签。所述方法还包括如果所述标签
指示在解剖学上不正确，则使用所述一组输入白质纤维束和所述生成器神经网络来生成优化特征向量。所述方法还包括响应于输入所述优化特征向量而从所述生成器神经网络接收所述一组生成的白质纤维束。所述方法还包括使用所述一组生成的白质纤维束来构建所述一组输入白质纤维束的假阳性子集。先前已经讨论了该优点。
41.在另一方面中，本发明提供了一种计算机程序产品，包括用于由控制医学成像系统的处理器运行的机器可执行指令。所述计算机程序产品还包括生成对抗神经网络。所述生成对抗神经网络包括生成器神经网络和鉴别器神经网络。所述生成器神经网络被配置用于响应于输入特征向量而输出一组生成的白质纤维束。所述鉴别器神经网络被配置用于响应于输入一组输入白质纤维束而输出标签。所述标签将所述一组输入白质纤维束指示为在解剖学上正确或在解剖学上不正确。
42.所述机器可执行指令的运行还使所述处理器接收所述一组输入白质纤维束。所述机器可执行指令的运行还使所述处理器响应于输入所述一组输入白质纤维束而从所述鉴别器神经网络接收所述标签。所述机器可执行指令的运行还使所述处理器在所述标签指示在解剖学上不正确的情况下使用所述一组输入白质纤维束和所述生成器神经网络来生成优化特征向量。所述机器可执行指令的运行还使所述处理器响应于输入所述优化特征向量而从所述生成器神经网络接收一组生成的白质纤维束。
43.所述机器可执行指令的运行还使所述处理器使用一组生成的白质纤维束来构建所述一组输入白质纤维束的假阳性子集。先前已经讨论了该优点。
44.应该理解，可发组合本发明的前述实施例中的一个或多个，只要组合的实施例不相互排斥。
45.应当理解，本发明的上述实施例中的一个或多个能够被组合，只要所组合的实施例不互相排斥。
46.如本领域的技术人员将认识到的，本发明的各个方面可以实现为装置、方法或计算机程序产品。相应地，本发明的各个方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或组合软件和硬件方面的实施例(在本文中总体上全部可以被称为“电路”、“模块”或“系统”)的形式。此外，本发明的各个方面可以采取实现在一个或多个计算机可读介质中的计算机程序产品的形式，所述一个或多个计算机可读介质具有实现在其上的计算机可执行代码。
47.可以利用一个或多个计算机可读介质的任何组合。所述计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。本文使用的“计算机可读存储介质”涵盖任何可以存储可由计算设备的处理器执行的指令的有形存储介质。可以将计算机可读存储介质称为计算机可读非暂态存储介质。也可以将计算机可读存储介质称为有形计算机可读介质。在一些实施例中，计算机可读存储介质还可以能够存储可以由计算设备的处理器访问的数据。计算机可读存储介质的范例包括但不限于：软盘、磁硬盘驱动器、固态硬盘、闪速存储器、usb拇指驱动器、随机存取存储器(ram)、只读存储器(rom)、光盘、磁光盘以及处理器的寄存器文件。光盘的范例包括压缩盘(cd)和数字通用盘(dvd)，例如，cd
‑
rom、cd
‑
rw、cd
‑
r、dvd
‑
rom、dvd
‑
rw或dvd
‑
r盘。术语计算机可读存储介质还指能够经由网络或通信链路由计算机设备访问的各种类型的记录介质。例如，可以在调制调解器、因特网或局域网上检索数据。可以使用任何适当介质发送实现在计算机可读介质上的计算机可执行代码，所述任何
适当介质包括但不限于无线的、有线的、光纤线缆的、rf等或者前面的任何合适的组合。
48.计算机可读信号介质可以包括具有实现在其中的计算机可执行代码的传播的数据信号，例如，在基带中或作为载波的部分。这样的传播的信号可以采取任何各种形式，包括但不限于电磁的、光学的或它们的任何合适的组合。计算机可读信号介质可以是这样的任何计算机可读介质：不是计算机可读存储介质，并且能够传达、传播或传输由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序。
[0049]“计算机存储器”或“存储器”是计算机可读存储介质的范例。计算机存储器是可由处理器直接访问的任何存储器。“计算机存储设备”或“存储设备”是计算机可读存储介质的另外的范例。计算机存储设备是任何非易失性计算机可读存储介质。在一些实施例中，计算机存储设备也可以是计算机存储器，或者反之亦然。
[0050]
如本文中所使用的“处理器”涵盖能够执行程序或机器可执行指令或计算机可执行代码的电子部件。对包括“处理器”的计算设备的引用应当被解读为能够包含多于一个的处理器或处理核。所述处理器可以例如是多核处理器。处理器也可以指在单个计算机系统之内的或分布在多个计算机系统之间的处理器的集合。术语计算设备也应当被解读为能够指每个包括一个或多个处理器的计算设备的集合或网络。计算机可执行代码可以由可以在相同的计算设备之内或甚至可以分布在多个计算设备之间的多个处理器来执行。
[0051]
计算机可执行代码可以包括令处理器执行本发明的方面的机器可执行指令或程序。用于执行针对本发明的方面的操作的计算机可执行代码可以以一个或多个编程语言的任何组合来编写并且被编译为机器可执行指令，所述一个或多个编程语言包括诸如java、smalltalk、c 等的面向对象的编程语言以及诸如“c”编程语言或相似编程语言的常规过程性编程语言。在一些实例中，所述计算机可执行代码可以采取高级语言的形式或者采取预编译的形式并且结合在工作时生成机器可执行指令的解读器一起被使用。
[0052]
所述计算机可执行代码可以完全在用户的计算机上、部分在用户的计算机上(作为独立的软件包)、部分在用户的计算机上并且部分在远程计算机上、或完全在远程计算机或服务器上执行。在后一种情形下，所述远程计算机可以通过包括局域网(lan)或广域网(wan)的任何类型的网络连接到用户的计算机，或者可以(例如，通过使用因特网服务提供商的因特网)对外部计算机进行连接。
[0053]
参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图、图示和/或方框图来描述本发明的方面。应理解，当可应用时，能够通过采取计算机可执行代码的形式的计算机程序指令来实施流程图、图示和/或方框图的方框的每个方框或部分。还应理解，当互不排斥时，可以组合不同流程图、图示和/或方框图中的方框的组合。这些计算机程序指令可以被提供给通用计算机、专用计算机或产生机器的其他可编程数据处理装置的处理器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实施在流程图和/或一个或多个方框图框中指定的功能/动作的单元。
[0054]
这些计算机程序指令还可以存储在计算机可读介质中，所述计算机可读介质能够指引计算机、其他可编程数据处理装置或其他设备以特定的方式来工作，使得在计算机可读介质中存储的指令产生包括实施在流程图和/或一个或多个方框图框中指定的功能/动作的指令的制品。
[0055]
所述计算机程序指令还可以加载到计算机、其他可编程数据处理装置或其他设备
上，以令在计算机、其他可编程装置或其他设备上执行一系列操作步骤，从而产生计算机实施的过程，使得在计算机或其他可编程装置上执行的指令提供用于在流程图和/或一个或多个方框图框中指定的功能/动作的过程。
[0056]
如本文所使用的“用户接口”是允许用户或操作人员与计算机或计算机系统交互的接口。“用户接口”还可以被称为“人机接口设备”。用户接口可以向操作人员提供信息或数据和/或从操作人员接收信息或数据。用户接口可以使得来自操作人员的输入能够被计算机接收并且可以从计算机向用户提供输出。换言之，所述用户接口可以允许操作人员控制或操控计算机，并且所述接口可以允许计算机指示操作人员的控制或操控的效果。显示器或图形用户接口上的数据或信息的显示是向操作人员提供信息的范例。通过键盘、鼠标、跟踪球、触摸板、指点杆、图形输入板、操纵杆、游戏手柄、网络摄像头、耳机、踏板、有线手套、遥控器和加速度计对数据的接收全都是实现对来自操作人员的信息或数据的接收的用户接口部件的范例。
[0057]
如本文所使用的“硬件接口”涵盖使得计算机系统的处理器能够与外部计算设备和/或装置交互和/或控制外部计算设备和/或装置的接口。硬件接口可以允许处理器将控制信号或指令发送到外部计算设备和/或装置。硬件接口也可以使得处理器能够与外部计算设备和/或装置交换数据。硬件接口的范例包括但不限于：通用串行总线、ieee 1394端口、并行端口、ieee 1284端口、串行端口、rs
‑
232端口、ieee
‑
488端口、蓝牙连接、无线局域网连接、tcp/ip连接、以太网连接、控制电压接口、midi接口、模拟输入接口以及数字输入接口。
[0058]
如本文所使用的“显示器”或“显示设备”涵盖适于显示图像或数据的输出设备或用户接口。显示器可以输出视觉、音频和/或触觉数据。显示器的范例包括但不限于：计算机监视器、电视屏幕、触摸屏、触觉电子显示器、盲文屏幕、阴极射线管(crt)、存储管、双稳态显示器、电子纸、矢量显示器、平板显示器、真空荧光显示器(vf)、发光二极管(led)显示器、电致发光显示器(eld)、等离子体显示板(pdp)、液晶显示器(lcd)、有机发光二极管显示器(oled)、投影仪和头戴式显示器。
[0059]
磁共振(mr)数据在本文中被定义为在磁共振成像扫描期间使用磁共振装置的天线所记录的由原子自旋发射的射频信号的测量结果。磁共振成像(mri)图像或mr图像在本文中被定义为磁共振成像数据内包含的解剖数据的经重建的二维或三维可视化。能够使用计算机来执行这一可视化。
附图说明
[0060]
在下文中，将仅通过示例并且参考附图来描述本发明的优选实施例，在附图中：
[0061]
图1图示了医学成像系统的示例；
[0062]
图2示出了图示操作图1的医学成像系统的方法的流程图；
[0063]
图3示出了图示操作图1的医学成像系统的又一方法的流程图；
[0064]
图4图示了医学成像系统的又一示例；
[0065]
图5示出了图示操作图4的医学成像系统的方法的流程图；
[0066]
图6图示了比较白质纤维束的方法；并且
[0067]
图7图示了比较白质纤维束的又一方法。
[0068]
附图标记列表
[0069]
100 医学成像系统
[0070]
102 计算机
[0071]
104 处理器
[0072]
106 硬件接口
[0073]
108 用户接口
[0074]
110 存储器
[0075]
112 机器可执行指令
[0076]
114 生成器神经网络
[0077]
116 鉴别器神经网络
[0078]
118 一组输入白质束
[0079]
120 标签
[0080]
122 优化特征向量
[0081]
124 一组生成的白质束
[0082]
126 假阳性子集
[0083]
128 一组经校正的白质束
[0084]
200 接收该组输入白质纤维束
[0085]
202 响应于输入该组输入白质纤维束而从鉴别器神经网络接收标签
[0086]
204 如果标签指示在解剖学上不正确，则使用该组输入白质纤维束和生成器神经网络来生成优化特征向量
[0087]
206 响应于输入优化特征向量而从生成器神经网络接收该组生成的白质纤维束
[0088]
208 使用该组生成的白质纤维束来构建该组输入白质纤维束的假阳性子集
[0089]
210 在显示器上绘制该组输入纤维束
[0090]
212 在显示器上指示假阳性子集和/或使用假阳性子集在显示器上指示在解剖学上正确的子集。
[0091]
214 通过从该组输入白质纤维束中移除假阳性子集来提供一组经校正的纤维束
[0092]
300 标签是否在解剖学上不正确？
[0093]
302 结束
[0094]
304 是否从该组输入白质纤维束中移除一组假阳性子集？
[0095]
306 将该组输入白质纤维束设置为等于该组经校正的白质纤维束
[0096]
400 医学成像系统
[0097]
402 磁共振成像系统
[0098]
404 磁体
[0099]
406 磁体的膛
[0100]
408 成像区
[0101]
409 感兴趣区域
[0102]
410 磁场梯度线圈
[0103]
412 磁场梯度线圈电源
[0104]
414 射频线圈
[0105]
416 收发器
[0106]
418 对象
[0107]
420 对象支撑件
[0108]
430 脉冲序列命令
[0109]
432 扩散加权磁共振成像数据
[0110]
434 扩散张量图像
[0111]
436 纤维束成像算法
[0112]
500 通过利用脉冲序列命令控制磁共振成像系统来采集扩散加权磁共振成像数据
[0113]
502 使用扩散加权磁共振成像数据重建感兴趣区域的扩散张量图像
[0114]
504 根据纤维束成像算法使用描述脑的至少一部分的感兴趣区域的扩散张量图像来构建该组输入白质纤维束
[0115]
600 所生成的白质纤维束
[0116]
602 输入白质纤维束
[0117]
604 输入白质纤维束
[0118]
606 端点
[0119]
608 预定端点体积
[0120]
610 预定路径体积
[0121]
612 假阳性
[0122]
700 端点距离
[0123]
702 路径距离
具体实施方式
[0124]
在这些附图中，相似编号的元件是等效元件或执行相同功能。如果功能等效，则将不一定在后面的附图中讨论先前已经讨论的元件。
[0125]
图1图示了医学成像系统100的示例。在该示例中，医学成像系统包括计算机102。计算机102可以是一个或多个联网计算机。计算机102包括处理器104。处理器104旨在是代表性的，并且可以表示一个或多个计算核以及分布在不同计算机系统内的一个或多个处理器104。处理器104被示出为连接到硬件接口106，硬件接口106可以使得处理器104能够与其他计算机系统通信以及控制医学成像系统100的各种部件。处理器104还被示出为连接到用户接口108，用户接口108可以是显示器和/或图形用户接口。处理器104还被示出为与存储器110通信。存储器110可以是处理器104可以访问的任何类型的存储器。存储器110可以是处理器104可访问的存储器的任何组合。这可以包括诸如主存储器、高速缓存存储器以及诸如闪存ram、硬盘驱动器或其他存储设备之类的非易失性存储器的事物。在一些示例中，存储器110可以被认为是非瞬态计算机可读介质。
[0126]
存储器110被示出为包含一组机器可执行指令112，其使得处理器104能够控制医学成像系统100的其他部件以及执行各种数据处理和分析任务。存储器110还被示出为包含生成器神经网络114和鉴别器神经网络116。生成器神经网络114和鉴别器神经网络116形成能够已经一起训练的生成对抗神经网络。存储器110还被示为包含能够已经经由数据分析
或从不同的医学成像或计算机系统接收的一组输入白质纤维束118。
[0127]
存储器110还被示出为包括响应于将该组输入白质纤维束输入到鉴别器神经网络116中而接收的标签120。鉴别器神经网络被配置或训练用于响应于输入该组输入白质纤维束而输出标签。标签指示该组输入白质纤维束是在解剖学上正确还是在解剖学上不正确。在解剖学上不正确可以被解释为包括假阳性白质纤维束。
[0128]
存储器110还被示出为包含优化特征向量122。可以通过找到当输入到生成器神经网络114中时产生与该组输入白质束118紧密匹配的一组生成的白质束124的特征向量来构造优化特征向量122。例如，这样做的有效方式将是使用反向传播并且以该组生成的白质束124开始，该组生成的白质束124保持生成器神经网络114内的各个节点和因子恒定，并且然后使用反向传播来计算优化特征向量122。
[0129]
存储器110还被示出为包含假阳性子集126。假阳性子集是该组输入白质束118的已经被识别为可能是假阳性的子集。这可以通过例如将该组生成的白质束124与该组输入白质束118进行比较来实现。与该组生成的白质束的开始和结束位置以及路径不匹配的束可以被识别为是假阳性。存储器110被示出为还包含通过从该组输入白质束118中移除假阳性子集126而形成的一组经校正的白质束128。
[0130]
图2示出了图示操作图1的医学成像系统100的方法的流程图。首先，在步骤200中，接收该组输入白质束118。接下来，在步骤202中，响应于输入该组输入白质纤维束118而从鉴别器神经网络116接收标签120。然后，在步骤204中，如果标签指示在解剖学上不正确，则使用输入该组白质纤维束118和生成器神经网络114来生成优化特征向量122。这例如可以通过执行反向传播并使用输入白质束118作为输出来执行。
[0131]
接下来，在步骤206中，响应于输入优化特征向量122而从生成器神经网络114接收该组生成的白质束124。然后在步骤208中，使用该组生成的白质纤维束124和该组输入白质束118来构建该组输入白质束118的假阳性子集126。然后，在步骤210中，任选地在显示器上绘制该组输入纤维束。用户接口108可以例如包括显示器。在步骤212中，在显示器上指示假阳性子集126，和/或在显示器上指示在解剖学上正确的子集。这可以通过使用假阳性子集126来执行。例如，假阳性子集可以被给予与其他纤维束不同的颜色或突出显示。最后，在步骤214中，可以通过从该组输入白质束118中移除假阳性子集126来提供该组经校正的白质纤维束128。
[0132]
图3示出了图示操作图1的医学成像系统100的备选方法的另一流程图。图3中的方法类似于图2所图示的方法，添加了若干额外步骤。在图3中，该方法以如图2所图示的步骤200和202开始。在步骤202之后，该方法然后前进到步骤300，步骤300是问题框。在该框中，问题是“是否是指示在解剖学上不正确的标签？”。如果回答为否，那么该方法前进到步骤302，步骤302是要在显示器上绘制一组输入纤维束，并且该方法结束。
[0133]
当方法到达步骤302时，不需要进一步进行，因为该组输入白质纤维束不具有在解剖学上不正确的标签，也就是说鉴别器神经网络没有将任何束识别为异常或假阳性。如果框300中的问题的回答为是，那么该方法前进到如图2所图示的步骤204
‑
212。然后，该方法前进到问题框304。框304中的问题是“是否应当移除假阳性步骤？”。如果回答为否，那么该方法再次前进到步骤302，并且该方法结束。如果回答为是，那么该方法前进到步骤214，并且通过从该组输入白质束中移除假阳性子集来提供该组经校正的纤维束。
[0134]
然后，该方法前进到步骤306。在步骤306中，然后将该组经校正的纤维束设置为该组输入白质束，并且然后该方法返回到步骤200。因此，该方法是迭代的。该方法继续进行，直到鉴别器神经网络将所有白质纤维束识别为在解剖学上正确，或直到在步骤304中做出不移除任何更多假阳性白质纤维束的决定。
[0135]
图4图示了医学成像系统400的又一示例。在该示例中，医学成像系统还包括磁共振成像系统402。磁共振成像系统402包括磁体404。磁体404是具有通过其的膛406的超导圆柱型磁体。使用不同类型的磁体也是可能的；例如也可能使用分裂式圆柱形磁体和所谓的开放磁体两者。分裂圆柱形磁体类似于标准圆柱形磁体，除了低温恒温器已经分裂成两部分，以允许进入所述磁体的等平面，这样的磁体可以例如与带电粒子束治疗相结合地使用。开放磁体有两个磁体部分，一个在另一个之上，中间的空间足够大以容纳对象：两个部分区的布置类似于亥姆霍兹线圈的布置。开放式磁体是流行的，因为对象较少地受限。在圆柱形磁体的低温恒温器内部有超导线圈的集合。在圆柱形磁体404的膛406内，存在成像区408，在成像区408中，磁场足够强和均匀以执行磁共振成像。示出了成像区408内的感兴趣区域409。磁共振数据通常针对感兴趣区域来进行采集。对象418被示出为由对象支撑件420支撑，使得对象418的至少部分在成像区408和感兴趣区域409内。
[0136]
磁体的膛406内还有一组磁场梯度线圈410，其用于采集初步磁共振数据，以在磁体404的成像区408内对磁自旋进行空间编码。磁场梯度线圈410连接到磁场梯度线圈电源412。磁场梯度线圈410旨在是代表性的。通常磁场梯度线圈410包含用于在三个正交空间方向上空间地编码的三个独立的线圈组。磁场梯度电源将电流供应到所述磁场梯度线圈。供应给磁场梯度线圈410的电流根据时间来进行控制并且可以是斜变的或脉冲的。
[0137]
邻近成像区408的是射频线圈414，其用于操纵成像区408内的磁自旋的取向，并且用于接收来自也在成像区408内的自旋的射频发送。射频天线可以包含多个线圈元件。射频天线还可以被称为通道或天线。射频线圈414连接到射频收发器416。射频线圈414和射频收发器416可以由独立的发送线圈和接收线圈以及独立的发射器和接收器替代。应理解，射频线圈414和射频收发器416是代表性的。射频线圈414旨在还表示专用的发送天线和专用的接收天线。类似地，收发器116也可以表示单独的发射器和接收器。射频线圈414也可以具有多个接收/发送元件，并且射频收发器416可以具有多个接收/发送通道。例如，如果执行诸如sense的并行成像技术，则射频线圈414将具有多个线圈元件。
[0138]
在该示例中，对象118被定位为使得对象的头部区域在感兴趣区域109内以对脑进行成像。
[0139]
收发器416和梯度控制器412被示出为连接到计算机系统101的硬件接口106。
[0140]
存储器110还被示为包含被配置为控制磁共振成像系统402根据扩散加权磁共振成像协议来采集针对感兴趣区域409的扩散加权磁共振成像数据的脉冲序列命令。存储器还被示为包含通过利用脉冲序列命令430控制磁共振成像系统402而采集的扩散加权磁共振成像数据432。扩散加权磁共振成像数据432是在各种不同的方向上采集的。存储器110还示出了根据扩散加权磁共振成像数据432重建的扩散张量图像434。存储器110被示出为还包含将扩散张量图像434采取为输入并且然后输出该组输入白质束118的纤维束成像算法436。
[0141]
图5示出了图示操作图4的医学成像系统400的方法的流程图。图5中的方法类似于
图2所示的方法。所述方法从步骤500开始，步骤500通过利用脉冲序列命令430控制磁共振成像系统402来采集扩散加权磁共振成像数据432。接下来在步骤502中，根据扩散加权磁共振成像数据432重建扩散张量图像434。接下来，在步骤504中，使用纤维束成像算法434从扩散张量图像434构建该组输入白质纤维束118。
[0142]
图6和图7图示了确定输入白质纤维束是否为假阳性的两种备选方式。首先，在图6中，存在所生成的白质纤维束600。还示出了两个输入白质纤维束602和604。每个白质纤维束具有端点606。在所生成的白质纤维束600周围的是在围绕端点606绘制的预定端点体积608。还存在围绕所生成的白质纤维束600的路径绘制的预定路径体积610。可以看出，输入白质纤维束602的端点两者在两个不同的预定端点体积608内。输入白质纤维束602的路径也完全在预定路径体积610内。然后确定输入白质纤维束602与所生成的白质纤维束600一致。然而，另一输入白质纤维束604完全在预定端点体积608和预定路径体积610之外。因此，输入白质纤维束604是假阳性612，并且将被分配给假阳性子集126。
[0143]
图7示出了图6中的方案的备选方案。在该示例中，再次图示了纤维束600和604。代替于绘制体积608和610，图示了在端点606之间存在端点距离700。还指示了多个路径距离702。它们周期性地测量所生成的白质纤维束600的路径与输入白质纤维束604的路径之间的距离。可以将端点距离700和各种路径距离702放入数学量度中，以提供输入白质纤维束604与所生成的白质纤维束600如何紧密地匹配的量度。然后可以鉴别该度量的值以确定输入白质纤维束604是否是假阳性。
[0144]
脑内的神经元纤维束网络(白质纤维束的组)可以揭示用于经由无创磁共振扩散成像(dmri)技术研究神经系统疾病的重要临床信息。纤维束成像是用于在体内从dmri重建结构纤维束的算法过程。然而，在没有组织学标准数据的情况下，难以定量地测量纤维束成像的解剖准确性。特别地，使用体模或离体数据的研究已经示出假阳性纤维束的普遍性，这能对用于比较疾病群体的详细解剖结构以寻找生物标记的临床研究产生负面影响。本发明是一种检测、可视化和从纤维束成像网络移除假阳性纤维束以提供供稍后在临床研究中使用的纤维束成像结果的解剖学准确性的置信度的基于深度学习的框架。
[0145]
脑内的神经元纤维束网络可以揭示用于经由无创磁共振扩散成像(dmri)技术研究神经系统疾病的重要临床信息。
[0146]
在没有真实脑解剖结构的组织学数据的情况下，难以定量地测量纤维束成像的解剖准确性。使用体模或离体数据的研究已经示出假阳性纤维束的普遍存在，假阳性纤维束是被重建但在解剖学上不正确的纤维束，即不应存在的连接。(假阴性备选地被定义为存在于脑中的纤维束，对于其，纤维束成像算法没有重建。这些更难以确定，因为缺乏连接能够是特定疾病的原因，并且因此算法对于不重建它是正确的。)假阳性纤维束能够对用于比较疾病群体的详细解剖结构的临床研究产生负面影响，从而产生错误的科学发现。当前的纤维束成像算法不能有效地检测和移除假阳性，因为没有标准数据来正确地确定它是否是假阳性。
[0147]
示例可以提供一种检测、可视化和从纤维束成像网络中移除假阳性纤维束以提供供稍后在临床研究中使用的纤维束成像结果的解剖学准确性的置信度的基于深度学习的框架。本发明有三个主要要素。
[0148]
第一要素是用于学习健康对象的纤维束的正常解剖网络的分布的生成对抗网络
(gan)。在gan内，生成器网络学习正常纤维束网络的表示，并用于从该表示生成合成纤维束网络。并行地，鉴别器网络用于将真且合成生成的数据分类为“真”(在解剖学上正确)或“假”(在解剖学上不正确)，这更新了生成器的表示和合成生成的准确性。然后，考虑到来自新对象的重建的纤维束网络，鉴别器可以确定其是“真”还是“假”，即在解剖学上正确还是不正确。
[0149]
第二要素是检测和可视化网络中的哪些纤维负责“假”分类(即哪些纤维是假阳性)的解释系统。这是使用比较算法来完成的，该比较算法导航潜在表示空间(由生成器学习)以生成具有“真”标签的类似或接近的纤维束网络。然后通过减法，我们可以显示两个网络之间的差异，从而揭示该组假阳性纤维束。
[0150]
最后，第三要素是移除假阳性纤维束并为决策提供置信度的系统。考虑到两个纤维束网络之间的差异的阈值，我们可以通过针对鉴别器测试该新的纤维束网络以再次分类它是“真”还是“假”来移除假阳性纤维束并提供额外的置信度。如果分类再次是“假”，则使用不同的移除阈值来移除更多或纤维束，或重复步骤2中找到类似合成纤维束网络的过程。
[0151]
通过首先构建或训练gan来构建一些示例。尽管gan已广泛用于图像数据，但gan尚未尝试用于纤维束数据。纤维束数据表示为针对每个纤维束顺序列出的一组3d坐标。将在该唯一数据类型上训练gan，以学习纤维束网络的潜在表示和伴随的鉴别器。
[0152]
然后，考虑到新的对象，gan的输入将是由每个束的3d坐标的顺序列表表示的纤维束网络，并且经训练的gan的输出将是整个数据集的“真”或“假”的二值类标签。如果新的对象纤维束网络被分类为“假”，则具有标签“真”的合成纤维束网络将由靠近输入对象的gan生成。然后，考虑到用户输入阈值，这些网络之间的差异将揭示负责“假”标签预测(即假阳性)的纤维束。
[0153]
一旦针对一组阈值定位并可视化了一组假阳性纤维束，我们就可以从纤维束网络(一组输入白质纤维束)中移除这些坐标。然后，我们将使用gan将该网络重新分类为“真”或“假”。如果它被分类为真，我们就完成了。如果它再次被分类为“假”，则我们可以增大差异阈值并重复，或生成接近该编辑的纤维束网络的新的合成纤维束网络(其中假阳性被移除)并重复。
[0154]
示例的额外应用是生成具有可以用于研究目的的具有标准数据的体模纤维束数据集的过程。
[0155]
实例可以提供用于与神经和精神疾病和障碍相关的临床研究和诊断研究的纤维束网络的准确预处理。
[0156]
尽管已经在附图和前面的描述中详细说明和描述了本发明，但这样的说明和描述被认为是说明性或示范性的而非限制性的；本发明不限于公开的实施例。
[0157]
本领域技术人员通过研究附图、说明书和权利要求书，在实践要求保护的本发明时能够理解和实现所公开实施例的其他变型。在权利要求书中，“包括”一词不排除其他元件或步骤，词语“一”或“一个”不排除多个。单个处理器或其他单元可以满足权利要求中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定元件，但是这并不指示不能有利地使用这些元件的组合。计算机程序可以存储和/或分布在适当的介质上，例如与其他硬件一起提供或作为其他硬件的一部分提供的光学存储介质或固态介质，但计算机程序也可以以其他形式分布，例如经由因特网或其他有线或无线的远程通信系统分布。权
利要求书中的任何附图标记都不得被解释为对范围的限制。