脑图像处理的制作方法

1.本发明通常涉及图像处理，并且具体地，涉及由磁共振成像系统生成的被摄体脑的图像的处理。本发明也涉及一种用于处理图像的方法和设备，并且涉及一种计算机程序产品，该计算机程序产品包括计算机可读介质，在该计算机可读介质上记录有用于处理图像的计算机程序。


背景技术：

2.使用功能磁共振成像(fmri)和扩散张量成像(dti)的医学成像分别提供对脑的功能活动和结构连接的洞察。然而，目前的成像系统使用且操作起来麻烦，并且通常产生缺少临床实用性的输出。


技术实现要素：

3.本发明的目的是基本上克服或至少改良现有布置的一个或多个缺点。
4.脑外科手术常常涉及切入脑。为了执行脑外科手术，人能够使用包含标准分割(parcellation)方案的标准图谱，而不管所考虑的特定脑的详情如何。术语“分割”是指刻划脑的各区域的过程，区域在个体之间具有类似的特性，诸如功能活动、细胞结构和结构连接。在此命名法中，“分割”是脑的区域(例如，皮层)，即使确切的边界可能不同，该区域也能够被示出为跨个体具有类似的特性。分割脑是用于分析神经影像数据的有用机制，因为它将脑活动的复杂性降低至有限数目的结构域，这些结构域可能被假定为扮演稍微统一的功能。当执行外科手术时，缺少与特定脑有关的精确分割信息可能导致认知的附带损坏。人能够将图谱(将标准坐标空间中的体素标识指配给各种分割的三维点或体素的集合)与脑对齐，然后使它翘曲到标准坐标空间如蒙特利尔神经病学研究所(mni)空间中。纯粹基于解剖学的图谱技术在被应用于脑结构异常的患者如患有脑肿瘤、中风、脑积水、创伤性脑损伤和萎缩的患者时可能失败。由于这些和其他原因，需要能够以解决这些问题的方式绘制个体中例如具有不同脑的个体中的功能区域，因为这将使许多有价值的分析变得有可能改善结果。
5.公开的是被称为分割调整(paa)布置的布置，其寻求解决如以下段落中描述的上述问题。
6.本发明的第一方面提供一种处理待分割的特定脑的医学数字成像和通信(digital imaging and communication in medicine,dicom)图像的集合的方法。dicom是用于发送、存储、检索、处理和/或显示医学成像信息的国际标准。该方法包括以下步骤：在由标准脑数据图像集合的集合描述的蒙特利尔神经学研究所(mni)空间(公共坐标空间)中确定特定脑的配准函数；根据人类连接组项目确定配准图谱—包含标准分割方案和配准函数的多模态分割图谱(即，hcp
‑
mmp1图谱)；执行dicom图像的扩散纤维束成像(tractography)以确定特定脑的全脑纤维束成像图像的集合(在神经科学中，纤维束成像能够被认为是用于在视觉上表示白质束的3d建模技术)；对于配准图谱中的特定分割中的
每个体素：确定示出该体素与其他分割中的体素的连接的体素级纤维束成像向量；基于体素为特定分割的一部分的概率来对体素进行分类；以及对于hcp
‑
mmp1图谱的所有分割重复体素级纤维束成像向量的确定和体素的分类，以形成包含反映特定脑的调整后的分割方案的个性化脑图谱(pbs图谱)。
7.段落[0006]的方法能够可选地与以下段落[0008]
‑
[0014]中陈述的特征中的任何一个或任何组合相组合。
[0008]
可选地，在段落[0006]的方法中，该方法还包括：在重复步骤之前，对用于端到端分割的体素级纤维束成像向量(vgridpt)的体素网格进行插值以填充体素之间的间隙的步骤。
[0009]
可选地，在段落[0006]的方法中，该方法还包括，对于配准图谱中的特定分割中的每个体素：确定(1120)分别示出该体素与其他分割中的体素的端到端和直通连接的端到端体素级纤维束成像向量[1108,vje]和直通分割的体素级纤维束成像向量[1123,vjn]；基于体素为特定分割的一部分的概率来对体素进行分类(1124)以确定用于端到端分割的体素级纤维束成像向量和直通分割的体素级纤维束成像向量的标签(1006；lbjejn)和体素网格(vgridptpn)；以及对用于端到端分割的体素级纤维束成像向量和直通分割的体素级纤维束成像向量的体素网格(vgridptpn)进行插值以填充体素之间的间隙。对于从a转向c并通过b的束，从a或c的视角来看，束是“端到端”束，而从b的视角来看它是“直通”束。
[0010]
可选地，在段落[0006]的方法中，在mni空间中确定特定脑的配准函数的步骤包括以下步骤：执行dicom图像集合的t1图像的神经影像信息学技术倡议(nifti)版本的面部剥离、头骨剥离和掩模以获得掩模的、头骨和面部剥离的t1图像；以及确定掩模的、头骨和面部剥离的t1图像与标准脑数据图像集合的集合之间的关系以生成配准函数。如所指出的，面部剥离是任选的；头骨剥离能够实现面部剥离作为边界效应。
[0011]
可选地，在段落[0006]的方法中，确定配准图谱的步骤包括将配准函数应用于hcp
‑
mmp1图谱以生成配准图谱。
[0012]
可选地，在段落[0006]的方法中，执行dicom图像的扩散纤维束成像的步骤是关于dicom图像集合的dti图像的头骨剥离和面部剥离掩模的nifti版本执行的。
[0013]
可选地，在段落[0006]的方法中，确定体素级纤维束成像向量包括以下步骤：将配准图谱和全脑纤维束成像集合配准；生成端到端分割的体素级纤维束成像向量；以及生成端到端和直通分割的体素级纤维束成像向量。
[0014]
可选地，在段落[0006]的方法中，对体素进行分类的步骤包括用端到端分类器和旁通分类器处理端到端分割的体素级纤维束成像向量和直通分割的体素级纤维束成像向量，以将体素分类成分割和/或以形成体素网格。
[0015]
根据本发明的另一方面，提供了一种用于实现前述方法中的任何一种的设备。
[0016]
根据本发明的另一方面，提供了一种计算机程序产品，该计算机程序产品包括计算机可读介质，该计算机可读介质在其上记录有用于实现上述方法中的任何一种的计算机程序。
[0017]
也公开了其他方面。
附图说明
[0018]
现在将参考附图描述本发明的至少一个实施例，在附图中：
[0019]
图1示出paa布置的示例的功能块和数据流程图；
[0020]
图2a和图2b形成能够在上面实践描述的paa布置的计算机系统的示意框图；
[0021]
图3是如何能够执行paa布置的过程流程图示例；
[0022]
图4是充实如何执行paa布置的细节的过程流程图示例；
[0023]
图5a、图5b和图5c是描绘如何能够执行图3的面部剥离和头骨剥离步骤307的过程流程图段；
[0024]
图6是如何能够执行图3的全脑扩散纤维束成像步骤310的过程流程图示例；
[0025]
图7是如何能够执行图3的图谱配准步骤309的过程流程图示例；
[0026]
图8a和图8b是描绘如何能够实现图3的分割调整训练模块313的过程流程图段；
[0027]
图9描绘叠加在tl图像上的体素级纤维束成像向量(也称为“束”)的实际图像；
[0028]
图10a和图10b描绘示出体素的连接的体素级纤维束成像向量；
[0029]
图10c描绘分割、体素分割标识和体素级纤维束成像向量之间的关系；
[0030]
图11a和图11b是描绘如何能够实现图3的分割调整步骤312的过程流程图段；以及
[0031]
图12描绘待分割的脑。
具体实施方式
[0032]
在任何一个或多个附图中参考具有相同的附图标记的步骤和/或特征的情况下，除非出现相反的意图，否则那些步骤和/或特征出于本说明的目的具有相同的功能或操作。
[0033]
术语词汇表
[0034]
[0035]
[0036]
[0037][0038]
图1示出用于处理dicom图像集合的paa布置的示例100的功能块和数据流程图。如由箭头103所描绘的，mri扫描仪101产生待分割脑bbp的dicom图像集合125。dicom图像集合125包括bbp的dti图像的4维(在下文中称为4d)集合104(在下文中参考图9更详细地描述)、bbp的fmri图像的4d集合105以及bbp的t1图像的3d集合106(在下文中参考图12更详细地描述。参见术语词汇表以获得这些图像集合的更多细节)。如由箭头107所描绘的，这些图像集合被提供给paa处理模块117，在下文中参考图2a、图2b、图3、图4、图5a、图5b、图5c、图6、图7、图8a、图8b、图10a、图10b、图10c、图11a和图11b更详细地描述。
[0039]
如由箭头109所描绘的，paa处理模块117也接收hcp标准脑数据(hcp sdb)的4d集合(即110)。如由箭头108所描绘的，paa处理模块117也接收包含标准分割方案的3dhcp
‑
mmp1图谱102。如由虚线箭头118所描绘的，paa处理模块117也接收“p”个正常脑数据集合(nbdi)的集群111，其中1<i<p。虚线箭头118指示nbd集合111由paa模块117用于训练，在下文中参考图8a和图8b更详细地描述。
[0040]
在一个示例中，能够将paa处理模块117实现为三个流水线段112、113和114。如由
箭头119所描绘的，流水线段112输出具有附图标记621的4d全脑纤维束成像图像集合dtip(dti)(在下文中参考图6、图9和图10a更详细地描述)。如由箭头120所描绘的，流水线段113输出具有附图标记1131的3d个性化脑图谱(pbs图谱)(在下文中参考图11a和图11b更详细地描述)。如由箭头121所描绘的，流水线段114输出基于个性化脑图谱pbs图谱(即1131)而生成的fmri图像105的分析。所公开的paa布置以及特别是个性化pbs图谱为所讨论的特定脑提供比当前可用的更精确的分割信息，相应地具有大得多的临床实用性。使用翘曲的hcp作为基本事实(ground truth)，模型能够实现好于96％的精度和查准率。模型也经受住专家的审查，迄今未发现异常(例如，在空腔中或在坏死组织中未发现分割)。
[0041]
图2a和图2b形成能够在上面实践描述的paa布置的计算机系统的示意框图。以下描述主要针对计算机服务器模块201。然而，该描述同样地或等效地适用于一个或多个远程终端268。
[0042]
如图2a中看到的，计算机系统200包括：服务器计算机模块201；输入装置，诸如键盘202、鼠标指向装置203、扫描仪226、相机227和麦克风280；以及输出装置，包括打印机215、显示装置214和扩音器217。外部调制器
‑
解调器(调制解调器)收发器装置216可以由计算机服务器模块201用于经由连接221和连接270通过计算机通信网络220与远程终端268往来通信。前述通信可以被认为在远程终端268与“云”之间进行，在本说明书中，“云”包括至少一个服务器模块201。远程终端268通常具有输入装置和输出装置(未示出)，它们类似于关于服务器模块201描述的那些。通信网络220可以是广域网(wan)，诸如因特网、蜂窝电信网络或专用wan。在连接221是电话线的情况下，调制解调器216可以是传统“拨号”调制解调器。替换地，在连接221是高容量(例如，电缆)连接的情况下，调制解调器216可以是宽带调制解调器。无线调制解调器也可以被用于无线连接到通信网络220。
[0043]
计算机服务器模块201通常包括至少一个处理器单元205和存储器单元206。例如，存储器单元206可以具有半导体随机存取存储器(ram)和半导体只读存储器(rom)。远程终端268通常包括至少一个处理器269和存储器272。计算机服务器模块201也包括许多输入/输出(i/o)接口，包括：音频
‑
视频接口207，其耦合到视频显示器214、扩音器217和麦克风280；i/o接口213，其耦合到键盘202、鼠标203、扫描仪226、相机227和可选地操纵杆或其他人机接口装置(未图示)；以及用于外部调制解调器216和打印机215的接口208。在一些实现方式中，调制解调器216可以被并入在计算机模块201内，例如在接口208内。计算机模块201也具有本地网络接口211，其允许将计算机系统200经由连接223耦合到被称为局域网(lan)的局域通信网络222。如图2a所图示的，本地通信网络222也可以经由连接224耦合到广域网220，其将通常包括所谓的“防火墙”装置或类似功能的装置。本地网络接口211可以包括以太网电路卡、无线布置或ieee 802.11无线布置；然而，可以为接口211实践许多其他类型的接口。
[0044]
i/o接口208和213可以提供串行连接和并行连接中的任何一者或两者，前者通常是根据通用串行总线(usb)标准而实现的并且具有对应的usb连接器(未图示)。存储存储器装置209被提供并且通常包括硬盘驱动器(hdd)210。也可以使用诸如软盘驱动器和磁带驱动器(未图示)的其他存储装置。通常提供光盘驱动器212以作为非易失性数据源。例如，诸如光盘(例如，cd
‑
rom、dvd、蓝光盘
tm
)、usb
‑
ram、便携式外部硬盘驱动器和软盘的便携式存储装置可以被用作适于系统200的数据源。
[0045]
计算机模块201的组件205至213通常经由互连总线204并且以产生为相关领域的技术人员已知的计算机系统200的常规操作模式的方式通信。例如，处理器205使用连接218耦合到系统总线204。同样地，存储器206和光盘驱动器212通过连接219耦合到系统总线204。能够在上面实践所描述的布置的计算机的示例包括ibm
‑
pc和兼容机、sun sparcstations、apple mac
tm
或相似的计算机系统。
[0046]
可以使用计算机系统200来实现paa方法，其中可以将待描述的图1、图3、图4、图5a、图5b、图5c、图6、图7、图8a、图8b、图11a和图11b的过程实现为在计算机系统200内可执行的一个或多个软件应用程序233。在一个paa布置中，一个或多个软件应用程序233在计算机服务器模块201上执行(远程终端268也可以与计算机服务器模块201联合地执行处理)，并且浏览器271在远程终端中的处理器269上执行，从而使得远程终端268的用户能够使用浏览器271来访问在服务器201(其常被称为“云”)上执行的软件应用程序233。在一个paa配置中，使用python或已被安装在服务器模块201和远程终端268中的一者或两者上的等效语言模块来执行图1、图3、图4、图5a、图5b、图5c、图6、图7、图8a、图8b、图11a和图11b的过程。特别地，paa方法的步骤由软件233中的在计算机系统200内执行的指令231(参见图2b)实现。软件指令231可以被形成为一个或多个代码模块，每个代码模块用于执行一个或多个特定任务。软件也可以被划分成两个单独的部分，其中第一部分和所对应的代码模块执行paa方法并且第二部分和所对应的代码模块管理第一部分与用户之间的用户界面。
[0047]
例如，软件可以被存储在包括下述存储装置的计算机可读介质中。软件被从计算机可读介质加载到计算机系统200中，然后由计算机系统200执行。在计算机可读介质上记录有这种软件或计算机程序的计算机可读介质是计算机程序产品。计算机程序产品在计算机系统200中的使用优选地实现有利的paa设备。paa软件也可以使用web浏览器来分发。
[0048]
软件233通常被存储在hdd 210或存储器206中(并且可能至少在某种程度上存储在远程终端268的存储器272中)。软件被从计算机可读介质加载到计算机系统200中，并且由计算机系统200执行。因此，例如，软件233(包括一个或多个程序)可以被存储在由光盘驱动器212读取的光学可读磁盘存储介质(例如，cd
‑
rom)225上。在其上记录有这种软件或计算机程序的计算机可读介质是计算机程序产品。计算机程序产品在计算机系统200中的使用优选地实现paa设备。
[0049]
在一些实例中，应用程序233可以被供应给用户，编码在一个或多个cd
‑
rom 225上并且经由所对应的驱动器212读取，或者替换地可以由用户从网络220或222读取。更进一步地，软件也能够被从其他计算机可读介质加载到计算机系统200中。计算机可读存储介质指向计算机系统200提供记录的指令和/或数据用于执行和/或处理的任何非暂时性有形存储介质。此类存储介质的示例包括软盘、磁带、cd
‑
rom、dvd、蓝光
tm
盘、硬盘驱动器、rom或集成电路、usb存储器、磁光盘或诸如pcmcia卡的计算机可读卡等，而不论此类装置是在计算机模块201内部还是外部。也可以参与向计算机模块201提供软件、应用程序、指令和/或数据的暂时性或非暂时性计算机可读传输介质的示例包括无线电或红外传输信道以及到另一计算机或联网装置的网络连接以及因特网或内联网，包括电子邮件传输和记录在网站上的信息等。
[0050]
可以执行应用程序233的第二部分和所对应的上面提及的代码模块以实现一个或多个图形用户界面(gui)以被渲染或以其他方式表示在显示器214上。通过对通常为键盘
202和鼠标203的操纵，计算机系统200和应用的用户可以以功能上可适配的方式操纵界面以向与gui相关联的应用提供控制命令和/或输入。也可以实现其他形式的功能上可适配的用户界面，诸如利用经由扩音器217输出的语音提示和经由麦克风280输入的用户语音命令的音频界面。
[0051]
图2b是处理器205和“存储器”234的详细示意框图。存储器234表示能够由图2a中的计算机模块201访问的所有存储器模块(包括hdd 209和半导体存储器206)的逻辑聚合。
[0052]
当计算机模块201最初被加电时，通电自检测(post)程序250执行。post程序250通常被存储在图2a的半导体存储器206的rom 249中。诸如存储软件的rom 249的硬件装置有时被称为固件。post程序250检查计算机模块201内的硬件以确保正常运行并且通常检查处理器205、存储器234(209、206)以及通常存储在rom 249的基本输入输出系统软件(bios)模块251，以用于正确的操作。一旦post程序250已成功地运行，bios 251激活图2a的硬盘驱动器210。硬盘驱动器210的激活使驻留在硬盘驱动器210上的自举加载器程序252经由处理器205执行。这将操作系统253加载到ram存储器206中，操作系统253在其上开始操作。操作系统253是可由处理器205执行以履行各种高级功能的系统级应用，所述各种高级功能包括处理器管理、存储器管理、装置管理、存储管理、软件应用界面和通用用户界面。
[0053]
操作系统253管理存储器234(209、206)以确保在计算机模块201上运行的每个进程或应用具有在其中执行的足够存储器，而不与分配给另一进程的存储器冲突。此外，必须适当地使用图2a的系统200中可用的不同类型的存储器，使得每个进程能够有效地运行。因此，聚合存储器234不旨在图示如何分配存储器的特定段(除非另外陈述)，而是相反提供计算机系统200可访问的存储器以及如何使用存储器的一般视图。
[0054]
如图2b所示，处理器205包括许多功能模块，包括控制单元239、算术逻辑单元(alu)240和本地或内部存储器248，有时称为高速缓存存储器。高速缓存存储器248通常在寄存器部分中包括许多存储寄存器244
‑
246。一个或多个内部总线241在功能上互连这些功能模块。处理器205通常也具有用于使用连接218来经由系统总线204与外部装置进行通信的一个或多个接口242。存储器234使用连接219来耦合到总线204。
[0055]
应用233包括可以包括条件分支和循环指令的指令231的序列。程序233也可以包括在程序233的执行中使用的数据232。指令231和数据232分别被存储在存储器位置228、229、230和235、236、237中。取决于指令231和存储器位置228
‑
230的相对大小，特定指令可以如由存储器位置230中示出的指令所描绘的那样被存储在单个存储器位置中。替换地，可以将指令分段成许多部分，其中的每个如由存储器位置228和229中示出的指令段所描绘的那样被存储在单独的存储器位置中。
[0056]
通常，处理器205被给予在其中执行的指令集合。处理器205等待后续输入，处理器205通过执行另一指令集合对其反应。可以从许多源中的一个或多个源提供每个输入，包括由输入装置202、203中的一个或多个生成的数据、跨网络220、202中的一个从诸如mri扫描仪101的外部源接收的数据、从存储装置206、209中的一个中检索的数据、或从插入到所对应的读取器212中的存储介质225中检索的数据，全部都被描绘在图2a中。指令集合的执行可能在一些情况下产生数据的输出。执行也可以涉及将数据或变量存储到存储器234。
[0057]
所公开的paa布置使用被存储在存储器234中对应的存储器位置255、256、257中的输入变量254(例如dicom图像集合125、hcp
‑
mmpl图谱102、hcp标准脑数据sdb(即110)和正
常脑数据(nbd)集合111)。paa布置产生被存储在存储器234中对应的存储器位置262、263、264中的输出变量261(例如，dtip全脑纤维束成像图像集合621、pbs图谱(个性化脑图谱)1131和fmri图像105的分析(即124))。中间变量258可以被存储在存储器位置259、260、266和267中。
[0058]
参考图2b的处理器205，寄存器244、245、246、算术逻辑单元(alu)240和控制单元239一起工作以执行对于组成程序233的指令集合中的每一指令执行“取出、解码和执行”周期所需的微操作序列。每个取出、解码和执行周期包括：
[0059]
取出操作，其从存储器位置228、229、230取出或读取指令231；
[0060]
解码操作，其中控制单元239确定已取出哪条指令；以及
[0061]
执行操作，其中控制单元239和/或alu 240执行指令。
[0062]
此后，可以执行下一条指令的另一取出、解码和执行周期。类似地，可以执行存储周期，控制单元239通过该存储周期将值存储或写入到存储器位置232。
[0063]
图1、图3、图4、图5a、图5b、图5c、图6、图7、图8a、图8b、图11a和图11b的过程中的每个步骤或子过程与程序233的一个或多个段相关联并且由在处理器205中一起工作以对于程序233的指出段的指令集合中的每个指令执行取出、解码和执行周期233的寄存器部分244、245、247、alu 240和控制单元239执行。尽管基于云的平台已被描述用于实践所公开的paa布置，但是也能够使用其他平台配置。此外，其他硬件/软件配置和分布也能够被用于实践所公开的paa布置。
[0064]
图3是如何能够使用python或等效语言和库例程来执行paa布置的过程流程图示例300。参考图2和图3，由执行paa软件程序233的处理器205执行的步骤303接收dicom数据集合125，如由箭头107所描绘的。步骤303使用例如python dicom至nifti转换例程(nifti是神经影像信息技术倡议)来处理dti图像104(扩散张量图像集合)和t1图像106(t1加权图像集合—参见302)。步骤303输出(参见306)作为t1的nifti版本的3d图像集合nii(t1)、作为dti的nifti版本的4d图像集合dwi(dti)、作为dti的扩散张量值(幅度)的扩散张量值bval(dti)以及作为dti的扩散张量梯度(方向)的扩散张量梯度bvec(dti)。如果bval(dti)和bvec(dti)未被并入在dicom数据125中，则paa布置可以使用这些的默认值。
[0065]
由执行paa软件程序233的处理器205执行并且在下文中参考图5a
‑
5c更详细地描述的以下步骤307执行掩模、面部剥离和头骨剥离(在下文中参考图12更详细地描述)以输出单个3d图像niiwfs(t1)(这是去除面部和头骨的掩模的nii(t1)—参见563)。因此，步骤307执行dicom图像集合的t1图像的nifti版本的面部剥离、头骨剥离和掩模以获得掩模的、头骨和面部剥离的t1图像niiwfs(t1)。在掩模中，系统或方法使用一个图像来推导掩模，即在另一图像上用于对应该或不应该出现在那些坐标处的数据进行滤波的坐标的3d集合。
[0066]
由执行paa软件程序233的处理器205执行并且在下文中参考图7更详细地描述的以下步骤309使用hcp标准脑数据sdb(参见110)来将待分割的特定脑bbp的图像数据配准到包含标准分割方案的hcp
‑
mmpl图谱102上，以从而输出3d单图像配准的图谱ard(t1)(其是翘曲到niiwfs(t1)的配准的图谱hcp
‑
mmp1图谱102—参见708)。在下文中参考图7更详细地描述配准的图谱ard(t1)。尽管步骤309和310在图3中被描绘为并行，但是不需要并行执行这些步骤。本说明书中描述的方法和系统能够叠加刚性和非刚性变换以实现配准。在刚性变换中，仅在空间中移动对象以与目标对齐。在非刚性变换/配准中，对象也翘曲/变形以与
目标匹配。
[0067]
被描绘为在本paa示例中与步骤309并行执行并且由执行paa软件程序233的处理器205如在下文中参考图6、图9和图10a更详细地描述的那样执行的步骤310执行掩模和全脑扩散纤维束成像以输出3d全脑纤维束成像图像集合dtip(dti)(参见621)。因此，步骤310执行dicom图像的扩散纤维束成像以确定特定脑的全脑纤维束成像图像的集合dtip(dti)。
[0068]
由执行paa软件程序233的处理器205执行并且在下文中参考图11a和图11b更详细地描述的以下步骤312执行分割分类，以从而根据paa布置输出3d个性化脑图谱(pbs图谱)(参见1131)。
[0069]
为了执行分割分类，步骤312接收在下文中参考图8b更详细地描述的端到端分割分类器modpt(参见821)和直通分割分类器modpn(参见825)。分割分类器modpt(其是端到端分割分类器—参见821)和modpn(其是直通分割分类器—参见825)由在下文中参考图8a和图8b更详细地描述的机器学习分割训练过程313生成。机器学习分割训练过程313接收正常脑数据集合nbdi作为输入，每个nbdi包括关联的图像集合t1
i
、dti
i
以及参数bval
i
和bvec
i
，其中1<i<p。本说明书中描述的方法和系统能够使用翘曲的hcp脑来生成第一分割，然后使用那些分割的坐标来生成分割至分割矩阵，其中矩阵的每个元素的值是由矩阵的列和行指定并且如由初始翘曲所给出的两个分割之间的束的归一化数目。然后将此矩阵数据连同上面指出用于训练的其他数据中的至少一些一起馈送到分类器中。
[0070]
参考图2和图4，图4是充分化如何能够执行paa布置的过程流程图示例400。在开始步骤401之后，由执行paa软件程序233的处理器205执行并且在下文中参考图7更详细地描述的步骤403将脑bbp翘曲到标准mni空间中以从而输出配准函数niirf(t1)(参见705)，其表示bbp的dicom图像到3d标准mni空间中的变换。步骤403接收3d单图像niiwfs(t1)(其是去除面部(可选地)和头骨的掩模的nii(t1)—参见563)和hcp标准脑数据sbd(即110)作为输入。如图3中的306所指出的，dwi(dti)能够被用于执行头骨剥离以产生niiwfs(t1)。
[0071]
由执行paa软件程序233的处理器205执行并且在下文中参考图3更详细地描述的以下步骤405(参见图3中的309)将包含标准mni空间中的hcp mmp1图谱(102)的标准分割方案的掩模重叠到脑bbp上以从而输出翘曲到niiwfs(t1)的配准图谱ard(t1)(即708)。步骤309接收hcp
‑
mmp1图谱作为输入(参见102)。
[0072]
由执行paa软件程序233的处理器205执行并且在下文中参考图3和图6更详细地描述的以下步骤407执行扩散纤维束成像以从而输出全脑纤维束成像图像集合dtip(dti)(参见621)。步骤407接收dwi(dti)即dti的nifti、bval(dti)即dti的扩散张量值(幅度)和bvec(dti)即dti的扩散张量梯度(方向)作为输入(参见601)。能够用dipy python包(参见例如https://dipy.org/documentation/0.16.0./examples_built/introduction_to_basic_tracking/)实现约束球形去卷积(constrained spherical deconvolution，csd)束生成。
[0073]
由执行paa软件程序233的处理器205执行并且在下文中参考图11b更详细地描述的以下步骤409为作为先前的ard(t1)中的每个分割(例如参见图10c中的1007以获得特征/分割)生成体素级纤维束成像向量(例如参见图10c中的1008)。体素级纤维束成像向量示出每个体素与bbp的所有其他分割中的体素的连接(向量被描绘在图9、图10a、图10b和图10c中)，以从而输出端到端向量vje(即使用hcp
‑
mmp1图谱生成的端到端分割的体素级纤维束成像向量)和直通向量vjn(即使用hcp
‑
mmp1图谱生成的直通分割的体素级纤维束成像向
量—参见1123)。端到端分割的体素级纤维束成像向量提供连接的初始近似值，而直通分割的体素级纤维束成像向量细化初始近似值以提供连接的更准确估计。作为先前hcp图谱被首先被翘曲到脑上。翘曲的图谱用于生成特征向量；也就是说，对于目标分割，它连接到的所有其他分割以及连接到它的束的归一化数目。因此在上面以两种方式使用先前的：1.确保机器学习预测被约束在一个区域内并且2.生成特征向量。体素能够表示一定范围的体积，例如，从0.5立方毫米(mm)到5立方毫米的任何地方或从1立方毫米到3立方毫米的任何地方，并且分割能够由不同数目的体素组成，例如，从2个体素到30个体素的任何地方或从5个体素到15个体素的任何地方。
[0074]
由执行paa软件程序233的处理器205执行并且在下文中参考图11b更详细地描述的以下步骤411基于体素为基于其纤维束成像向量的分割的一部分的概率来对每个体素进行分类，以从而输出体素网格vgridptpn(即通过用modpt和modpn处理vje、vjn而生成的体素网格)。此过程被执行两次，一次使用modpt而一次使用modpn。因此，使用两遍来执行确定体素网格并且预测分割的过程。在第一遍中，使用modpt来执行预测。在第二遍中，使用modpn来执行预测。此两遍过程输出可能不提供相同预测的两个预测集合(即，第一遍预测可能与第二遍预测冲突)。需要解决此类冲突，并且在一个paa示例中冲突被解决如下：如果第一遍预测值a(即，将体素指配给一个分割)，而第二遍预测值b(即，将同一体素指配给不同分割)，则维持第一遍结果并且丢弃第二遍结果。替换地，一个人能够使用a与b之间的加权视图。
[0075]
以下步骤413将过程400引导回到步骤409，如由箭头414所描绘的，并且能够针对相关体素重复步骤409和411。因此，步骤413针对hcp
‑
mmp1图谱的所有分割重复端到端体素级纤维束成像向量的确定和体素的分类，以形成包含反映特定脑bbp的调整后的分割方案的个性化脑图谱pbs图谱。
[0076]
一旦配准图谱ard(t1)中的所有分割都已由步骤409和411处理，由执行paa软件程序233的处理器205执行并且在下文中参考图11b更详细地描述的以下步骤416就将具有在每个分割中的高可能性的体素分类为该分割的一部分，以从而输出个性化脑图谱(pbs图谱)(参见1131)。步骤416取步骤409和411的结果并且解决如先前所描述的那样可能出现的任何冲突以便达到最终分类。
[0077]
图5a、图5b和图5c是描绘如何能够执行图3的面部剥离和头骨剥离步骤307的过程流程图段307、307’和307”。
[0078]
在图5a中在过程307中，由执行paa软件程序233的处理器205执行的步骤503从图3中的303接收nii(t1)和dwi(dti)(参见501)，如由箭头304所描绘的，并且使用例如python面部剥离库例程“deep defacer”(参见例如https://pypi.org/project/deepdefacer/)来从bbp中移除面部，以从而输出3d图像集合niiwf(t1)(即去除面部的nii(t1)—参见506)。这是面部剥离阶段564。
[0079]
由执行paa软件程序233的处理器205执行的以下步骤509确定dwi(dti)的平均值以从而输出3d图像dwiav(dti)(即dwi(dti)的平均值—参见512)。由执行paa软件程序233的处理器205执行的以下步骤513对dwiav(dti)进行二值化以从而输出3d图像dwiavb(dti)(即dwiav(dti)的二进制掩模—参见516)。由执行paa软件程序233的处理器205执行的以下步骤517(必要时)能够确定dwiavb(dti)的“脑部分”以从而输出3d图像dwiavbbr(dti)(即
dwiavb(dti)的脑部分—参见520)。以下步骤521(必要时)由执行paa软件程序233的处理器205执行并且能够填充dwiavbbr(dti)的孔以从而输出3d图像dwiavbbrnh(dti)即无孔的dwiavbbr(dti)。由执行paa软件程序233的处理器205执行的以下步骤525将dwiavbbrnh(dti)应用于dwi(dti)以形成3d图像dwim(dti)(即用dwiavbbrnh(dti)掩模的dwi(dti)—参见528)。这是头骨剥离阶段565。系列(统称为4d数据)的每个帧被单独地处理。首先仔细检查每个3d集合是否有过度运动，然后能够配准和掩模3d集合。
[0080]
在图5b中在过程307’中，由执行paa软件程序233的处理器205执行的以下步骤529将dwim(dti)与nii(t1)紧密对齐以从而输出3d图像dwialt(dti)(即与nii(t1)紧密对齐的dwim(dti)—参见532)。由执行paa软件程序233的处理器205执行的以下步骤533将dwialt(dti)与niiwf(t1)对齐以从而输出3d图像dwimpt(dti)(即紧密映射的dwi(dti))和紧密对齐函数fat(参见536)。这是紧密对齐阶段566。
[0081]
由执行paa软件程序233的处理器205执行的以下步骤537将dwim(dti)与nii(t1)松散对齐以从而输出3d图像dwiall(dti)(即与nii(t1)松散对齐的dwim(dti)—参见540)。由执行paa软件程序233的处理器205执行的以下步骤541将dwiall(dti)与niiwf(t1)对齐以从而输出3d图像dwimpl(dti)(即松散映射的dwi(dti))和松散对齐函数fal(参见544)。这是松散对齐阶段567。
[0082]
由执行paa软件程序233的处理器205执行的以下步骤545将dwim(dti)应用于fat以从而输出3d二进制图像mt(t1)(即用于nii(t1)的紧密掩模—参见548)。由执行paa软件程序233的处理器205执行的以下步骤549将dwim(dti)应用于fal以从而输出3d二进制图像m1(t1)(即用于nii(t1)的松散掩模—参见552)。
[0083]
在图5c中在过程307”中，由执行paa软件程序233的处理器205执行的以下步骤553将ml(t1)应用于nii(t1)以从而输出3d图像niilm(t1)(即松散掩模的nii(t1)—参见556)。由执行paa软件程序233的处理器205执行的以下步骤557将mt(t1)应用于nii(t1)以从而输出3d图像niitm(t1)(即紧密掩模的nii(t1)—参见560)。由执行paa软件程序233的处理器205执行的以下步骤561组合niilm(t1)和niitm(t1)以从而输出3d图像niiwfs(t1)(即去除面部和头骨的掩模的nii(t1)—参见563)。在替代paa布置中，步骤509
‑
561可以使用作为海德堡大学医院神经放射学系与德国癌症研究中心(dkfz)医学影像计算部之间的联合项目的结果的单步骤开源库工具hd
‑
bet(脑提取工具)来执行。
[0084]
图6是如何能够执行图3的全脑扩散纤维束成像步骤310的过程流程图示例。由执行paa软件程序233的处理器205执行的步骤603如由箭头308所描绘的那样接收dwi(dti)、bval(dti)和bvec(dti)，并且应用例如python面部剥离库例程“deep defacer”，以从而输出4d图像集合dwi(dti)(即dti的nifti—参见606)。由执行paa软件程序233的处理器205执行的以下步骤607将m1(t1)应用于dwiwf(dti)，以从而输出3d图像dwiwflm(dti)(即松散掩模的dwi(dti)—参见610)。由执行paa软件程序233的处理器205执行的以下步骤611将mt(t1)应用于dwiwf(dti)，以从而输出3d图像dwiwftm(dti)(即紧密掩模的dwi(dti)—参见614)。由执行paa软件程序233的处理器205执行的以下步骤615组合dwiwftm(dti)和dwwiwflm(dti)以从而输出3d图像dwiwfs(dti)(即去除面部和头骨的掩模的dwi(dti)—参见618)。由执行paa软件程序233的处理器205执行的以下步骤619例如使用bipi python库模块来处理dwiwfs(dti)、bval(dti)和bvec(dti)，以从而输出全脑纤维束成像图像集合
dtip(dti)(参见621)。因此，执行dicom图像的扩散纤维束成像的步骤619是关于dicom图像集合的dti图像的面部剥离掩模的nifti版本来执行的。可选地，步骤619在步骤312中执行纤维束成像(即分割分类)之前进一步从dwi(dti)中去除与游离水相关联的图像分量。这是通过将头骨剥离的dwi nifti(即dwiwfs(dti))作为输入来执行的并且应用可从https://github.com/sameerd/diffusiontensorimaging获得的single shell free water elimination diffusion tensor model“free runner”(单壳游离水消除扩散张量模型“free runner”)。此步骤的结果是已去除了游离水的头骨剥离的dwi nifti，其被称为dwiwfswr(dti)。可选地，步骤619还使用可从https://dipy.org/documentation/1.0.0./examples_built/reconst_csd/获得的constrained spherical deconvolution(csd)(约束球形去卷积(csd))方法来从dwiwfswr(dti)生成白质束dwiwmt(dti)。此步骤的输出dwiwmt(dti)是包含待分割特定脑bbp的所有白质束的文件。
[0085]
图7是如何能够执行图3的图谱配准步骤309的过程流程图示例309。由执行paa软件程序233的处理器205执行的步骤702接收niiwfs(t1)(即，配准函数—参见563)、hcp
‑
mmp1图谱(参见102)和hcp标准脑数据sbd(参见110)并且确定niiwfs(t1)与hcb
‑
sdb之间的关系以从而在由标准脑数据图像集合(110)的集合描述的蒙特利尔神经学研究所(mni)空间中输出特定脑的配准函数niirf(t1)(即参见705)。因此，步骤702确定掩模的、头骨和面部剥离的t1图像niiwfs(t1)与标准脑数据图像集合的集合之间的关系以生成配准函数。换句话说，配准函数通常被应用于类似的对象。标准脑hcp没有头骨，但是患者脑有头骨。因此，难以将一个配准到另一个。一种方法是从患者脑中去除头骨，使得能够将其映射到标准脑上。然而，人们通常想要用头骨显示患者的脑。由于头骨剥离的脑是患者的脑减去头骨，所以我们能够使用映射学习的头骨剥离——标准脑(被称作配准函数)并且将其应用于具有头骨的脑。结果，标准脑和带有头骨的患者的脑现在被配准。
[0086]
由执行paa软件程序233的处理器205执行的以下步骤706将niirf(t1)应用于hcp
‑
mmpl图谱以从而输出配准图谱ard(t1)(参见708)。因此，步骤706从包含标准分割方案和配准函数的hcp
‑
mmp1图谱102确定配准图谱ard(t1)。步骤706通过将配准函数应用于hcp
‑
mmp1图谱以生成配准图谱来确定配准图谱。换句话说，最终输出t1包括头骨数据。hcp脑以及dti扫描没有头骨数据，所以仅能够在无头骨输入上完成配准。因此需要对输入t1进行头骨剥离以便将dti和t1一起配准。然而，作为最终输出，t1应该包括头骨数据，所以一种方法是：1)头骨剥离t1数据；2)通过hcp来配准t1和dti；以及3)回到原始t1并且使用在其无头骨版本上发现的函数来获得原始t1数据。在某些实现方式中，标准hcp
‑
mmp图谱在转换为诸如nifti的体积格式之后，能够被加载并使用诸如曲线拟合技术、最小二乘拟合技术或体积的拟合机制来拟合到被摄体脑的t1数据。
[0087]
图8a和图8b是描绘如何能够实现图3的分割调整训练模块313的过程流程图段313和313’。
[0088]
在图8a中，由执行paa软件程序233的处理器205执行的步骤303接收p个正常脑数据集合nbdi，每个nbdi包括t1i、dtii、bvali和bveci，其中1<i<p(参见111)。针对p个正常脑数据集合nbdi中的每一个执行处理步骤111、303、307、309和310(在图8a中)以及处理步骤810和812(在图8b中)。在111处的正常脑数据集合nbdi的所有p个集合都已被处理之后，图8b中的处理步骤818和822被执行一次。
[0089]
由执行paa软件程序233的处理器205执行的步骤303执行dicom至nifti的转换(参见图3中的步骤303以获得细节)。由执行paa软件程序233的处理器205执行的以下步骤307执行面部剥离和头骨剥离(参见图3中的步骤307以获得细节)。由执行paa软件程序233的处理器205执行的以下步骤309执行图谱配准(参见图3中的步骤309以获得细节)以从而输出配准图谱ardi(t1)(参见802)。由执行paa软件程序233的处理器205执行的在此示例中被描述为与步骤309并行执行的以下步骤310执行全脑扩散纤维束成像(参见图3中的步骤310以获得细节)以从而输出对应的全脑纤维束成像图像集合dtipi(dti)(参见803)。这是预处理阶段827。
[0090]
在图8b中，由执行paa软件程序233的处理器205执行的步骤810接收配准图谱ardi(t1)(参见802)和全脑纤维束成像图像集合dtipi(dti)(参见803)并且配准ardi(t1)和dtipi(dti)以从而输出配准数据dri(即ard
i
(t1)与dtip
i
(dti)之间的配准数据—参见823)。由执行paa软件程序233的处理器205执行的以下步骤812生成分割的体素级纤维束成像向量vimi(即第i nbd集合中脑的体素级分割到纤维束成像向量图像集合—参见815)和体素级邻接矩阵ami(即第inbd集合中脑的体素级邻接矩阵—参见817)。这是机器学习数据生成阶段828。换言之，每个体素被分类，这提供分割标识。标识的体素的集群能够与分割相关联。此外，每个体素被给予标识。对于每个体素，系统也能够确定哪些束在该特定体素中开始并且它们在哪里结束。基于该信息，系统能够创建邻接表/特征向量，其中行标签等于目标体素标识并且对应列中的每个列标签是行体素连接到的相应体素。填充单元格的值是体素的相应对之间的束的归一化数目。
[0091]
由执行paa软件程序233的处理器205执行的以下步骤818使用例如诸如python库xg boost模块的机器学习模型来确定端到端分割分类器modpt(参见821)。由执行paa软件程序233的处理器205执行的以下步骤822使用例如前述αg boost模块来确定直通分割分类器modpn(参见825)。这是训练阶段829。
[0092]
图9描绘体素级纤维束成像向量(例如参见图4中的1123)的实际tl图像。
[0093]
图10a和图10b描绘示出体素的连接的说明性体素级纤维束成像向量。例如，在图10a中向量“ab”(即1005)连接体素“a”(即1004)和“b”(即1003)，而向量“ac”(即1002)连接体素“a”(即1004))和“c”(即1001)。
[0094]
图10c以表形式描绘分割、体素分割标识和体素级纤维束成像向量之间的关系。在图10c中，每行表示体素。行标签表示体素所属于的分割。列表示体素连接到的分割。表单元格值表示体素与分割之间的束的数目。
[0095]
图11a和图11b是描绘如何能够实现图3的分割调整步骤312的过程流程图段312和312’。
[0096]
在图11a中，由执行paa软件程序233的处理器205执行的步骤1101配准寄存器ard(t1)和dtip(dti)以从而输出配准数据dr(即ard(t1)与dtip(dti)之间的配准数据—参见1104)。步骤1101接收配准图谱ard(t1)和纤维束成像集合dtip(dti)作为输入(参见708和621)。由执行paa软件程序233的处理器205执行的以下步骤1105生成端到端分割的体素级纤维束成像向量以从而输出向量vje(即使用hcp
‑
mmp1图谱生成的端到端分割的体素级纤维束成像向量)，诸如具有诸如1007的特征/分割但没有标签的1008。因此，对于配准图谱ard(t1)中的特定分割中的每个体素，步骤1105确定示出该体素与其他分割中的体素的端
到端连接的端到端体素级纤维束成像向量vje。更具体地，步骤1105生成端到端分割的体素级纤维束成像向量vje，并且生成端到端和直通分割的体素级纤维束成像向量vjn。由执行paa软件程序233的处理器205执行的以下步骤1109用modpt处理vje以从而输出诸如1006的标签lbje(即与纤维束成像向量vje相关联的标签)和体素网格vgridpt(即通过用modpt处理vje而生成的体素网格—参见1112)。因此，对于每个体素，步骤1109基于体素为特定分割的一部分的概率来对该体素进行分类以确定用于端到端分割的体素级纤维束成像向量的标签lbje和体素网格vgridpt。由执行paa软件程序233的处理器205执行的以下步骤1113执行体素网格vgridpt的插值以填充体素之间的间隙。
[0097]
在图11b中，由执行paa软件程序233的处理器205执行的步骤1120生成端到端和直通分割的体素级纤维束成像向量以从而输出向量vje(即使用hcp
‑
mmp1图谱生成的端到端分割的体素级纤维束成像向量)和vjn(即使用hcp
‑
mmp1图谱生成的直通分割的体素级纤维束成像向量)，它们具有特征但没有标签(参见1123)。因此，步骤1120确定分别示出体素与其他分割中的体素的端到端和直通连接的端到端体素级纤维束成像向量vje和直通分割的体素级纤维束成像向量vjn。由执行paa软件程序233的处理器205执行的以下步骤1124用modpt和modpn处理vje和vjn以从而输出标签lbjejn(即与纤维束成像向量vje和vjn相关联的标签)和体素网格vgridptpn(即通过用modpt和modpn处理vje、vjn而生成的体素网格—参见1127)。因此，步骤1124基于体素为特定分割的一部分的概率来对体素进行分类以确定用于端到端分割的体素级纤维束成像向量和直通分割的体素级纤维束成像向量的标签lbjejn和体素网格vgridptpn。由执行paa软件程序233的处理器205执行的以下步骤1128执行体素网格vgridptpn的插值以填充体素之间的间隙。因此，步骤1128对端到端分割的体素级纤维束成像向量和直通分割的体素级纤维束成像向量的体素网格vgridptpn进行成像以填充体素之间的间隙。由执行paa软件程序233的处理器205执行的以下步骤1130将体素网格vgridptpn转换为个性化脑图谱(pbs图谱)(参见1131)。此转换只是取所有个别分割并且将它们放置在单个张量中的事情。该张量能够被以各种格式保存，一种格式是可用于查看的对象。如先前描述的，能够使用两遍来执行确定体素网格并且预测分割的过程。在第一遍中，使用modpt来执行预测。在第二遍中，使用modpn来执行预测。此两遍过程输出可能不提供相同预测的两组预测(即第一遍预测可能与第二遍预测冲突)。需要解决此类冲突，并且在一个paa示例中冲突被如下解决：如果第一遍预测值a，并且第二遍对于相同分割预测值b，则维持第一遍结果并且丢弃第二遍结果。
[0098]
图12描绘待分割脑。paa布置要求在剥离与面部1202和头骨1203有关的图像信息之后处理脑1201。
[0099]
工业适用性
[0100]
所描述的布置适用于计算机和数据处理行业并且特别适用于医学成像行业。
[0101]
本说明书中描述的系统和方法能够使用新颖的基于机器学习的方法来提供具有各种脑结构的患者中的分割边界的重映射。在健康患者中，此方法创建与通过基于纯仿射的配准所获得的图谱类似但具有人之间的变异性的图谱。在具有可能不健康或确定不健康的脑的患者——诸如患有脑肿瘤、萎缩或脑积水的患者中，这创建说明解剖学畸变和潜在地说明功能重组的图谱。这提高了已经历脑外科手术、患有脑肿瘤、创伤性脑损伤、中风或其他脑畸变疾病的患者可能能够用更正式的基于连接组的方法来研究的可能性。它也提供
了以有意义的方式跨患者比较数据以在研究和非研究环境两者中深入了解患者的损伤和修复的可能性。此外，这些技术能够被用在临床实践中，因为它是快速的且自动化的。
[0102]
换句话说，在本说明书中描述的并且基于结构连接的图谱技术对在病理状态下看到的结构和形状变化而言是鲁棒的。这是因为在如果特定连接集合在别处物理上移位则它执行类似功能的合理后续假设情况下，所概述的方法学擅长告知特定脑回路位于在哪里。
[0103]
为了影响并改进临床护理，神经影像处理和分析需要是快速的、自动化的，并且能够以鲁棒且生物学准确的方式处置病理性脑解剖结构。本说明书中描述的方法的一个益处是它们是快速的，不需要人工输入，并且能够解决异常脑。不能在临床现实时间线中并在没有专家输入的情况下完成处理的方法不扩展到更大的临床神经科学界。
[0104]
本说明书中描述的方法不做出关于球形或皮质拓扑的假定，并且使用连接数据来定义灰质结构和分割位置。因此，这些方法更通用且更快，从而使它们变得临床上更现实并对复杂患者鲁棒。
[0105]
尤其是对于异常脑，用一些最流行的平台对dt和fmri图像进行图像预处理可能花费至少若干小时来产生可使用的结果。本说明书中描述的方法和系统对于临床神经肿瘤学实践具有优势，其中由于一些患者立即需要外科手术，所以迅速地需要数据。本说明书中描述的方法和系统能够在不到一小时内产生可操作的结果，包括处理静息态fmri，这既在需要快速且准确成像分析的患者的临床环境，特别是在脑肿瘤的情况下并且在其中能够更高效地收集和分析数据的研究环境两者中是有利的。
[0106]
此外，可用于处理并分析dt和fmri图像的先前平台和工具的自动化和集成差。目前，大多数工具需要一些编码和/或shell脚本。给定负责患者护理的大多数人是医师，而不是计算机科学家，这需要内部专业知识，这在劳动力、成本和/或满足临床实践的时间线方面是不可扩展的。此外，在研究环境中，处理和分析被自动化是更加成本和时间划算的。当与先前技术进行比较时，本说明书中描述的方法和系统是更高效且实用的。
[0107]
上文仅描述本发明的一些实施例，并且在不脱离本发明的范围和精神的情况下，能够对其做出修改和/或变化，这些实施例是说明性的而非限制性的。