差分脑网络分析的制作方法

1.本发明总体上涉及再现或显示人脑的图像，并且具体地涉及基于捕获的图像数据显示包括网络的结构和功能连接的人脑网络的图形表示。本发明还涉及一种用于显示人脑网络的图形表示的系统、方法和装置，以及一种包括计算机可读介质的计算机程序产品，该计算机可读介质上记录有用于显示人脑网络的图形表示的计算机程序。


背景技术：

2.扩散张量成像(dti)使用磁共振图像来测量水在人脑中的扩散。测量的扩散用于生成受试者脑的神经脑束和对应的白质纤维的图像。使用dti捕获的图像与整个脑相关并且相应地复杂。
3.神经外科医生通常检查dti图像的视觉表示以用于特定目的，例如研究脑特定区域的操作、研究特定条件对脑的影响或计划手术。
4.脑的一个区域可以包括数百万个聚集成脑束的纤维。然而，用户(例如神经外科医生)通常在脑的操作和连接方面需要更大的粒度，例如识别哪些脑束或纤维是连接或相关的。如果无法获得改进的粒度，神经外科医生对脑的研究可能很复杂，并可能导致识别以下方面的风险：1)脑中存在的一种或多种疾病；2)手术相关领域；3)脑不同组成部分之间的相互作用。


技术实现要素：

5.本发明的一个目的是基本上克服或至少改善现有装置的一个或多个缺点。
6.根据本发明的一个方面，提供了一种生成受试者脑的网络的图形表示的方法，包括：通过用户接口接收对受试者脑的网络的选择；基于所述受试者脑的mri图像和与所述选择相关联的一个或多个标识符，确定所述受试者脑的一个或多个分区；使用与每个分区相关联的三维坐标确定所述脑的扩散张量图像中的对应脑束；以及生成所述选择的网络的图形表示，所述图形表示包括以下中的至少一个：(i)表示所述一个或多个分区的一个或多个表面，每个表面使用所述坐标生成，以及(ii)所确定的脑束。网络可以是与脑的特定功能或结构(例如语言或听力)相对应的特定脑束和纤维的互连。
7.根据本发明的另一方面，提供了一种系统，包括：图像捕获设备，该图像捕获设备被配置为捕获受试者脑的mri图像和扩散张量图像；存储器；以及处理器，其中所述处理器被配置为执行存储在所述存储器上的代码，用于实现生成所述受试者脑的网络的图形表示的方法，所述方法包括：通过用户接口接收对所述受试者脑的网络的选择；基于所述受试者脑的所述mri图像和与所述选择相关联的一个或多个标识符，确定所述受试者脑的一个或多个分区；使用与每个分区相关联的三维坐标确定所述脑的所述扩散张量图像中的对应脑束；以及生成所述选择的网络的图形表示，所述图形表示包括以下中的至少一个：(i)表示所述一个或多个分区的一个或多个表面，每个表面使用所述坐标生成，以及(ii)所确定的脑束。
8.根据本发明的另一方面，提供了一种非暂时性计算机可读介质，其上存储有计算机程序以实现生成受试者脑的网络的图形表示的方法，所述程序包括：用于通过用户接口接收对所述受试者脑的所述网络的选择的代码；用于基于所述受试者脑的mri图像和与所述选择相关联的一个或多个标识符，确定所述受试者脑的一个或多个分区的代码；用于使用与每个分区相关联的三维坐标确定所述脑的扩散张量图像中的对应脑束的代码；以及用于生成所述选择的网络的图形表示的代码，所述图形表示包括以下中的至少一个：(i)表示所述一个或多个分区的一个或多个表面，每个表面使用所述坐标生成，以及(ii)所确定的脑束。
9.根据本发明的另一方面，提供了一种被配置为实现生成受试者脑的网络的图形表示的方法的装置，包括：存储器；以及处理器，其中，所述处理器被配置为执行存储在所述存储器上的代码，用于：通过用户接口接收对所述受试者脑的所述网络的选择；基于所述受试者脑的mri图像和与所述选择相关联的一个或多个标识符，确定所述受试者脑的一个或多个分区；使用与每个分区相关联的三维坐标确定所述脑的扩散张量图像中的对应脑束；以及生成所述选择的网络的图形表示，所述图形表示包括以下中的至少一个：(i)表示所述一个或多个分区的一个或多个表面，每个表面使用所述坐标生成，以及(ii)所述确定的脑束。
10.本说明书中描述的主题可以在特定实施例中实施以实现以下优点中的一个或多个。当前的接口可以提供有限的临床帮助，因为此类接口显示了太多有用的脑束。诸如神经外科医生之类的接口的用户在确定哪些脑束连接并与特定功能相关时面临困难。因此，无法基于结构或功能识别特定的脑束，并且感兴趣区域的图像可能没有临床意义。患者护理质量以及诊断和手术的复杂性可能会受到不利影响。允许用户指定和可视化感兴趣的特定功能和/或结构，1)提高护理质量和速度，2)改进手术计划，因为系统突出了重要/相关网络，以及3)允许在系统显示可能受影响的网络时基于扫描更精细确定头部创伤。
11.下面描述了其他方面。
附图说明
12.现在将参考附图和附录描述本发明的至少一个实施例，其中：
13.图1a和1b形成了可以在其上实施所描述的布置的计算机系统的示意框图；
14.图2a示出了用于再现脑的指定网络的图形表示的图形用户接口的软件架构；
15.图2b示出了图2a的数据库中使用的数据结构；
16.图3示出了显示受试者脑网络的图形表示的方法；
17.图4示出了如在图3的方法中实施的生成受试者脑的网络的图形表示的方法；
18.图5示出了在图4的方法中使用的识别脑束的方法；
19.图6a和6b示出了生成受试者脑的网络的图形表示的数据流；
20.图7a示出了图形用户接口的窗口，其示出了受试者脑的图像数据；
21.图7b示出了图7a的窗口，其示出了受试者脑的选择网络(例如，语言网络)的图形表示；
22.图8示出了图形用户接口的窗口，其示出了受试者脑的图像数据和更新的菜单；
23.图9a示出了图形用户接口的窗口，其示出了脑网络的图形表示；
24.图9b示出了图9a的窗口，其被更新以示出仅与脑束相关的脑网络的图形表示；
25.图10示出了图形用户接口的另一个窗口，其示出了脑网络的图形表示；
26.图11示出了图形用户接口的另一个窗口，其示出了脑网络的图形表示；以及
27.附录a示出了使用图2b的结构的映射数据库。
具体实施方式
28.当在任何一个或多个附图中参考具有相同附图标号的步骤和/或特征时，这些步骤和/或特征出于本描述的目的具有相同的功能或操作，除非出现相反的意图。
29.脑图谱(brain atlas)是一种表示人脑部分的方法。脑图谱通常包括沿着脑解剖或功能区域的部分，并提供脑的映射。脑的识别部分被称为脑的分区。例如，可以描绘每个半球180个区/分区，其中，这些区/分区受到皮层结构、功能、连接性和/或拓扑的急剧变化的限制。可以根据精确对齐的组(例如，超过200个)的健康的年轻成人来确定此类分区。
30.所描述的布置允许医学图像显示系统的用户(例如神经外科医生)以仅显示对应于脑的特定功能或结构特定脑束和纤维的指定网络或互连的方式检查dti图像数据。可以提供识别与结构相关的特定分区和对应脑束或脑束的部分的图形表示。可以基于脑的分区和对应的结构和功能连接来构建脑网络。
31.所描述的布置允许以改进的方式提供受试者的dti图像的使用，使得用户可以识别与脑的互连或互操作部分相关的单独的脑束或纤维。例如，可以用图形表示与特定分区或其他已知的脑解剖结构相关的脑束(或纤维)以及脑束(或纤维)与分区的空间关系。与(其中一个区域中的所有脑束都将被表示，从而阻断了脑束(或纤维)彼此之间以及脑束(或纤维)与脑某些部分之间的关系)先前解决方案相比，用户/观看者获得了与图像数据相关的更大粒度和更具临床意义的图像。例如，神经外科医生因此被允许对受试者脑进行改进的研究，例如特定脑束、区域和网络的互连。考虑到更具有临床意义的图像，神经外科医生可以更好地了解受试者脑的连接和操作。可以改进与条件、受试者脑的手术和要在受试者脑上执行的过程有关的决定，从而提高患者安全和护理标准。
32.为了允许隔离和识别与脑的分组、功能或区域相关联的互连的图像数据的表示，本说明书提供了使用根据脑的三维模型的图谱分区的脑的模型映射元素。该模型实际上是神经解剖学库，其可用于将脑的分区分配到特定功能的网络中。本说明书中描述的系统的实现可以使用模型的结构来确定来自dti图像的对应数据，并使用该dti数据以图形方式表示特定的脑网络。这样的库结构还允许诸如神经外科医生之类的用户准确直观地使用图形用户接口来获得特定受试者的脑的视觉重建以检查网络互连。
33.计算设备可以执行所描述的布置。图1a和1b描绘了计算机系统100，在其上可以实践所描述的各种布置。
34.如图1a所示，计算机系统100包括：计算机模块101；输入设备，例如键盘102、鼠标指针设备103、扫描仪126、相机127和麦克风180；以及输出设备，包括打印机115、显示设备114和扬声器117。计算机模块101可以使用外部调制器
‑
解调器(调制解调器)收发器设备116来经由连接121与向通信网络120和从通信网络120通信。通信网络120可以是广域网(wan)，例如互联网、蜂窝电信网络或专用wan。在连接121是电话线的情况下，调制解调器116可以是传统的“拨号”调制解调器。或者，在连接121是高容量(例如，电缆)连接的情况下，调制解调器116可以是宽带调制解调器。无线调制解调器也可用于无线连接到通信网络
120。
35.计算机模块101通常包括至少一个处理器单元105和存储器单元106。例如，存储器单元106可以具有半导体随机存取存储器(ram)和半导体只读存储器(rom)。计算机模块101还包括多个输入/输出(i/o)接口，包括：耦合到视频显示器114、扬声器117和麦克风180的音频
‑
视频接口107；耦合到键盘102、鼠标103、扫描仪126、相机127和可选的操纵杆或其他人机接口设备(未示出)的i/o接口113；以及用于外部调制解调器116和打印机115的接口108。在一些实施方式中，调制解调器116可以并入在计算机模块101内，例如在接口108内。计算机模块101还具有本地网络接口111，其允许计算机系统100经由连接123耦合到被称为局域网(lan)的局域网通信网络122。如图1a所示，本地通信网络122还可以经由连接124耦合到广域网120，连接124通常包括所谓的“防火墙”设备或具有类似功能的设备。本地网络接口111可以包括以太网电路卡、(蓝牙)无线装置或ieee 802.11无线装置；然而，可以为接口111实践许多其他类型的接口。
36.模块101可以经由网络120与图像捕获设备197连接。设备197可以使用扩散器张力成像和磁共振成像(mri)技术中的每个来捕获受试者脑的图像。捕获的图像通常采用标准格式，例如分别为dicom格式和openfmri格式。模块101可以经由网络120接收设备197的dti和mri图像。或者，模块101可以经由网络120从远程服务器(例如云服务器199)接收dti和mri图像。在其他布置中，模块101可以是图像捕获设备197和服务器199之一的组成部分。
37.i/o接口108和113可以提供串行和并行连接中的任一个或两者，前者通常根据通用串行总线(usb)标准实施并且具有对应的usb连接器(未示出)。提供存储设备109被提供并且通常包括硬盘驱动器(hdd)110。也可以使用其他存储设备，例如软盘驱动器和磁带驱动器(未示出)。通常提供光盘驱动器112以充当非易失性数据源。便携式存储器设备(例如光盘(例如，cd
‑
rom、dvd、blu ray disc
tm
)、usb
‑
ram、便携式外部硬盘驱动器和软盘)可以用作对于系统100的适当数据源.
38.计算机模块101的组件105至113通常经由互连总线104，并且以导致相关领域技术人员已知的计算机系统100的常规操作模式的方式进行通信。例如，处理器105使用连接118被耦合到系统总线104。同样，存储器106和光盘驱动器112通过连接119被耦合到系统总线104。可以在其上实施所述布置的计算机的示例包括ibm
‑
pc和兼容机、sun sparcstations、apple mac
tm
或类似的计算机系统。
39.所描述的方法可以使用计算机系统100来实现，其中，将要描述的图3至5的过程可以被实现为一个或多个可在计算机系统100内执行的软件应用程序133。特别地，所描述的方法的步骤由软件133中的指令131(见图1b)实现，这些指令在计算机系统100内执行。软件指令131可以形成为一个或多个代码模块，每个模块用于执行一个或多个特定任务。软件也可以分成两个独立的部分，其中第一部分和对应的代码模块执行所描述的方法，第二部分和对应的代码模块管理第一部分和用户之间的用户接口。
40.软件可以存储在计算机可读介质中，例如包括下面描述的存储设备。软件从计算机可读介质加载到计算机系统100中，然后由计算机系统100执行。在计算机可读介质上记录有这样的软件或计算机程序的计算机可读介质是计算机程序产品。在计算机系统100中使用计算机程序产品优选地实现用于提供神经学图像的显示的有利装置。
41.软件133通常存储在hdd 110或存储器106中。软件从计算机可读介质加载到计算
机系统100中，并由计算机系统100执行。因此，例如，软件133可以被存储在由光盘驱动器112读取的光学可读磁盘存储介质(例如，cd
‑
rom)125上。其上记录有这样的软件或计算机程序的计算机可读介质是计算机程序产品。计算机系统100中计算机程序产品的使用优选地影响用于提供神经学图像的显示的装置。
42.在一些情况下，应用程序133可以被提供给用户，编码在一个或多个cd
‑
rom 125上并通过对应的驱动器112读取，或者可以由用户从网络120或122读取。进一步地，该软件也可以从其他计算机可读介质加载到计算机系统100中。计算机可读存储介质是指向计算机系统100提供记录的指令和/或数据以供执行和/或处理的任何非暂时性有形存储介质。此类存储介质的示例包括软盘、磁带、cd
‑
rom、dvd、blu
‑
ray
tm
光盘、硬盘驱动器、rom或集成电路、usb存储器、磁光盘或例如pcmcia卡的计算机可读卡等，无论这些设备是在计算机模块101的内部还是外部。也可以参与向计算机模块101提供软件、应用程序、指令和/或数据的暂时或非有形计算机可读传输介质的示例包括：无线电或红外线传输通道以及到另一台计算机或联网设备的网络连接；以及互联网或内联网，包括电子邮件传输和记录在网站上的信息等。
43.应用程序133的第二部分和上述对应的代码模块可以被执行以实现一个或多个图形用户接口(gui)，以在显示器114上渲染或以其他方式呈表示。通过操纵通常键盘102以及鼠标103，计算机系统100和应用程序的用户可以以功能上可适应的方式操纵接口以向与gui相关联的应用程序提供控制命令和/或输入。也可以实现其他形式的功能适应性用户接口，例如利用通过扬声器117输出的语音提示和通过麦克风180输入的用户语音命令的音频接口。
44.图1b是处理器105和“存储器”134的详细示意框图。存储器134代表可以通过图1a中的计算机模块101访问的所有存储器模块(包括hdd 109和半导体存储器106)的逻辑集合。
45.当计算机模块101最初通电时，通电自检(post)程序150执行。post程序150通常存储在图1a的半导体存储器106的rom 149中。诸如存储软件的rom 149之类的硬件设备有时被称为固件。post程序150查看计算机模块101内的硬件以确保正常运行，且通常检查处理器105、存储器134(109、106)和通常也存储在rom 149中的基本输入
‑
输出系统软件(bios)模块151的正确操作。一旦post程序150成功运行，bios 151就激活图1a的硬盘驱动器110。硬盘驱动器110的激活导致驻留在硬盘驱动器110上的引导加载程序152经由处理器105执行。这将操作系统153加载到ram存储器106中，操作系统153在其上开始操作。操作系统153是系统级应用程序，其可由处理器105执行以实现各种高级功能，包括处理器管理、存储器管理、设备管理、存储管理、软件应用程序接口和通用用户接口。
46.操作系统153管理存储器134(109、106)以确保在计算机模块101上运行的每个过程或应用程序具有足够的存储器来执行，而不会与分配给另一个过程的存储器发生冲突。此外，必须正确使用图1a的系统100中可用的不同类型的存储器，以便每个过程能够有效地运行。因此，聚合存储器134并非旨在说明如何分配特定的存储器段(除非另有说明)，而是提供计算机系统100可访问的存储器以及如何使用存储器的一般视图。
47.如图1b所示，处理器105包括多个功能模块，包括控制单元139、算术逻辑单元(alu)140和本地或内部存储器148(有时称为高速缓冲存储器)。高速缓冲存储器148通常在
寄存器部分中包括多个存储寄存器144
‑
146。一条或多条内部总线141在功能上互连这些功能模块。处理器105通常还具有一个或多个接口142，用于使用连接118经由系统总线104与外部设备通信。存储器134使用连接119被耦合到总线104。
48.应用程序133包括指令序列131，其可以包括条件分支和循环指令。程序133还可包括在程序133的执行中使用的数据132。指令131和数据132分别存储在存储器位置128、129、130和135、136、137中。根据指令131和存储器位置128
‑
130的相对大小，特定指令可以存储在单个存储器位置中，如存储器位置130中所示的指令所描绘的。或者，可以将指令分段为多个部分，每个部分都存储在单独的存储器位置中，如存储器位置128和129中所示的指令段所描绘。
49.通常，处理器105被给予一组在其中执行的指令。处理器105等待后续输入，处理器105通过执行另一组指令对其作出反应。可以从多个源中的一个或多个源提供每个输入，包括由一个或多个输入设备102、103生成的数据、从跨网络120、102之一的外部源接收的数据、从数据存储设备106、109之一检索的数据或从插入到对应读取器112中的存储介质125检索的数据，其全部在图1a中描绘。在某些情况下，一组指令的执行可能导致数据的输出。执行还可以涉及将数据或变量存储到存储器134。
50.所描述的布置使用输入变量154，其存储在存储器134中的对应存储器位置155、156、157中。所述布置产生输出变量161，其存储在存储器134中的对应存储器位置162、163、164中。中间变量158可以存储在存储器位置159、160、166和167中。
51.参考图1b的处理器105，寄存器144、145、146、算术逻辑单元(alu)140和控制单元139一起工作以执行用于对于在构成程序133的指令集中的每个指令执行“提取、解码和执行”周期所需的微操作序列。每个提取、解码和执行周期包括：
52.提取操作，其从存储器位置128、129、130提取或读取指令131；
53.解码操作，其中控制单元139确定已提取出哪条指令；以及
54.执行操作，其中控制单元139和/或alu 140执行指令。
55.此后，可以执行下一条指令的进一步提取、解码和执行周期。类似地，可以执行存储循环，通过该存储循环，控制单元139将值存储或写入存储器位置132。
56.图3至图5的过程中的每个步骤或子过程与程序133的一个或多个段相关联并且由处理器105中的寄存器部分144、145、147、alu 140和控制单元139执行，它们一起工作以对于在程序133的所述段的指令集中的每个指令执行提取、解码和执行循环。
57.图2示出了用于实现图形用户接口以重建和显示受试者脑的网络的软件架构200。架构200包括表面网格202、网格模型204、映射数据库206和接口模块210，它们中的每个通常存储在存储器106中。接口引擎210通常形成可在处理器105上执行的软件应用程序133的模块之一。网格是3d计算机渲染中经常使用的术语，用于描述包含空间中的点的云或公式的文件，其渲染将创建该云。在当前情况下，网格可以提供绘制分区的坐标。可以存在两个网格，一个表面网格和一个网格模型。表面网格202可以提供颜色以显示每个相关的分区，并且网格模型204可以提供体素标识以用于分区数据库。请注意，这只是渲染方法的一种可能实施方式。
58.接口模块210执行以生成或渲染例如显示在监视器114上的图形用户接口。图形用户接口包括多个菜单选项和脑网络或捕获的脑图像的图形表示。接口模型通常形成应用程
序133的一个或多个模块。在一些布置中，模块210可以由在模块101上执行的互联网浏览器访问或分发。
59.网格模型204表示受试者脑形状的三维结构。网格模型204可以使用诸如体素的三维对象的点云或网格来构建。在此处描述的示例布置中，网格模型包括立方体对象，每个立方体对象代表一个体素(voxel)。每个立方体对象在代表脑的三维空间(x、y和z坐标)中都有一个相关联的位置。网格模型204中的每个点或体素具有关联的网格标识符。
60.表面网格202包括受试者脑的模型，其中，将颜色(描述为一组rgb值)应用于体素以生成表示脑分区的表面。可以使用多种方法之一将体素分配给分区。换句话说，在一种实现中，可以从个性化的图谱中导出网格。在其他实施方式中，可以使用其他图谱。例如，可以使用机器学习模型使用不带校正的扭曲hcp。分区代表脑的区域。rgb值优选以下列方式分配给分区。网格是空间中的点云。这些点具有可以从查找表中导出的rgb值。表面模型202将一组rgb值与每个体素的坐标相关联，rgb值反映受试者脑的分区。可替选地，可以使用其他分配颜色的方法。表面网格202和网格模型204都是为每个受试者脑生成的。表面网格202和网格模型204是使用图像脑的mri数据生成的，如下面关于图3所描述的。不需要配色方案，因为在同质功能中涉及的分区以相同颜色的阴影显示。使用这样的配色方案使用户更容易消化显示。
61.映射数据库206存储用于将脑的部分分类成分区的模型或库。分区与脑图谱相关，可以按特定顺序被分配标识符，如下文更详细描述。映射数据库206的结构允许用户使用图形用户接口选择要为其要生成网络的所需脑分区或网络。
62.接口模块210执行以基于用户选择使用表面网格202、网格模型204、映射数据库206和图像数据(dti和mri)来渲染和显示或再现脑网络的图形表示。
63.图2b示出了映射数据库206的数据结构的一个示例。如图2b所示，数据结构250具有名为“分组”的最高级别252。分组表示初始菜单选项，如果需要，用户可以向下探取初始菜单选项以识别要以图形方式表示的脑的特定网络。分组之后的结构250的下一个级别称为级别1(标记为254)，然后是级别2(标记为256)，接着是标记为258的分区级别。分区级别258也称为分区名称。每个分区级别258与称为分区标识符的唯一标识符260相关联。如下文关于图4所描述的，每个分区名称258是基于将受试者脑中的三维位置与分区标识符260连接起来的映射数据库206来确定的。映射数据库206的数据结构的另一种实施方式可以具有更多或更少的级别。
64.在附录a中示出使用数据结构250提供脑库的映射数据库206的示例。如在附录a中所示，对于级别252和254中的一些可能不存在特定子级别.
65.下面的表1示出了一组示例分组选项。
66.分组类型网络分区脑束区域
67.表1：分组选项
68.分组类型的命名可以采用各种形式。例如，代替“网络”分组类型，可以具有“网络
模板”分组类型，和/或代替“脑束”分组类型，可以具有“纤维束成像捆绑(tractography bundle)”分组类型。
69.在所描述的布置的上下文中，脑网络的图形表示涉及脑的分区和/或相关脑束。脑网络的图形表示可以与任何分组“网络”、“分区”、“脑束”和“区域”以及相关子级别的选择有关。
70.图7a示出了通过在模块101上执行接口模块210而渲染的窗口700a的示例。例如，可以经由显示器114再现窗口700a。窗口700a包括下拉菜单702。下拉菜单702中可用的选项反映表1的分组选项(数据结构250的分组252)。
71.级别254和256中的每个都代表脑的一部分，其以渐进方式细分，使得分区级别(名称)258代表在脑图谱中使用的脑的典型分区。级别254和256提供的表示取决于对应的分组252。例如，在附录a中，一些分组对于左右中的每个具有左级别1类别和右级别1类别。如附录a所示，相同的分区名称258可以应用于多个标识符，因为分区可能与多个位置或区域相关(例如，分区名称“8c”应用于分别与级别1(听觉功能)的左和右实例相关的标识符73和273)。可以将结构250设计为以对于神经外科医生或另一神经科学专业人员直观的方式划分脑的部分。如下所述，可以使用数据结构250来识别受试者脑和/或dti图像的相关的区。
72.参考图7a，窗口700a包括具有滑块704的子菜单703。子菜单703包括反映与分组“网络”相关联的级别1(254)的选项707。反映级别1的每个选项都可以由用户选择或扩展到级别2(256)(如果可用)或下一个子级别，直到达到分区级别258。
73.分组“网络”可以涉及基于诸如听觉或语言之类的特定功能的网络。可以生成数据结构250以反映人脑的已知科学分类。数据结构250允许以编程方式提取人脑的实际结构和/或功能，从而可以识别和以图形方式表示受试者脑的不同部分及其互连。特别地，将分组252分成导致分区的不同级别允许例如基于指定的网络提取结构和/或功能。
74.图2b中所示的结构250和附录a中所示的示例数据库以对典型神经外科医生直观的方式反映解剖分解以形成优选实施方式。然而，结构250可以在其他实施方式中变化，例如添加更多级别、合并级别254和256，或者否则进一步细分分组252。
75.映射数据库206和网格模型204操作以将分区标识符260与受试者脑中的三维坐标((x,y,z)坐标)相关联。在网格模型204的网格标识符和分区标识符260之间建立关系。例如，网格模型204的每个点或体素可以与表示脑中的三维位置的光栅化的连续数量的网格标识符之一相关联。如图2b所示，映射数据库206将分区标识符260与分区名称258相关联。因此，分区名称258又可以与三维网格模型中的三维坐标相关联。此外，rgb值(每个具有在0到255之间的值)与使用相同坐标系的每个分区名称和/或标识符相关联。表2中显示了一个示例，其中，网格标识符与分区相关联。
[0076][0077]
表2映射数据库和网格关系
[0078]
在一种实施方式中，包括在表面网格、网格模型和映射数据库中的数据可以如下：1)表面网格——网格坐标、网格id、颜色、分区名称、体素id；2)网格模型——网格id、网格
坐标、分区id；以及3)映射数据库——分组、级别1、级别2、分区名称、分区id。在一个具体的实施方式中，附录反映了映射数据库。网格给出了渲染引擎可以解释的空间中的分区id。将映射数据库和网格模型放在一起，可以获得表面网格，即空间中着色的分区。使用不同的文件系统，表面网格和网格模型可以折叠在一个对象中。所描述的示例布置涉及三维模型和坐标的使用。然而，在可能需要脑部分的二维表示的情况下，可以类似地应用所描述的实现以使用二维模型和坐标。例如，在某些情况下，神经外科医生可能更喜欢使用二维模型以提高感知和参考的便利性，而在其他情况下(例如在手术期间)，三维模型可能更合适。
[0079]
图3示出了显示脑网络的图形表示的方法300。参考图1a、2a和3，方法300由接口引擎210在处理器105的执行下执行。
[0080]
方法300开始于访问步骤305。在步骤305，系统(例如图1a中所示的系统)访问受试者脑的图像。图像是同一受试者脑捕获的dti和mri图像，例如图像捕获设备197可以捕获图像并将它们通过网络120传输到模块101，或者图像可能已经存储在存储器106中。
[0081]
方法300从步骤305继续到模型准备步骤307。步骤307操作以使用访问的mri图像数据来构建灰度脑图像、网格模型204和表面网格202并填充受试者脑的映射数据库206。
[0082]
mri图像的t1数据允许根据已知技术构建灰度脑图像。t1数据代表受试者脑的三维模型，其中，每个体素都与一个灰度值相关联。
[0083]
步骤307操作以基于体素位置生成网格模型204。网格模型中的每个体素或点在图像中都有一个三维位置。步骤307执行为每个体素分配网格标识符。例如，标识符可以基于mri图像的t1数据的光栅化。
[0084]
数据库结构206的填充是通过将受试者脑的三维图像的体素(可通过mri的tl数据获得)与分区标识符260之一相关联来实现的。每个分区标识符260以特定顺序被分配以建立与网格标识符的关系。在描述的布置中，数据库中的每个分区标识符260是基于作为网格模型204中对应(相同)位置中的网格标识符的值来分配的。换言之，以对属于单个分区的体素使用顺序网格标识符的方式，可以将特定的分区标识符分配给各种网格标识符。这种手段利用了数据库规范化的原则，其中，规范形式单独存储以避免冗余和易于更新。如果系统将坐标和颜色存储在同一数据库中，则必须在一旦更新坐标(例如，对于新脑)后立即更新整个数据库。类似地，如果更新颜色，则必须更新迄今为止处理的所有扫描。换句话说，id是用于查找可以更改的元素的不变量。在其他布置中，可以使用诸如算法或查找表之类的其他方法将分区标识符和网格标识符相关联。网格表面202和网格模型204允许将分区名称258与空间中的体积相匹配，并允许填充标识符260。
[0085]
也在步骤307基于从mri数据确定的体素位置生成表面模型202。每个体素与数据库206中对应的分区值的一组rgb值相关联。rgb值可以作为映射数据库206或表面网格202的一部分存储。可以如上所述导出rgb值。网格的坐标和分区的关联以及由此rgb值是基于脑图谱。例如，标准的hcp
‑
mmp图谱，在转换为体积格式(如nifti)后，可以使用拟合机制(如曲线拟合技术、最小二乘拟合技术或体积拟合)加载并拟合到受试者脑的t1数据。
[0086]
参考图3，方法300从步骤307继续到显示步骤310。参考图1a和3，步骤310操作以例如在监视器114中再现图形用户接口的默认显示。默认再现例如可以是图7a的窗口700a。窗口700a包括区710，其中，可以再现脑或脑网络的图形表示。在图7a的示例中，默认表示被再现，是叠加在灰度t1图像上的完整受试者脑的dti图像数据。在图7a的示例中，730示出了与
mri数据相关的灰度图形并且735示出了与从dti图像确定的脑束相关的图形。
[0087]
由接口生成的窗口可以包括一组滑块720，用于调整接口显示的图形元素，例如对比度。用户可以操纵诸如鼠标103之类的模块101的输入来调整滑块720。菜单720还包括与脑束和分区的显示相关的选项。在图7a的示例中，复选框740和750允许分别打开或关闭脑束和分区的显示。在图7a的示例中，脑束被打开(740选中)并且分区被关闭(750未选中)。
[0088]
在另一实施方式中，默认显示可以与表面网格202相关。图11示出了通过接口模块210的执行再现的窗口1100。窗口1100示出了示例默认显示，其中，仅再现分区表面1125而不是dti图像描述的脑束。窗口1100与未被选中的复选框740和被选中的复选框750相关(见图7a)。
[0089]
返回到图3，方法300从步骤310继续到接收步骤315。步骤315操作以接收用户输入。由于用户操纵模块101(例如鼠标103)的输入以与图形用户接口(例如窗口700)交互而接收输入。
[0090]
在步骤315接收输入时，方法300在处理器105的控制下继续到检查步骤320。步骤320执行以检查交互是否需要菜单更新。如果用户从图7a的菜单703中选择了不同的选项，或者选择扩展当前可用菜单选项，例如滑块704旁边可用的选项707之一，则可能需要菜单更新。选项707表示对应于数据结构250的级别1(254)的选项，每个选项都可以由用户选择或消耗。可以选择或扩展级别1的每个选项以提供对应于级别2(256)的子菜单。继而可以选择或扩展级别2选项以表示代表对应分区级别或名称的可选子选项(258)。
[0091]
如果步骤320确定需要菜单更新(步骤320处的“是”)，则方法300继续到更新步骤325。更新步骤更新图形用户接口以显示作为交互结果可用的菜单选项。例如，图8示出了由接口引擎210再现的窗口800。下拉菜单802(对应于菜单702)示出了“网络”的分组选择。在窗口800中，菜单区803(类似于区703)已经扩展了级别1(254)和级别2(256)的对应实例。在窗口800，级别1、级别2和分区级别258选项分别显示为812、814和816。
[0092]
返回到图3，如果步骤320确定不需要菜单更新(步骤320处的“否”)，则方法300继续到确定步骤330。因此如果用户已经做出了需要以图形方式表示脑网络的选择，则执行步骤330。步骤330操作用于确定与用户选择相关联的每个分区标识符(260)。取决于用户选择，可以执行步骤330以确定多于一个的分区标识符。例如，用户选择了多个分区258，每个分区具有相关联的标识符260。可替选地，如果用户选择了级别1(254)或级别2(256)选项，则网络可以包含多个分区从而固有地选择了多个分区标识符。例如，参考图7a，如果用户从选项707中选择“语言”选项，则系统选择作为语言功能一部分的所有分区。
[0093]
方法300在处理器105的执行下从步骤330继续到生成步骤335。执行步骤335以生成受试者脑的所选网络的图形表示。步骤335使用在步骤330中确定的分区标识符(260)、在步骤307中生成的网格模型204和表面网格202以及在步骤305中访问的图像数据来生成通过用户选择的受试者脑的网络的图形表示。关于图4更详细地描述步骤335的操作。
[0094]
图4示出了如在步骤335处执行的生成脑的图形表示的方法400的示例。方法400通常被实施为存储在存储器106中并在处理器105的控制下的应用210的一个或多个模块。
[0095]
方法400接收在步骤330确定的分区标识符260。步骤405操作以选择所接收的分区标识符之一。该选择可以基于任何合适的标准，例如位置、数字顺序或随机。在步骤405使用映射数据库206确定对应于所选标识符的分区名称258。将选择菜单链接到渲染使用id。例
如，用户可以使用用户接口选择网络名称。系统使用网络名称来标识分区id，系统使用分区id来确定分区在3d空间中的位置。步骤330和405操作以基于受试者脑的mri图像和与用户选择相关联的标识符来确定受试者脑的一个或多个分区。
[0096]
方法400在处理器105的控制下从步骤405继续到确定步骤410。步骤410操作以确定分区名称258的三维坐标。三维坐标反映在网格模型204上的三维空间中的位置或区域。通过将分区名称258和/或相关联的标识符260与网格模型204的标识符匹配来确定三维坐标。坐标是匹配的网格标识符的坐标。在数据结构250变化的实施方式中，可以使用来自不同级别的标识符。换句话说，左手侧菜单可以显示不同的子集，例如“网络”或“脑束”。该系统的实施方式使得能够对分区数据库进行更新。结果，可以更新左手侧菜单。由于系统可以使用id，因此保留了与网格的匹配。
[0097]
方法400从步骤410继续到确定步骤415。步骤415操作以从在步骤305访问的dti图像确定对应于在步骤410识别的位置或区域的图像数据。dti图像数据通常具有“.trk”格式，其中脑束被表示为具有三维位置的脑束向量的列表。系统可以识别与在步骤410确定的位置或区域相对应的脑束向量。在一种布置中，与三维网格模型204相关联的坐标具有与图像数据相同的原点，使得可以对于每个使用相同的三维位置。在其他布置中，可能需要向量的平移以对齐图像数据和网格模型204的原点。步骤415有效地确定与用户选择相关的所有脑束。
[0098]
方法400从步骤415继续到检查步骤420。如关于步骤330所指出的，用户的选择可以导致一个以上的标识符被确定。执行步骤420以检查是否已经为作为方法400的输入而接收的所有标识符确定了图像数据。如果已经为所有接收的标识符确定了图像数据(步骤420中的“是”)，则方法400继续到识别步骤425。如果没有为所有接收到的标识符确定图像数据(步骤420处的“否”)，则选择下一个标识符，并且方法400返回到步骤405。然后系统针对下一个选择的标识符重复步骤405至415。
[0099]
执行步骤425以从图像数据中选择与用户输入所指示的网络相关的脑束，基于用户选择有效地将在步骤415的每次迭代中确定的脑束组织成子集。脑束可以涉及完整的脑束或脑束的子集。脑束的子集可以包括单独的纤维。脑束向量包括存在于图像数据中的向量序列，这些向量组合地表示脑束的路由。系统根据与一个或多个以选择分区为边界的体积的相交(也称为碰撞)来选择脑束。基于在步骤410确定的坐标确定体积。步骤415和425涉及确定脑的扩散张量图像中的对应脑束。使用在步骤410确定的坐标进行确定。关于图5更详细地描述步骤425的操作。
[0100]
方法400从步骤425继续到渲染步骤430。在步骤430，接口模块210执行以渲染脑网络的图形表示，并为用户再现图形显示(例如通过视频显示器114)。图形表示包括下述部分的至少一个：(i)一个或多个表面，每个表示分区边界，和(ii)在步骤425选择的脑束。图形表示可以包括提供背景参考的灰度图像。图形表示是涉及分区表面和所选脑束这两者或者仅涉及单独的所选脑束和分区表面之一取决于在步骤315从用户接收的选择。
[0101]
步骤430操作以基于在步骤410确定的坐标和数据库206的与对应的分区名称相关联的rgb值来生成表示分区边界(如果需要)的表面。使用表面网格202中定义的区域的选择来生成每个所需表面。如果用户选择要求将脑束包括在图形表示中，则使用dt图像的脑束向量来生成对应的图形表示。
[0102]
在所描述的布置中，表面和/或选择的脑束被渲染为叠加在对应于mri图像的t1数据的灰度图像上。例如，图7b示出了通过执行模块210再现的窗口700b。窗口700b基于用户对分组“网络”和级别1“语言”的选择再现图7a中所示的脑网络的图形表示。在图7b中，显示区域710中的图形表示包括使用mri图像生成的灰度背景720。在替代布置中，模板图像可以用作背景720。
[0103]
表示分区的多个表面(基于用户的菜单选择而选择并使用网格表面202生成)覆盖在灰度图像720上，例如表面725。来自dti图像的选择脑束覆盖在分区表面和模板，例如，如窗口700b中的730b所指示的。
[0104]
步骤430可以使用已知的渲染方法，例如three.js，或使用可视化工具包(vtk)的体渲染，例如以渲染脑束和分区表面。
[0105]
图5示出了如在方法400的步骤425处实施的选择脑束的方法500。方法500通常实施为存储在存储器106中并在处理器105的执行下被控制的应用210的一个或多个模块。
[0106]
方法500接收在步骤410的迭代中确定的坐标和在步骤415确定的图像数据向量。方法500开始于确定步骤505。步骤505操作以确定由在步骤315接收到的用户选择指示的每个分区的边界。基于与分区相关联的表面网格202确定边界。如上所述，在步骤430中使用类似的方法来生成用于渲染的表面。
[0107]
方法500从步骤505继续到确定步骤510。执行步骤510以确定图像数据与生成的表面之间的交点，也称为碰撞。基于使用dti图像数据和诸如trackvis、dipy(python中的扩散mri图像包)或brainlab的已知软件随着时间对受试者脑的操作建模，确定该交点。可以根据不同的数据模型存储脑束和分区。脑束可以存储为向量列表，每个向量的每个点都有xyz坐标。一个xyz坐标可以有多个脑束。分区可以存储在一个简单的张量中，因为对于给定的xyz坐标只能找到1个分区id。“碰撞检测”或交点可以包括扫描完整的脑束文件以寻找与脑束特定的xyz坐标重叠的分区。在步骤510处确定的交点是另外在步骤415处确定为具有对应坐标的那些。
[0108]
方法500从步骤510继续到检查步骤515。步骤515操作以确定是否已经选择了一个以上的分区，如基于在步骤330处确定的分区标识符的数量所确定的。如果在步骤515处选择了仅仅一个分区(“否”)，则方法500继续到选择步骤520。执行步骤520以选择与所选择的分区表面相交或碰撞的所有区域。
[0109]
如果已经选择了一个以上的分区(步骤515中的“是”)，则方法500继续到检查步骤525。执行步骤525以检查是否已经选择了“内部”模式。参考图7，内部模式是当在选择的脑网络中包括多个分区时可以由相关的用户做出的显示选项。可选择的内部按钮显示为750，在窗口700中显示为关闭。内部模式确定是否在网络的图形表示中显示与所选分区相冲突的所有脑束，或者仅显示在所选分区中开始和结束的区域。
[0110]
如果在步骤525选择了内部模式(“是”)，则方法500继续到选择步骤530。步骤530操作以仅选择在所选择的分区中开始和结的脑束。
[0111]
如果内部模式关闭(步骤525处的“否”)，则方法500继续到选择步骤535。步骤535操作以选择与所选分区区碰撞的所有脑束，而不管这些区域在何处开始或结束。在步骤520和535中的每个中，所选择或确定的脑束包括与从用户选择确定的分区相关联的区域相交的所有脑束。
[0112]
方法500在执行步骤520、530和535中的任一个之后结束。
[0113]
在另一个例子中，图9a示出了通过执行模块210再现的窗口900a。窗口900a在启用内部模式的情况下基于用户对分组“脑束”和级别1“ilf”的选择再现脑网络的图形表示。在图9a中，显示区域910中的图形表示包括使用mri图像生成的灰度背景920。在替代布置中，模板图像可以用作背景920。
[0114]
表示分区的多个表面(基于用户的菜单选择而选择并使用网格表面202生成)覆盖在灰度图像920上，例如表面925。来自dti图像的所选脑束覆盖在分区表面和模板，例如在窗口900a中指示为930。在图9a中显示了脑束和分区，对应于图7a的740和750的检查。
[0115]
图9b示出了通过模块210的执行再现的窗口900b。窗口900a在启动内部模式的情况下基于用户对分组“脑束”和级别1“ilf”的选择再现脑网络的图形表示上。在图9b中，由于用户显示选项(未示出)的选择，在灰度图像上仅示出了脑束930b。例如，使用图7a的示例菜单720，将选中740而未选中750。
[0116]
图6a示出了与方法300的步骤307的操作相关联的数据流600。数据流接收mri图像605(如在步骤305访问的)、脑图谱620、rgb分布635和初始映射数据库640的输入。脑图谱620可以是标准的hcp
‑
mmp图谱或另一种类型的脑图谱。rgb分布635将rgb值分配给分区。初始映射数据库640涉及数据结构250，其中尚未为受试者脑分配分区标识符。
[0117]
步骤307操作以使用包括mri图像610的三维坐标610的tl数据。与tl灰度数据相关联的三维坐标610提供受试者脑615的灰度图像。步骤307使用坐标610创建包括坐标610的网格模型204，每个坐标610具有关联的网格标识符。
[0118]
坐标610、rgb分布635和图集620用于生成表面网格202。
[0119]
数据流600生成数据625，与映射数据库206的标识符260的填充相关。基于坐标610、初始数据库640和网格模型204生成数据625，使得标识符260对应于在网格模型204的相同三维位置中的标识符。网格表面202和网格模型204允许将分区名称与空间中的体积相匹配并且对应地填充标识符260。
[0120]
图6b示出了与根据图3
‑
5的操作生成图形表示相关联的数据流650。如数据流650中所示，在步骤303的执行中获得网格标识符655。标识符655与映射数据库206一起用于在步骤405确定分区名称665(对应于258)。标识符655的坐标670是在步骤410使用网格模型204、分区名称665和映射数据库206确定的。
[0121]
在步骤415处使用受试者脑的坐标670和dti图像690以基于对应坐标确定脑束数据675。脑束数据与以脑束向量((x,y,z))形式描述的脑束有关。脑束文件可以是向量列表，其中，构成向量的每个点都在xyz坐标中被引用。这种手段可以用作通常不在一条直线上的脑束向量。在方法500的操作中使用图像690和脑束数据675确定脑束680的子集。如关于方法500所描述的，子集680可以包括所有脑束675(步骤520和535)或仅在选择的分区中开始和结束的脑束(步骤530)。
[0122]
步骤430操作以使用脑束子集680、灰度图像615和表面网格202来渲染表示用户选择的图形表示685。人脑的典型扫描可以产生大约300,000脑束。每个脑束可以有数百个xyz坐标。
[0123]
如图7a所示，整个dti图像的图形表示包括不能容易理解或分成相关部分的高级数据。图形表示虽然基于受试者脑的实际捕获图像，但为诸如神经外科医生之类的观察者
提供了有限的临床帮助。然而，基于使用所描述的布置生成脑网络的图形表示可以产生诸如图7b中所示的图像。在图7b中，神经外科医生或其他医疗保健专业人员可以从dti图像直观地识别与受试者脑的语言功能相关的相关互连。就受试者脑的选择网络的结构和功能而言，互连是相关的。根据分析受试者脑的原因，与在一个区域中显示所有脑束相比，该表示在临床上对外科医生更有意义。类似地，图9a和9b的示例仅示出与ilf相关的网络，并且提供比当前技术更具有临床意义的图像。
[0124]
在另一个示例中，图10示出了通过模块210的执行再现的窗口1000。窗口1000在关闭内部模式的情况下基于用户对分组“脑束”和级别1“fat”的选择再现脑网络的图形表示。图形表示包括表示从受试者脑的dti图像导出的分区(例如1025)和脑束(1030)，并被确定为与结构分区fat(额斜脑束)相关的表面。
[0125]
数据结构250和分区的使用允许神经外科医生或其他神经科学专业人员直观地选择脑的相关网络。此外，结构250、网格204和查找表212在组合使用时允许确定dti图像的相关部分以包含在用户选择的网络中。
[0126]
所描述的布置适用于医学图像捕获和数据处理行业，尤其适用于与神经病学和相关医疗保健相关的医学行业。
[0127]
以上仅描述了本发明的一些实施例，在不脱离本发明的范围和精神的情况下，可以对其进行修改和/或变化，这些实施例是示例性的而非限制性的。
[0128]
在本说明书的上下文中，“包括”一词是指“主要但不一定单独包括”或“具有”或“包含”，而不是“仅由
……
组成”。单词“comprising”的变体，例如“comprise”和“comprises”具有对应的不同含义。
[0129]
附录a
[0130]
示例映射数据库
[0131]
[0132]
[0133]
[0134]
[0135]
[0136]
[0137]
[0138]
[0139]
[0140]
[0141]
[0142]
[0143]
[0144]
[0145]
[0146]
[0147]
[0148]
[0149]
[0150]
[0151]
[0152]
[0153]
[0154]
[0155]
[0156]
[0157]
[0158]
[0159]
[0160]
[0161]
[0162]