基于多分辨率特征融合的用于在显微镜图像上检测组织病变的计算机辅助诊断系统的制作方法

基于多分辨率特征融合的用于在显微镜图像上检测组织病变的计算机辅助诊断系统
1.相关申请的交叉引用
2.本技术要求于2019年10月31日向美国专利商标局提交的美国专利申请第16/670,321号的优先权，在先申请的全部内容通过引用并入本文。


背景技术：

3.近来，已经提出了不同的计算机辅助诊断(computer-aided diagnosis,cad)系统，以从医学图像中自动或半自动地分类、检测和分割组织病变。提出的这种系统可以帮助医生增加他们的处理量并提高诊断质量。一些全自动系统也可以单独工作，以进行预诊断或提供第二意见。这种系统还可以降低医疗成本并改善患者的健康。
4.传统的cad系统是基于人类设计的算法和规则设计的。这种系统提供了简单的解释但性能有限。最近，cad系统已经包括集成机器学习模型，例如，卷积神经网络(convolutional neural networks，cnn)或其它深度学习方法。机器学习模型需要大量的训练。然而，一旦存在足够的训练数据，具有集成的机器学习模型的cad系统可以给出专家级诊断，并且有时甚至可以胜过人类专家。
5.然而，大多数现有cad系统直接采用为非临床任务(例如，手写检测或照片分类)设计的机器学习模型。目前还没有设计用于在显微镜下检测组织病变的cad系统。
6.医生需要来自cad系统的实时响应。然而，难以实时处理具有高分辨率的大图像。
7.此外，医生通常首先以小幅度(例如4x幅度)检查组织图像，然后切换到更高的变焦透镜(例如10x、20x和40x幅度)，从而以更高的细节水平(分辨率尺度)检查组织图像。诊断通常基于不同尺度的融合信息。现有系统无法融合不同尺度的信息进行诊断。
8.当整块组织太大而不能在显微镜下单次检查时，医生必须来回移动切片以检查其中的不同部分。没有现有系统旨在融合这种全局信息。
9.通常，cnn处理的图像基于局部特征，这对于组织图像而言可能是混乱的。例如，细胞核的暗斑是癌细胞的特征。然而，由于处理的差异，一些切片的斑点可能整体较暗。然而，通过仅查看局部信息，医生难以对这些切片做出正确的决定。
10.此外，典型的cnn对图像中物体的大小敏感，而同一对象(例如，细胞核)的大小以不同的幅度变化。提出的解决这个问题的一种方案是为每个分辨率训练单独的cnn模型。然而，这将显著地增加模型的大小和计算成本。提出的另一种方案是融合不同幅度的训练样本，并针对不同分辨率训练一个模型。然而，这种方法会降低cnn的性能。
11.本文公开的内容解决了上述问题，并提出了一种从显微图像检测细胞级组织病变的有效系统。此外，本公开提出了一种修改的cnn，以在进行计算时实现全局信息的集成。此外，这种修改的cnn利用单个模型独立地处理不同的分辨率，以便降低计算成本而不降低性能。


技术实现要素：

12.本文公开了一种自动检测显微镜图像上的病变的cad系统。系统可以将放大的组织图像(例如，msi或wsi)作为输入，并自动处理图像，以识别图像上的病变或异常组织(例如癌细胞)。系统可分割病变区域并将病变分类为亚型。与传统系统不同，这里公开的系统可以分层处理图像，并且能够融合来自不同尺度的信息。所公开的系统也符合医生和病理学家的普遍做法：通过切换镜头的放大倍数来检查不同尺度的组织。
13.根据实施例的一个方面，提供了一种检测组织病变的方法，包括：从用户界面接收图像数据，所述图像数据包括原始图像数据；通过至少一个第一卷积神经网络传递所述图像数据，从而基于所述图像数据生成第一卷积神经网络特征，并且基于所述图像数据生成第一图像分割数据；通过至少一个第二卷积神经网络，传递所述第一卷积神经网络特征和所述第一图像分割数据，从而连接和加权所述第一图像分割数据，并生成第二图像分割数据；以及，分析所述第二图像分割数据，从而检测存在的组织病变。
14.根据实施例的另一个方面，所述图像数据可以包括多个分辨率尺度，并且，所述第一卷积神经网络特征可以包括为所述多个分辨率尺度中的每个分辨率尺度独立计算的特征。
15.根据实施例的另一个方面，所述第一图像分割数据可以是课程分割数据，其中，所述课程分割数据可以小于所述原始图像数据，并且所述课程分割数据的每个像素可以指示所述原始图像数据中的对应区域的类别。
16.根据实施例的另一个方面，所述第一图像分割数据可以是基于单个图像计算的。
17.根据实施例的另一个方面，所述第一图像分割数据可以通过传递来自不同图像视图和尺度的全局特征进行加权，以创建多层感知。
18.根据实施例的另一个方面，所述通过所述至少一个第一卷积神经网络传递所述图像数据，所述通过所述至少一个第二卷积神经网络传递所述第一卷积神经网络特征和所述第一图像分割数据，以及所述分析可以是实时执行的。
19.根据实施例的另一个方面，所接收到的图像数据可以来自显微镜图像、或全切片图像、或所述显微镜图像和所述全切片图像。
20.根据实施例的另一个方面，所述方法可以进一步包括将检测到的组织病变分类为亚型。
21.根据实施例的另一个方面，所述方法可以进一步包括显示分析结果。
22.根据实施例的另一个方面，所述分析结果可以显示在计算机上或通过增强现实显示。
23.根据实施例的另一个方面，提供了一种装置，包括：至少一个存储器，用于存储计算机程序代码；以及，至少一个处理器，用于访问所述至少一个存储器，根据所述计算机程序代码进行操作，所述计算机程序代码包括：接收代码，用于使得所述至少一个处理器从用户界面接收图像数据，所述图像数据包括原始图像数据；第一传递代码，用于使得所述至少一个处理器通过至少一个第一卷积神经网络传递所述图像数据，从而基于所述图像数据生成第一卷积神经网络特征，并且基于所述图像数据生成第一图像分割数据；第二传递代码，用于使得所述至少一个处理器通过至少一个第二卷积神经网络，传递所述第一卷积神经网络特征和所述第一图像分割数据，从而连接和加权所述第一图像分割数据，并生成第二图
像分割数据；以及，分析代码，用于使得所述至少一个处理器分析所述第二图像分割数据，从而检测存在的组织病变。
24.根据实施例的另一个方面，所述图像数据可以包括多个分辨率尺度，并且，所述第一卷积神经网络特征可以包括为所述多个分辨率尺度中的每个分辨率尺度独立计算的特征。
25.根据实施例的另一个方面，所述第一图像分割数据可以是课程分割数据，其中，所述课程分割数据可以小于所述原始图像数据，并且所述课程分割数据的每个像素可以指示所述原始图像数据中的对应区域的类别。
26.根据实施例的另一个方面，所述第一传递代码可以进一步用于基于单个图像计算第一图像分割数据。
27.根据实施例的另一个方面，所述第二传递代码可以进一步用于通过传递来自不同图像视图和尺度的全局特征，对所述第一图像分割数据进行加权，以创建多层感知。
28.根据实施例的另一个方面，所述接收代码、所述第一传递代码和所述第二传递代码可以配置为实时操作。
29.根据实施例的另一个方面，所接收到的图像数据可以来自显微镜图像、或全切片图像、或所述显微镜图像和所述全切片图像。
30.根据实施例的另一个方面，所述计算机程序代码可以进一步包括分类代码，用于使得所述至少一个处理器将检测到的组织病变分类为亚型。
31.根据实施例的另一个方面，所述计算机代码可以进一步包括显示代码，用于使得所述至少一个处理器显示分析结果。
32.根据实施例的另一个方面，提供了一种非易失性计算机可读介质，所述非易失性计算机可读介质存储指令，所述指令包括一个或多个指令，当由设备的一个或多个处理器执行时，使得所述一个或多个处理器执行操作，包括：从用户界面接收图像数据，所述图像数据包括原始图像数据；通过至少一个第一卷积神经网络传递所述图像数据，从而基于所述图像数据生成第一卷积神经网络特征，并且基于所述图像数据生成第一图像分割数据；通过至少一个第二卷积神经网络，传递所述第一卷积神经网络特征和所述第一图像分割数据，从而连接和加权所述第一图像分割数据，并生成第二图像分割数据；以及，分析所述第二图像分割数据，从而检测存在的组织病变。
附图说明
33.图1是根据实施例的可以在其中实施本文描述的方法、装置和系统的环境的示意图。
34.图2是由在此描述的装置和系统的实现方式提供的环境的图示。
35.图3是本文描述的方法、装置和系统的实施例的示意图。
36.图4是根据本公开实施例的各种组件的示意图400。
37.图5示出了根据本公开实施例的流程图。
具体实施方式
38.为了使本技术的目标、技术方案和优点更加清晰和可理解，将参考附图进一步详
细描述实施例。应该理解的是，本文中描述的具体实现仅用于解释本技术，而不是限制本技术。
39.图1是计算机辅助诊断系统的应用环境的示意图，其中，计算机辅助诊断系统基于多分辨率特征融合在显微镜图像上检测组织病变。如图1所示，相机11可以捕获显微镜5下的视图。计算机1可以基于捕获的图像计算并生成图形。用户可以在显微镜5下观察组织切片6。计算结果的反馈可以存储并显示在计算机监视器2上，或显微镜5的增强现实监视器10上，或作为计算机生成的语音提供，或打印在打印机3提供的纸上。
40.当装载新的切片时，系统可以开始收集显微镜5下的组织照片。可以将获取照片的变焦透镜的参数一起发送到计算机1。系统可以融合该信息并生成诊断。诊断可以包括：组织类型、是否有异常发现、癌症等异常发现的类型、异常发现的照片和照片上异常发现的区域。
41.图1所示的系统部件可以包括：显微镜5，放大和检查切片6的设备。当切换物镜时，显微镜5可以向计算机1发送信号，以指示当前正在使用物镜的计算机，或者计算机1发送请求信号以获取此类信息。数码相机11可以安装在透镜管上，以捕获显微镜5下的视图。增强现实(augmented reality，ar)透镜10可以安装在目镜上，以将虚拟屏幕覆盖在切片6的视图顶部。计算机1可以是图像计算和数据存储设备。麦克风(未示出)可以是用户用来控制系统的语音输入设备。监视器2可以显示结果。打印机3可以打印结果。扬声器4可以提供计算机生成的语音。
42.系统的核心可以是图像处理系统，该图像处理系统能够融合来自不同视图和不同尺度的信息。图3示出了系统的一种实现方式。
43.图3是公开的多尺度多视图显微镜图像处理系统300的图示。该系统由多个cnn(梯形)和多层感知器(矩形)组成。圆角矩形表示系统300的输入和输出数据。箭头指示系统300内的数据流。
44.如图2所示，系统可以包括级联的cnn。首先，可以将图像传递到cnn_a 302，以计算低阶特征。然后，对于每个分辨率尺度，可以独立地计算cnn_bi 303。根据图像的尺度(由透镜参数7给出)，可以将低阶特征传递到对应的cnn_bi303-305以计算粗略分割。粗略分割可以小于原始图像，并且每个像素可以指示原始图像上的对应区域的类别。cnn_c 307可恢复粗略分割的空间分辨率，以生成初始分割。cnn_a 302中的低阶特征可被复制并连接到cnn_c 307中，以帮助恢复分辨率。可以纯粹基于单个图像，而没有任何上下文信息，计算初始分割。然后，可以通过融合其他视图和其他尺度的信息来修正初始分割。
45.这里，初始分割可以与原始图像连接。如果可用，来自较低和较高分辨率尺度的重采样分割也可以连接在一起。然后，可以将连接的图像传递到cnn_d 313和cnn_e 314中，以计算最终分割。在cnn_d 313中，可以对多个卷积层进行加权。可以通过将来自其他视图和其他尺度的全局特征传递到多层感知器中，从而计算权重。由cnn_d 313计算的卷积特征可以作为图像的代表性特征，并与全局特征融合以供进一步使用。
46.所提出的图像处理系统还可以扩展为实时处理大图像。对于msi，图像通常非常大。典型的cnn可能需要花几秒钟来完成整个图像的处理。因此，获得结果需要一定的等待时间，这会损害用户体验。然而，使用当前公开的系统，首先可以将图像下采样为低分辨率尺度，但是足够小以可实时计算。
47.在计算完成之后，可以立即显示结果，所以用户可以得到快速反馈。然后，系统可以开始逐片处理原始但高分辨率的图像，同时更新结果。这样，用户可以不断的实时接收更新的结果。此外，通过融合以低分辨率计算的特征和分割，结果将比直接处理原始图像精确。
48.图5示出了根据本公开实施例的流程图500。方便地，流程图500示出了基于多分辨率特征融合在显微镜图像上自动检测组织病变的能力。
49.在s501，从用户界面输入医学成像。在s502，通过至少一个第一cnn传递医学成像的图像数据，从而基于图像数据生成第一卷积神经网络cnn特征，并基于图像数据生成第一图像分割数据。在s503，通过至少一个第二卷积神经网络，传递第一cnn特征和第一图像分割数据，从而连接和加权第一图像分割数据，并生成第二图像分割数据。在s504，分析第二图像分割数据，从而检测组织病变(如果存在)。
50.根据本公开提供的某些优点，所公开的系统可以实时地在显微镜图像上进行分类、定位和分割病变。该系统可以改进传统的cnn，以在同一切片上融合先前不同视图和不同尺度的观察结果。该系统可以降低针对不同尺度训练单独cnn的成本而不降低准确性。
51.此外，所公开的系统可以分级地处理大图像，与计算步骤同时更新结果。因此，用户不需要等待计算结束才检查结果。相反，用户可以首先得到粗略结果，然后显示器会不断更新修正后的结果，直到计算完成。
52.此外，可以通过增加或减少卷积层来修改网络架构。此外，所公开的系统可以扩展到处理其他类型的大图像数据，例如，卫星遥感图像。
53.本文公开的技术可以通过计算机可读指令实现为计算机软件，并且物理地存储在一个或多个计算机可读介质中。例如，图4示出了计算机系统400，其适于实现所公开主题的某些实施例。
54.所述计算机软件可通过任何合适的机器代码或计算机语言进行编码，通过汇编、编译、链接等机制创建包括指令的代码，所述指令可由计算机中央处理单元(cpu)，图形处理单元(gpu)等直接执行或通过译码、微代码等方式执行。
55.所述指令可以在各种类型的计算机或其组件上执行，包括例如个人计算机、平板电脑、服务器、智能手机、游戏设备、物联网设备等。
56.图4所示的用于计算机系统400的组件本质上是示例性的，并不用于对实现本技术实施例的计算机软件的使用范围或功能进行任何限制。也不应将组件的配置解释为与计算机系统400的示例性实施例中所示的任一组件或其组合具有任何依赖性或要求。
57.计算机系统400可以包括某些人机界面输入设备。这种人机界面输入设备可以通过触觉输入(如：键盘输入、滑动、数据手套移动)、音频输入(如：声音、掌声)、视觉输入(如：手势)、嗅觉输入(未示出)，对一个或多个人类用户的输入做出响应。所述人机界面设备还可用于捕获某些媒体，气与人类有意识的输入不必直接相关，如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止影像相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。
58.人机界面输入设备可包括以下中的一个或多个(仅绘出其中一个)：键盘401、鼠标402、触控板403、触摸屏410、操纵杆405、麦克风406、扫描仪407和照相机408。例如，相机408可以是用于心脏计算机断层扫描的x射线设备或其他医疗技术，从中可以获得s101或s501
的图像。
59.计算机系统400还可以包括某些人机界面输出设备。这种人机界面输出设备可以通过例如触觉输出、声音、光和嗅觉/味觉来刺激一个或多个人类用户的感觉。这样的人机界面输出设备可包括触觉输出设备(例如通过触摸屏410、或操纵杆405的触觉反馈，但也可以有不用作输入设备的触觉反馈设备)、音频输出设备(例如，扬声器409、耳机(未示出))、视觉输出设备(例如，包括阴极射线管屏幕、液晶屏幕、等离子屏幕、有机发光二极管屏的屏幕410，其中每一个都具有或没有触摸屏输入功能、每一个都具有或没有触觉反馈功能——其中一些可通过诸如立体画面输出的手段输出二维视觉输出或三维以上的输出；虚拟现实眼镜(未示出)、全息显示器和放烟箱(未示出))以及打印机(未示出)。
60.计算机系统400还可以包括人可访问的存储设备及其相关介质，如包括具有cd/dvd的高密度只读/可重写式光盘(cd/dvd rom/rw)420或类似介质421的光学介质、拇指驱动器422、可移动硬盘驱动器或固体状态驱动器423，诸如磁带和软盘(未示出)的传统磁介质，诸如安全软件保护器(未示出)等的基于rom/asic/pld的专用设备，等等。
61.本领域技术人员还应当理解，结合所公开的主题使用的术语“计算机可读介质”不包括传输介质、载波或其它瞬时信号。
62.计算机系统400还可以包括通往一个或多个通信网络的接口。例如，网络可以是无线的、有线的、光学的。网络还可为局域网、广域网、城域网、车载网络和工业网络、实时网络、延迟容忍网络等等。网络还包括以太网、无线局域网、蜂窝网络(gsm、3g、4g、5g、lte等)等局域网、电视有线或无线广域数字网络(包括有线电视、卫星电视、和地面广播电视)、车载和工业网络(包括canbus)等等。某些网络通常需要外部网络接口适配器，用于连接到某些通用数据端口或外围总线449(例如，计算机系统400的usb端口)；其它系统通常通过连接到如下所述的系统总线集成到计算机系统400的核心(例如，以太网接口集成到pc计算机系统或蜂窝网络接口集成到智能电话计算机系统)。通过使用这些网络中的任何一个，计算机系统400可以与其它实体进行通信。所述通信可以是单向的，仅用于接收(例如，无线电视)，单向的仅用于发送(例如can总线到某些can总线设备)，或双向的，例如通过局域或广域数字网络到其它计算机系统。上述的每个网络和网络接口可使用某些协议和协议栈。
63.上述的人机界面设备、人可访问的存储设备以及网络接口可以连接到计算机系统400的核心440。
64.核心440可包括一个或多个中央处理单元(cpu)441、图形处理单元(gpu)442、以现场可编程门阵列(fpga)443形式的专用可编程处理单元、用于特定任务的硬件加速器444等。这些设备以及只读存储器(rom)145、随机存取存储器446、内部大容量存储器(例如内部非用户可存取硬盘驱动器、固态硬盘等)447等可通过系统总线448进行连接。在某些计算机系统中，可以以一个或多个物理插头的形式访问系统总线448，以便可通过额外的中央处理单元、图形处理单元等进行扩展。外围装置可直接附接到核心的系统总线448，或通过外围总线449进行连接。外围总线的体系结构包括外部控制器接口pci、通用串行总线usb等。
65.cpu 441、gpu 442、fpga 443和加速器444可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在rom 445或ram446中。过渡数据也可以存储在ram 446中，而永久数据可以存储在例如内部大容量存储器447中。通过使用高速缓冲存储器可实现对任何存储器设备的快速存储和检索，高速缓冲存储器可与一个或多个
cpu 441、gpu 442、大容量存储器447、rom 445、ram 446等紧密关联。
66.所述计算机可读介质上可具有计算机代码，用于执行各种计算机实现的操作。介质和计算机代码可以是为本技术的目的而特别设计和构造的，也可以是计算机软件领域的技术人员所熟知和可用的介质和代码。
67.作为实施例而非限制，具有体系结构400的计算机系统，特别是核心440，可以作为处理器(包括cpu、gpu、fpga、加速器等)提供执行包含在一个或多个有形的计算机可读介质中的软件的功能。这种计算机可读介质可以是与上述的用户可访问的大容量存储器相关联的介质，以及具有非易失性的核心440的特定存储器，例如核心内部大容量存储器447或rom 445。实现本技术的各种实施例的软件可以存储在这种设备中并且由核心440执行。根据特定需要，计算机可读介质可包括一个或一个以上存储设备或芯片。该软件可以使得核心740特别是其中的处理器(包括cpu、gpu、fpga等)执行本文所述的特定过程或特定过程的特定部分，包括定义存储在ram 446中的数据结构以及根据软件定义的过程来修改这种数据结构。另外或作为替代，计算机系统可以提供逻辑硬连线或以其它方式包含在电路(例如，加速器444)中的功能，该电路可以代替软件或与软件一起运行以执行本文所述的特定过程或特定过程的特定部分。在适当的情况下，对软件的引用可以包括逻辑，反之亦然。在适当的情况下，对计算机可读介质的引用可包括存储执行软件的电路(如集成电路(ic))，包含执行逻辑的电路，或两者兼备。本技术包括任何合适的硬件和软件组合。
68.附图中出现的参考数字的部分列表如下所示：
69.1:计算机(computer),
70.2:监视器(monitor),
71.3:打印机(printer)。
72.4:扬声器(speaker),
73.5:显微镜(microscope),
74.6:组织切片(tissue slide),
75.7:镜头参数(lens param),
76.8:变焦镜头(zoom lens),
77.9:观察者(observer),
78.10:增强现实设备(augmented reality device),
79.11:相机(camera),
80.12:多视图融合(multi-view fusion),
81.13:多尺度融合(multi-scale fusion),
82.300:多尺度多视角显微图像处理系统(multi-scale multi-view microscopy image processing system),
83.301:图像(image),
84.302:卷积神经网络_a(cnn_a),
85.303-305:卷积神经网络_bi(cnn_bi)
86.306:分割(segmentation),
87.307:卷积神经网络_c(cnn_c),
88.308:低点分割(low segmentation),
89.309:初始分割(initial segmentation),
90.310:高点分割(high segmentation),
91.311:全局特征(global features),
92.312:多层感知器(multi-layer perception),
93.313:卷积神经网络_d(cnn_d),
94.314:卷积神经网络_e(cnn_e),
95.315:融合(fuse),
96.316:新的全局特征(new global features),
97.317:最终分割(final segmentation),
98.318:连接开关(connection switch),
99.319:连接(concatenation),以及，
100.320:权重(weighting),
101.上述公开提供了说明和描述，但并非旨在穷举或将实施限制为所公开的精确形式。根据上述公开内容可以进行修改和变化，或者可以从实施方式的实践中获得修改和变化。
102.如本文所用，术语组件旨在广义地解释为硬件、固件或硬件和软件的组合。
103.显然，这里描述的系统和/或方法可以使用不同形式的硬件、固件或硬件和软件的组合来实现。用于实施这些系统和/或方法的实际专用控制硬件、或软件代码不限制实现。因此，在没有参考特定软件代码的情况下，在本文描述系统和/或方法的操作和行为——应当理解，可以设计软件和硬件，以基于本文的描述来实现系统和/或方法。
104.尽管在权利要求中记载，和/或，在说明书中公开了多个特征的特定组合，但这些组合并不旨在限制可能实施方式的公开。事实上，这些特征中的许多特征可以以权利要求中未具体记载和/或说明书中未公开的方式组合。尽管下面列出的每个从属权利要求可能仅直接依赖于一个权利要求，但可能实现的公开包括每个从属权利要求与权利要求集合中的所有其他权利要求的组合。
105.除非明确说明，否则此处使用的任何元素、行为或指令均不应被解释为关键或必要的。此外，如本文所用，冠词“一个(a)”和“一个(an)”旨在包括一个或多个项目，并且可以与“一个或多个”互换使用。此外，如本文所用，术语“集合(set)”旨在包括一个或多个项目(例如，相关项目、不相关项目、相关项目和不相关项目的组合等)，并且可以与“一个或多个”互换使用。如果仅打算使用一项，则使用术语“一个(one)”或类似的语言。此外，如本文所用，术语“具有(has)”、“具有(have)”、“具有(having)”等意为开放式术语。此外，除非另有明确说明，否则短语“基于(based on)”旨在表示“至少部分基于(based,at least in part,on)”。