一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像处理方法、装置及其相关设备和存储介质与流程

2021-10-19 23:31:00 来源:中国专利 TAG: 图像处理 及其相关 装置 医学 方法


1.本技术涉及医学图像处理技术领域,特别是涉及一种图像处理方法、装置及其相关设备和存储介质。


背景技术:

2.通过对血管进行成像,可以通过观察血管的形态诊断相关血管疾病。目前,多种血管成像技术已被应用于临床实践中,如电子计算机断层扫描血管造影(cta,computed tomography angiography)、核磁共振血管造影(mra,magnetic resonance angiography)等。
3.目前,对血管的诊断需要对扫描得到的原始图像进行后处理重建,例如,对血管的斑块的诊断需要先对原始图像进行后处理得到曲面重建图像。通常曲面重建图像等后处理医学图像的生成需要依赖于血管的中心线。因此,血管中心线是否准确对后处理医学图像的形成存在很大影响。


技术实现要素:

4.本技术提供一种图像处理方法、装置及其相关设备和存储介质。
5.为解决上述技术问题,本技术采用的一个技术方案是:提供一种图像处理方法,该方法包括:获取包含至少一根血管的第一血管医学图像;确定第一血管医学图像中的目标血管;基于目标血管的中心线检测结果,在第一血管医学图像中形成目标血管的中心线,得到包括中心线的第二血管医学图像;显示目标血管相关的医学图像,其中,目标血管相关的医学图像包括第二血管医学图像。
6.利用对目标血管的中心线的检测结果,能够实现自动形成血管上的中心线,而无需用户手动确定中心线,提高了中心线形成的效率,减少了用户的等待时间;并且,在生成目标血管的中心线后,能够在目标血管上显示中心线,使得用户可对自动形成的中心线进行评估,以快速确定目标血管的中心线的检测是否准确或者是否存在断裂等其他问题,可使得中心线的准确性有所保证,进而可提高利用该中心线生成的医学图像的准确性。
7.其中,在显示目标血管相关的医学图像之后,图像处理方法还包括:响应于用户对第二血管医学图像的调整操作,对第二血管医学图像进行调整,并显示调整后的第二血管医学图像;和/或,响应于用户的血管选择操作,将用户选择的血管作为新的目标血管,并重新执行基于目标血管的中心线检测结果,在第一血管图医学像中形成目标血管的中心线及其后续步骤。
8.因此,通过对第二血管医学图像的调整,使得第二血管图像更加精准,进而可提高基于第二血管医学图像生成的医学图像的准确性。
9.其中,对第二血管医学图像进行调整,包括以下任意一种:对第二血管医学图像进行血管调整,其中,血管调整包括对血管的中心线进行调整和/或对血管的区域进行调整;在第二血管医学图像中的用户指定位置添加用户输入的文字;删除用户在第二血管医学图
像的用户选择区域内增加的内容;对第二血管医学图像进行移动、缩放和旋转中的至少一种;将用户在第二血管医学图像中选择的血管作为调整后的第二血管医学图像。
10.因此,通过设置多种调整操作,使得第二血管医学图像能够基于自身存在的问题进行调整,从而使得第二血管医学图像更加精准。
11.其中,对血管的中心线进行调整,包括以下任一步骤:对第二血管医学图像中用户选择的中心线进行第一突出显示;对第二血管医学图像中用户选择的中心线进行移动操作;将第二血管医学图像中的中心线与用户为中心线添加的线段进行连接,形成新的中心线;对第二血管医学图像中的中心线和/或用户为中心线添加的线段进行角度调整;对血管的区域进行调整,包括以下任一步骤:调整血管在第二血管医学图像中的位置和/或长度;在第二血管医学图像中生成新的血管。
12.因此,通过对血管中心线的调整,可以使得生成的中心线更加精准且不会存在断裂等其他问题;或者,通过对血管区域的调整,可以避免血管分割错误而对中心线的检测产生影响。
13.其中,目标血管相关的医学图像还包括目标血管的曲面重建图像;在对第二血管医学图像进行调整,并显示调整后的第二血管医学图像之后,图像处理方法还包括:响应于用户的确认操作,利用血管调整的内容更新目标血管的中心线,并基于更新的中心线生成新的曲面重建图像,或者,将血管调整的内容发送给服务器,并接收服务器反馈的新的曲面重建图像;利用新的曲面重建图像,更新显示的曲面重建图像。
14.因此,通过基于调整后的第二血管医学图像生成新的曲面重建图像并更新显示,以使用户能够通过查看更新的医学图像,从而确认是否还有需要调整的地方,提高曲面重建图像的精准度。
15.其中,响应于用户对第二血管医学图像的调整操作,对第二血管医学图像进行调整,包括:响应于用户对显示界面的功能区域中工具项的选择操作,对第二血管医学图像进行与选择的工具项匹配的调整;响应于用户的血管选择操作,将用户选择的血管作为新的目标血管,包括:响应于用户对显示界面的功能区域中血管标记的选择操作,将用户选择的血管标记对应的血管作为新的目标血管。
16.因此,通过在显示界面设置显示功能区域,方便用户通过功能区域中的工具项对第二血管医学图像进行调整操作。
17.其中,目标血管相关的图像还包括以下至少一者:目标血管的曲面重建图像、曲面重建图像中目标血管的指定位置对应的血管切面图、曲面重建图像的血管拉直图、目标血管的最大密度投影重建图像、包含目标血管的医学扫描图像、对目标部位进行扫描得到的若干医学扫描图像的缩略图;其中,目标血管属于目标部位,血管切面图所在的平面垂直于曲面重建图像所在的平面;其中,血管医学图像、曲面重建图像、血管切面图、血管拉直图、最大密度投影重建图像、医学扫描图像和缩略图显示在同一显示界面上或不同显示界面上。
18.因此,通过在显示界面显示与病灶诊断相关的医学图像,能够辅助用户快速对病灶进行诊断。
19.其中,血管图像、曲面重建图像、血管切面图、血管拉直图、最大密度投影重建图像中的两者及以上是响应于用户的同一操作而基于预设阅片规则生成的;显示曲面重建图像
之后,图像处理方法还包括:响应于用户对曲面重建图像的第一预设操作,确定与第一预设操作匹配的显示角度,并重新显示与显示角度匹配的曲面重建图像;显示医学扫描图像,包括:显示医学扫描图像,并将医学扫描图像中目标血管进行第二突出显示。
20.因此,通过对曲面重建图像进行角度调整操作,以使显示界面重新显示与显示角度匹配的曲面重建图像,从而辅助用户对病灶的诊断。
21.其中,第一血管医学图像和第二血管医学图像为血管三维图像,第一血管医学图像是基于医学扫描图像的血管分割结果生成的,血管分割结果是利用第一深度学习方式对医学扫描图像进行处理得到的;中心线检测结果是利用第二深度学习方式对第一血管医学图像进行处理得到的;显示目标血管相关的图像,包括:显示第二血管医学图像,并在第二血管医学图像上显示至少一根血管的名称。
22.因此,通过深度学习的方式对第一血管医学图像和第二血管医学图像进行处理,能够实现对中心线和血管的自动检测,且使得中心线和血管的检测更加准确。
23.其中,图像处理方法还包括:显示关于血管的至少一种病灶信息;和/或,基于血管的检测信息和病灶信息,生成并显示诊断辅助信息,响应于用户的第二预设操作,对诊断辅助信息进行复制或修改。
24.因此,通过显示血管的至少一种病灶信息,能够向用户提示关于病灶的信息,从而辅助用户对病灶的诊断,避免误诊或漏诊。
25.为解决上述技术问题,本技术采用的另一个技术方案是:提供一种图像处理装置,该图像处理装置包括:获取模块,用于获取包含至少一根血管的第一血管医学图像;确定模块,用于确定第一血管医学图像中的目标血管;生成模块,用于基于目标血管的中心线检测结果,在第一血管医学图像中形成目标血管的中心线,得到包括中心线的第二血管医学图像;显示模块,用于显示目标血管相关的医学图像,其中,目标血管相关的医学图像包括第二血管医学图像。
26.为解决上述技术问题,本技术采用的另一个技术方案是:提供一种图像处理设备,该图像处理设备包括处理器和存储器,存储器存储有程序指令,处理器用于执行上述的图像处理方法。
27.为解决上述技术问题,本技术采用的另一个技术方案是:提供一种计算机可读存储介质,该计算机可读存储介质存储有程序指令,程序指令能够被执行以实现上述的图像处理方法。
28.上述方案,利用对目标血管的中心线的检测结果,能够实现自动形成目标血管的中心线,而无需用户手动确定中心线,提高了中心线形成的效率,减少了用户的等待时间;并且,在生成目标血管的中心线后,能够在目标血管上显示中心线,使得用户可对自动形成的中心线进行评估,以快速确定目标血管的中心线的检测是否准确或者是否存在断裂等其他问题,进而后续若经用户对自行形成的中心线进行确认之后,可使得中心线的准确性有所保证,进而可提高利用该中心线生成的医学图像的准确性。
附图说明
29.图1是本技术提供的图像处理方法一实施例的流程示意图;
30.图2是本技术提供的血管医学图像一实施例的示意图;
31.图3是本技术提供的医学扫描图像一实施例的示意图;
32.图4是本技术提供的曲面重建图像一实施例的示意图;
33.图5是本技术提供的曲面重建图像的血管拉直图一实施例的示意图;
34.图6是本技术提供的显示界面一实施例的示意图;
35.图7是本技术提供的图像处理方法另一实施例的流程示意图;
36.图8是本技术提供的图像处理装置一实施例的结构示意图;
37.图9是本技术提供的图像处理设备一实施例的结构示意图;
38.图10是本技术提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
39.为使本技术的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本技术进一步详细说明。
40.本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括a、b、c中的至少一种,可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
41.用于执行本技术的图像处理方法的设备,例如是包含有显示屏的电子设备,如计算机、平板、手机或者是特定功能设备(如用于医疗信息处理的设备)等,在此不做具体限定。
42.请参阅图1

6,图1是本技术提供的图像处理方法一实施例的流程示意图,图2是本技术提供的血管医学图像一实施例的示意图,图3是本技术提供的医学扫描图像一实施例的示意图,图4是本技术提供的曲面重建图像一实施例的示意图,图5是本技术提供的曲面重建图像的血管拉直图一实施例的示意图,图6是本技术提供的显示界面一实施例的示意图。需注意的是,若有实质上相同的结果,本实施例并不以图1所示的流程顺序为限。如图1所示,本实施例包括:
43.步骤s11:获取包含至少一根血管的第一血管医学图像。
44.本实施例的方法用于处理并显示与血管相关的医学图像,例如,曲面重建图像、曲面重建图像的血管拉直图等。血管医学图像是在医疗技术领域通过成像技术对血管进行成像得到的图像,可基于血管医学图像来检查一些与血管相关的疾病,在需要诊断头颈部的血管时,血管医学图像是对头颈部扫描得到的。其中,血管医学图像可以是对医学扫描图像进行后处理得到的图像,医学扫描图像可以是通过电子计算机断层扫描(ct,computed tomography)技术得到的血管造影图像,该血管造影图像也可称为cta图像;当然,医学扫描图像也可以是通过核磁共振血管造影(mra,magnetic resonance angiography)技术得到的血管造影图像。可以理解,在其他实施方式中,也可以是通过其他血管成像技术得到血管造影图像,在此不做具体限定。
45.在一实施方式中,如图2所示,第一血管医学图像为血管三维图像,血管三维图像使得用户能够多角度、多层次地观察到血管的情况,例如,血管中病灶的情况,相对于血管
二维图像能够获得更多有关于血管的信息,从而能够使得用户做出准确的诊断,避免误诊。并且,第一血管医学图像是基于医学扫描图像的血管分割结果生成的三维图像,也就是说,第一血管医学图像中的血管只包括诊断所需要的血管或者说只包括某个部位的血管,换句话说,可以通过血管分割使得第一血管医学图像中只包括一根血管,也可以通过血管分割使得第一血管医学图像中只包括需要诊断的几根血管等。由于人体中各部位的血管是有连接或者缠绕关系的,例如,需要对人体颈部的血管进行诊断,实际需要获取人体脑部和颈部等的血管的医学扫描图像,以保证获取到的颈部的血管的完整性,而在实际的诊断的过程中,其他部位的血管可能会对用户的诊断产生影响,所以需要先对医学扫描图像上的血管进行分割,避免其他部位血管的存在对诊断产生影响。可以理解,在其他实施方式中,第一血管医学图像也可是未经血管分割的血管三维图像,或者也可以是血管二维图像,可根据实际使用需要具体设置,在此不做具体限定。
46.其中,血管分割的结果是利用第一深度学习方式对医学扫描图像进行处理得到的。传统的血管分割中,是将血管增强后的图像减去血管增强前的图像以得到血管分割结果,所以患者需要接受两次扫描辐射;相比于传统的血管分割,本技术可直接利用第一深度学习方式基于医学扫描图像,例如基于cta图像,自动进行处理以得到血管分割的结果,也就是说,采用本技术的方式获取血管分割的结果,患者可减少一次辐射,减小了后续构建其他血管三维图像所需的时间,例如,减小后续构建重建图像所需的时间,另外,通过第一深度学习方式得到的血管分割结果更加精准,有利于后续重建图像的构建,并且减少用户手动分割血管的时间,减轻用户的工作负担。其中,第一深度学习方式涉及的算法或者网络模型在此不做具体限定,可根据实际使用需要具体设置。
47.由于血管分割结果影响着后续中心线的检测,所以为了避免利用第一深度学习的方式获得的血管分割的结果存在不精准的情况,在一实施方式中,用户可通过调整操作对血管分割结果进行调整,具体的调整方式根据血管分割结果存在的问题而定。
48.进一步地,为了便于用户更加清楚直观地观察到血管的情况,例如,血管的分割情况,在一实施方式中,如图2所示,第一血管医学图像,即基于血管分割结果生成的血管三维图像,以容积渲染的方式进行显示。可以理解,在其他实施方式中,第一血管医学图像也可以以其他易于用户观察的方式进行显示。
49.如图3所示,上述的医学扫描图像即电子计算机断层扫描血管造影图像,该血管造影图像是利用ct技术得到的医学图像,血管三维图像是对cta图像进行三维重建得到的图像。其中,可以是服务器对获取到的医学扫描图像进行处理得到第一血管医学图像,服务器通过将第一血管医学图像传输至设备,以使设备获取到第一血管医学图像;也可以是设备自身对医学扫描图像进行处理得到的第一血管医学图像。
50.步骤s12:确定第一血管医学图像中的目标血管。
51.本实施方式中,第一血管医学图像是基于血管分割结果生成的,也就是说,第一血管医学图像中仅包括有需要诊断的血管,需要诊断的血管可以是某一部位的某一根血管,但为了减少生成第一血管医学图像的计算量,第一血管医学图像包括的血管也可以是基于人体某一部位的多根血管。如果第一血管医学图像中仅包括一根血管,那么该血管即被确定为目标血管;如果第一血管医学图像包括多根血管,那么可以确定其中一条为目标血管,在需要对多根血管进行诊断时,那么第一血管医学图像中的多根血管均可以为目标血管。
52.其中,目标血管可以由用户确定,也可由设备或者服务器自行确定。在此不做具体限定。举例来说,以目标血管由用户确定为例,如图2所示,用户可以通过指针在第一血管医学图像上点击血管来确定目标血管,其中,可在生成第一血管医学图像时通过预设的深度学习方式识别第一血管医学图像上的各血管并进行命名,并在第一血管医学图像上对应血管的位置标注血管名称21,从而能够便于用户对目标血管的选择并确定;或者,通过预设的深度学习方式在第一血管医学图像相邻的区域生成包含有血管名称的列表22,用户可通过指针在血管名称的列表22上进行选择操作以确定目标血管。用户在血管名称的列表22中选择血管,此时第一血管医学图像中被选中的血管可突出显示,以使用户能够基于显示的血管确定目标血管选择是否有误;或者,也可在第一血管医学图像对应血管的位置标注血管名称21的同时,在第一血管医学图像相邻的区域上生成包含有血管名称的列表22,两者结合共同确定目标血管。
53.在一具体的实施例中,第一医学图像中包括有四根血管,通过预设的深度学习方式确定四根血管分别为左侧颈内动脉(l

ica,left internal

carotid

artery)、右侧颈内动脉(r

ica,right internal

carotid

artery)、左椎动脉(l

va,left value analysis)和右椎动脉(r

va,right value analysis),并将血管名称21标注于第一医学图像中对应的血管处,以便于用户区分第一医学图像上的各个血管,从而辅助用户对目标血管的确定。
54.步骤s13:基于目标血管的中心线检测结果,在第一血管医学图像中形成目标血管的中心线,得到包括中心线的第二血管医学图像。
55.本实施方式中,如图2所示,基于目标血管的中心线23检测结果,能够实现在第一血管医学图像中的目标血管上自动形成中心线23,从而得到包括有中心线23的第二血管医学图像,而无需用户手动确定中心线23,提高了中心线23形成的效率,从而缩短了生成例如曲面重建图像等后处理医学图像的时间,进而减少了用户的等待时间。也就是说,第二血管医学图像和第一血管医学图像的区别仅在于目标血管上是否形成有中心线23,所以第二血管医学图像也是血管三维图像。由于第二血管医学图像同第一血管医学图像一样,是以容积渲染的方式进行显示,为了保证用户能够从第二血管医学图像上观察到中心线23的检测情况,可通过调整中心线23相对于目标血管的亮度、对比度等,以使形成的中心线23在目标血管上清楚显示。
56.在一实施方式中,通过对第一血管医学图像的目标血管进行中心线检测,以得到目标血管的中心线检测结果。例如,需要诊断的是颈内动脉、椎动脉,则确定颈内动脉和椎动脉为目标血管,那么此时会在第一血管医学图像上找到颈内动脉和椎动脉中的起点和终点,基于颈内动脉的起点和终点提取得到颈内动脉的中心线以及基于椎动脉的起点和终点提取得到椎动脉的中心线,从而得到颈内动脉和椎动脉的中心线检测结果。
57.其中,中心线的检测结果是利用第二深度学习方式对第一血管医学图像进行处理得到的。传统的中心线检测过程都是用户在工作站中以半自动模式进行编辑得到的,相比于传统的中心线检测方式,本技术可直接利用第二深度学习方式基于第一血管医学图像自动进行检测得到中心线,提高了中心线检测的精准度和效率。其中,第二深度学习方式涉及的算法或者网络模型在此不做具体限定,可根据实际使用需要具体设置。
58.上述的中心线的检测结果是否精准影响着与目标血管相关的医学图像的生成。举例来说,假设目标血管视为特殊的管道,那么该管道的表面则是由球心沿着某一曲线(中轴
线)滚动包络而成,也就是说,管道的中轴线直接影响形成的管道表面,血管的中心线可看作是中轴线,所以中心线的检测结果直接影响着需要基于中心线生成的曲面重建图像或者其他医学图像的构建。基于此,为了避免利用深度学习方式获得的中心线的检测结果存在不精准的情况,在一实施方式中,用户可通过调整操作对目标血管的中心线的检测结果进行调整,从而使得中心线的准确性有所保证,进而可提高利用该中心线生成的医学图像的准确性。
59.步骤s14:显示目标血管相关的医学图像。
60.本实施方式中,可在显示界面上显示与目标血管相关的医学图像。其中,目标血管相关的医学图像包括第二血管医学图像,也就是说,会在显示界面上显示第二血管医学图像,也即,会在显示界面显示目标血管以及在目标血管上显示其对应的中心线,使得用户可对自动形成的中心线进行评估,以使用户可快速确定目标血管的中心线的检测是否精准或者检测的中心线是否存在断裂等其他问题,从而缩短后续基于第二血管医学图像生成的其他医学图像的时间,进而减小用户的等待时间。其中,显示界面可以是设备的显示屏,或者其他能够用以显示内容的界面,可根据实际使用具体设置,在此不做具体限定。
61.进一步地,为了便于用户确定第二血管医学图像上的血管,在一实施方式中,第二血管医学图像上显示至少一根血管的名称,显示有血管名称的血管可以是目标血管,通过在第二血管医学图像中的目标血管上对应显示血管名称,使得用户能够从显示的第二血管医学图像上快速且直接地获知目标血管的位置以及目标血管为哪些血管,提高了用户的阅片速度。可以理解,在其他实施方式中,显示有血管名称的血管也可以是除目标血管以外的其他血管,在此不做具体限定。
62.其中,在目标血管为多根时,在无需用户的操作指令下,各目标血管的血管名称直接且同时显示在第二血管医学图像上。当然,各目标血管的血管名称也可以是基于用户的选择操作单一在第二血管医学图像上显示。例如,如图2所示,以在第二血管医学图像上单一显示目标血管的血管名称21为例,第二血管医学图像的左侧显示区域显示有对应目标血管名称的列表22,用户可通过选择血管名称的列表22中的血管的名称或者在第二血管医学图像上选中某一目标血管,响应于用户的选择操作,第二血管医学图像中对应的目标血管上显示血管名称21。上述提及的血管名称21可通过预设的深度学习方式对各目标血管进行识别并命名,预设的深度学习方式所涉及的算法或者网络模型可根据使用需要具体设置,在此不做具体限定。
63.上述实施方式中,当目标血管为一根时,在显示第二血管医学图像时会对应在目标血管上显示中心线。而当目标血管为多根时,在显示第二血管医学图像时,多根目标血管的中心线可以同时显示在对应的目标血管上;或者,也可以是基于用户的选择操作单一在第二血管医学图像上显示,在多根目标血管情况下如何显示中心线可根据实际使用需要具体设置,在此不做具体限定。
64.举例来说,以多根目标血管的中心线不同时显示为例。如图2所示,第二血管医学图像位于显示界面的右侧区域,第二血管医学图像中包括有四根目标血管,并且该四根目标血管对应形成有中心线23;显示界面的左侧区域显示有对应目标血管的名称列表22“l

ica”、“r

ica”、“l

ra”和“r

va”,且第二血管医学图中的各目标血管上对应显示有血管名称21;用户可通过点击血管的名称列表22中目标血管的名称或者通过点击第二血管医学图
像上的目标血管以选中一目标血管,此时被选中的目标血管的中心线23在第二血管医学图像中显示。如图2所示,当前被选中的目标血管为“l

ica”,此时第二血管医学图像的目标血管“l

ica”上显示有其对应的中心线23。
65.在其他实施方式中,目标血管相关的医学图像还可包括如图4所示的曲面重建图像4a、如图4所示的曲面重建图像4a中目标血管的指定位置对应的血管切平面图4b、如图5所示的曲面重建图像4a的血管拉直图5b、最大密度投影重建图像、如图3所示的包含目标血管的医学扫描图像或者如图2所示的对目标部位进行扫描得到的若干医学扫描图像的缩略图2a等,在此不做具体限定。其中,对于包含目标血管的医学扫描图像或者对目标部位进行扫描得到的若干医学扫描图像的缩略图2a来说,目标血管是属于该目标部位的;对于曲面重建图像4a中目标血管的指定位置对应的血管切平面图4b来说,血管切平面图4b所在的平面垂直于曲面重建图像4a所在的平面,具体地,血管切平面即图4中区域4b所示,其中,区域4b中,包括白色外边框的子区域为血管的指定位置即区域4a中白色指针对应位置的血管切平面,位于包括白色外边框的子区域上部分的子区域为区域4a中血管的指定位置上部分区域所对应的血管切平面,位于包括白色外边框的子区域下部分的子区域为区域4a中血管的指定位置下部分区域所对应的血管切平面。
66.在一实施方式中,目标血管相关的医学图像可以同时显示在同一显示界面上,也可以显示在不同显示界面上。例如,如图6所示,目标血管相关的医学图像同时显示在同一显示界面上,目标血管相关的医学图像包括有医学扫描图像、曲面重建图像、曲面重建图像中目标血管的指定位置对应的血管切平面图、第二血管医学图像和对目标部位进行扫描得到的若干医学扫描图像的缩略图。其中,显示界面的第一区域61显示医学扫描图像,第二区域62显示曲面重建图像,第三区域63显示血曲面重建图像中目标血管的指定位置对应的血管切平面图,第四区域64显第二血管医学图像,第五区域65显示对目标部位进行扫描得到的若干医学扫描图像的缩略图。通过将目标血管相关的医学图像显示在同一界面上,从而使得用户能够同时观察到与血管相关的医学图像,进而使得用户能够较直观地比较各医学图像,达到辅助医生诊断的目的,提高诊断效率和准确性;并且,各医学图像在同一界面上分区域显示,显示界面清楚明了,避免显示内容杂糅。另外,同一界面上不同区域显示的医学图像可根据用户的阅片习惯进行调换。
67.其中,血管图像、曲面重建图像、血管切面图、血管拉直图、最大密度投影重建图像中的两者及以上是响应于用户的同一操作而基于预设阅片规则生成的,也就是说,用户可通过同一操作生成并显示两个或多个符合预设阅片规则的医学图像。例如,以曲面重建图像和血管拉直图为例,预设阅片规则是以第一角度生成医学图像,用户可通过同一操作直接生成第一角度下的曲面重建图像和血管拉直图,以使上述两个医学图像以第一角度同时在显示界面上显示。
68.需要说明的是,本技术的实施例中,对目标血管相关的医学图像的显示,是为了用户可直观地观察到与血管相关的多个医学图像,以便于用于能够从多角度判断血管中是否存在病灶,提高用户的诊断效率和准确性。进一步地,为了能够辅助用户对医学图像的查看即辅助用户对血管中病灶的诊断,在一实施方式中,设备或者服务器会获取医学图像中关于血管的至少一种病灶的信息,并对血管的至少一种病灶的信息进行显示,以使用户在查看医学图像中的病灶的同时能够得到与病灶相关的信息,例如,病灶的形态参数、病灶的类
型等,从而辅助用户对病灶的诊断,提高用户的诊断效率和准确性;并且,向用户显示的病灶的信息可以是多样性的,能够提供丰富的诊断信息,有助于缩短用户对病灶治疗方案的制定时间。可以理解,在其他实施方式中,也可通过语音播报或者其他等方式以提示医学图像中的至少一种病灶的信息,具体可根据实际使用需要具体设置,在此不做具体限定。
69.其中,服务器或者设备可以通过预设的深度学习方式对医学扫描图像进行检测处理以得到至少一种病灶的信息。相比于用户直接通过肉眼基于医学扫描图像判定血管中是否存在病灶,本实施例在获取到血管的医学图像时能够自动进行病灶检测,从而提高对病灶检测的速度和准确性,避免误诊或漏诊;另外,在对病灶进行检测的同时能够自动获取到病灶的相关信息,从而帮助用户评估病灶存在的风险,以及能够辅助用户制定相关的治疗方案。
70.在一些实施方式中,在显示病灶的信息时,病灶的信息可与医学图像一并显示。在其他实施方式中,病灶的信息也可单独进行显示,即病灶的信息不随医学图像一并显示。具体如何对病灶的信息进行显示,可根据实际使用需要具体设置,在此不做具体限定。
71.在一些实施方式中,病灶的信息可以与医学扫描图像或者基于该医学扫描图像生成的后处理医学图像一并显示,其中,后处理医学图像可以是血管三维图像、曲面重建图像、曲面重建图像的血管拉直图或者最大密度投影重建图像等,在此不做具体限定。在一些具体实施例中,可将病灶的信息与病灶对应的医学图像一并显示,以便于用户基于对应医学图像的病灶信息快速对病灶进行诊断。例如,动脉瘤是基于医学扫描图像检测得到的,斑块是基于曲面重建图像检测得到的,即动脉瘤对应的医学图像为医学扫描图像,斑块对应的医学图像为曲面重建图像,因此,可将动脉瘤的信息与医学扫描图像一并显示,斑块的信息与曲面重建图像一并显示。需要说明的是,病灶的信息也可不与病灶对应的医学图像一并显示,例如,当病灶包括有多个时,将该多个病灶的信息与某一医学图像一并显示。具体如,若病灶包括斑块和动脉瘤,则斑块和动脉瘤的信息与医学扫描图像一并显示。
72.可以理解的是,上述实施方式中,在病灶的信息与医学图像一并在显示界面显示的情况下,病灶的信息和医学图像可在同一显示界面上分区域显示,由此使得显示界面清晰直观,便于用户对病灶的诊断。在其他实施方式中,病灶的信息也可与医学图像同区域显示,即病灶的信息显示在医学图像上,例如,可在医学图像的血管上对应病灶的位置处显示该病灶的信息,具体可将该病灶的区域进行突出显示,和/或文字显示相关病灶显示等,具体如何显示可不做限定。
73.在一实施方式中,在用户确认显示的医学图像及病灶信息无误后,本技术还能够利用预设的深度学习方式,根据病灶的检测信息和病灶的信息自动生成并显示诊断辅助信息,即自动生成能够辅助用户诊断的结构化的文字内容,从而辅助医生完成诊断报告的撰写,减少诊断报告撰写所耗费的时间,从而减少病人等待诊断报告的时间,并且能够规范不同用户撰写报告时的风格和习惯。其中,结构化的文字内容也可进行复制或修改。具体地,设备响应于用户的第二预设操作,自动对诊断辅助信息进行复制或修改并且基于结构化的报告内容,能够提高医生的阅片和诊断效率。另外,用户可将确认无误的医学图像及相关信息发送给医学影像系统供其他用户查看,或者也可以通过界面上胶片功能进行显示界面内容的打印。
74.请参阅图7,图7是本技术提供的图像处理方法另一实施例的流程示意图。需注意
的是,若有实质上相同的结果,本实施例并不以图7所示的流程顺序为限。如图7所示,本实施例包括:
75.步骤s71:获取包含至少一根血管的第一血管医学图像。
76.步骤s71与上述实施例中步骤s11类似,在此不再赘述。
77.步骤s72:确定第一血管医学图像中的目标血管。
78.步骤s72与上述实施例中步骤s12类似,在此不再赘述。
79.步骤s73:基于目标血管的中心线检测结果,在第一血管医学图像中形成目标血管的中心线,得到包括中心线的第二血管医学图像。
80.步骤s73与上述实施例中步骤s13类似,在此不再赘述。
81.步骤s74:显示目标血管相关的医学图像。
82.步骤s74与上述实施例中步骤s14类似,在此不再赘述。
83.步骤s751:响应于用户对第二血管医学图像的调整操作,对第二血管医学图像进行调整。
84.在一实施方式中,用户在显示界面查看到第二血管医学像后,会基于显示的内容确定是否需要对第二血管医学图像进行调整。例如,用户可通过第二血管医学图像确认血管分割是否正确,也可以通过第二血管医学图像确认目标血管上的中心线位置是否准确或者是否存在缺失等情况,从而决定是否对第二血管医学图像进行调整。
85.其中,对第二血管医学图像的调整操作可根据第二血管医学图像中存在的具体问题而定。在一具体的实施方式中,对第二血管医学图像的调整操作可以包括以下任意一种:对第二血管医学图像进行血管调整,例如是血管的区域调整或者血管的中心线调整等;在第二血管医学图像中的用户指定位置添加用户输入的文字,即可在第二血管医学图像上添加标注信息等;删除用户在第二血管医学图像的用户选择区域内增加的内容,例如,删除用户添加的文字或者对中心线修改的线段等;对第二血管医学图像进行移动、缩放和旋转中的至少一种;将用户在第二血管医学图像中选择的血管作为调整后的第二血管医学图像,也就是说,将第二血管医学图像调整为只显示选择的血管,也即,在显示界面上,将选择的血管进行全页面显示,以使第二血管医学图像在显示界面上只显示选择的血管,而并非修改了第二血管医学图像。
86.在一实施方式中,对第二血管医学图像进行血管调整可以是对血管的中心线的调整。例如,可以是对第二血管医学图像中用户选择的中心线进行第一突出显示,也就是说,将选择的中心线进行例如以高亮形式的突出显示,以使用户能够更清楚直观地观察到中心线,使得用户可对自动形成的中心线进行评估;也可以是对第二血管医学图像中用户选择的中心线进行移动操作;也可以是将第二血管医学图像中的中心线与用户为中心线添加的线段进行连接,形成新的中心线;也可以是对第二血管医学图像中的中心线和/或用户为中心线添加的线段进行角度调整,以使中心线更符合血管的形态构成。
87.在其他实施方式中,对第二血管医学图像进行血管调整也可以是对血管区域的调整,也就是说,对血管分割的结果进行调整。例如,通过血管分割结果得知血管分割的不够精准,存在某一分割后的血管过长或过短的情况,则需要调整该血管在第二血管医学图像中的长度;而通过血管分割结果得知存在某一血管缺失,则需要在第二血管医学图像中生成新的血管;或者,也可通过移动、缩放或旋转等调整血管在第二血管医学图像上的位置。
88.为了便于用户对第二血管医学图像的调整,在一实施方式中,显示界面上显示有功能区域,功能区域上的工具项可用于对第二血管医学图像进行调整。如图2所示,位于第二血管医学图像左侧的区域中包括有功能区域2b,功能区域2b中包括有多个工具项,目前显示的工具项为设备中的基本工具项。其中,工具项从左至右,从上之下依次是:显示界面的显示布局工具、全局显示被选择血管的工具、调节中心线或者血管的亮度或对比度等的工具、对选中目标进行平移的工具、放大工具、文字工具、线段工具、测量角度工具以及刷新页面工具。在其他实施方式中,还可包括删除工具、重置工具等,在此不做具体限定。进一步地,对于血管中心线的调整以及血管区域调整涉及的工具项存在不同,在一实施方式中,血管中心线调整对应的工具项和血管区域调整对应的工具项可分区域同时显示,也可在需要进行相应调整时显示在功能区域2b中。
89.在一具体的实施方式中,用户可通过对显示界面的功能区域中的工具项进行选择,设备响应于用户的选择操作,对第二血管医学图像进行与选择的工具项匹配的调整。
90.步骤s752:显示调整后的第二血管医学图像。
91.本实施方式中,基于用户对第二血管医学图像的调整后,显示界面会显示调整后的第二血管医学图像,以使用户可通过显示界面确认调整后的第二血管医学图像是否还有其他需要调整的地方。
92.步骤s753:获取基于经调整后的第二血管医学图像生成的新的曲面重建图像。
93.其中,对于血管的斑块等病灶的诊断需要基于曲面重建图像等,所以在对血管的斑块进行检测时,需要先获取基于第二血管医学图像生成的曲面重建图像等。曲面重建图像是对医学扫描图像中的一条或者多条血管进行曲面重建得到的,也就是说,曲面重建图像可以是对医学扫描图像中的一条血管进行曲面重建,此时,曲面重建图像中只包括该血管;曲面重建图像也可以是对医学扫描图像中的多个血管进行曲面重建,此时曲面重建图像中包括上述的多根血管。曲面重建图像的血管拉直图是将曲面重建图像上的某一根血管进行拉直处理得到的图像,曲面重建图像的血管拉直图有利于对斑块的狭窄程度进行诊断分析。在具体构建目标血管的曲面重建图像时是基于第二血管医学图像上目标血管的中心线和医学扫描图像上的目标血管的,所以在显示医学扫描图像时会将目标血管进行第二突出显示,从而能够更准确地对目标血管的曲面重建图像进行构建。
94.本实施方式中,响应于用户的确认操作即在用户确认经调整后的第二血管医学图像没有问题后,利用血管调整后的内容更新目标血管的中心线,并自动基于更新的中心线生成新的曲面重建图像。在其他实施方式中,对于是服务器计算生成曲面重建图像的,在用户确认操作后,将血管调整的内容发送给服务器,服务器基于更新的中心线生成新的曲面重建图像,此时将生成的新的曲面重建图像发送给设备,以使设备获取基于经调整后的第二血管医学图像生成的新的曲面重建图像。
95.举例来说,如图2所示,以服务器计算生成曲面重建图像为例,用户可通过“发送”端口将调整后的第二血管医学图像发送给服务器,以使服务器能够基于调整后的第二血管医学图像生成新的曲面重建图像;而在显示界面显示的第二血管医学图像以及其他医学图像无误时,无需执行本实施例中涉及调整的步骤,此时可通过“发送”端口发送给医学影像系统,以使除用户以外的其他用户均可查看,同时,也可通过“胶片”端口对显示界面的内容进行打印。
96.步骤s754:利用新的曲面重建图像,更新显示的曲面重建图像。
97.本实施方式中,通过将获取到的新的曲面重建图像呈现在显示界面上,以向用户显示新的曲面重建图像,使得显示界面上的曲面重建图像得以更新。
98.进一步地,为了便于用户更快更准确地对基于曲面重建图像或者其他医学图像对病灶进行诊断,在一实施方式中,还可进一步地基于预设阅片规则即用户的阅片规则对曲面重建图像进行调整,使得曲面重建图像以符合预设规则的形式显示在显示界面上。例如,预设阅片规则可以是在显示界面上以预设角度显示曲面重建图像,或者也可以是在显示界面上以预设角度显示曲面重建图像的血管拉直图等,在此不做具体限定。在其他实施方式中,曲面重建图像也可直接基于预设阅片规则生成,避免后续进一步地调整,从而实现一次性生成符合用户阅片习惯的医学图像,相比于机械式或者重复式地截图操作以获得符合预设规则的医学图像,本技术能够减少用户的工作负担,提高了医学图像的生成效率。另外,用户也可进一步地对显示的医学图像进行筛选、删除或者发送等操作。
99.步骤s755:响应于用户对曲面重建图像的第一预设操作,确定与第一预设操作匹配的显示角度,并重新显示与显示角度匹配的曲面重建图像。
100.本实施方式中,即便能够基于预设规则在显示界面上显示曲面重建图像,但可能该预设规则不利于对当前病灶的诊断,所以用户可通过对曲面重建图像进行第一预设操作以改变曲面重建图像的显示角度。具体地,用户可对显示界面上显示的曲面重建图像进行第一预设操作,其中,第一预设操作可以是对曲面重建图像显示的角度调整,所以在用户进行第一预设操作时,设备会自动确定与第一预设操作匹配的显示角度,并在显示界面上重新显示与显示角度匹配的曲面重建图像。其中,用户可将30
°
作为调整量对曲面重建图像的显示角度进行调整,也就是说,每一次对曲面重建图像的显示角度的调节量均为30
°
。在其实施方式中,也可将20
°
、35
°
或者其他度数作为曲面重建图像的调整量,在此不做具体限定。
101.在其他实施方式中,如果用户确认曲面重建图像符合预设规则且对病灶的判断无影响时,也即无需调整时,可不执行步骤s755。
102.步骤s761:响应于用户的血管选择操作,将用户选择的血管作为新的目标血管。
103.其中,用户可能会临时需要对除目标血管以外的其他血管进行诊断,则此时需要对应显示有与增加血管相关的医学图像。在一实施方式中,用户通过对显示界面的功能区域中显示的血管标记进行选择,以将选择的血管标记对应的血管作为新的目标血管,并重新执行基于目标血管的中心线检测结果,在第一血管医学图像中形成目标血管的中心线及其后续步骤,即返回执行步骤s73及其后续的步骤,以便于后续对该目标血管的其他医学图像进行构建生成,从而辅助用户对该目标血管的诊断。
104.请参阅图8,图8是本技术提供的图像处理装置一实施例的结构示意图。该实施方式中,图像处理装置80包括获取模块81、确定模块82、生成模块83和显示模块84。获取模块81用于获取包含至少一根血管的第一血管医学图像。确定模块82用于确定第一血管医学图像中的目标血管。生成模块83用于基于目标血管的中心线检测结果,在第一血管医学图像中形成目标血管的中心线,得到包括中心线的第二血管医学图像。显示模块84用于显示目标血管相关的医学图像,其中,目标血管相关的医学图像包括第二血管医学图像。
105.其中,上述的生成模块83在显示目标血管相关的医学图像之后,具体还包括:响应
于用户对第二血管医学图像的调整操作,对第二血管医学图像进行调整,并显示调整后的第二血管医学图像;和/或,响应于用户的血管选择操作,将用户选择的血管作为新的目标血管,并重新执行基于目标血管的中心线检测结果,在第一血管医学图像中形成目标血管的中心线及其后续步骤。
106.其中,上述对第二血管医学图像进行调整,包括以下任意一种:对第二血管医学图像进行血管调整,其中,血管调整包括对血管的中心线进行调整和/或对血管的区域进行调整;在第二血管医学图像中的用户指定位置添加用户输入的文字;删除用户在第二血管医学图像的用户选择区域内增加的内容;对第二血管医学图像进行移动、缩放和旋转中的至少一种;将用户在第二血管医学图像中选择的血管作为调整后的第二血管医学图像。
107.其中,上述对血管的中心线进行调整,包括以下任一步骤:对第二血管医学图像中用户选择的中心线进行第一突出显示;对第二血管医学图像中用户选择的中心线进行移动操作;将第二血管医学图像中的中心线与用户为中心线添加的线段进行连接,形成新的中心线;对第二血管医学图像中的中心线和/或用户为中心线添加的线段进行角度调整;对血管的区域进行调整,包括以下任一步骤:调整血管在第二血管医学图像中的位置和/或长度;在第二血管医学图像中生成新的血管。
108.其中,上述的目标血管相关的医学图像还包括目标血管的曲面重建图像;上述生成模块83在对第二血管医学图像进行调整,并显示调整后的第二血管医学图像之后,具体还包括:响应于用户的确认操作,利用血管调整的内容更新目标血管的中心线,并基于更新的中心线生成新的曲面重建图像,或者,将血管调整的内容发送给服务器,并接收服务器反馈的新的曲面重建图像;利用新的曲面重建图像,更新显示的曲面重建图像。
109.其中,上述生成模块83响应于用户对第二血管医学图像的调整操作,对第二血管医学图像进行调整,具体包括:响应于用户对显示界面的功能区域中工具项的选择操作,对第二血管医学图像进行与选择的工具项匹配的调整;响应于用户的血管选择操作,将用户选择的血管作为新的目标血管,包括:响应于用户对显示界面的功能区域中血管标记的选择操作,将用户选择的血管标记对应的血管作为新的目标血管。
110.其中,上述的目标血管相关的图像还包括以下至少一者:目标血管的曲面重建图像、曲面重建图像中目标血管的指定位置对应的血管切面图、曲面重建图像的血管拉直图、目标血管的最大密度投影重建图像、包含目标血管的医学扫描图像、对目标部位进行扫描得到的若干医学扫描图像的缩略图;其中,目标血管属于目标部位,血管切面图所在的平面垂直于曲面重建图像所在的平面;其中,血管医学图像、曲面重建图像、血管切面图、血管拉直图、最大密度投影重建图像、医学扫描图像和缩略图显示在同一显示界面上或不同显示界面上。
111.其中,上述的血管图像、曲面重建图像、血管切面图、血管拉直图、最大密度投影重建图像中的两者以上是响应于用户的同一操作而基于预设阅片规则生成的;上述生成模块83显示曲面重建图像之后,具体还包括:响应于用户对曲面重建图像的第一预设操作,确定与第一预设操作匹配的显示角度,并重新显示与显示角度匹配的曲面重建图像;显示医学扫描图像,包括:显示医学扫描图像,并将医学扫描图像中目标血管进行第二突出显示。
112.其中,上述的第一血管医学图像和第二血管医学图像为血管三维图像,第一血管医学图像是基于医学扫描图像的血管分割结果生成的,血管分割结果是利用第一深度学习
方式对医学扫描图像进行处理得到的,中心线检测结果是利用第二深度学习方式对第一血管医学图像进行处理得到的;上述显示模块84显示目标血管相关的医学图像,具体包括:显示第二血管医学图像,并在第二血管医学图像上显示至少一根血管的名称。
113.其中,上述显示模块84具体还包括:显示关于血管的至少一种病灶信息;和/或,上述生成模块83基于血管的检测信息和病灶信息,生成并显示诊断辅助信息,响应于用户的第二预设操作,对诊断辅助信息进行复制或修改。
114.请参阅图9,图9是本技术提供的图像处理设备一实施例的结构示意图。该实施方式中,图像处理设备90包括处理器91和存储器93。
115.处理器91还可以称为cpu(central processing unit,中央处理单元)。处理器91可能是一种集成电路芯片,具有信号的处理能力。处理器91还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器91也可以是任何常规的处理器91等。
116.电子设备90中的存储器93存储有处理器91运行所需的程序指令。
117.处理器91用于执行程序指令以实现上述本技术图像处理方法任一实施例及任意不冲突的组合所提供的方法。
118.请参阅图10,图10是本技术提供的计算机可读存储介质一实施例的结构示意图。本技术实施例的计算机可读存储介质100存储有程序指令101,该程序指令101被执行时实现本技术图像处理方法任一实施例以及任意不冲突的组合所提供的方法。其中,该程序指令101可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质100中,以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质100包括:u盘、移动硬盘、只读存储器(rom,read

only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
119.以上所述仅为本技术的实施方式,并非因此限制本技术的专利范围,凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本技术的专利保护范围内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献