一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种超声成像方法及超声成像设备与流程

2022-12-23 13:29:08 来源:中国专利 TAG:

一种超声成像方法及超声成像设备
1.本公开基于申请号为201811623609.9、申请日为2018年12月28日、发明名称为“一种超声成像方法及超声成像设备”的中国专利申请提出,在该中国专利申请记载的范围内提出分案,该中国专利申请的全部内容在此引入本公开作为参考。
技术领域
2.本技术实施例涉及医学诊断技术,涉及但不限于一种超声成像方法及超声成像设备。


背景技术:

3.产前超声检查是准妈妈在妊娠期间必须检查的最重要项目之一,其主要作用包括测定胎儿年龄、分析胎儿发育情况、检测胎儿畸形或异常、为胎儿拍摄照片与动态录像等等。其中,胎儿肋骨数量异常和脊髓圆锥末端位置是产前超声重点筛查检测的项目之一。
4.胎儿肋骨(或椎骨)数量异常(或病变)与胎儿染色体异常疾病和一些临床综合征通常都具有一定的关联,如三体综合征、胸廓发育不良综合征、i型骨发育不良症等。在胎儿时期,脊髓圆锥末端的位置对于早期筛查脊髓栓系综合征有重要意义。由于胎儿脊髓圆锥末端位置并不固定随胎龄的变化而变化,因先天性原因造成脊髓纵向牵拉,脊髓发生病理性改变时脊髓圆末端位置下降,由此引起的神经损害症候群称为脊髓栓系综合征。如未能在产检中发现这些先天异常,将给患者家庭和社会带来巨大精神和经济负担,甚至造成患者在新生儿期因胸廓畸形导致呼吸困难而死亡。
5.超声作为一种安全、方便、无创、可重复性高的成像技术,二维和三维超声可特征性的反应胎儿肋骨、胎儿脊柱及椎体的异常,已经成为医生诊断胎儿肋骨异常检查的首选方式。其中,二维超声可以从矢状面、横断面和冠状面上对胎儿肋骨和脊髓进行检查,能全面了解胎儿肋骨、胎儿脊柱和脊髓的情况;而三维超声在胎儿肋骨和脊髓检查中能克服二维超声空间感缺乏、保真度差、定位困难等问题。然而,现阶段医生采用三维超声做胎儿肋骨和脊髓检查时仍需要大量的纯手动操作,该检查目前仍存在如下痛点:
6.检查时胎儿可能处于各种体位,采集三维超声容积时需要以胎儿脊柱的正中矢状面为起始平面。获取胎儿肋骨和胎儿脊柱的三维体数据后,需要医生对三维空间有非常深刻的理解,才能够在三维超声下通过多次手动旋转和平移几何操作以及虚拟显示(virtual reality,vr)选取感兴趣区域(voi)裁剪操作,确定出胎儿出现缺失和病变的肋骨的准确位置或确定脊髓圆锥的准确位置。


技术实现要素:

7.有鉴于此,本技术实施例提供了一种超声成像方法及超声成像设备。
8.本技术实施例的技术方案是这样实现的:
9.一方面,本技术实施例提供了一种超声成像方法,应用于超声成像设备,所述方法包括:
10.获取第一待测组织的三维体数据;从所述第一待测组织的三维体数据中识别出胎儿脊柱的三维体数据和胎儿肋骨的三维体数据;对所述胎儿脊柱的三维体数据和所述胎儿肋骨的三维体数据进行渲染,得到胎儿肋骨结构的三维超声图像;在所述胎儿肋骨结构的三维超声图像中对胎儿肋骨进行标记;输出标记后的胎儿肋骨结构的三维超声图像。
11.一方面,本技术实施例提供了一种超声成像方法,应用于超声成像设备,所述方法包括:获取第二待测组织的三维体数据;从所述第二待测组织的三维体数据中识别出脊髓圆锥的三维体数据和腰椎的三维体数据;对所述脊髓圆锥的三维体数据和所述腰椎的三维体数据进行渲染,得到椎骨结构的三维超声图像;在所述椎骨结构的三维超声图像中对所述脊髓圆锥进行标记;输出标记后的所述椎骨结构的三维超声图像。
12.一方面,本技术实施例提供了一种超声成像方法,应用于超声成像设备,所述方法包括:获取胎儿的三维体数据;基于胎儿肋骨的特征,从所述胎儿的三维体数据中识别出胎儿肋骨的三维体数据;根据识别的胎儿肋骨的三维体数据,获得经过所述胎儿肋骨的三维体数据中的至少两根肋骨并与所述胎儿肋骨的三维体数据中的多根胎儿肋骨的排列面平行或重合的第一平面或第一曲面和/或获得经过所述胎儿肋骨的三维体数据中的至少一根肋骨并与所述胎儿肋骨的三维体数据中的多根胎儿肋骨的排列面相交的第二平面或第二曲面;根据识别的胎儿肋骨的三维体数据,获得所述第一平面或第一曲面上的图像和/或获得所述第二平面或第二曲面上的图像;将所述第一平面或第一曲面上的图像显示为二维图像和/或将所述第二平面或第二曲面上的图像显示为二维图像。
13.一方面,本技术的实施例中,提供了一种超声成像方法,应用于超声成像设备,所述方法包括:获取胎儿的三维体数据;基于胎儿脊髓圆锥的特征,从所述胎儿的三维体数据中识别出脊髓圆锥区域;根据识别出的脊髓圆锥区域,确定脊髓圆锥区域的位置;显示所述脊髓圆锥区域的位置。
14.一方面,本技术实施例提供了一种超声成像设备,包括:
15.探头;
16.发射电路,激励所述探头向第一待测组织发射超声波;
17.接收电路,通过所述探头接收从所述第一待测组织返回的超声回波以获得超声回波信号;
18.处理器,处理所述超声回波信号以获得标记后的胎儿肋骨结构的三维超声图像;
19.显示器,显示标记后的胎儿肋骨结构的三维超声图像;
20.其中,所述处理器还执行如下步骤:
21.根据所述超声回波信息获取第一待测组织的三维体数据;
22.从所述第一待测组织的三维体数据中识别出胎儿脊柱的三维体数据和胎儿肋骨的三维体数据;
23.对所述胎儿脊柱的三维体数据和所述胎儿肋骨的三维体数据进行渲染,得到所述胎儿肋骨结构的三维超声图像;
24.在所述胎儿肋骨结构的三维超声图像中对胎儿肋骨进行标记;
25.输出标记后的胎儿肋骨结构的三维超声图像。
26.一方面,本技术实施例提供了一种超声成像设备,包括:
27.探头;
28.发射电路,激励所述探头向第二待测组织发射超声波;
29.接收电路,通过所述探头接收从所述第二待测组织返回的超声回波以获得超声回波信号;
30.处理器,处理所述超声回波信号以获得标记后的椎骨结构的三维超声图像;
31.显示器,显示标记后的椎骨结构的三维超声图像;
32.其中,所述处理器还执行如下步骤:
33.根据所述超声回波信息获取第二待测组织的三维体数据;
34.从所述第二三维体数据中识别出脊髓圆锥的三维体数据和腰椎的三维体数据;
35.对所述脊髓圆锥的三维立体数据和所述腰椎的三维体数据进行渲染,得到所述椎骨结构的三维超声图像;
36.在所述椎骨结构的三维超声图像中对所述脊髓圆锥进行标记;
37.输出标记后的所述椎骨结构的三维超声图像。
38.本技术实施例中,从第一待测组织的三维数据中识别出胎儿脊柱的三维数据和胎儿肋骨的三维数据,或从第二待测组织的三维数据中识别出脊髓圆锥的三维数据和腰椎的三维数据,对识别出的三维数据进行渲染,得到胎儿肋骨结构的三维超声图像或脊柱的三维超声图像,并在显示的三维超声图像中对胎儿肋骨或脊髓圆锥进行标记;如此,从三维体数据中识别和检测胎儿肋骨或脊髓圆锥的位置,自动统计胎儿肋骨的数量和计算脊髓圆锥与腰椎的相对位置,简化了胎儿肋骨或脊髓圆锥位置检查的工作流,提高了检查效率,让医生从复杂耗时的操作中解放出来,并减少胎儿肋骨或脊髓圆锥位置检查对检查医生技术的依赖性,提高检查效率。
附图说明
39.图1为本技术实施例提供的超声成像设备的结构示意图一;
40.图2为本技术实施例提供的超声成像方法的流程示意图一;
41.图3为本技术实施例提供的超声成像方法的流程示意图二;
42.图4为本技术实施例提供的超声成像方法的流程示意图三;
43.图5为本技术实施例提供的超声成像方法的流程示意图四;
44.图6为本技术实施例提供的超声成像方法的流程示意图五;
45.图7为胎儿肋骨示意图;
46.图8为相关技术中手动绘制解剖轨迹示意图;
47.图9为脊髓圆锥示意图;
48.图10为本技术实施例提供的超声成像设备的组成结构示意图二;
49.图11为胎儿肋骨结构中胎儿肋骨的排列顺序示意图;
50.图12为本技术实施例中胎儿肋骨结构中胎儿肋骨和脊柱的拉直方向示意图;
51.图13为本技术实施例中所有肋骨横切面显示示意图;
52.图14为本技术实施例中指定肋骨横切面显示示意图;
53.图15为本技术实施例中胎儿肋骨结构的三维骨架效果示意图;
54.图16为本技术实施例中vr图像中脊髓圆锥的标注效果示意图。
具体实施方式
55.以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处所提供的实施例仅仅用以解释本技术,并不配置为限定本技术。另外,以下所提供的实施例是配置为实施本技术的部分实施例,而非提供实施本技术的全部实施例,在不冲突的情况下,本技术实施例记载的技术方案可以任意组合的方式实施。
56.图1为本技术实施例中的超声成像设备10的结构框图示意图。该超声成像设备10可以包括探头100、发射电路101、发射/接收选择开关102、接收电路103、波束合成电路104、处理器105和显示器106。发射电路101可以激励探头100向目标对象发射超声波。接收电路103可以通过探头100接收从目标对象返回的超声回波,从而获得超声回波信号。该超声回波信号经过波束合成电路104进行波束合成处理后,送入处理器105。处理器105对该超声回波信号进行处理,以获得目标对象的超声图像。处理器105获得的超声图像可以存储于存储器107中。这些超声图像可以在显示器106上显示。
57.其中,目标对象包括第一待测组织和第二待测组织中的至少一种。第一待测组织包括胎儿肋骨结构,第二待测组织包括脊柱。
58.本技术实施例提供一种超声成像方法,应用于图1所示的超声成像设备,如图2所示,所述方法包括:
59.s201、获取第一待测组织的三维体数据;
60.第一待测组织包括:胎儿肋骨结构和胎儿肋骨结构以外的组织,比如:羊水区域、胎盘、子宫壁等组织。
61.医生可通过探头对孕妇进行扫查,获取第一待测组织的三维体数据。
62.这里,胎儿肋骨结构属于高回声区域,在超声图像中显示为高灰度。
63.s202、从所述第一待测组织的三维体数据中识别出胎儿脊柱的三维体数据和胎儿肋骨的三维体数据;
64.基于s201获得第一待测组织的三维体数据后,从获取的三维体数据中识别出胎儿脊柱的三维体数据和胎儿肋骨的三维体数据。这里,识别胎儿脊柱的三维体数据和胎儿肋骨的三维体数据,至少包括以下两种识别方式中的一种:
65.识别方式一、先将胎儿肋骨结构整体作为识别对象从第一待测组织的三维体数据中识别出胎儿肋骨结构的三维体数据,再从胎儿肋骨结构的三维体数据中识别出胎儿肋骨结构中的胎儿肋骨的三维体数据。
66.识别方式二、直接将胎儿肋骨作为识别对象从第一待测组织的三维体数据中识别出胎儿肋骨的三维体数据。
67.其中,在识别方式一中,从所述第一待测组织的三维体数据中识别出所述胎儿肋骨结构的三维体数据;将所述胎儿肋骨结构的三维体数据从所述第一待测组织的三维体数据中分割出来;从所述胎儿肋骨结构的三维体数据中识别出胎儿脊柱的三维体数据和胎儿肋骨的三维体数据。
68.在识别方式二中,基于第一肋骨检测模型,分别将不同的胎儿肋骨或胎儿脊柱作为不同的识别对象,从所述第一待测组织的三维体数据中识别出所述胎儿脊柱的三维体数据和所述胎儿肋骨的三维体数据。
69.s203、对所述胎儿脊柱的三维体数据和所述胎儿肋骨的三维体数据进行渲染,得
到胎儿肋骨结构的三维超声图像;
70.在s202中识别出第一待测组织中所包括的胎儿肋骨的三维体数据和脊柱的三维体数据后,对所述胎儿脊柱的三维体数据和所述胎儿肋骨的三维体数据进行三维渲染,得到胎儿肋骨结构的三维超声图像。
71.这里,在对胎儿脊柱的三维体数据和胎儿肋骨的三维体数据进行三维渲染时,将第一待测组织的三维体数据中除胎儿脊柱的三维体数据和胎儿肋骨的三维体数据之外的数据全部清空,对胎儿脊柱的三维体数据和胎儿肋骨的三维体数据进行立体光线透视渲染,形成胎儿肋骨结构的三维超声图像。
72.需要说明的是,渲染的方式可为多种,本技术实施例对渲染的方式不进行任何的限定。
73.s204、在所述胎儿肋骨结构的三维超声图像中对胎儿肋骨进行标记;
74.根据s202中识别出的胎儿肋骨的三维数据在第一待测组织的三维体数据中的位置,确定胎儿肋骨的三维数据在s203中胎儿肋骨结构的三维超声图像中的位置,并根据确定的胎儿肋骨的位置对胎儿肋骨结构中的胎儿肋骨进行标记,得到标记后的胎儿肋骨结构的三维超声图像。
75.在对胎儿肋骨进行标记时,可标记出一根或多根胎儿肋骨的肋骨标识:比如:t1-t12,其中,t1至t12分别表征第1至第12胎儿肋骨。
76.在实际应用中,在对胎儿肋骨进行标记时,可根据胎儿肋骨的形状特征、灰度特征等肋骨特征,判断胎儿肋骨结构中是否包括存在异形或病变等情况的异常胎儿肋骨。如果判断胎儿肋骨结构中包括有异常胎儿肋骨时,可通过异常标识对异常胎儿肋骨进行标识,并确定异常胎儿肋骨相对于正常胎儿肋骨的异常信息。
77.s205、输出标记后的胎儿肋骨结构的三维超声图像。
78.此时,在超声成像设备的显示器上显示的内容为:标记有胎儿肋骨的胎儿肋骨结构的三维超声图像,使得用户能够直观地查看胎儿的胎儿肋骨结构,以及区分出胎儿肋骨结构中的胎儿肋骨。
79.在一实施例中,所述方法还包括:将胎儿肋骨的三维体数据拉直,得到拉直肋骨三维体数据;将胎儿脊柱的三维体数据拉直,得到拉直脊柱三维体数据;对拉直肋骨三维体数据中的拉直肋骨和和拉直脊柱三维体数据中的拉直胎儿脊柱进行平面拟合,得到第一平面;根据拉直肋骨三维体数据和拉直脊柱三维体数据获得所述第一平面上的图像数据,得到所述胎儿肋骨结构的冠状面图像。
80.在确定胎儿肋骨的三维体数据后,根据胎儿肋骨的三维体数据对胎儿肋骨进行拉直,使得弯曲的胎儿肋骨拉直,得到拉直肋骨。在确定胎儿脊柱的三维体数据后,根据胎儿脊柱的三维体数据对胎儿肋骨进行拉直,使得弯曲的胎儿脊柱拉直,得到拉直胎儿脊柱。此时,通过解数学方程或类似最小二乘法或hough变换等平面拟合的方法确定出第一平面,第一平面为拉直肋骨和拉直胎儿脊柱的纵向轴线所在冠状面。获取第一平面上各胎儿肋骨的三维体数据和胎儿脊柱的三维体数据,得到胎儿肋骨结构的冠状面。
81.在实际应用中,确定第一平面后,根据各拉直肋骨的三维体数据和拉直胎儿脊柱的三维体数据获得第一平面上个像素点的图像数据,从而得到拉直之后的胎儿肋骨结构的冠状面图像。
82.在一实施例中,所述方法还包括:从所述胎儿肋骨结构的肋骨中确定目标胎儿肋骨;将该目标胎儿肋骨的三维体数据拉直,得到拉直目标胎儿肋骨三维体数据;将胎儿脊柱的三维体数据拉直,得到拉直脊柱三维体数据;将与拉直目标肋骨位于同一平面且与拉直胎儿脊柱垂直的平面作为第二平面;根据拉直目标胎儿肋骨三维体数据和拉直脊柱三维体数据获得第二平面上的图像数据,得到所述目标胎儿肋骨的横截面。
83.这里,目标胎儿肋骨可为包括胎儿肋骨结构中所有的胎儿肋骨,也可为胎儿肋骨结构中的部分胎儿肋骨。目标胎儿肋骨可由用户选择,也可由系统自动确定。比如:将胎儿肋骨结构的体数据显示在显示器上,根据用户手动输入的肋骨标识确定目标胎儿肋骨,或基于用户在胎儿肋骨结构上的肋骨选择确定目标胎儿肋骨。
84.当确定目标胎儿肋骨后,根据目标胎儿肋骨的三维体数据对目标胎儿肋骨进行拉直,使得弯曲的目标胎儿肋骨拉直,得到拉直目标肋骨。在确定胎儿脊柱的三维体数据后,根据胎儿脊柱的三维体数据对胎儿脊柱进行拉直,使得弯曲的胎儿脊柱拉直,得到拉直胎儿脊柱。此时,通过两条直线确定一个平面的方式确定目标胎儿肋骨所在的第二平面,其中,第二平面垂直于拉直胎儿脊柱的纵向轴线且与拉直目标肋骨的纵向轴线共面。确定第二平面后,获取第二平面上目标胎儿肋骨的三维体数据和胎儿脊柱的三维体数据,得到胎儿肋骨结构的横截面。
85.本文中,所说的胎儿肋骨、胎儿脊柱、胎儿腰椎或其他组织的“纵向轴线”可以是指沿该组织的长度方向的轴线,例如可以是中轴线或者其他沿长度方向的轴线。
86.在实际应用中,确定第二平面后,获取第二平面上目标拉直肋骨的三维体数据和拉直胎儿脊柱的三维体数据,得到拉直之后的胎儿肋骨结构的横截面。
87.需要说明的是,得到的横截面的数量与目标胎儿肋骨中胎儿肋骨的数量对应,不同的胎儿肋骨对应不同的横截面。
88.在一实施例中,对拉直对象进行拉直,包括:确定拉直对象的纵向轴线;根据所述拉直对象的纵向轴线对所述拉直对象进行等间隔采样,得到等间隔的切面序列;所述拉直对象包括不同的胎儿肋骨或所述胎儿脊柱;基于所述等间隔对所述等间隔的切面序列沿着直线进行重建。
89.拉直对象的拉直分为纵向轴线的提取和拉直重建两部分。纵向轴线的提取方法可为:基于跟踪的纵向轴线提取算法、基于模型的多尺度纵向轴线提取算法、基于形态学的纵向轴线提取方法、基于区域增长的中心线提取方法、基于三维几何矩的方法以及采用机器学习定位中心线的方法等。
90.比如,基于跟踪的纵向轴线提取算法是一种半自动的算法,基于用户提供的初始关键点和终止点,跟踪拉直对象过程中生成垂直于跟踪方向的切面,并采用最大似然值法和质心法精确计算切面中拉直对象的中心点,跟踪过程结束之后对中心点序列进行插值拟合即得到拉直对象的纵向轴线。
91.又比如,基于模型的多尺度纵向轴线提取算法进行拉直对象的纵向轴线的提取时,将局部拉直对象近似成管状结构,将计算几何矩得到的管状结构的重心作为局部拉直对象中心,通过对多尺度高斯滤波下体数据所对应的hessian矩阵的特征值进行分析,增强局部拉直对象,并根据hessian矩阵特征值最小特征值所对应的特征向量估计拉直对象的纵向轴线方向。
92.确定拉直对象的纵向轴线后,对拉直对象进行拉直重建,先对肋骨纵向轴线进行等间隔采样,得到等间隔中心点,在等间隔的中心点的基础上行,生成等间隔的垂直于拉直对象的纵向轴线方向的切面序列。将得到的切面序列堆叠在一起,对等间隔的切面序列进行三维重建,得到拉直后的拉直对象。
93.在一实施例中,所述方法还包括:将所述胎儿肋骨的三维体数据和所述胎儿脊柱的三维体数据从所述第一待测组织的三维体数据中分割出来;对所述胎儿肋骨的三维体数据和所述胎儿脊柱的三维体数据进行二值化处理,得到重建三维体数据;对所述重建三维体数据进行渲染,得到所述胎儿肋骨结构的三维骨架。
94.在识别出胎儿肋骨的三维体数据和胎儿脊柱的三维体数据后,对胎儿肋骨的三维体数据和脊柱的三维体数据进行二值化处理,得到重建三维体数据,比如:如是胎儿肋骨结构的地方灰度设置为1,胎儿肋骨结构以外的体数据设置为0。通过体绘制或者面绘制的方法对重建三维体数据进行渲染,得到包括胎儿肋骨和脊柱的三维骨架。
95.在实际应用中,在识别脊柱时,可仅识别出脊柱中与肋骨连接的脊椎骨三维体数据。从而输出包括各胎儿肋骨和脊椎骨的肋骨结构。
96.本技术实施例提供的超声成像方法,在获取了胎儿的三维体数据后,对胎儿肋骨结构的立体虚拟显示(virtual reality,vr)图像进行自动成像,并在立体vr图上对胎儿肋骨结构中的胎儿肋骨进行标记,从而大大简化胎儿肋骨检查的工作流。进一步地,对肋骨骨架进行三维提取,并对所有肋骨或指定肋骨被拉直后的横截面、冠状面进行自动成像。将医生从繁琐复杂的手动操作中解放出来,降低了对医生的技术的依赖性,提高检查效率。
97.本技术实施例提供一种超声成像方法,应用于图1所示的超声成像设备,如图3所示,所述方法包括:
98.s301、获取第一待测组织的三维体数据;
99.第一待测组织包括:胎儿肋骨结构和胎儿肋骨结构以外的组织,比如:羊水区域、胎盘、子宫壁等组织。
100.医生可通过探头对孕妇进行扫查,获取第一待测组织的三维体数据。
101.这里,胎儿肋骨结构以外的组织属于低回声区域,在三维体数据中为低灰度数据,胎儿肋骨结构属于高回声区域,在在三维体数据中为高灰度数据。
102.s302、基于第一肋骨检测模型,分别将不同的胎儿肋骨或胎儿脊柱作为不同的识别对象,从所述第一待测组织的三维体数据中识别出所述胎儿脊柱的三维体数据和所述胎儿肋骨的三维体数据;
103.第一肋骨检测模型采用的算法可为机器学习方法,第一肋骨检测模型以各胎儿肋骨的三维体数据和脊柱的3体数据作为训练样本,通过机器学习方法对训练样本进行学习,以通过训练样本对第一肋骨检测模型进行训练。经过训练的第一肋骨检测模型学习出胎儿肋骨的体数据特征和脊柱的体数据特征,其中,体数据特征可包括:主成分分析(principal component analysis,pca)特征,线性判别分析(linear discriminant analysis,,lda)特征、harr特征、纹理特征等特征。
104.当第一肋骨检测模型接收到第一待测组织的三维体数据时,根据学习到的胎儿肋骨的体数据特征和脊柱的体数据特征,从接收的三维体数据中识别出所包括的胎儿肋骨的三维体数据和脊柱的三维体数据。
105.在训练样本中,以胎儿肋骨或脊柱作为目标,对目标进行标定,并指出每个标定的目标的类别。其中,可通过包含目标的感兴趣区域(region of interest,roi)框的方式进行标定,也可通过对目标进行精确分割的掩膜(mask)的方式进行标定。
106.第一肋骨检测模型采用的算法可为图像分割算法,对输入第一肋骨检测模型的三维体数据进行二值化分割,并进行形态学、轮廓提取、联通域等操作后得到多个候选区域,根据对每个候选区域的体数据特征判断每一候选区域是胎儿肋骨或脊柱的概率,选择概率最高的候选区域作为肋骨或脊柱对应的区域,且选择的区域的三维体数据为胎儿肋骨或脊柱的三维体数据。
107.在实际应用中,第一肋骨检测模型采用的图像分割算法也可为:水平集(levelset)、图割(graph cut)、snake、随机游走(random walker)、主动轮廓模型算法、主动形状模型算法、主动外观模型算法中的一种或多种,以及全卷积网络(fully convolutional networks,fcn)、unet等深度学习中的图像分割算法。
108.第一肋骨检测模型采用的算法也可为模板匹配算法,建立胎儿肋骨的三维体数据或脊柱的三维体数据的模板。第一肋骨检测模型对输入的三维体数据进行二值化分割,并进行形态学、轮廓提取、联通域等操作后得到多个候选区域,根据建立的模板遍历体数据中所有的候选区域,并确定所有候选区域和模板的相似度,选择相似度最高的候选区域为胎儿肋骨或脊柱对应的目标区域,目标区域的三维体数据为胎儿肋骨的三维体数据或脊柱的三维体数据。
109.需要说明的是,第一肋骨模型在识别不同的胎儿肋骨或胎儿脊柱,可直接统计第一待测组织中所包括的胎儿肋骨的数量。
110.s303、对所述胎儿脊柱的三维体数据和所述胎儿肋骨的三维体数据进行渲染,得到胎儿肋骨结构的三维超声图像;
111.在s302中识别出第一待测组织中所包括的胎儿肋骨的三维体数据和脊柱的三维体数据后,对所述胎儿脊柱的三维体数据和所述胎儿肋骨的三维体数据进行三维渲染,得到胎儿肋骨结构的三维超声图像。
112.这里,在对所胎儿脊柱的三维体数据和胎儿肋骨的三维体数据进行三维渲染时,将第一待测组织的三维体数据中除胎儿脊柱的三维体数据和胎儿肋骨的三维体数据之外的数据全部清空,对胎儿脊柱的三维体数据和胎儿肋骨的三维体数据进行立体光线透视渲染,形成胎儿肋骨结构的三维超声图像。
113.需要说明的是,渲染的方式可为多种,本技术实施例对渲染的方式不进行任何的限定。
114.s304、在所述胎儿肋骨结构的三维超声图像中对胎儿肋骨进行标记;
115.根据s302中识别出的胎儿肋骨的三维数据中在第一待测组织的三维体数据中的位置,确定胎儿肋骨的三维数据在s203中胎儿肋骨结构的三维超声图像中的位置,并根据确定的胎儿肋骨的位置对胎儿肋骨结构中的胎儿肋骨进行标记,得到标记后的胎儿肋骨结构的三维超声图像。
116.在对胎儿肋骨进行标记时,可标记出一根或者多根胎儿肋骨的肋骨标识:比如:t1-t12,其中,t1至t12分别表征第1至第12胎儿肋骨。
117.s305、输出标记后的胎儿肋骨结构的三维超声图像。
118.此时,在超声成像设备的显示器上显示的内容为:标记有胎儿肋骨的胎儿肋骨结构的三维超声图像,使得用户能够直观地查看胎儿的胎儿肋骨结构,以及区分出胎儿肋骨结构中的胎儿肋骨。
119.本技术实施例提供的超声成像方法,在获取了胎儿的三维体数据后,将胎儿肋骨和脊柱作为不同的识别对象,识别出胎儿肋骨和胎儿脊柱,并自动统计第一待测组织所包括的胎儿肋骨的数量,对胎儿肋骨结构的立体vr图进行自动成像,从而大大简化胎儿肋骨检查的工作流,将医生从繁琐复杂的手动操作中解放出来,降低了对医生的技术的依赖性,降低了误诊和漏诊率。
120.本技术实施例提供一种超声成像方法,应用于图1所示的超声成像设备,如图4所示,所述方法包括:
121.s401、获取第一待测组织的三维体数据;
122.第一待测组织包括:胎儿肋骨结构和胎儿肋骨结构以外的组织,比如:羊水区域、胎盘、子宫壁等组织。
123.医生可通过探头对孕妇进行扫查,获取第一待测组织的三维体数据。
124.这里,胎儿肋骨结构以外的组织属于低回声区域,在超声图像中显示为低灰度,胎儿肋骨结构属于高回声区域,在超声图像中显示为高灰度。
125.s402、从所述第一待测组织的三维体数据中识别出所述胎儿肋骨结构的三维体数据;
126.从第一待测组织的三维体数据中识别胎儿肋骨结构的三维体数据时,可至少包括以下三种结构识别方式中一种:
127.结构识别方式一、显示所述第一待测组织的三维体数据对应的三维图像;基于所述第一待测组织的三维体数据对应三维图像接收第一输入操作;确定所述第一输入操作对应的标志点;根据所述标志点的坐标从所述第一待测组织的三维体数据中识别出所述胎儿肋骨结构的三维体数据。
128.在获取第一待测组织的三维体数据后,将第一待测组织的三维体数据对应的三维图像显示在显示器上。用户基于通过轨迹球、触摸屏等工具,在显示器上显示的第一待测组织的三维体数据对应的三维图像上的胎儿肋骨结构中,通过选取标志点、画出标志线等方法进行第一输入操作,来告知超声成像设备胎儿肋骨结构在空间中的位置。这里,标志线由多个连续的标志点构成。超声成像设备接收到第一输入操作后,通过第一输入操作的对应标志点或组成标志线的标志点的坐标确定出胎儿肋骨结构在第一待测组织的三维体数据中的位置。
129.比如:用户在每根胎儿肋骨上的端点或者在胎儿肋骨结构边界上间断的取一些点,超声成像设备将用户选取的点作为标志点,根据标志点的坐标大致画出胎儿肋骨结构的中线或者描出胎儿肋骨结构的边界线,根据确定的中线或边界线确定胎儿肋骨结构的位置,从而得到胎儿肋骨结构的三维体数据。
130.结构识别方式二、显示所述第一待测组织的三维体数据对应的三维图像;基于所述第一待测组织的三维体数据对应的三维图像接收第二输入操作;确定所述第二输入操作对应的第一种子区域;所述第一种子区域位于所述胎儿肋骨结构对应的三维图像区域内;确定第一种子区域的三维体数据的第一像素特征;根据所述第一像素特征在所述第一待测
组织的三维体数据中识别出所述胎儿肋骨结构的三维体数据。
131.这里,在获取第一待测组织的三维体数据后,将第一待测组织的三维体数据对应的三维图像显示在显示器上。用户基于通过轨迹球、触摸屏等工具,在显示器上显示的第一待测组织的三维体数据对应的三维图像上进行第二输入操作。超声成像设备接收到第二输入操作后,确定第二输入操作对应的区域为第一种子区域,将第一种子区域的三维体数据作为先验数据,并获取先验数据的边缘梯度、灰度等像素特征作为第一像素特征,根据先验数据的第一像素特征从第一待测组织的三维体数据中识别出所述胎儿肋骨结构的三维体数据。
132.根据先验数据的像素特征从第一待测组织的三维体数据中识别出所述胎儿肋骨结构的三维体数据的方法可包括:模板匹配、图像特征提取、边缘提取、形态学操作中的一种或多种图像处理方法,也可包括:graphcut算法、grabcut算法、水平集方法、主动轮廓模型算法、主动形状模型算法、种子区域增长法、区域分割合并法中的一种或多种图像分割方法,还可包括:深度学习方法、支持向量机、adaboost、随机森林算法中的一种或多种机器学习方法。
133.比如,通过模板匹配从第一待测组织的三维体数据中识别出所述胎儿肋骨结构的三维体数据时,将先验数据作为模板,计算模板的边缘梯度、灰度等像素特征,通过模板遍历第一待测组织的三维体数据,以查找与模板的像素特征差距最小的最优解,实现胎儿肋骨结构的识别。
134.又比如:通过种子区域生长法从第一待测组织的三维体数据中识别出所述胎儿肋骨结构的三维体数据时,在胎儿肋骨结构区域中确定种子区域,将种子区域的像素作为种子像素,然后根据种子像素的第一像素特征,从第一待测组织的三维体数据中,符合第一像素特征的像素合并到种子区域中,将新添加的像素作为新的种子像素继续合并,直到找不到符合条件的新像素为止,最终识别出胎儿肋骨结构的三维体数据。
135.这里,通过一定的用户交互操作的工作流在胎儿肋骨结构体数据中预先获取一定的先验数据作为已知信息,通过已知信息的第一像素特征降低胎儿肋骨结构的识别的难度。
136.结构识别方式三、从所述第一待测组织的三维体数据中确定至少两个第一候选区域,获取每一第一候选区域的三维体数据的体数据特征;根据所述每一第一候选区域的体数据特征,确定每一第一候选区域与所述胎儿肋骨结构的第一匹配度;确定第一匹配度最高的第一候选区域为所述胎儿肋骨结构对应的目标区域;将所述胎儿肋骨结构对应的目标区域的三维体数据作为所述胎儿肋骨结构的三维体数据。
137.这里,可通过肋骨结构检测模型接收第一待测组织的三维体数据,肋骨结构检测模型从所述第一待测组织的三维体数据中确定至少两个第一候选区域,获取每一第一候选区域的三维体数据的体数据特征;肋骨结构检测模型根据所述每一第一候选区域的体数据特征,确定每一第一候选区域与所述胎儿肋骨结构的第一匹配度;肋骨结构检测模型确定第一匹配度最高的第一候选区域为所述胎儿肋骨结构对应的目标区域;肋骨结构检测模型将所述胎儿肋骨结构对应的目标区域的三维体数据作为所述胎儿肋骨结构的三维体数据。
138.肋骨结构检测模型采用的算法可为机器学习方法,肋骨结构检测模型以各胎儿肋骨结构的三维体数据作为训练样本,通过机器学习方法对训练样本进行学习,以通过训练
样本对肋骨结构检测模型进行训练。经过训练的肋骨结构检测模型学习出胎儿肋骨结构的体数据特征,其中,体数据特征可包括:pca特征,lda特征、harr特征、纹理特征等特征。
139.当肋骨结构检测模型接收到第一待测组织的三维体数据时,根据学习到的胎儿肋骨结构的体数据特征,从接收的三维体数据中识别出所包括的胎儿肋骨结构的三维体数据。
140.在训练样本中,对以胎儿肋骨结构作为目标,对目标进行标定,并指出每个标定的目标的类别。其中,可通过包含目标的感兴趣区域(region of interest,roi)框的方式进行标定,也可通过对目标进行精确分割的掩膜(mask)的方式进行标定。
141.肋骨结构检测模型采用的算法可为图像分割算法,对输入肋骨结构检测模型的三维体数据进行二值化分割,并进行形态学、轮廓提取、联通域等操作后得到多个第一候选区域,根据对每个第一候选区域的体数据特征判断每一第一候选区域是胎儿肋骨结构的概率,选择概率最高的第一候选区域作为胎儿肋骨结构对应的目标区域,且选择的目标区域的三维体数据为胎儿肋骨结构的三维体数据。
142.在实际应用中,肋骨结构检测模型采用的图像分割算法也可为:水平集(levelset)、图割(graph cut)、snake、随机游走(random walker)、主动轮廓模型算法、主动形状模型算法、主动外观模型算法中的一种或多种,以及fcn、unet等深度学习中的图像分割算法。
143.肋骨结构检测模型采用的算法也可为模板匹配算法,建立胎儿肋骨结构的三维体数据的模板。肋骨结构检测模型对输入的三维体数据进行二值化分割,并进行形态学、轮廓提取、联通域等操作后得到多个第一候选区域,根据建立的模板遍历体数据中所有的第一候选区域,并确定所有的第一候选区域和模板的相似度,选择相似度最高的第一候选区域为胎儿肋骨结构对应的目标区域,目标区域的三维体数据为胎儿肋骨结构的三维体数据。
144.需要说明的是,本技术实施例中从第一待测组织的三维体数据中识别出胎儿肋骨结构的三维体数据的具体识别方式不进行任何的限定。
145.s403、将所述胎儿肋骨结构的三维体数据从所述第一待测组织的三维体数据中分割出来;
146.识别出胎儿肋骨结构的三维体数据后,根据胎儿肋骨结构的三维体数据在第一待测组织的三维体数据中的位置,将胎儿肋骨结构的三维体数据从第一待测组织的三维体数据中分割出来。
147.在实际应用中,s403和s404可同时实现,在识别胎儿肋骨结构的三维体数据的同时,将胎儿肋骨结构的三维体数据从第一待测组织的三维体数据中分割出来。
148.s404、从所述胎儿肋骨结构的三维体数据中识别出胎儿脊柱的三维体数据和胎儿肋骨的三维体数据;
149.在s403中,将胎儿肋骨结构的三维体数据从第一待测组织的三维体数据中分割出来后,从胎儿肋骨结构的三维体数据中识别胎儿肋骨的三维体数据和脊柱的三维体数据时,可至少包括以下两种肋骨识别方式中一种:
150.肋骨识别方式一、基于胎儿脊柱的形状特征和胎儿肋骨的形状特征,从所述胎儿肋骨结构的三维体数据中定位出所包括的脊柱和胎儿肋骨;显示所述胎儿肋骨结构的三维体数据对应的三维图像;基于所述胎儿肋骨结构的三维体数据对应的三维图像接收第三输
入操作;根据所述第三输入操作,确定参考胎儿肋骨和所述参考胎儿肋骨对应的肋骨标识;所述参考胎儿肋骨为所述胎儿肋骨结构中的至少一根胎儿肋骨;基于所述参考胎儿肋骨和所述参考胎儿肋骨对应的肋骨标识,识别出胎儿肋骨的三维体数据。
151.在确定胎儿肋骨结构的三维体数据后,将胎儿肋骨结构的三维体数据对应的三维图像显示在显示器上。用户基于通过轨迹球、触摸屏等工具,在显示器上显示的肋骨结构的三维体数据对应的三维图像上,进行第三输入操作,来标识出胎儿肋骨结构中的部分胎儿肋骨,以及标识出的胎儿肋骨结构的肋骨标识。
152.超声成像设备接收到第三输入操作后,通过第三输入操作确定用户标识的胎儿肋骨,将用户标识的胎儿肋骨作为参考胎儿肋骨,并将用户输入的肋骨标识作为参考胎儿肋骨的肋骨标识,根据参考胎儿肋骨确定出胎儿肋骨结构中的每一个胎儿肋骨以及各胎儿肋骨对应的肋骨标识。这里,参考胎儿肋骨可包括一个或多个胎儿肋骨。
153.超声成像设备根据参考胎儿肋骨确定出胎儿肋骨结构中的每一个胎儿肋骨以及各胎儿肋骨对应的肋骨标识时,可根据灰度直方图投影法、轮廓提取算法、边缘提取算法、联通域法、团块检测算法、模板匹配算法、图像特征提取算法、形态学操作算法中的一种或多种方法确定胎儿肋骨结构所包括的胎儿肋骨以及所包括胎儿肋骨的数量。
154.比如:用户通过轨迹球、触摸屏等工具在胎儿肋骨结构对应的三维图像上选中t3和t9肋骨,在t3和t9肋骨上点一个点或者分别画出t3和t9肋骨的中心线,即将这两根肋骨标作为参考胎儿肋骨。通过直方图灰度投影法对胎儿肋骨结构的三维体数据的冠状面沿y轴投影,得到像素统计图,并计算像素统计图的像素波峰的个数和峰值处的位置,从而得到胎儿肋骨的数量和位置。将t2肋骨上方的胎儿肋骨确定为t1,将t2肋骨下方的胎儿肋骨确定为t3,同理,确定出t4-t12。从而根据参考胎儿肋骨和识别出的胎儿肋骨的位置的排序顺序和空间位置关系确定胎儿肋骨结构中的胎儿肋骨以及各胎儿肋骨的肋骨标识。
155.肋骨识别方式二、基于第二肋骨检测模型,分别将不同的胎儿肋骨或胎儿脊柱作为不同的识别对象,从所述胎儿肋骨结构的三维体数据中识别出所述胎儿脊柱的三维体数据和所述胎儿肋骨的三维体数据。
156.第二肋骨检测模型采用的算法可为机器学习方法,第二肋骨检测模型以各胎儿肋骨的三维体数据和脊柱的三维体数据作为训练样本,通过机器学习方法对训练样本进行学习,以通过训练样本对第二肋骨检测模型进行训练。经过训练的第二肋骨检测模型学习出胎儿肋骨的体数据特征和脊柱的体数据特征,其中,体数据特征可包括:pca特征,lda特征、harr特征、纹理特征等特征。
157.当第二肋骨检测模型接收到胎儿肋骨结构的三维体数据时,根据学习到的胎儿肋骨的体数据特征和脊柱的体数据特征,从接收的三维体数据中识别出所包括的胎儿肋骨的三维体数据和脊柱的三维体数据。
158.在训练样本中,以胎儿肋骨或脊柱作为目标,对目标进行标定,并指出每个标定的目标的类别。其中,可通过包含目标的roi框的方式进行标定,也可通过对目标进行精确分割的掩膜(mask)的方式进行标定。
159.第二肋骨检测模型采用的算法可为图像分割算法,对输入第二肋骨检测模型的三维体数据进行二值化分割,并进行形态学、轮廓提取、联通域等操作后得到多个候选区域,根据对每个候选区域的体数据特征判断每一候选区域是胎儿肋骨或脊柱的概率,选择概率
最高的候选区域作为肋骨或脊柱对应的区域,且选择的区域的三维体数据为胎儿肋骨或脊柱的三维体数据。
160.在实际应用中,第二肋骨检测模型采用的图像分割算法也可为:水平集(levelset)、图割(graph cut)、snake、随机游走(random walker)、主动轮廓模型算法、主动形状模型算法、主动外观模型算法中的一种或多种,以及全卷积网络(fully convolutional networks,fcn)、unet等深度学习中的图像分割算法。
161.第二肋骨检测模型采用的算法也可为模板匹配算法,建立胎儿肋骨的三维体数据或脊柱的三维体数据的模板。第二肋骨检测模型对输入的三维体数据进行二值化分割,并进行形态学、轮廓提取、联通域等操作后得到多个候选区域,根据建立的模板遍历体数据中所有的候选区域,并确定所有候选区域和模板的相似度,选择相似度最高的候选区域为胎儿肋骨或脊柱对应的目标区域,目标区域的三维体数据为胎儿肋骨的三维体数据或脊柱的三维体数据。
162.第二肋骨检测模型采用的算法还可为:图像边缘提取、直方图图像灰度投影统计、图像轮廓提取、形态学处理、阈值分割、团块检测等一种或多种方法直接计算出胎儿肋骨结构的三维体数据中胎儿肋骨的数量。
163.需要说明的是,第二肋骨检测模型在识别不同的胎儿肋骨或胎儿脊柱,可直接统计胎儿肋骨结构中所包括的胎儿肋骨的数量。
164.s405、对所述胎儿脊柱的三维体数据和所述胎儿肋骨的三维体数据进行渲染,得到胎儿肋骨结构的三维超声图像;
165.在s404中识别出第一待测组织中所包括的胎儿肋骨的三维体数据和脊柱的三维体数据后,对所述胎儿脊柱的三维体数据和所述胎儿肋骨的三维体数据进行三维渲染,得到胎儿肋骨结构的三维超声图像。
166.这里,在对所胎儿脊柱的三维体数据和胎儿肋骨的三维体数据进行三维渲染时,将第一待测组织的三维体数据中除胎儿脊柱的三维体数据和胎儿肋骨的三维体数据之外的数据全部清空,对胎儿脊柱的三维体数据和胎儿肋骨的三维体数据进行立体光线透视渲染,形成胎儿肋骨结构的三维超声图像。
167.需要说明的是,渲染的方式可为多种,本技术实施例对渲染的方式不进行任何的限定。
168.s406、在所述胎儿肋骨结构的三维超声图像中对胎儿肋骨进行标记;
169.根据s404中识别出的胎儿肋骨的三维数据中在第一待测组织的三维体数据中的位置,确定胎儿肋骨的三维数据在s203中胎儿肋骨结构的三维超声图像中的位置,并根据确定的胎儿肋骨的位置对胎儿肋骨结构中的胎儿肋骨进行标记,得到标记后的胎儿肋骨结构的三维超声图像。
170.在对胎儿肋骨进行标记时,可标记出一根或多根胎儿肋骨的肋骨标识:比如:t1-t12,其中,t1至t12分别表征第1至第12胎儿肋骨。
171.s407、输出标记后的胎儿肋骨结构的三维超声图像。
172.此时,在超声成像设备的显示器上显示的内容为:标记有胎儿肋骨的胎儿肋骨结构的三维超声图像,使得用户能够直观地查看胎儿的胎儿肋骨结构,以及区分出胎儿肋骨结构中的胎儿肋骨。
173.本技术实施例提供的超声成像方法,在获取了胎儿的三维体数据后,自动或半自动的识别、定位和分割胎儿肋骨结构的三维体数据,对胎儿肋骨结构的立体vr图进行自动成像,并对胎儿肋骨的数量进行自动或半自动统计,在立体vr图上对胎儿肋骨结构中胎儿肋骨进行标记。进一步地,对肋骨骨架进行三维提取,并对所有肋骨或指定肋骨被拉直后的横截面、冠状面进行自动成像。从而大大简化胎儿肋骨检查的工作流,将医生从繁琐复杂的手动操作中解放出来,降低了对医生的技术的依赖性,提高检查效率;并且肋骨数量统计结果的稳定性和成像质量相比手动都处于更优状态,降低了误诊和漏诊率。
174.本技术实施例提供一种超声成像方法,应用于图1所示的超声成像设备,如图5所示,所述方法包括:
175.s501、获取第二待测组织的三维体数据;
176.第二待测组织包括:胎儿脊柱和胎儿脊柱以外的组织,比如:羊水区域、胎盘、子宫壁等组织。
177.医生可通过探头对孕妇进行扫查,获取第二待测组织的三维体数据。
178.这里,胎儿肋骨结构属于高回声区域,在超声图像中显示为高灰度。
179.s502、从所述第二待测组织的三维体数据中识别出脊髓圆锥的三维体数据和腰椎的三维体数据;
180.基于s201获得第二待测组织的三维体数据后,从获取的三维体数据中识别出脊髓圆锥的三维体数据和腰椎的三维体数据。
181.可通过脊髓圆锥检测模型从第二待测组织的三维体数据中识别出脊髓圆锥。
182.在一实施例中,所述从所述第二待测组织的三维体数据中识别出脊髓圆锥的三维体数据,包括:从所述第二待测组织的三维体数据中确定至少两个第二候选区域,获取每一第二候选区域的三维体数据的体数据特征;根据所述每一第二候选区域的体数据特征,确定每一第二候选区域与所述胎儿脊柱的第二匹配度;确定第二匹配度最高的第二候选区域为所述脊髓圆锥对应的目标区域;将所述脊髓圆锥对应的目标区域的三维体数据作为所述脊髓圆锥的三维体数据。
183.这里,脊髓圆锥检测模型从所述第二待测组织的三维体数据中确定至少两个第二候选区域,获取每一第二候选区域的三维体数据的体数据特征;脊髓圆锥检测模型根据所述每一第二候选区域的体数据特征,确定每一第二候选区域与所述胎儿脊柱的第二匹配度;脊髓圆锥检测模型确定第二匹配度最高的第二候选区域为所述脊髓圆锥对应的目标区域;脊髓圆锥检测模型将所述脊髓圆锥对应的目标区域的三维体数据作为所述脊髓圆锥的三维体数据。
184.脊髓圆锥检测模型采用的算法可为机器学习方法,脊髓圆锥检测模型以脊髓圆锥的三维体数据作为训练样本,通过机器学习方法对训练样本进行学习,以通过训练样本对脊髓圆锥检测模型进行训练。经过训练的脊髓圆锥检测模型学习出脊髓圆锥的体数据特征,其中,体数据特征可包括:pca特征,lda特征、harr特征、纹理特征等特征。
185.当脊髓圆锥检测模型接收到第二待测组织的三维体数据时,根据学习到的脊髓圆锥的体数据特征,从接收的三维体数据中识别出所包括的脊髓圆锥的三维体数据。
186.在训练样本中,对以脊髓圆锥作为目标,对目标进行标定。其中,可通过包含目标的roi框的方式进行标定,也可通过对目标进行精确分割的掩膜(mask)的方式进行标定。
187.脊髓圆锥检测模型采用的算法可为图像分割算法,对输入脊髓圆锥检测模型的三维体数据进行二值化分割,并进行形态学、轮廓提取、联通域等操作后得到多个第二候选区域,根据对每个第二候选区域的体数据特征判断每一第二候选区域是脊髓圆锥的概率,选择概率最高的第一候选区域作为脊髓圆锥对应的目标区域,且选择的目标区域的三维体数据为脊髓圆锥的三维体数据。
188.在实际应用中,脊髓圆锥检测模型采用的图像分割算法也可为:水平集(levelset)、图割(graph cut)、snake、随机游走(random walker)、主动轮廓模型算法、主动形状模型算法、主动外观模型算法中的一种或多种,以及fcn、unet等深度学习中的图像分割算法。
189.脊髓圆锥检测模型采用的算法也可为模板匹配算法,建立脊髓圆锥的三维体数据的模板。脊髓圆锥检测模型对输入的三维体数据进行二值化分割,并进行形态学、轮廓提取、联通域等操作后得到多个第二候选区域,根据建立的模板遍历体数据中所有的第二候选区域,并确定所有的第二候选区域和模板的相似度,选择相似度最高的第二候选区域为脊髓圆锥对应的目标区域,目标区域的三维体数据为胎脊髓圆锥的三维体数据。
190.需要说明的是,本技术实施例中从第二待测组织的三维体数据中识别出脊髓圆锥的三维体数据的具体识别方式不进行任何的限定。
191.识别腰椎的三维体数据,至少包括以下两种识别方式中的一种:
192.识别方式一、先将胎儿脊柱整体作为识别对象从第二待测组织的三维体数据中识别出胎儿脊柱的三维体数据,再从胎儿脊柱的三维体数据中识别出腰椎的三维体数据。
193.识别方式二、直接将腰椎作为识别对象从第二待测组织的三维体数据中识别出腰椎。
194.在识别方式一中,从所述第二待测组织的三维体数据中识别出胎儿脊柱的三维体数据;将所述胎儿脊柱的三维体数据从所述第二待测组织的三维体数据中分割出来;从所述胎儿脊柱的三维体数据中识别出腰椎的三维体数据。
195.在识别方式二中,基于第一腰椎检测模型,将腰椎作为识别对象,从第二待测组织的三维体数据中识别出腰椎的三维体数据。
196.在一实施例中,所述从所述第二待测组织的三维体数据中识别出腰椎的三维体数据,包括:从所述第二待测组织的三维体数据中确定至少两个第三候选区域,获取每一第三候选区域的三维体数据的体数据特征;根据所述每一第三候选区域的体数据特征,确定每一第三候选区域与所述胎儿脊柱中的腰椎的第三匹配度;确定第三匹配度最高的第三候选区域为所述腰椎对应的目标区域;将所述腰椎对应的目标区域的三维体数据作为所述腰椎的三维体数据。
197.这里,第一腰椎检测模型从所述第二待测组织的三维体数据中确定至少两个第三候选区域,获取每一第三候选区域的三维体数据的体数据特征;第一腰椎检测模型根据所述每一第三候选区域的体数据特征,确定每一第三候选区域与所述胎儿脊柱中的腰椎的第三匹配度;第一腰椎检测模型确定第三匹配度最高的第三候选区域为所述腰椎对应的目标区域;第一腰椎检测模型将所述腰椎对应的目标区域的三维体数据作为所述腰椎的三维体数据。
198.第一腰椎检测模型采用的算法可为机器学习方法,第一腰椎检测模型以腰椎的三
维体数据作为训练样本,通过机器学习方法对训练样本进行学习,以通过训练样本对第一腰椎检测模型进行训练。经过训练的第一腰椎检测模型学习出腰椎的体数据特征,其中,体数据特征可包括:pca特征,lda特征、harr特征、纹理特征等特征。
199.当第一腰椎检测模型接收到第二待测组织的三维体数据时,根据学习到的腰椎的体数据特征,从接收的三维体数据中识别出所包括的腰椎的三维体数据。
200.s503、对所述脊髓圆锥的三维体数据和所述腰椎的三维体数据进行渲染,得到椎骨结构的三维超声图像;
201.在s502中识别出第二待测组织中脊髓圆锥的三维体数据和腰椎的三维体数据后,对脊髓圆锥的三维体数据和腰椎的三维体数据进行三维渲染,得到椎骨结构的三维超声图像。
202.这里,在对脊髓圆锥的三维体数据和腰椎的三维体数据进行三维渲染时,将第二待测组织的三维体数据中除脊髓圆锥的三维体数据和腰椎的三维体数据之外的数据全部清空,对脊髓的三维体数据和腰椎的三维体数据进行立体光线透视渲染,形成椎骨结构的三维超声图像。
203.需要说明的是,渲染的方式可为多种,本技术实施例对渲染的方式不进行任何的限定。
204.s504、在所述椎骨结构的三维超声图像中对所述脊髓圆锥进行标记;
205.根据s502中识别出的脊髓圆锥的三维数据在第二待测组织的三维体数据中的位置,确定脊髓圆锥的三维数据在s203中胎儿肋骨结构的三维超声图像中的位置,并根据确定的脊髓圆锥的位置对脊髓圆锥进行标记,得到标记后的椎骨结构的三维超声图像。
206.这里,显示的椎骨结构的三维超声图像中可仅包括脊髓圆锥和腰椎,也可包括腰椎以外的脊椎骨等椎骨。
207.在实际应用中,对脊髓圆锥和腰椎之间的距离进行检测,将检测的距离显示在显示屏上。并将检测的距离和设定的距离范围进行比较,如果检测的距离和设定的距离范围不匹配时,则发出提示信息,以提示用户当前的脊髓圆锥的位置存在异常。
208.s505、输出标记后的所述椎骨结构的三维超声图像。
209.此时,在超声成像设备的显示器上显示的内容为:标记有脊髓圆锥的椎骨结构的三维超声图像,使得用户能够直观地查看胎儿的脊髓圆锥的位置,以及确定脊髓圆锥与腰椎之间的距离。
210.在一实施例中,在所述椎骨结构的三维超声图像中对所述脊髓圆锥进行标记,包括:确定所述脊髓圆锥末端的三维坐标;确定所述腰椎的纵向轴线;根据所述脊髓圆锥末端的三维坐标和所述胎儿脊柱纵向轴线,确定通过所述脊髓圆锥末端且垂直于所述腰椎的纵向轴线的参考线或第三平面;将所述参考线或所述第三平面映射在所述椎骨结构的三维超声图像中。
211.根据脊髓圆锥末端在矢状面上的二维坐标,以及矢状面在三维体数据中的具体位置计算出脊髓圆锥末端在三维体数据中的三维坐标,根据脊髓圆锥末端的三维坐标和腰椎在三维体数据中的纵向轴线计算通过脊髓圆锥末端端点并且垂直于腰椎的一个平面或直线,将该平面或该直线作为的平面称为第三平面。将第三平面映射到胎儿脊柱的立体vr图上,即可直观的表示出脊髓圆锥末端相对胎儿腰椎骨的相对位置,并计算出这一结果标注
在vr图上。其中,腰椎在三维体数据中的纵向轴线表征胎儿脊柱的姿态。
212.本技术实施例提供的超声成像方法,在获取了胎儿的三维体数据后,对胎儿脊柱的立体vr图像进行自动成像,并在立体vr图上对脊髓圆锥进行标记,从而大大简化脊髓圆锥检查的工作流。进一步地,在立体vr图上标记出脊髓圆锥在腰椎的具体位置。将医生从繁琐复杂的手动操作中解放出来,降低了对医生的技术的依赖性,提高检查效率。
213.本技术实施例提供一种超声成像方法,应用于图1所示的超声成像设备,如图6所示,所述方法包括:
214.s601、获取第二待测组织的三维体数据;
215.第二待测组织包括:胎儿脊柱和胎儿脊柱以外的组织,比如:羊水区域、胎盘、子宫壁等组织。
216.医生可通过探头对孕妇进行扫查,获取第二待测组织的三维体数据。
217.这里,胎儿肋骨结构属于高回声区域,在超声图像中显示为高灰度。
218.s602、从所述第二待测组织的三维体数据中识别出脊髓圆锥的三维体数据;
219.基于s601获得第二待测组织的三维体数据后,从获取的三维体数据中识别出脊髓圆锥的三维体数据。
220.可通过脊髓圆锥检测模型从第二待测组织的三维体数据中识别出脊髓圆锥。脊髓圆锥检测模型从所述第二待测组织的三维体数据中确定至少两个第二候选区域,获取每一第二候选区域的三维体数据的体数据特征;脊髓圆锥检测模型根据所述每一第二候选区域的体数据特征,确定每一第二候选区域与所述胎儿脊柱的第二匹配度;脊髓圆锥检测模型确定第二匹配度最高的第二候选区域为所述脊髓圆锥对应的目标区域;脊髓圆锥检测模型将所述脊髓圆锥对应的目标区域的三维体数据作为所述脊髓圆锥的三维体数据。
221.s603、从所述第二待测组织的三维体数据中识别出所述胎儿脊柱的三维体数据;
222.基于s601获得第二待测组织的三维体数据后,从获取的三维体数据中识别出胎儿脊柱的三维体数据。
223.从第二待测组织的三维体数据中识别胎儿脊柱的三维体数据时,可至少包括以下三种脊柱识别方式中一种:
224.脊柱识别方式一、显示所述第二待测组织的三维体数据对应的三维图像;基于所述第二待测组织的三维体数据对应三维图像接收第四输入操作;确定所述第四输入操作对应的标志点;根据所述第四输入操作对应的标志点的坐标,从所述第二待测组织的三维体数据中识别出脊柱的三维体数据。
225.在获取第二待测组织的三维体数据后,将第一待测组织的三维体数据对应的三维图像显示在显示器上。用户基于通过轨迹球、触摸屏等工具,在显示器上显示的第二待测组织的三维体数据对应的三维图像上的胎儿脊柱中,通过选取标志点、画出标志线等方法进行第四输入操作,来告知超声成像设备胎儿脊柱在空间中的位置。这里,标志线由多个连续的标志点构成。超声成像设备接收到第四输入操作后,通过第四输入操作的对应标志点或组成标志线的标志点的坐标确定出胎儿脊柱在第二待测组织的三维体数据中的位置。
226.比如:用户在胎儿脊柱的每根椎骨上的端点或者在胎儿脊柱的边界上间断的取一些点,超声成像设备将用户选取的点作为标志点,根据标志点的坐标大致画出胎儿脊柱的中线或者描出胎儿脊柱的边界线,根据确定的中线或边界线确定胎儿脊柱的位置,从而得
到胎儿脊柱的三维体数据。
227.脊柱识别方式二、显示所述第二待测组织的三维体数据对应的三维图像;基于所述第二待测组织的三维体数据对应的三维图像接收第五输入操作;确定所述第五输入操作对应的第二种子区域;所述第二种子区域位于所述脊柱对应的三维图像区域内;确定第二种子区域的三维体数据的第二像素特征;根据所述第二像素特征在所述第二待测组织的三维体数据中识别出所述脊柱的三维体数据。
228.这里,在获取第二待测组织的三维体数据后,将第二待测组织的三维体数据对应的三维图像显示在显示器上。用户基于通过轨迹球、触摸屏等工具,在显示器上显示的第二待测组织的三维体数据对应的三维图像上进行第五输入操作。超声成像设备接收到第五输入操作后,确定第五输入操作对应的区域为第二种子区域,将第二种子区域的三维体数据作为先验数据,并获取先验数据的边缘梯度、灰度等像素特征作为第二像素特征,根据先验数据的第二像素特征从第二待测组织的三维体数据中识别出所述胎儿脊柱的三维体数据。
229.根据先验数据的像素特征从第二待测组织的三维体数据中识别出所述胎儿脊柱的三维体数据的方法可包括:模板匹配、图像特征提取、边缘提取、形态学操作中的一种或多种图像处理方法,也可包括:graphcut算法、grabcut算法、水平集方法、主动轮廓模型算法、主动形状模型算法、种子区域增长法、区域分割合并法中的一种或多种图像分割方法,还可包括:深度学习方法、支持向量机、adaboost、随机森林算法中的一种或多种机器学习方法。
230.比如,通过模板匹配从第二待测组织的三维体数据中识别出所述胎儿脊柱的三维体数据时,将先验数据作为模板,计算模板的边缘梯度、灰度等像素特征,通过模板遍历第二待测组织的三维体数据,以查找与模板的像素特征差距最小的最优解,实现胎儿肋骨结构的识别。
231.又比如:通过种子区域生长法从第二待测组织的三维体数据中识别出所述胎儿脊柱的三维体数据时,在胎儿脊柱区域中确定种子区域,将种子区域的像素作为种子像素,然后根据种子像素的第二像素特征,从第二待测组织的三维体数据中,符合第二像素特征的像素合并到种子区域中,将新添加的像素作为新的种子像素继续合并,直到找不到符合条件的新像素为止,最终识别出胎儿脊柱的三维体数据。
232.这里,通过一定的用户交互操作的工作流在胎儿脊柱的三维体数据中预先获取一定的先验数据作为已知信息,通过已知信息的像素特征降低胎儿脊柱的识别的难度。
233.脊柱识别方式三、从所述第二待测组织的三维体数据中确定至少两个第四候选区域,获取每一第四候选区域的三维体数据的体数据特征;根据所述每一第四候选区域的体数据特征,确定每一第四候选区域与胎儿脊柱的第四匹配度;确定第四匹配度最高的第四候选区域为所述胎儿脊柱对应的目标区域;将所述胎儿脊柱对应的目标区域的三维体数据作为所述胎儿脊柱的三维体数据。
234.这里,可通过脊柱检测模型接收第二待测组织的三维体数据,脊柱检测模型从所述第二待测组织的三维体数据中确定至少两个第四候选区域,获取每一第四候选区域的三维体数据的体数据特征;脊柱检测模型根据所述每一第四候选区域的体数据特征,确定每一第四候选区域与胎儿脊柱的第四匹配度;脊柱检测模型确定第四匹配度最高的第四候选区域为所述胎儿脊柱对应的目标区域;脊柱检测模型将所述胎儿脊柱对应的目标区域的三
维体数据作为所述胎儿脊柱的三维体数据。
235.脊柱检测模型采用的算法可为机器学习方法,脊柱检测模型以胎儿脊柱的三维体数据作为训练样本,通过机器学习方法对训练样本进行学习,以通过训练样本对脊柱检测模型进行训练。经过训练的脊柱检测模型学习出胎儿脊柱的体数据特征,其中,体数据特征可包括:pca特征,lda特征、harr特征、纹理特征等特征。
236.当脊柱检测模型接收到第二待测组织的三维体数据时,根据学习到的胎儿脊柱的体数据特征,从接收的三维体数据中识别出所包括的胎儿脊柱的三维体数据。
237.在训练样本中,以胎儿脊柱作为目标,对目标进行标定。其中,可通过包含目标的roi框的方式进行标定,也可通过对目标进行精确分割的掩膜(mask)的方式进行标定。
238.脊柱检测模型采用的算法可为图像分割算法,对输入脊柱检测模型的三维体数据进行二值化分割,并进行形态学、轮廓提取、联通域等操作后得到多个第四候选区域,根据对每个第四候选区域的体数据特征判断每一第四候选区域是胎儿脊柱的概率,选择概率最高的第四候选区域作为胎儿脊柱对应的目标区域,且选择的目标区域的三维体数据为胎儿脊柱的三维体数据。
239.在实际应用中,脊柱检测模型采用的图像分割算法也可为:水平集(levelset)、图割(graph cut)、snake、随机游走(random walker)、主动轮廓模型算法、主动形状模型算法、主动外观模型算法中的一种或多种,以及fcn、unet等深度学习中的图像分割算法。
240.脊柱检测模型采用的算法也可为模板匹配算法,建立胎儿脊柱的三维体数据的模板。脊柱检测模型对输入的三维体数据进行二值化分割,并进行形态学、轮廓提取、联通域等操作后得到多个第四候选区域,根据建立的模板遍历体数据中所有的第四候选区域,并确定所有的第四候选区域和模板的相似度即第四匹配度,选择相似度最高的第四候选区域为胎儿脊柱对应的目标区域,目标区域的三维体数据为胎儿脊柱的三维体数据。
241.需要说明的是,本技术实施例中从第二待测组织的三维体数据中识别出胎儿脊柱的三维体数据的具体识别方式不进行任何的限定。
242.s604、将所述胎儿脊柱的三维体数据从所述第二待测组织的三维体数据中分割出来;
243.识别出胎儿脊柱的三维体数据后,根据胎儿脊柱的三维体数据在第二待测组织的三维体数据中的位置,将胎儿脊柱的三维体数据从第二待测组织的三维体数据中分割出来。
244.在实际应用中,s603和s604可同时实现,在识别胎儿脊柱的三维体数据的同时,将胎儿脊柱的三维体数据从第二待测组织的三维体数据中分割出来。
245.s605、从所述胎儿脊柱的三维体数据中识别出腰椎的三维体数据和腰椎的三维体数据;
246.在s604中,将胎儿脊柱的三维体数据从第二待测组织的三维体数据中分割出来后,从胎儿脊柱的三维体数据中识别腰椎的三维体数据时,可至少包括以下两种腰椎识别方式中一种:
247.腰椎识别方式一、基于椎骨的形状特征,从所述胎儿脊柱的三维体数据中定位出所述胎儿脊柱的椎骨;显示所述胎儿脊柱的三维体数据对应的三维图像;基于所述胎儿脊柱的三维体数据对应的三维图像接收第六输入操作;根据所述第六输入操作,确定参考椎
骨和所述参考椎骨对应的椎骨标识;所述参考椎骨为所述胎儿脊柱中的至少一个椎骨;基于所述参考椎骨和所述参考椎骨对应的椎骨标识,识别出所述腰椎的三维体数据。
248.在确定胎儿脊柱的三维体数据后,将胎儿脊柱的三维体数据对应的三维图像显示在显示器上。用户基于通过轨迹球、触摸屏等工具,在显示器上显示的脊柱的三维体数据对应的三维图像上,进行第六输入操作,来标识出胎儿脊柱中的部分椎骨,以及标识出的胎儿脊柱的椎骨标识。
249.超声成像设备接收到第六输入操作后,通过第六输入操作确定用户标识的椎骨,将用户标识的椎骨作为参考椎骨,并将用户输入的椎骨标识作为参考椎骨的椎骨标识,根据参考椎骨确定出胎儿脊柱中腰椎以及腰椎对应的椎骨标识。
250.超声成像设备根据参考椎骨确定出胎儿脊柱中的腰椎以及腰椎对应的肋骨标识时,可根据灰度直方图投影法、轮廓提取算法、边缘提取算法、联通域法、团块检测算法、模板匹配算法、图像特征提取算法、形态学操作算法中的一种或多种方法确定胎儿脊柱所包括的椎骨,从确定的胎儿脊柱所包括的椎骨中确定腰椎。
251.腰椎识别方式二、基于针对所述腰椎的腰椎检测模型,从所述胎儿脊柱的三维体数据中识别出所述腰椎的三维体数据,所述腰椎检测模型通过腰椎的样本体数据训练得到。
252.腰椎检测模型采用的算法可为机器学习方法,腰椎检测模型以腰椎的三维体数据作为训练样本,通过机器学习方法对训练样本进行学习,以通过训练样本对腰椎检测模型进行训练。经过训练的腰椎检测模型学习出腰椎的体数据特征,其中,体数据特征可包括:pca特征,lda特征、harr特征、纹理特征等特征。
253.当腰椎检测模型接收到胎儿脊柱构的三维体数据时,根据学习到的腰椎的体数据特征,从接收的三维体数据中识别出所包括的腰椎的三维体数据。
254.在训练样本中,以腰椎作为目标,对目标进行标定。其中,可通过包含目标的roi框的方式进行标定,也可通过对目标进行精确分割的掩膜(mask)的方式进行标定。
255.腰椎检测模型采用的算法可为图像分割算法,对输入腰椎检测模型的三维体数据进行二值化分割,并进行形态学、轮廓提取、联通域等操作后得到多个候选区域,根据对每个候选区域的体数据特征判断每一候选区域是腰椎的概率,选择概率最高的候选区域作为腰椎对应的区域,且选择的区域的三维体数据为腰椎的三维体数据。
256.在实际应用中,腰椎检测模型采用的图像分割算法也可为:水平集(levelset)、图割(graph cut)、snake、随机游走(random walker)、主动轮廓模型算法、主动形状模型算法、主动外观模型算法中的一种或多种,以及全卷积网络(fully convolutional networks,fcn)、unet等深度学习中的图像分割算法。
257.腰椎检测模型采用的算法也可为模板匹配算法,建立腰椎的三维体数据的模板。腰椎检测模型对输入的三维体数据进行二值化分割,并进行形态学、轮廓提取、联通域等操作后得到多个候选区域,根据建立的模板遍历体数据中所有的候选区域,并确定所有候选区域和模板的相似度,选择相似度最高的候选区域为胎儿肋骨或脊柱对应的目标区域,目标区域的三维体数据为腰椎的三维体数据。
258.腰椎检测模型采用的算法还可为:图像边缘提取、直方图图像灰度投影统计、图像轮廓提取、形态学处理、阈值分割、团块检测等一种或多种方法直接计算出胎儿肋骨结构的
三维体数据中胎儿肋骨的数量。
259.实际应用中,腰椎检测模型和第一腰椎检测模型可为通过一检测模型。
260.s605、对所述脊髓圆锥的三维体数据和所述腰椎的三维体数据进行渲染,得到椎骨结构的三维超声图像;
261.在s602中识别出第二待测组织中脊髓圆锥的三维体数据,在s605中识别出第二待测组织中腰椎的三维体数据后,对脊髓圆锥的三维体数据和腰椎的三维体数据进行三维渲染,得到椎骨结构的三维超声图像。
262.这里,在对脊髓圆锥的三维体数据和腰椎的三维体数据进行三维渲染时,将第二待测组织的三维体数据中除脊髓圆锥的三维体数据和腰椎的三维体数据之外的数据全部清空,对脊髓的三维体数据和腰椎的三维体数据进行立体光线透视渲染,形成椎骨结构的三维超声图像。
263.需要说明的是,渲染的方式可为多种,本技术实施例对渲染的方式不进行任何的限定。
264.s606、在所述椎骨结构的三维超声图像中对所述脊髓圆锥进行标记;
265.根据s502中识别出的脊髓圆锥的三维数据在第二待测组织的三维体数据中的位置,确定脊髓圆锥的三维数据在s203中胎儿肋骨结构的三维超声图像中的位置,并根据确定的脊髓圆锥的位置对脊髓圆锥进行标记,得到标记后的椎骨结构的三维超声图像。
266.在实际应用中,对脊髓圆锥和腰椎之间的距离进行检测,将检测的距离显示在显示屏上。并将检测的距离和设定的距离范围进行比较,如果检测的距离和设定的距离范围不匹配时,则发出告警。
267.s607、输出标记后的所述椎骨结构的三维超声图像。
268.此时,在超声成像设备的显示器上显示的内容为:标记有脊髓圆锥的椎骨结构的三维超声图像,使得用户能够直观地查看胎儿的脊髓圆锥的位置,以及确定脊髓圆锥与腰椎之间的距离。
269.本技术实施例提供的超声成像方法,在获取了胎儿的三维体数据后,自动或半自动的识别、定位和分割胎儿脊柱的三维体数据,对椎骨结构的立体vr图进行自动成像,并在立体vr图上对脊髓圆锥进行标记。从而大大简化脊髓圆锥检查的工作流,将医生从繁琐复杂的手动操作中解放出来,降低了对医生的技术的依赖性,提高检查效率;并且脊髓圆锥定位结果的稳定性和成像质量相比手动都处于更优状态,降低了误诊和漏诊率。
270.相关技术中,在超声胎儿肋骨检查和脊髓圆锥的位置检查中,仍然采用的是全手动的方式。例如:在获取到胎儿肋骨的超声体数据后,医生常常需要调节x、y、z轴的旋转和平移来调整数据的方位,并手动调节好兴趣量voi(volume of interest)的大小和位置,以便更好观察胎儿肋骨结构或脊柱的整体结构。对于图7所示胎儿肋骨图,需要肋骨结构对应的区域701人工统计胎儿肋骨数量或异常情况,以人工检查肋骨是否确实或异常,如果区域701中的肋骨a出现异常,需要手动确定肋骨a的位置。
271.若想要获取某根胎儿肋骨、全部胎儿肋骨或椎骨的横切面或冠状面,如图8所示,需要使用曲面多平面重建(curved multi plannar reformation,cmpr)功能手动在图8(a)的该胎儿肋骨或椎骨上绘制解剖轨迹801,设置好参数如厚度等,得到指定肋骨或椎骨拉伸后的横切面或冠状面8(b)后,才能观察病变肋骨或椎骨的异常情况。在脊髓圆锥位置的检
查中,医生需要手动不断调节脊椎矢状面到最佳位置后即主观认为脊髓圆锥成像效果最好的切面,比如,图9所示的脊髓圆锥,通过人眼观察脊髓圆锥的位置在腰椎相对位置,这种方式比较主观而且容易受成像质量和观察角度的影响造成结果的不准确。
272.可见,相关技术中,胎儿肋骨或脊髓圆锥的检查步骤中的每一种手动操作都比较繁杂、耗时,且十分依赖医生的技术和经验,例如操作cmpr的步骤中,手动描迹需要较高的技巧和耐心,更重要的是医生描迹的好坏直接影响到肋骨或椎骨的横切面或冠状面成像质量的好坏,使得成像效果和质量缺乏一致性和稳定性,从而影响到诊断结果。
273.本技术提供的超声成像方法,可有效的帮助医生进行疾病辅助诊断,显著提升工作效率,提高获取到的关键诊断数据的质量。作为一示例,本技术实施例的超声成像方法所应用的超声成像设备,可如图10所示,包括:体数据获取模块1001、识别模块1002、统计模块1003、成像模块1004和显示模块1005。其中,图10所示的模块可位于图1所示的超声成像设备中的处理器105中。
274.体数据获取模块1001,用于超声胎儿肋骨、胎儿脊柱(也可称为脊柱)和脊髓三维体数据的获取。
275.当图1中的发射电路101将一组经过延迟聚焦的脉冲发送到探头102,探头102向待测组织发射超声波,且经过一定延时后接收从待测组织反射回来的带有组织信息的超声回波,并将此超声回波重新转换为电信号。接收电路103接收这些电信号,并将这些超声回波信号送入波束合成模块104。超声回波信号在波束合成模块104完成聚焦延时、加权和通道求和,再经过处理器105进行信号处理后得到包括胎儿肋骨结构、脊柱的三维体数据。
276.识别模块1002,用于超声肋骨结构或脊柱的识别、定位和分割,以及脊髓圆锥的识别、定位和分割。
277.其中,胎儿肋骨结构(也可称为肋骨结构)的识别和定位方法可以分为手动、半自动、自动三种,识别方式分为识别肋骨骨架的整体结构和分别识别每根肋骨(t1-t12)和中心线两种。胎儿肋骨的识别方式如下:
278.1、手动获取胎儿肋骨结构位置
279.用户通过轨迹球、触摸屏等工具,通过一定的工作流在体数据中肋骨结构上选取标志点、画出标志线等方法,来告知系统肋骨结构在空间中的位置,例如选中每根胎儿肋骨的端点或者在肋骨结构边界上间断的取一些点、大致画出肋骨结构的中线或者描出肋骨结构的边界线等。
280.2、自动识别胎儿肋骨结构的方法
281.采用机器学习方法学习数据库中可以区别胎儿肋骨和其他非肋骨结构组织的特征或规律,再根据学习到的特征或规律对其它体数据中胎儿肋骨结构进行定位和识别,首先用对多个胎儿肋骨的体数据及对应的标定结果构建数据库。其中,标定结果可以根据实际的任务需要进行设定,可以是包含目标的roi框,也可是对目标进行精确分割的mask(掩膜)。
282.需要注意的是:如果将胎儿的每根肋骨或脊柱当成不同类别去识别和定位的目标而不是将所有肋骨和脊柱组成的结构当作整体目标去识别,则还需要指定每个roi框或mask的肋骨或脊柱的类别,即需要将所有胎儿肋骨和脊柱中标定成不同类别,转化为多目标识别定位问题。构建好数据库后,再设计机器学习算法学习胎儿肋骨和脊柱数据库中可
以区别胎儿肋骨或脊柱区域和非胎儿肋骨或非脊柱区域的特征或规律来实现对体数据中胎儿肋骨和脊柱的定位和识别。
283.识别胎儿肋骨结构的方法包括但不限于如下方法:
284.方法一、基于滑窗的方法:首先对滑窗内的区域进行特征提取,提取的特征可以是pca特征、lda特征、harr特征、纹理特征等,也可以采用深度神经网络来进行特征提取,然后将提取到的特征和数据库进行匹配,用knn、svm、随机森林、神经网络等判别器进行分类,确定当前滑窗是否为感兴趣区域同时获取其相应类别。
285.方法二、基于深度学习的边框(bounding-box)方法识别,常见形式为:通过堆叠基层卷积层和全连接层来对构建的数据库进行特征的学习和参数的回归,对于输入的三维体数据,可以通过网络直接回归出对应的感兴趣区域的bounding-box,同时获取其感兴趣区域内组织结构的类别,网络模型所采用的算法有r-cnn、fast r-cnn、faster-rcnn、ssd、yolo等。
286.方法三、基于深度学习的端到端的语义分割网络方法,该类方法与方法二基于深度学习的bounding-box的结构类似,不同点在于将全连接层去除,加入上采样或者反卷积层来使得输入与输出的尺寸相同,从而直接得到输入图像的感兴趣区域及其相应类别,常见的网络有fcn、u-net、mask r-cnn等。
287.方法四、采用方法一、方法二或方法三来对目标进行定位,再通过分类器对定位结果的目标进行分类判断。类判断方法可为:首先对目标roi或mask进行特征提取,提取的特征提取方法可以是pca特征、lda特征、harr特征、纹理特征等,也可以采用深度神经网络来进行特征提取,然后将提取到的特征和数据库进行匹配,用knn、svm、随机森林、神经网络等判别器进行分类。
288.识别胎儿肋骨结构的方法可以为图像分割算法,精确分割出体数据中的胎儿肋骨结构。这里,胎儿肋骨构通常表现为高灰度值的高回声弧带形状目标,可通过图像分割算法将肋骨结构分割出来。
289.例如,首先对体数据进行二值化分割,进行一些必要的形态学、轮廓提取、联通域等操作后得到很多候选区域,然后对每个候选区域根据形状、长宽比例等特征判断该区域是肋骨结构的概率,选择概率最高的区域作为肋骨结构区域。也可以采用其它图像分割算法,例如水平集(levelset)、图割(graph cut)、snake、随机游走(random walker)、主动轮廓模型算法、主动形状模型算法、主动外观模型算法中的一种或多种以及深度学习中的一些图像分割算法,如fcn、unet等等。
290.又如,也可采用模板匹配的方法在体数据中检测出胎儿肋骨结构,例如,胎儿肋骨结构形状较为特别,可事先收集一些胎儿肋骨结构的数据建立模板,在检测时遍历体数据中所有可能的区域,和模板进行相似度匹配,选择相似度最高的区域为目标区域。
291.3、半自动获取胎儿肋骨位置的方法:
292.需要用户使用轨迹球、触摸屏等工具,通过一定的用户交互操作的工作流在胎儿肋骨结构的体数据中预先获取一定的先验数据作为已知信息或预先设置一定的参数或条件帮助降低识别的难度等,然后结合模板匹配算法、图像特征提取算法、边缘提取算法、形态学操作算法中的一种或多种图像处理方法,graphcut算法、grabcut算法、水平集方法、主动轮廓模型算法、主动形状模型算法、种子区域增长法、区域分割合并法中的一种或多种图
像分割算法,深度学习方法、支持向量机、adaboost、随机森林算法中的一种或多种机器学习方法去实现识别和确定体数据中胎儿肋骨结构的位置。
293.例如,采用模板匹配的方法时,需要预先获取一个样本体数据,可使用轨迹球、触摸屏等取出包含一部分或全部的胎儿肋骨结构信息的数据来制作模板,如采用矩形框截取某一或多个截面上包含胎儿肋骨结构的图像作为模板,然后计算模板的边缘梯度、灰度等信息,然后使用模板遍历整个体数据查找与模板信息差距最小的最优解实现胎儿肋骨的识别。
294.在采用graphcut算法进行胎儿肋骨区域的分割时,也需要首先分别在胎儿肋骨结构和非胎儿肋骨结构区域内指定分别代表目标区域和背景区域的像素点作为种子点,例如,用户通过轨迹球在肋骨结构内部和外部分别点点和画线条指定不同的种子点;grabcut算法则需要人为画一个框将带分割的肋骨结构目标区域框住或者分别在肋骨结构区域和非肋骨结构区域画一些分别指定目标区域和背景区域像素的不同颜色的线条,才能得到较完美的分割结果。
295.水平集、主动轮廓模型等分割方法需要用户交互给定初始的轮廓曲线,然后根据泛函能量最小化进行曲线演化来逼近胎儿肋骨的边界,实现胎儿肋骨的分割;种子区域生长法也需要用户提供一组代表不同生长区域的种子像素,然后将种子像素领域里符合的像素合并到种子像素所代表的生长区域中,将新添加的像素作为新的种子像素继续合并,直到找不到符合条件的新像素为止,最终分割出胎儿肋骨结构。或者还可以通过用户事先通过交互工作流设置矩形框或者指定肋骨结构一些标志点等方法缩小检测范围来降低识别难度。
296.通过上述方法,可以识别出胎儿肋骨结构在体数据中的位置。
297.在实际应用中,上述识别胎儿肋骨结构的方式同样适用于脊柱的识别。
298.需要说明的是,在构建机器学习的数据库时和模板匹配的模板时,样本可以是包含脊柱、所有的12根肋骨的整体结构作为标记样本或模板,也可以将12根肋骨和脊柱当成不同类别的多目标去标记和识别或者模板匹配。
299.脊髓圆锥的识别和定位需要在脊髓体数据中自动识别、分割出脊髓圆锥并确定其准确位置。其方法如下:
300.采用机器学习方法学习数据库中可以区别脊髓圆锥和其他非脊髓圆锥组织的特征或规律,再根据学习到的特征或规律对其它体数据中脊髓圆锥进行定位和识别,首先用对多个脊髓数据进行采样的多帧图片及对应的标定结果构建数据库。其中,标定结果可以根据实际的任务需要进行设定,可以是包含目标的roi框,也可是对目标进行精确分割的mask(掩膜);构建好数据库后,再设计机器学习算法学习脊髓圆锥数据库中可以区别脊髓圆锥区域和非脊髓圆锥区域的特征或规律来实现对体数据中脊髓圆锥的定位和识别。
301.常用的方法包括但不限于如下方法:
302.方法一、基于滑窗的方法:首先对滑窗内的区域进行特征提取,提取的特征方法可以是pca特征、lda特征、harr特征、纹理特征等,也可以采用深度神经网络来进行特征提取,然后将提取到的特征和数据库进行匹配,用knn、svm、随机森林、神经网络等判别器进行分类,确定当前滑窗是否为感兴趣区域同时获取其相应类别。
303.方法二、基于深度学习的bounding-box方法检测识别,常见形式为:通过堆叠基层
卷积层和全连接层来对构建的数据库进行特征的学习和参数的回归,对于输入的三维体数据,可以通过网络直接回归出对应的感兴趣区域的bounding-box,同时获取其感兴趣区域内组织结构的类别。网络模型可采用的方法有r-cnn,fast r-cnn、faster-rcnn、ssd、yolo等。
304.方法三、基于深度学习的端到端的语义分割网络方法,该类方法与第二种基于深度学习的bounding-box的结构类似,不同点在于将全连接层去除,加入上采样或者反卷积层来使得输入与输出的尺寸相同,从而直接得到输入图像的感兴趣区域及其相应类别,常见的网络有fcn、u-net、mask r-cnn等。
305.方法四、只采用方法一、方法二或方法三来对目标进行定位,再通过分类器对定位结果的目标进行分类判断。分类判断方法可为:首先对目标roi或mask进行特征提取,提取的特征可以是pca特征、lda特征、harr特征、纹理特征等,也可以采用深度神经网络来进行特征提取,然后将提取到的特征和数据库进行匹配,用knn、svm、随机森林、神经网络等判别器进行分类。
306.识别脊髓圆锥的方法还可以为图像分割算法,精确分割出体数据中的脊髓圆锥。这里,脊髓圆锥通常表现为高灰度值的高回声弧带形状目标,可通过图像分割算法将脊髓圆锥分割出来。
307.例如,首先对体数据进行二值化分割,进行一些必要的形态学、轮廓提取、联通域等操作后得到很多候选区域,然后对每个候选区域根据形状、长宽比例等特征判断该区域是脊髓圆锥的概率,选择一个概率最高的区域作为脊髓圆锥区域。也可以采用其它图像分割算法,例如水平集(levelset)、图割(graph cut)、snake、随机游走(random walker)、主动轮廓模型算法、主动形状模型算法、主动外观模型算法中的一种或多种以及深度学习中的一些图像分割算法,如fcn、unet等等。
308.又如,也可采用模板匹配的方法在体数据中检测出脊髓圆锥,例如,胎儿脊髓圆锥形状较为特别,可事先收集一些胎儿脊髓圆锥的数据建立模板,在检测时遍历体数据中所有可能的区域,和模板进行相似度匹配,选择相似度最高的区域为目标区域。
309.通过上述方法即可自动的定位出胎儿脊髓圆锥在体数据中的准确位置。
310.统计模块1003,用于超声胎儿肋骨和椎骨数量的半自动或自动统计。
311.通过识别模块1002确定体数据中胎儿肋骨结构或脊柱的位置后,统计模块1003通过半自动或自动的方法对胎儿12根肋骨、脊柱和腰椎骨分别进行识别和标记,计算出胎儿肋骨数量并将肋骨、脊柱、和腰椎骨的标记结果在显示模块1005上显示出来。
312.需要说明的是,腰椎骨的识别和位置、名称的标记是为了作为脊髓圆锥末端位置的参照物,临床上常使用脊髓圆锥末端所对应的具体椎体水平来判断胎儿脊髓圆锥末端的位置及其上升规律,例如正常成人脊髓圆锥末端位于腰椎l1~2水平。腰椎骨数量和位置的计算和标注不作先天疾病检查的判断指标,仅为了作为表示胎儿脊髓圆锥末端具体位置的参照和衡量指标。
313.1、半自动胎儿肋骨体的数量统计:
314.结合用户通过一定的手动操作工作流提供的信息在识别模块1002分割出来胎儿肋骨结构体数据的基础上采用包含但不限于如下方法:灰度直方图投影法、轮廓提取算法、边缘提取算法、联通域法、团块检测算法、模板匹配算法、图像特征提取算法、形态学操作算
法中的一种或多种方法去统计胎儿肋骨或椎体的数量,并标记每根肋骨或椎体的名称。
315.例如,首先,通过轨迹球、触摸屏等工具在分割后的胎儿肋骨或椎体数据中选中1根或多根肋骨或椎体结构,如在t3和t9肋骨上点一个点或者分别画出t3和t9肋骨的中心线,即将这两根肋骨标为已知,然后通过肋骨体数据分割后的结果和t1到t12肋骨之间固定的排列顺序关系和空间位置关系,如在肋骨结构不缺失的情况下t2肋骨上方的肋骨一定是t1下方一定是t3,结合上述某种算法进行数量统计和名称标记。
316.例如,通过直方图灰度投影的方法分割好的体数据的某一冠状面沿y轴投影,通过计算像素统计图的像素波峰的个数和峰值处的位置分别得到胎儿肋骨的数量和位置,通过画点和画线处的大致区域信息与得到位置信息进行距离计算,距离最近的即标记为t3和t9肋骨,依次对其他所有肋骨进行名称标记或者只标记出t3到t9之间的肋骨。
317.同样,也可根据查找轮廓的方式确定出分割出来的每根肋骨的位置,通过计算最外部包围轮廓即最大轮廓的数量的到肋骨的数量,当然这里可能需要一些图像预处理工作去除一些无关结构减少干扰,通过计算特定轮廓的数量和位置也可以实现上述功能。团块检测、模板匹配等类似,不再赘述。
318.2、自动统计胎儿肋骨或椎体的方法
319.在分割出胎儿肋骨结构或脊柱的体数据后,既可以利用胎儿肋骨之间已知的空间位置关系,如图11所示的肋骨(t1-t12)之间的排列顺序,或者其他一些已知的先验知识并结合图像处理的方法包括但不限于如图像边缘提取、直方图图像灰度投影统计、图像轮廓提取、形态学处理、阈值分割、团块检测等一种或多种方法直接计算出体数据中胎儿肋骨的数量。这里,在图11所示的肋骨的排列顺序中,仅对t3、t6、t9和t12进行了标注,即仅标注了第3肋骨、第6肋骨、第9肋骨和第12肋骨。
320.例如,将识别模块1002中采用机器学习或分割算法分割提取出来的胎儿肋骨结构或脊柱的冠状面切面图像首先进行阈值分割,然后沿着垂直于脊柱方向或平行于肋骨方向进行灰度值的直方统计投影,纵坐标为图像高度,横坐标为像素个数,然后设置阈值计算统计图的峰值个数即可得到胎儿肋骨的数量和位置然后进行标记,同理也可得到脊柱位置进行标记。
321.又如,可以结合轮廓提取和团块检测直接得到肋骨的数量等。
322.也可采用机器学习方法,将12根不同的肋骨、脊柱都当成一个识别目标去构建学习数据库,学习库可以区别每根特定肋骨与其他肋骨或脊柱的特征或规律,去学习每根不同肋骨和脊柱的特征或规律对其它体数据中胎儿肋骨结构中的肋骨和脊柱进行定位和识别,其中,标定结果可以根据实际的任务需要进行设定,可以是包含目标的roi框,也可是对目标进行精确分割的mask(掩膜);这里将胎儿的每根肋骨或脊柱当成不同类别去识别和定位的目标,需要指定每个roi框或mask的肋骨或椎体的类别,为多目标识别定位问题。构建好数据库后,再设计机器学习算法学习胎儿肋骨数据库中可以区别胎儿肋骨区域和非胎儿肋骨区域的特征或规律来实现对体数据中胎儿肋骨的定位和识别。
323.常用的方法与识别模块1002类似,如:方法一、传统的基于滑窗进行特征提取和判别器进行分类的方法。方法二、基于深度学习的bounding-box方法检测识别方法。方法三、基于深度学习的端到端的语义分割网络方法。方法四、只采用方法一、方法二或方法三来对目标进行定位,再通过分类器对定位结果的目标进行分类判断的方法。
324.也可采用模板匹配的方法在胎儿肋骨结构体数据中检测出不同的肋骨和脊柱,例如,根据胎儿每根不同的肋骨和脊柱,建立不同的模板,在检测时遍历分割提取出来的胎儿肋骨结构所有可能的区域,和模板进行相似度匹配,选择相似度最高的区域为目标区域,然后根据匹配结果进行标记和数量统计。
325.通过包含但不限于以上一种或多种方法的组合,可以统计出识别出来的胎儿肋骨结构中的肋骨结构并标记和统计肋骨的数量。
326.需要说明的是,统计模块1003统计脊柱中椎体的数量的方法同统计胎儿肋骨结构中的胎儿肋骨的数量的方法,从而能够统计出脊柱中所包括的椎体的数量和每一椎体的标识,从而确定出腰椎。
327.成像模块100,用于胎儿肋骨结构的自动成像。
328.胎儿肋骨结构的自动成像时,使用拉直算法对肋骨结构体数据进行拉直重建操作,然后识别、定位出所需体数据切面进行成像。如图11所示自动成像的主要内容有肋骨或被拉直的肋骨的冠状面自动成像、每根肋骨或被拉直的肋骨的的横切面的自动成像、手动选中肋骨的横切面自动成像、三维肋骨骨架提取自动成像和标注有脊髓圆锥末端位置的椎骨vr图自动成像等。
329.肋骨的体数据和脊柱的体数据需要进行拉直重建才能获取完整的冠状面和横切面。拉直对象的拉直分为纵向轴线的提取和拉直重建两部分,拉直对象包括肋骨和脊柱的。
330.提取拉直对象的纵向轴线的方法可为:基于跟踪的纵向轴线提取算法、基于模型的多尺度纵向轴线提取算法、基于形态学的纵向轴线提取方法、基于区域增长的中心线提取方法、基于三维几何矩的方法以及采用机器学习定位中心线的方法等。
331.基于跟踪的纵向轴线提取算法是一种半自动的算法,基于用户交互提供的初始关键点和终止点,跟踪过程中生成垂直于跟踪方向的切面,并采用最大似然值法和质心法精确计算切面中肋骨或脊柱的中心点,跟踪结束之后对中心点序列进行插值拟合即得到纵向轴线。此时,对纵向轴线进行等间隔采样生成垂直于肋骨或脊柱方向的等间隔肋骨或脊柱切面序列,最终将等间隔切面重建以达到肋骨或脊柱拉直的目的。
332.基于模型的多尺度纵向轴线提取算法将局部肋骨或脊柱近似成管状结构,将计算几何矩得到的管状结构的重心作为局部肋骨或脊柱中心,通过对多尺度高斯滤波下某体素所对应的hessian矩阵的特征值进行分析,增强局部肋骨或椎骨结构并根据hessian矩阵特征值最小特征值所对应的特征向量估计纵向轴线方向。得到纵向轴线后便可以对肋骨和椎骨进行拉直重建,先对肋骨纵向轴线进行等间隔采样,得到等间隔中心点,在此基础上重新生成等间隔的垂直于肋骨或椎骨方向的切面序列,将其堆叠在一起,进而得到不同角度的肋骨剖面图或三维重建图,达到拉直的目的。
333.下面分别对肋骨的冠状面的成像、肋骨的横截面的成像、肋骨骨架的成像以及脊髓圆锥的标注分别进行说明。其中,肋骨的冠状面的成像和肋骨的横截面的成像中成像的对象可为肋骨或拉直的肋骨。
334.第一、肋骨的冠状面的成像
335.肋骨的冠状面的显示需要将脊柱和肋骨同时拉直后才能获取到,如图12所示肋骨和脊柱均需要沿着长轴方向被拉直,如图中箭头1201和箭头1202所示,采用拉直方法分别对肋骨体数据朝箭头所示的两个方向拉直后,提取到的所有肋骨和脊柱的纵向轴线几乎全
部位于同一平面上,直接通过解数学方程或类似最小二乘法或hough变换等平面拟合的方法确定出该平面,并根据该平面的体数据成像,得到需要的胎儿肋骨结构的冠状面。
336.第二、肋骨的横截面的成像
337.肋骨横切面的显示需要将肋骨沿图12中的长轴1202拉直,为了准确找到确定所有肋骨的横切面,这里仍将脊柱沿图12中箭头1202方向拉直。采用两条直线确定一个平面的方法确定每根肋骨的横切面。其中,横切面必须垂直于脊柱的纵向轴线且与肋骨的纵向轴线共面,这样便能唯一确定没更肋骨的横切面。
338.肋骨横切面的显示分为图13所示的所有肋骨横切面显示和图14所示的手动选中的指定肋骨横切面自动显示两种显示模式。
339.第三、肋骨骨架的成像
340.通过识别模块1002或统计模块1003中识别出每根肋骨t1-t12的结构和脊柱的中心线,并进行对识别出的肋骨进行标记。
341.首先,将识别分割得到肋骨和脊柱结构的体数据重新构建新的体数据,比如:胎儿肋骨结构的地方灰度为1,非胎儿肋骨结构的地方为0。然后,再使用体绘制或者面绘制的方法对重新构建的体数据进行渲染,得到如图15所示的胎儿肋骨和椎骨结构的三维骨架渲染图。
342.在实际应用中,可将每一个拉直的肋骨的横截面和三维骨架显示在同一显示界面上。
343.第四、脊髓圆锥的标注
344.通过识别模块02定位出来的脊髓圆锥末端在矢状面上具体位置(二维坐标),并结合该矢状面在体数据中的具体位置计算出脊髓圆锥末端在体数据中的三维几何坐标点,最后根据该三维坐标点和定位模块识别定位到的胎儿脊柱在体数据中的姿态(如已得到的脊柱的中心线)计算出来通过脊髓圆锥末端端点并且垂直于脊柱的一个平面或直线。将该平面或直线映射到椎体结构的立体vr图上,即可直观的表示出脊髓圆锥末端相对胎儿腰椎骨的相对位置,并计算出这一结果(如l1~2之间)标注在vr图上。
345.在实际应用中,可同时进行胎儿肋骨、腰椎和脊髓圆锥的检测,在包括胎儿肋骨结构和椎体结构的vr图像上标注出肋骨和脊髓圆锥。如图16所示,用直线1701表示出定位到的胎儿脊髓圆锥的具体位置对应的椎骨位置。
346.本技术提出了一种胎儿肋骨数量异常和脊髓圆锥位置异常的超声检测方法。在获取了胎儿三维体数据后,自动或半自动(手动指定1或2根肋骨)的识别、定位和分割胎儿肋骨结构和自动定位胎儿脊髓圆锥的准确位置,并进行胎儿肋骨数量的自动/半自动统计,以及从体数据中对肋骨骨架进行(三维)提取和对所有肋骨或指定肋骨被拉直后的横截面、冠状面和立体vr图进行自动成像,在立体vr图上标记出脊髓圆锥在腰椎的具体位置。
347.该方法大大简化了胎儿肋骨检查和脊髓圆锥位置检查的工作流,可以将医生从繁琐复杂的手动操作中解放出来,将精力更多的放到疾病的诊断中去,降低了对医生的技术的依赖性,提高检查效率;并且肋骨数量统计结果和脊髓圆锥定位结果的稳定性和成像质量相比手动都处于更优状态,降低了误诊和漏诊率。
348.一个实施例中,还提供了一种超声成像方法。该超声成像方法可应用于前述的超声成像设备。该方法中,可以基于胎儿肋骨的特征来自动地或者半自动地从胎儿的三维体
数据中识别出胎儿肋骨的三维体数据,然后基于识别出的胎儿肋骨的三维体数据自动地或者半自动地获得有临床价值的切面图像,例如冠状面图像、横截面图像、肋骨的纵向截面图像等等。
349.例如,该实施例中,可以先获取胎儿的三维体数据。胎儿的三维体数据可以是超声成像设备实时扫描获得的,例如,超声成像设备通过超声探头向胎儿发射超声波并接收超声回波,获得超声回波信号,超声设备的处理器对超声回波信号进行处理,获得胎儿的三维体数据。胎儿的三维体数据也可以是超声成像设备预先获取并存储的,在需要获得胎儿肋骨的切面图像或三维图像时读入进行处理。
350.然后,处理器可以基于胎儿肋骨的特征,从胎儿的三维体数据中识别出胎儿肋骨的三维体数据。这里,胎儿肋骨由于其本身的特性,其在超声图像上会表现出特定的特征。因此,处理器可以基于胎儿肋骨的图像特征(即其图像数据所展现的特征)来识别胎儿肋骨的三维体数据,例如,灰度或像素或体素值的均值、方差、分布特征、纹理、形态特征,等等。
351.然后,处理器可以根据识别的胎儿肋骨的三维体数据,获得经过胎儿肋骨的三维体数据中的至少两根肋骨并与胎儿肋骨的三维体数据中的多根胎儿肋骨的排列面平行或重合的第一平面(例如,冠状面)或第一曲面和/或获得经过胎儿肋骨的三维体数据中的至少一根肋骨并与胎儿肋骨的三维体数据中的多根胎儿肋骨的排列面相交的第二平面(例如,横截面)或第二曲面,然后根据识别的胎儿肋骨的三维体数据,获得第一平面或第一曲面上的图像和/或获得第二平面或第二曲面上的图像。
352.获得了第一平面或第一曲面上的图像和/或第二平面或第二曲面上的图像后,处理器可以通过显示器将第一平面或第一曲面上的图像显示为二维图像和/或将第二平面或第二曲面上的图像显示为二维图像。
353.该实施例中,该方法还可以包括:根据识别出的胎儿肋骨的三维体数据获得胎儿肋骨的三维超声图像,并显示胎儿肋骨的三维超声图像。
354.该实施例中,可以基于第一肋骨检测模型,自动地从第一待测组织的三维体数据中识别出胎儿脊柱的三维体数据和胎儿肋骨的三维体数据。
355.该实施例中,也可以使用模板匹配的方法基于胎儿肋骨的特征从胎儿的三维体数据中识别出胎儿肋骨的三维体数据。例如,可以从胎儿的三维体数据中确定至少两个第一候选区域,获取每一第一候选区域的三维体数据的体数据特征,并根据每一第一候选区域的体数据特征,确定每一第一候选区域与胎儿肋骨的第一匹配度,并确定第一匹配度最高的第一候选区域为胎儿肋骨对应的目标区域,将胎儿肋骨对应的目标区域的三维体数据作为胎儿肋骨的三维体数据。
356.本实施例中,在识别胎儿肋骨的三维体数据时,也可以基于用户或者与超声成像设备通过有线或者无线网络连接的其他设备的输入操作进行,即可以半自动地进行。例如,可以显示胎儿的三维体数据对应的三维超声图像,并基于胎儿的三维体数据对应的三维超声图像接收第一输入操作,确定第一输入操作对应的标志点,并根据标志点的坐标从胎儿的三维体数据中识别出胎儿肋骨的三维体数据。
357.本实施例中,也可以先识别胎儿肋骨和胎儿脊柱的整体结构,再从中识别胎儿肋骨。例如,可以从胎儿的三维体数据中识别出胎儿肋骨结构的三维体数据,其中胎儿肋骨结构包括胎儿肋骨和胎儿脊柱,然后从胎儿肋骨结构的三维体数据中识别出胎儿肋骨的三维
体数据。
358.本实施例中,也可以将肋骨拉直,然后基于拉直的肋骨的三维体数据获得第一平面或第一曲面上的图像和/或获得第二平面上的图像。例如,可以将识别出的胎儿肋骨的三维体数据拉直,获得拉直肋骨三维体数据,然后根据拉直肋骨三维体数据,获得经过拉直肋骨三维体数据中至少两根肋骨并与拉直肋骨三维体数据中多根胎儿肋骨的排列面平行或重合的第一平面或第一曲面,和/或,获得经过拉直肋骨三维体数据中的至少一根肋骨并与拉直肋骨三维体数据中的多根胎儿肋骨的排列面相交的第二平面,并根据拉直肋骨三维体数据,获得第一平面或第一曲面上的图像和/或获得第二平面上的图像。
359.该实施例中,也可以也识别出胎儿脊柱,并将胎儿肋骨和胎儿脊柱都拉直后,根据拉直后的三维体数据获得第一平面和/或第二平面上的图像。例如,可以基于胎儿脊柱的特征,从胎儿的三维体数据中识别出胎儿脊柱的三维体数据,识别出的胎儿肋骨和识别出的胎儿脊柱通常彼此相连,因此,这里将胎儿肋骨和胎儿脊柱整体称为胎儿肋骨结构。本实施例中,可以将胎儿肋骨结构的三维体数据拉直,即将胎儿肋骨的三维体数据和胎儿脊柱的三维体数据均拉直,获得拉直肋骨结构三维体数据,相应地,该拉直肋骨结构三维体数据将包括拉直肋骨三维体数据和拉直脊柱三维体数据。然后,根据该拉直肋骨结构三维体数据,获得经过拉直肋骨和拉直脊柱的第一平面和/或获得经过至少一根拉直肋骨并与拉直脊柱相交的第二平面,并根据该拉直肋骨结构三维体数据,获得该第一平面上的图像,和/或,根据该拉直肋骨结构三维体数据获得该第二平面上的图像。
360.该实施例中,获得第一平面上的图像时,可以基于一定厚度范围内的数据来获得第一平面上的图像,从而可以使得第一平面上的图像能够显示更多的信息。例如,可以从拉直肋骨三维体数据和/或拉直脊柱三维体数据中获取与第一平面垂直的方向上预定厚度范围内的三维体数据,并根据该预定厚度范围内的三维体数据获得第一平面上的图像。
361.该预定厚度范围内的三维体数据可以由用户手动确定。例如,用户可以通过输入装置在显示的拉直后的三维体数据的三维图像或者二维切面图像上直接画出预定厚度范围,或者也可以通过输入装置在显示的拉直后的三维体数据的三维图像或者二维切面图像上确定预定的平面(例如,椎弓或椎体的上下边缘所在的平面,或者根据实际需要的其他平面,等等),然后以上下边缘平面之间的区域为该预定厚度范围,等等。
362.该实施例中,可以使该预定厚度范围内的三维体数据包含胎儿脊柱的椎弓和/或椎体。此时,同样地,可以手动设定该预定厚度范围内使得其包含胎儿脊柱的椎弓和/或椎体。或者,也可以自动或半自动确定该预定厚度范围。例如,可以基于脊柱的椎弓和/或椎体的特征,从拉直脊柱三维体数据中识别椎弓和/或椎体,并确定预定厚度范围内的三维体数据使得预定厚度范围内的三维体数据包含识别的椎弓和/或椎体,例如,可以根据识别出的椎弓和/或椎体的上下边缘拟合出上下边缘的三个平面,以该三个平面中任意两个平面之间的范围为前述的预定厚度范围。
363.该实施例中,基于脊柱的椎弓和/或椎体的特征从拉直脊柱三维体数据中识别椎弓和/或椎体的方法可以参考前述各个实施例中从三维体数据中识别特定组织结构的方法,可以使用与其类似的方法,在此不再一一详述。
364.该实施例中,可以使用多种适合的方式根据预定厚度范围内的三维体数据获得第一平面上的图像。例如,可以将预定厚度范围内的三维体数据在垂直于第一平面的方向上
加权,获得第一平面上的图像,等等。例如,可以将该厚度范围内在垂直于第一平面的一个路径上的所有体素加权平均,获得该方向上第一平面上与该路径相应的像素点的值,类似地获得第一平面上所有像素点的值,即可获得第一平面上的图像。
365.该实施例中,可以使用多种适合的方法将识别出的胎儿肋骨的三维体数据拉直获得拉直肋骨三维体数据。例如,可以确定识别出的胎儿肋骨的三维体数据的纵向轴线,并根据纵向轴线对识别出的胎儿肋骨的三维体数据进行采样,得到切面序列,然后对切面序列沿着直线进行重建,获得拉直肋骨三维体数据。
366.该实施例中,类似地,可以使用多种适合的方法将识别出的胎儿脊柱的三维体数据拉直获得拉直脊柱三维体数据。例如,可以确定识别出的胎儿脊柱的三维体数据的纵向轴线,根据纵向轴线对识别出的胎儿脊柱的三维体数据进行采样,得到切面序列,并对切面序列沿着直线进行重建,获得拉直脊柱三维体数据。
367.该实施例中,还可以根据识别的胎儿肋骨的三维体数据自动确定胎儿肋骨的数量,并显示胎儿肋骨的数量。胎儿肋骨的数量可以以数字或者其他适合的符号显示。
368.该实施例中,还可以根据识别的胎儿肋骨的三维体数据对胎儿肋骨进行标记,并显示胎儿肋骨的标记。该标记可以是各种适合的标记,例如前述的t1、t2等等标记,也可以是其他适合的文字、数字、符号、颜色等等。
369.该实施例中,涉及的各个步骤的具体方案可以参考前述各个实施例中的方法或者与其前述各个实施例中的类似步骤相同或者类似,这里不再一一详述。
370.一个实施例中,提供了一种超声成像方法,该方法可以应用于前述的超声成像设备。该方法可以包括:获取胎儿的三维体数据,基于胎儿脊髓圆锥的特征,从胎儿的三维体数据中识别出脊髓圆锥区域,根据识别出的脊髓圆锥区域,确定脊髓圆锥区域的位置,并显示该脊髓圆锥区域的位置。这里,可以使用各种适合的方式显示脊髓圆锥区域的位置,例如通过适合的符号、彩色区域、文字、箭头、几何形状等等。
371.该实施例中,确定的脊髓圆锥区域的位置可以是脊髓圆锥末端的位置。例如,可以根据识别出的脊髓圆锥区域确定脊髓圆锥末端的位置,并将该脊髓圆锥末端的位置显示出来。脊髓圆锥末端的位置可以通过多种适合的方式显示,例如,适合的复合、颜色、圆点、线、箭头、数字、与适合的参考位置的距离,等等。
372.该实施例中,可以通过目标匹配的方法识别脊髓圆锥区域。例如,可以从胎儿的三维体数据中确定至少两个第二候选区域,获取每一第二候选区域的三维体数据的体数据特征,根据每一第二候选区域的体数据特征,确定每一第二候选区域与脊髓圆锥的第二匹配度,并确定第二匹配度最高的第二候选区域为脊髓圆锥区域。
373.该实施例中,也可以先从胎儿的三维体数据中识别胎儿的矢状面,然后在从矢状面图像中识别脊髓圆锥区域。例如,可以根据经过胎儿脊柱的矢状面的特征,从胎儿的三维体数据中确定经过胎儿的脊柱的矢状面图像,然后基于脊髓圆锥的特征,在经过胎儿的脊柱的矢状面图像中确定脊髓圆锥区域。这里,矢状面可以为正中矢状面和/或邻近正中矢状面的矢状面。
374.该实施例中,还可以从胎儿的三维体数据中识别出腰椎区域,并相对于腰椎区域显示脊髓圆锥区域的位置,从而使得用户可以很方便地看到脊髓圆锥与腰椎之间的相对位置关系。例如,可以基于胎儿腰椎的特征,从胎儿的三维体数据中识别出腰椎区域,显示腰
椎区域的超声图像,并相对于腰椎区域的超声图像显示脊髓圆锥区域(例如,脊髓圆锥末端,等等)的位置。这里,相对于腰椎区域的超声图像显示脊髓圆锥区域的位置可以包括多种适合的方式,例如,可以同时显示腰椎区域的超声图像和脊髓圆锥区域的位置,使得用户可以直接看到二者的相对位置关系,或者通过文字或者符合等等显示脊髓圆锥区域相对于腰椎区域的距离,或者通过代表腰椎和脊髓圆锥区域的符号显示二者之间的相对位置关系,等等。
375.该实施例中,涉及的各个步骤(例如,识别脊髓圆锥区域、识别腰椎区域、识别胎儿的矢状面,等等)的具体方案可以参考前述各个实施例中的方法或者与其前述各个实施例中的类似步骤相同或者类似,这里不再一一详述。
376.本技术实施例还提供一种超声成像设备10,如图1所示,包括:
377.探头100;
378.发射电路101,激励探头100向第一待测组织发射超声波;
379.接收电路103,通过探头100接收从所述第一待测组织返回的超声回波以获得超声回波信号;
380.处理器105,处理所述超声回波信号以获得标记后的胎儿肋骨结构的三维超声图像;
381.显示器106,显示标记后的胎儿肋骨结构的三维超声图像;
382.其中,处理器105还执行如下步骤:
383.根据所述超声回波信息获取第一待测组织的三维体数据;从所述第一待测组织的三维体数据中识别出胎儿脊柱的三维体数据和胎儿肋骨的三维体数据;对所述胎儿脊柱的三维体数据和所述胎儿肋骨的三维体数据进行渲染,得到所述胎儿肋骨结构的三维超声图像;在所述胎儿肋骨结构的三维超声图像中对胎儿肋骨进行标记;输出标记后的胎儿肋骨结构的三维超声图像。
384.本技术实施例还提供一种超声成像设备10,如图1所示,包括:
385.探头100;
386.发射电路101,激励探头100向第二待测组织发射超声波;
387.接收电路103,通过探头100接收从所述第二待测组织返回的超声回波以获得超声回波信号;
388.处理器105,处理所述超声回波信号以获得标记后的椎骨结构的三维超声图像;
389.显示器106,显示标记后的椎骨结构的的三维超声图像;
390.其中,处理器105还执行如下步骤:
391.根据所述超声回波信息获取第二待测组织的三维体数据;从所述第二三维体数据中识别出脊髓圆锥的三维体数据和腰椎的三维体数据;对所述脊髓圆锥的三维立体数据和所述腰椎的三维体数据进行渲染,得到所述椎骨结构的三维超声图像;在所述椎骨结构的三维超声图像中对所述脊髓圆锥进行标记;输出标记后的所述椎骨结构的三维超声图像。
392.相应地,本发明实施例再提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的超声成像方法的步骤。
393.以上超声成像系统和计算机可读存储介质实施例的描述,与上述方法实施例的描
述是类似的,具有同方法实施例相似的有益效果。对于本发明超声成像系统和计算机可读存储介质实施例中未披露的技术细节,请参照本发明方法实施例的描述而理解。
394.本技术实施例中,如果以软件功能模块的形式实现上述的超声成像方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read only memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本技术实施例不限制于任何特定的硬件和软件结合。
395.应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本技术的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述,不代表实施例的优劣。
396.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
397.在本技术所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
398.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
399.另外,在本技术各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
400.本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(read only memory,rom)、磁碟或者光盘等各种可以存储程序代码的介质。
401.或者,本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品
销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
402.以上所述,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以所述权利要求的保护范围为准。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献