一种脊柱射线图像中关键点的检测方法和射线成像设备与流程

摘要: 本发明涉及医学图像处理,具体涉及一种脊柱射线图像中关键点的检测方法和射线成像设备。背景技术:1、脊柱x光摄影是临床诊断脊柱侧弯、椎体滑脱、骨质疏松等疾病的常规影...
一种脊柱射线图像中关键点的检测方法和射线成像设备与流程

本发明涉及医学图像处理,具体涉及一种脊柱射线图像中关键点的检测方法和射线成像设备。

背景技术:

1、脊柱x光摄影是临床诊断脊柱侧弯、椎体滑脱、骨质疏松等疾病的常规影像学手段。基于深度学习的脊柱射线图像自动测量系统通常需要对各椎体的关键点(如椎体四角点、中心点等)进行精确检测,进而自动计算诸如cobb角、椎体高度、椎间隙高度等临床参数。自动测量的核心在于如何对脊柱射线图像中脊柱进行关键点的检测,然而,目前此类系统主要采用端到端的深度学习网络对全图进行一次性推理以完成关键点检测,检测结果的可靠性与鲁棒性一般。

技术实现思路

1、为解决上述问题,本发明提供一种脊柱射线图像中关键点的检测方法和射线成像设备,下面具体说明。

2、根据第一方面,一种实施例中提供一种脊柱射线图像中关键点的检测方法,包括:

3、确定目标对象的就诊类型,所述就诊类型包括门诊类型和体检类型;

4、获取所述目标对象的脊柱射线图像,并根据所述目标对象的就诊类型采取相应的检测策略来检测所述脊柱射线图像中脊柱的关键点;其中,不同的就诊类型关联有不同的检测策略;

5、其中:

6、在所述目标对象的就诊类型为门诊类型时,基于门诊检测策略检测所述脊柱射线图像中脊柱的关键点,具体包括:

7、粗检测步骤,将所述脊柱射线图像输入关键点检测网络,经所述关键点检测网络处理后输出脊柱的关键点的信息,所述关键点的信息包括所述关键点的粗检测坐标和用于标识关键点所属椎体的序号信息;

8、第一置信度计算步骤,基于第一方式计算各所述关键点的第一置信度分数;

9、低置信度筛选步骤,将各所述关键点的第一置信度分数与第一阈值进行比较,若所述关键点的第一置信度分数不低于所述第一阈值,则将此关键点作为高置信度关键点,得到高置信度关键点集合,反之,则将此关键点作为低置信度关键点,得到低置信度关键点集合;

10、精修步骤,以所述低置信度关键点集合中每一低置信度关键点的粗检测坐标为中心,从所述脊柱射线图像中提取对应的局部图像块;将低置信度关键点对应的所述局部图像块和与此低置信度关键点关联的解剖先验信息输入精修网络,经所述精修网络处理后输出所述低置信度关键点的坐标偏移量,所述与此低置信度关键点关联的解剖先验信息至少包括用于标识此低置信度关键点所属椎体的序号信息;根据所述低置信度关键点的坐标偏移量对所述低置信度关键点的粗检测坐标进行修正,得到所述低置信度关键点的精修坐标;其中,至少一种与此低置信度关键点关联的所述解剖先验信息包括用于标识此低置信度关键点所属椎体的序号信息;

11、第二置信度计算步骤,基于第二方式计算经精修步骤后的关键点的第二置信度分数,将所述第二置信度分数与第二阈值进行比较,所述第二阈值大于所述第一阈值;

12、迭代步骤,若所述经精修步骤后的关键点的第二置信度分数不低于所述第二阈值,则接受所述经精修步骤后的关键点的精修坐标并将此关键点从所述低置信度关键点集合移至所述高置信度关键点集合,反之,则将此关键点保留在所述低置信度关键点集合中并重新进行所述精修步骤、所述第二置信度计算步骤和所述迭代步骤,直到达到停止迭代条件;所述高置信度关键点集合中的关键点被作为最终检测到的所述脊柱射线图像中脊柱的关键点;

13、在所述目标对象的就诊类型为体检类型时,基于体检检测策略检测所述脊柱射线图像中脊柱的关键点,具体包括:

14、粗检测步骤,将所述脊柱射线图像输入关键点检测网络,经所述关键点检测网络处理后输出脊柱的关键点的信息,所述关键点的信息包括所述关键点的粗检测坐标和用于标识关键点所属椎体的序号信息;

15、第一置信度计算步骤,基于第一方式计算各所述关键点的第一置信度分数;

16、低置信度筛选步骤,将各所述关键点的第一置信度分数与第一阈值进行比较,若所述关键点的第一置信度分数不低于所述第一阈值,则将此关键点作为高置信度关键点,得到高置信度关键点集合,反之,则将此关键点作为低置信度关键点,得到低置信度关键点集合;

17、精修步骤,以所述低置信度关键点集合中每一低置信度关键点的粗检测坐标为中心,从所述脊柱射线图像中提取对应的局部图像块;将低置信度关键点对应的所述局部图像块和与此低置信度关键点关联的解剖先验信息输入精修网络,经所述精修网络处理后输出所述低置信度关键点的坐标偏移量,所述与此低置信度关键点关联的解剖先验信息至少包括用于标识此低置信度关键点所属椎体的序号信息;根据所述低置信度关键点的坐标偏移量对所述低置信度关键点的粗检测坐标进行修正,得到所述低置信度关键点的精修坐标,接受所述低置信度关键点的精修坐标并将此低置信度关键点从所述低置信度关键点集合移至所述高置信度关键点集合;所述高置信度关键点集合中的关键点被作为最终检测到的所述脊柱射线图像中脊柱的关键点。

18、一实施例中,所述关键点检测网络为高分辨率卷积网络架构,包括并行多分辨率子网络和热图预测头;所述并行多分辨率子网络用于对输入的脊柱射线图像进行多次下采样得到不同分辨率的特征图、对不同分辨率的特征图之间执行重复的信息交换与多尺度融合,以得到与输入的脊柱射线图像的空间分辨率相同的高分辨率特征图;所述热图预测头用于输出各所述关键点的热图,并将各所述关键点的热图的峰值处对应的坐标作为对应关键点的粗检测坐标。

19、一实施例中,所述第一方式包括:获取各所述关键点的热图的峰值响应强度,根据各所述关键点的热图的峰值响应强度得到对应关键点的第一置信度分数;或者,对各所述关键点的热图进行归一化处理,获取各所述关键点的热图经归一化处理后的最大概率值,根据各所述关键点的热图经归一化处理后的最大概率值得到对应关键点的第一置信度分数。

20、一实施例中,所述精修网络包括:局部特征编码器、解剖先验信息编码器、特征融合模块和偏移量回归头;所述局部特征编码器用于对输入的所述局部图像块进行特征提取,得到局部图像特征;所述解剖先验信息编码器用于对所述解剖先验信息进行编码,得到先验特征向量;所述特征融合模块用于将所述局部图像特征与所述先验特征向量进行融合,得到融合特征;所述偏移量回归头用于根据所述融合特征回归输出所述坐标偏移量。

21、一实施例中,用于标识关键点所属椎体的序号信息包括关键点所属椎体的椎体编号和/或关键点在所属椎体上的位置类别。一实施例中,所述解剖先验信息编码器用于将用于标识低置信度关键点所属椎体的所述序号信息映射为可学习的嵌入向量或将所述序号信息经独热编码后经全连接层映射为特征向量。

22、一实施例中,所述与此低置信度关键点关联的解剖先验信息还包括:相邻已确认高置信度关键点相对于所述低置信度关键点的相对位置信息,所述相对位置信息包括相对距离和相对角度;高置信度关键点是指第一置信度分数不低于所述第一阈值的关键点,所述相邻已确认高置信度关键点为所述低置信度关键点所在椎体的其他高置信度关键点及上位椎体、下位椎体对应的高置信度关键点。一实施例中,所述解剖先验信息编码器用于对所述相对位置信息编码后得到相对位置特征向量。

23、一实施例中,在重新进行所述精修步骤时,所述相邻已确认高置信度关键点的范围扩展至与所述低置信度关键点所在椎体相隔一个椎体的高置信度关键点;和/或,在重新进行所述精修步骤时,将所述局部图像块的提取尺寸扩大。

24、一实施例中,所述特征融合模块用于将所述局部图像特征与所述先验特征向量进行融合,得到融合特征,包括:在通道维度对所述局部图像特征与所述先验特征向量进行拼接,得到所述融合特征;或者,通过注意力机制对所述局部图像特征与所述先验特征向量进行自适应加权融合,得到所述融合特征。

25、一实施例中,所述偏移量回归头包括两层全连接层,所述融合特征经所述两层全连接层处理后输出二维坐标偏移量。

26、一实施例中,所述第二方式包括:根据各所述关键点对应的所述融合特征得到对应关键点的所述第二置信度分数。

27、一实施例中,所述精修网络还包括质量评估分支,所述质量评估分支与所述偏移量回归头共享由所述特征融合模块输出的融合特征,所述质量评估分支通过激活函数输出质量评估分数作为所述第二置信度分数。

28、一实施例中,所述停止迭代条件包括:迭代次数达到预设最大迭代轮次;或者,所述低置信度关键点集合中各关键点均被移至所述高置信度关键点集合。

29、一实施例中,若迭代次数达到预设最大迭代轮次后,所述低置信度关键点集合中仍存在有关键点,则将仍存在于所述低置信度关键点集合中的关键点进行标记以提示用户。

30、一实施例中,所述最终检测到的所述脊柱射线图像中脊柱的关键点包括脊柱的一个或多个椎体的关键点,所述椎体的关键点包括椎体中心点、上终板左侧角点、上终板右侧角点、下终板左侧角点、下终板右侧角点、上终板中心点、下终板中心点中的一个或多个。

31、一实施例中,所述最终检测到的所述脊柱射线图像中脊柱的关键点用于计算脊柱测量项,所述脊柱测量项包括cobb角、椎体高度、椎间隙高度、矢状面垂直轴、骶骨倾斜角、冠状面平衡中的至少一种。

32、一实施例中,所述确定目标对象的就诊类型,包括:获取目标对象的就诊信息,根据所述就诊信息自动确定所述目标对象的就诊类型,若所述就诊信息对应门诊单信息,则自动确定所述目标对象的就诊类型为门诊类型,若所述就诊信息对应体检单信息,则确定所述目标对象的就诊类型为体检类型。

33、根据第二方面,一种实施例中提供一种射线成像设备,包括:

34、射线源,用于向目标对象发射x射线;

35、探测器,用于接收穿过所述目标对象的x射线;以及,

36、处理器,用于执行如本文中任一实施例所述的方法。

37、依据上述一些实施例的脊柱射线图像中关键点的检测方法和射线成像设备,通过将就诊类型与检测策略关联,能够根据实际临床场景自动选择适配的处理流程,在保障门诊对象的检测精度与安全性的同时,兼顾体检场景的处理效率;

38、依据上述一些实施例的脊柱射线图像中关键点的检测方法和射线成像设备,通过引入基于置信度阈值的低置信度关键点筛选机制,仅对置信度分数低于阈值的关键点执行局部精修操作,而直接保留置信度高的关键点粗检测结果,这种按需分配精修计算资源的方式,避免了对全图所有关键点进行冗余的二次推理或无差别精修,使高算力消耗的局部深层特征提取仅作用于退化图像区域,从而在确保难定位关键点精度的前提下显著降低了系统的整体计算开销与推理时延;

39、依据上述一些实施例的脊柱射线图像中关键点的检测方法和射线成像设备,通过以低置信度关键点粗检测坐标为基准裁剪局部图像块并单独输入精修网络,使网络输入分辨率高度集中于关键点周边的局部纹理与边界细节,避免了全图下采样过程中高频边缘信息的丢失;在图像质量退化区域(如肥胖患者腰椎等低对比度区域、或植入金属内固定器产生的伪影遮挡区域),局部图像块能够放大并突出椎体角点与终板边界的微弱梯度特征,相比全图单次推理方式显著提升了复杂退化场景下的关键点定位精度与鲁棒性;

40、依据上述一些实施例的脊柱射线图像中关键点的检测方法和射线成像设备,通过将椎体序号嵌入向量和/或相邻高置信度关键点相对位置编码等作为解剖先验信息显式输入精修网络,利用脊柱解剖学序列性和空间结构规律性,将已确认的高精度定位结果转化为对待精修关键点的空间几何约束;这一约束机制填补了现有端到端网络独立预测各个关键点、缺乏解剖语义上下文引导的缺陷,有效纠正了遮挡或伪影干扰导致的严重偏向性定位错误,保障了整条脊柱关键点拓扑结构的一致性;

41、依据上述一些实施例的脊柱射线图像中关键点的检测方法和射线成像设备,在解剖先验引导局部精修之后还进行精修质量迭代评估,从而构建起迭代评估闭环,进一步保障输出结果的临床可信度;

42、依据上述一些实施例的脊柱射线图像中关键点的检测方法和射线成像设备,在解剖先验引导局部精修之后还进行精修质量迭代评估,在迭代精修的过程中,对未通过第二置信度筛选的关键点通过扩大局部视野和/或增强解剖先验范围来继续进行精修,从而以引入更广泛的上下文信息和/或增加剖先验,使得精修结果能够得到更强的约束。