一种骨科全长X线片自动拼接系统、方法、计算机设备及存储介质

一种骨科全长x线片自动拼接系统、方法、计算机设备及存储介质
技术领域
1.本发明涉及临床中骨科全长x线片图像的拼接领域，公开了一种骨科全长x线片自动拼接系统、方法、计算机设备及存储介质。


背景技术：

2.目前，全长x线片在骨科临床上已广泛应用，是一些骨科疾病常见的影像学检查手段。膝骨关节炎是一种以膝关节软骨变性和丢失及关节边缘和软骨下骨骨质再生为特征的慢行关节疾病，临床表现以膝关节疼痛、畸形、功能障碍为主，严重者则需要通过手术进行治疗。胫骨高位截骨术(high tibial osteotomy,hto)或全膝关节置换术(total knee arthroplasty,tka)是中晚期骨性关节炎常见的、有效的手术治疗手段。目前临床实际工作中，下肢站立位全长x线片是膝关节骨性关节炎诊断过程中常用的影像学检查方法，对于膝关节手术术前规划、预后评估以及术后随访至关重要。此外，对于先天性脊柱侧弯等患者，需要拍摄脊柱全长x线片以辅助诊断与治疗，这同样需要x线片拼接技术。
3.但是由于目前临床常用的数字化x线摄影(dr)范围大小的限制，下肢站立位全长x线片往往需要首先分别曝光拍摄患者站立位骨盆、双膝、双踝x线片，然后通过后期人工计算机图像拼接，来得到下肢站立位全长x线片。这使得临床中获取下肢站立位全长x线片工作量较大，以及现有拼接方法准确性有待提高，得到的下肢站立位全长x线片仍存在一定误差，可能会影响到后期下肢各项参数的测量，加大工作量；同时，临床上现有的在软件内部的拼接方法，由于其设备要求较高，对经济成本要求较高，因此在贫困地区及基层医院推广仍较困难。
4.为了解决上述问题，专利cn201510189166.7公开了一种数字化x线图像的拼接方法及系统，采用了模板匹配方式实现图像对齐，在一定程度上避免了采用特征点检测及匹配的方式实现图像对齐时存在的特征点提取困难和匹配计算量大、易匹配失败的不足，减少了数字化x线图像的拼接时间，但该方法准确度较传统软件拼接方法低。专利cn201810222957.9公开了一种基于几何特征的数字化x线图像的拼接方法及装置，通过先确定匹配模板，提取匹配模板的几何轮廓信息，得到该匹配模板在后一幅图像中的准确位置和旋转角度，根据生成仿射变换矩阵使图像对齐进行图像融合。该发明提供的拼接方法减少了医学图像的拼接时间，极大的提高了效率，但其准确性仍存在不足。


技术实现要素：

5.本发明的目的在于提供一种骨科全长x线片自动拼接系统、方法、计算机设备及存储介质，解决了临床上拼接全长x线片效率低，准确性仍存在不足的问题。
6.本发明是通过以下技术方案来实现：
7.一种骨科全长x线片自动拼接方法，包括以下步骤：
8.s1、输入髋部x线图像、膝部x线图像和踝部x线图像；
9.s2、对三幅图像分别进行平滑处理，得到平滑图像；
10.s3、然后将平滑图像缩小，得到缩小图像；
11.s4、使用clahe对比度限制自适应直方图对缩小图像进行均衡化处理，得到对比度增强的图像；
12.s5、针对对比度增强的图像利用canny算子提取骨骼边缘信息，得到髋部骨骼边缘图像、膝部骨骼边缘图像和踝部骨骼边缘图像；
13.s6、利用髋部骨骼边缘图像和膝部骨骼边缘图像的重叠区域进行评估，计算髋部和膝部之间的配准参数；
14.利用膝部骨骼边缘图像和踝部骨骼边缘图像的重叠区域进行评估，计算膝部和踝部之间的配准参数；
15.s7、去除图像重叠区域伪影，基于配准参数拼接得到全景图像。
16.进一步，s2中，使用高斯模糊处理得到平滑图像。
17.进一步，s3中，将平滑图像缩小到原图的1/10。
18.进一步，s5具体为：使用高斯模糊滤除噪声，使用一阶差分算子计算图像梯度方向和强度，使用非极大值抑制处理梯度的强度值，使用双阈值算法检测和连接边缘，得到边缘图像；
19.像素值为1表示该点在边缘上，像素值为0表示该点不在边缘。
20.进一步，s6中，在匹配过程中，利用两张图像的重叠区域进行评估，两张图像的重叠区域为两个等大小的区域，假定它们的边缘图分别为e1，e2，距离图分别为d1，d2，规定匹配距离a为：
[0021][0022]
其中，表示第一幅图像的边缘图，表示第一幅图像的边缘图，表示第一幅图像的距离图，表示第二幅图像的距离图；
[0023]
然后，寻找待匹配图像的相对位置，使得图像重叠区域匹配距离a最小，得到此时的相对位置关系，作为配准参数。
[0024]
进一步，图像配准时，计算图像的x方向偏移和y方向偏移；
[0025]
在利用canny算子提取特征以后，计算每个线图像的距离特征图d，d
x，y
定义如下：
[0026][0027]dx，y
表示距离(x，y)最近的边缘的距离。
[0028]
进一步，s7中，采用小波变换域的融合方法，去除图像重叠区域伪影，具体为：
[0029]
计算重叠区域小波系数w1，w2，根据每个小波系数的位置，使用线性过渡混叠w1和w2，得到w，实现图像从上到下的平滑过渡；
[0030]
由w进行小波变换的逆变换，得到融合完成的重叠区域图像。
[0031]
本发明还公开了一种骨科全长x线片自动拼接系统，包括：
[0032]
图像输入模块，用于输入髋部x线图像、膝部x线图像和踝部x线图像；
[0033]
平滑处理模块，用于对三幅图像分别进行平滑处理，得到平滑图像；
[0034]
缩小模块，用于将平滑图像缩小，得到缩小图像；
[0035]
均衡化处理模块，用于使用clahe对比度限制自适应直方图对缩小图像进行均衡化处理，得到对比度增强的图像；
[0036]
骨骼边缘模块，用于利用canny算子提取骨骼边缘信息，得到髋部骨骼边缘图像、膝部骨骼边缘图像和踝部骨骼边缘图像；
[0037]
图像配准模块，用于利用髋部骨骼边缘图像和膝部骨骼边缘图像的重叠区域进行评估，计算髋部和膝部之间的配准参数；
[0038]
利用膝部骨骼边缘图像和踝部骨骼边缘图像的重叠区域进行评估，计算膝部和踝部之间的配准参数；
[0039]
拼接模块，用于去除图像重叠区域伪影，基于配准参数拼接得到全景图像。
[0040]
本发明还公开了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述骨科全长x线片自动拼接方法的步骤。
[0041]
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述骨科全长x线片自动拼接方法的步骤。
[0042]
与现有技术相比，本发明具有以下有益的技术效果：
[0043]
本发明提出的骨科全长x线片自动拼接方法，使用clahe对比度限制自适应直方图对缩小图像进行均衡化处理，可以改善了缩小图像的对比度，得到对比度增强的图像，普通的ahe往往会放大图像近恒定区域中的对比度，因为此类区域中的直方图高度集中，ahe可能导致噪声在近恒定区域中被放大。对比度受限ahe(clahe)是自适应直方图均衡的一种变体，其中对比度放大受到限制，从而减少了这种噪声放大问题；采用了canny来检测骨骼边缘并提取x射线图像自身的真实解剖特征，图像的向下采样减少了整体处理时间，依据边缘信息进行图像配准及其评估，与现有的方法相比，该算法更经济、快捷且准确。
附图说明
[0044]
图1是本发明提供的一种骨科全长x线片自动拼接方法的流程示意图；
[0045]
图2是本发明中，利用canny算子提取骨骼边缘信息的详细流程示意图；
[0046]
图3a、图3b、图3c分别是本发明提供的canny算子提取髋部、膝部、踝部图像的骨骼边缘信息示意图；
[0047]
图4是本发明中，根据提取出的边缘信息进行图像配准，分别计算髋和膝、膝和踝之间的配准参数的详细流程图；
[0048]
图5是本发明提供的髋部图像配准中使用的距离特征示意图；
[0049]
图6是本发明中，采用小波变换域的融合方法，去除图像重叠区域伪影，拼接得到全景图像的详细流程图；
[0050]
图7a是本发明提供的髋部图像；
[0051]
图7b是本发明提供的膝部图像；
[0052]
图7c是本发明提供的踝部图像；
[0053]
图7d是图7a、图7b和图7c经过拼接融合后得到的全景图。
具体实施方式
[0054]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0055]
本发明提供的一种基于canny算子和线距离的骨科全长x线片自动拼接方法，如图1所示，包括以下步骤：：
[0056]
步骤s1、装载髋、膝、踝三幅x线图像；
[0057]
具体地，下肢全长x线片主要由髋部、膝部和踝部x线片组成，为了成功检测骨骼边缘并能够拼接图象，需要将如图7a所示的髋部x线图像、如图7b所示的膝部x线图像和如图7c所示的踝部x线图像依次输入。
[0058]
步骤s2、使用高斯模糊平滑图像：
[0059]
具体地，在缩小图像之前先使用高斯模糊处理图像，消除了高频信息对降采样过程的影响，避免降采样后出现伪影。
[0060]
步骤s3、为了提高处理速度，更快地获得下肢全长x线影响，将图像尺寸缩小到1/10。
[0061]
步骤s4、使用clahe限制对比度自适应直方图均衡化处理图像，改善图像对比度；
[0062]
具体地，应用限制对比度自适应直方图均衡，能够减少待拼接的x光影像局部亮度和对比度不一致性，降低后续配准过程的难度。
[0063]
步骤s5、利用canny算子提取骨骼边缘信息：
[0064]
具体地，如图2所示，使用高斯模糊滤除噪声，使用一阶差分算子计算图像梯度方向和强度，使用非极大值抑制处理梯度的强度值，使用双阈值算法检测和连接边缘，得到如图3a所示的髋部图像的骨骼边缘图像、如图3b所示的膝部图像的骨骼边缘图像及如图3c所示的踝部图像的骨骼边缘图像：像素值为1表示该点在边缘上，像素值为0表示该点不在边缘。
[0065]
步骤s6、根据提取出的边缘信息进行图像配准，分别计算髋和膝、膝和踝之间的配准参数；
[0066]
具体地，如图4所示，由于下肢骨骼x光影像采集时要求病人站定不动，并且拍摄不存在旋转、透视等变换，图像配准仅需要计算图像的位置变换(x方向偏移和y方向偏移)。在利用canny算子提取特征以后,计算每个线图像的距离特征图d。d
x,y
定义如下：
[0067][0068]dx,y
表示距离(x,y)最近的边缘的距离。d的一个实例如图5所示。其中亮度越亮的区域表示距离边缘的区域越远。为了方便理解，图5叠加了用白色标住的由canny算子提取出的边缘。
[0069]
具体地，在匹配过程中，为了评估两张图像的配准效果，我们利用两张图像的重叠区域进行评估。两张图像的重叠区域为两个等大小的区域。假定它们的边缘图和距离图分别为e1,e2和d1,d2，规定匹配距离a为：
[0070][0071]
然后，寻找待匹配图像的相对位置，使得图像重叠区域匹配距离a最小，得到此时的相对位置关系，作为配准参数。
[0072]
表示第一幅图像的边缘图，表示第一幅图像的边缘图，表示第一幅图像的距离图，表示第二幅图像的距离图；∑
x,y
表示对所有的x和y求和，比如说e1和d2都是100x100的图像，(x,y)取值为(1,1)～(100,100)共10000个值，这个求和表示e1(1,1)*d2(1,1) e1(1,2)*d2(1,2) ... e1(100,100)*d2(100,100)。
[0073]
步骤s7，采用小波变换域的融合方法，去除图像重叠区域伪影，拼接得到如图7d所示的全景图像。
[0074]
具体地，如图6所示，使用小波变换消除重叠区域伪影，实现平滑过渡。计算重叠区域小波系数w1,w2，根据每个小波系数的位置，使用线性过渡混叠w1和w2得到w，实现图像从上到下的平滑过渡。由w进行小波变换的逆变换，得到融合完成的重叠区域图像。
[0075]
本发明还公开了一种骨科全长x线片自动拼接系统，包括：
[0076]
图像输入模块，用于输入髋部x线图像、膝部x线图像和踝部x线图像；
[0077]
平滑处理模块，用于对三幅图像分别进行平滑处理，得到平滑图像；
[0078]
缩小模块，用于将平滑图像缩小，得到缩小图像；
[0079]
均衡化处理模块，用于使用clahe对比度限制自适应直方图对缩小图像进行均衡化处理，得到对比度增强的图像；
[0080]
骨骼边缘模块，用于利用canny算子提取骨骼边缘信息，得到髋部骨骼边缘图像、膝部骨骼边缘图像和踝部骨骼边缘图像；
[0081]
图像配准模块，用于利用髋部骨骼边缘图像和膝部骨骼边缘图像的重叠区域进行评估，计算髋部和膝部之间的配准参数；
[0082]
利用膝部骨骼边缘图像和踝部骨骼边缘图像的重叠区域进行评估，计算膝部和踝部之间的配准参数；
[0083]
拼接模块，用于去除图像重叠区域伪影，基于配准参数拼接得到全景图像。
[0084]
本发明的骨科全长x线片自动拼接方法可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0085]
本发明骨科全长x线片自动拼接方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实
现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。其中，所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nandflash)、固态硬盘(ssd))等。
[0086]
在示例性实施例中，还提供计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述骨科全长x线片自动拼接方法的步骤。处理器可能是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
[0087]
本发明的内容不限于上述实施例所列举，本领域技术人员不付出创造性劳动即可做出的各种修改或变形，均为本发明的权利要求所涵盖。