一种超声图像的结节边缘分析方法与流程

1.本发明涉及超声图像识别技术领域，尤其是一种超声图像的结节边缘分析方法。


背景技术：

2.结节是人体组织细胞局部异常生长引起的病变，超声无电离辐射，价格低廉，广泛用于体检和结节早筛。其中结节的边缘属性是判断结节良恶性的重要参考指标，边缘光整是良性结节的重要特征之一，而边缘不规则是恶性结节的重要特征之一。因此，判断结节的边缘属性是结节自动分级、良恶性自动分类的关键步骤，判断结节的边缘属性后，同时也可以对医生进行提示，为结节分级提供帮助，适用于医疗资源匮乏的基层地区。
3.目前，超声图像的结节良恶性识别方法主要采用深度学习的方法，使用卷积神经网络对结节进行良恶性分类，但由于卷积神经网络是一个黑盒子，只能得到良恶性的结果，无法给出判断依据以及关键的中间信息。


技术实现要素：

4.为了克服上述现有技术中的缺陷，本发明提供一种超声图像的结节边缘分析方法，能够自动分析超声图像中结节的边缘属性，判断结节边缘是否规则光整，为结节自动分级、良恶性自动分类提供数据支撑。
5.为实现上述目的，本发明采用以下技术方案，包括：
6.一种超声图像的结节边缘分析方法，包括以下步骤：
7.s1，从超声图像中识别出结节，根据结节外轮廓的坐标信息，绘制出结节边缘；
8.s2，根据结节边缘上各个边缘像素点的坐标，以顺时针或逆时针的顺序，对各个边缘像素点进行编号，并按照各个边缘像素点的编号进行排序，得到边缘像素点序列，且该边缘像素点序列首尾相连；
9.s3，在边缘像素点序列中，分别计算各个边缘像素点的曲率，计算方式为：根据边缘像素点的坐标以及与该边缘像素点左邻近的若干个边缘像素点的坐标，与该边缘像素点右邻近的若干个边缘像素点的坐标，计算该边缘像素点的曲率；
10.与该边缘像素点左邻近的若干个边缘像素点是指：在边缘像素点序列中，编号小于该边缘像素点且与该边缘像素点相邻近的若干个边缘像素点；
11.与该边缘像素点右邻近的若干个边缘像素点是指：在边缘像素点序列中，编号大于该边缘像素点且与该边缘像素点相邻近的若干个边缘像素点；
12.s4，在边缘像素点序列中，分别计算各个边缘像素点的线段曲率，计算方式为：根据边缘像素点的曲率以及与该边缘像素点左邻近的若干个边缘像素点的曲率，与该边缘像素点右邻近的若干个边缘像素点的曲率，计算平均曲率，该平均曲率即为该边缘像素点的线段曲率；
13.s5，若结节边缘上，线段曲率大于设定阈值的边缘像素点的数量超过设定数值，则该结节边缘为不规则的结节边缘；否则为规则的结节边缘。
14.步骤s2中，以顺时针的顺序，对各个边缘像素点进行编号，具体方式如下所示：
15.s21，选取横坐标值加纵坐标值之和为最小的边缘像素点作为起点，起点的编号i＝1；
16.s22，从起点开始，查找下一个编号i＝2的边缘像素点，查找方式如下所示：
17.与该起点相邻的8个像素格中，若仅存在一个未编号的边缘像素点，则未编号的该像素点作为下一个编号为2的像素点；
18.与该起点相邻的8个像素格中，若存在多个未编号的边缘像素点，则按照优先级顺序，选取优先级最高的像素格中的未编号的边缘像素点作为下一个编号i＝2的边缘像素点；
19.其中，以起点为中心，与该起点相邻的8个像素格中，位于起点左上方45
°
角的像素格的优先级最高，按照顺时针的顺序，优先级逐渐降低；
20.s23，按照步骤s22的方式，以当前编号为i的边缘像素点为中心，依次查找下一个编号为i 1的像素点，直至对所有的边缘像素点完成编号；
21.s24，根据边缘像素点的编号进行排序，得到边缘像素点序列，且该边缘像素点序列首尾相连。
22.步骤s2中，以逆时针的顺序，对各个边缘像素点进行编号，具体方式如下所示：
23.s21，选取横坐标值加纵坐标值之和为最小的边缘像素点作为起点，起点的编号i＝1；
24.s22，从起点开始，查找下一个编号i＝2的边缘像素点，查找方式如下所示：
25.与该起点相邻的8个像素格中，若仅存在一个未编号的边缘像素点，则未编号的该像素点作为下一个编号为2的像素点；
26.与该起点相邻的8个像素格中，若存在多个未编号的边缘像素点，则按照优先级顺序，选取优先级最高的像素格中的未编号的边缘像素点作为下一个编号i＝2的边缘像素点；
27.其中，以起点为中心，与该起点相邻的8个像素格中，位于起点右上方45
°
角的像素格的优先级最高，按照逆时针的顺序，优先级逐渐降低；
28.s23，按照步骤s22的方式，以当前编号为i的边缘像素点为中心，依次查找下一个编号为i 1的像素点，直至对所有的边缘像素点完成编号；
29.s24，根据边缘像素点的编号进行排序，得到边缘像素点序列，且该边缘像素点序列首尾相连。
30.步骤s3中，根据边缘像素点的坐标以及与该边缘像素点左邻近的j个边缘像素点的坐标，与该边缘像素点右邻近的j边缘像素点的坐标，计算该边缘像素点的曲率；
31.其中，编号为i的边缘像素点的坐标为(x
i
,y
i
)；与编号为i的该边缘像素点左邻近的j个边缘像素点的坐标依次为(x
i
‑1,y
i
‑1)、(x
i
‑2,y
i
‑2)、
…
、(x
i
‑
j
,y
i
‑
j
)；与编号为i的该边缘像素点右邻近的j个边缘像素点的坐标依次为(x
i 1
,y
i 1
)、(x
i 2
,y
i 2
)、
…
、(x
i j
,y
i j
)；
32.编号为i的边缘像素点的曲率r
i
的计算方式如下所示：
33.编号为i的边缘像素点，与编号为i的该边缘像素点左邻近的j个边缘像素点，以及与编号为i的该边缘像素点右邻近的j个边缘像素点，该2j 1个边缘像素点所构成的曲线的表达式为y＝f(x)；
34.曲线在点(x
i
,y
i
)处的曲率，即编号为i的边缘像素点的曲率r
i
为：
[0035][0036]
步骤s4中，根据边缘像素点的曲率以及与该边缘像素点左邻近的k个边缘像素点的曲率，与该边缘像素点右邻近的k个边缘像素点的曲率，计算该边缘像素点的线段曲率；
[0037]
其中，编号为i的边缘像素点的曲率为r
i
；与编号为i的该边缘像素点左邻近的k个边缘像素点的曲率依次为r
i
‑1，r
i
‑2…
r
i
‑
k
；与编号为i的该边缘像素点右邻近的k个边缘像素点的的曲率依次为r
i 1
，r
i 2
…
r
i k
；
[0038]
编号为i的边缘像素点的线段曲率的计算方式如下所示：
[0039][0040]
步骤s5中，线段曲率的设定阈值为t，t的取值范围为0.05～0.2。
[0041]
步骤s1中，包括以下步骤：
[0042]
s11，对超声设备采集到的超声图像进行图像分割，所述图像分割是对超声图像进行像素点的分类，确定每个像素点的类别，即确定像素点是否为属于结节的像素点；
[0043]
s12，根据图像分割的结果，对超声图像进行二值化处理，提取超声图像中的结节；
[0044]
s13，利用滤波器对结节的轮廓曲线进行平滑处理，去除轮廓曲线中的拐点；
[0045]
s14，提取结节的外轮廓，根据外轮廓的坐标信息，绘制出结节边缘。
[0046]
步骤s11中，采用unet图像分割网络对超声图像进行图像分割，且将该unet图像分割网络的下采样部分中顺序卷积网络结构替换成resnet的残差结构。
[0047]
本发明的优点在于：
[0048]
(1)本发明能够自动分析超声图像中结节的边缘属性，判断结节边缘是否规则光整，为结节自动分级、良恶性自动分类提供数据支撑。
附图说明
[0049]
图1为本发明的一种超声图像的结节边缘分析方法的流程图。
[0050]
图2为与某边缘像素点相邻的8个像素格示意图。
[0051]
图3为不规则的结节边缘示意图。
[0052]
图4为规则的结节边缘示意图。
[0053]
图5为不规则的结节边缘上边缘像素点的曲率折线图。
[0054]
图6为规则的结节边缘上边缘像素点的曲率折线图。
具体实施方式
[0055]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0056]
由图1所示，一种超声图像的结节边缘分析方法，包括以下步骤：
[0057]
s1，使用图像分割网络对超声设备采集到的超声图像进行图像分割，所述图像分割是对超声图像进行像素点的分类，确定每个像素点的类别，即确定像素点是否为属于结节的像素点。
[0058]
s2，根据图像分割的结果，对超声图像进行二值化处理，本实施例中，将属于结节的像素点的像素值设置为255，将不属于结节的像素点即背景像素点的像素值设置为0，从而实现超声图像中的结节识别。
[0059]
s3，利用滤波器对结节的轮廓曲线进行平滑，去除轮廓曲线中毛糙的拐点。本实施例中，使用高斯滤波器平滑轮廓曲线，去除毛躁的拐点，且高斯滤波器的窗口大小设置成9，高斯滤波中的参数σ设置成2。
[0060]
s4，提取结节的外轮廓，根据外轮廓的坐标信息，绘制出结节边缘。本实施例中，采用数字二值图像进行拓扑分析方法提取外轮廓坐标。
[0061]
s5，根据结节边缘上的每个像素点即根据各个边缘像素点的坐标，以顺时针或者逆时针的顺序，对各个边缘像素点进行编号，并按照各个边缘像素点的编号进行排序，得到边缘像素点序列，且该边缘像素点序列首尾相连。
[0062]
s6，在边缘像素点序列中，分别计算各个边缘像素点的曲率，计算方式为：根据边缘像素点的坐标以及与该边缘像素点左邻近的若干个边缘像素点的坐标，与该边缘像素点右邻近的若干个边缘像素点的坐标，计算该边缘像素点的曲率。
[0063]
与该边缘像素点左邻近的若干个边缘像素点是指：在边缘像素点序列中，编号小于该边缘像素点且与该边缘像素点相邻近的若干个边缘像素点；
[0064]
与该边缘像素点右邻近的若干个边缘像素点是指：在边缘像素点序列中，编号大于该边缘像素点且与该边缘像素点相邻近的若干个边缘像素点。
[0065]
s7，在边缘像素点序列中，分别计算各个边缘像素点的线段曲率，计算方式为：根据边缘像素点的曲率以及与该边缘像素点左邻近的若干个边缘像素点的曲率，与该边缘像素点右邻近的若干个边缘像素点的曲率，计算平均曲率，该平均曲率即为该边缘像素点的线段曲率。
[0066]
s8，线段曲率大于设定阈值的边缘像素点即为超限的边缘像素点，若结节边缘上，超限的边缘像素点的数量超过设定数值，则该结节边缘为不规则的结节边缘；否则为规则的结节边缘。
[0067]
步骤s1中，图像分割是对输入图像进行像素级的分类，确定每个像素点属于的类别。在医疗领域常用的分割网络是unet，unet结构简单，在前景背景二分类的场景下像素分类的速度快效果好。但是unet提出较早，采用一层一层的顺序卷积网络结构，之后出现了许多提升效果却不影响效率的网络结构，如resnet的残差结构，使用残差结构的unet可以进一步提升分割指标，尤其在边缘的地方，resnet
‑
unet图像分割得到的结果更加精细。本发明也对unet进行改进，仅仅对unet的下采样部分进行修改，把下采样部分顺序卷积网络结构替换成resnet的残差结构，上采样部分和跳连部分没变化。
[0068]
步骤s5中，根据各个边缘像素点的坐标，以顺时针的顺序，对边缘像素点进行排序，具体方式如下所示：
[0069]
s51，取横坐标值加纵坐标值之和为最小的边缘像素点，以该边缘像素点为起点，起点的编号i＝1。
[0070]
s52，从起点开始，查找下一个编号i＝2的边缘像素点，查找方式如下所示：
[0071]
与该起点相邻的8个像素格中，若仅存在一个未编号的边缘像素点，则未编号的该像素点作为下一个编号为2的像素点；
[0072]
与该起点相邻的8个像素格中，若存在多个未编号的边缘像素点，则按照优先级顺序，选取优先级最高的像素格中的未编号的边缘像素点作为下一个编号i＝2的边缘像素点。
[0073]
若以顺时针的顺序，则以起点为中心，由图2所示，与该起点相邻的8个像素格中，位于起点左上方45
°
角的像素格的优先级最高，按照顺时针的顺序，优先级逐渐降低。图2中的1、2、3、4、5、6、7、8依次为优先级从高到低；
[0074]
若以逆时针的顺序，则以起点为中心，与该起点相邻的8个像素格中，位于起点右上方45
°
角的像素格的优先级最高，按照逆时针的顺序，优先级逐渐降低。
[0075]
经过本实施例中步骤s4的外轮廓提取，每个边缘像素点所相邻的8个像素格中必定存在2个以上边缘像素点。
[0076]
s53，按照步骤s52的方式，以当前编号为i的边缘像素点为中心，依次查找下一个编号为i 1的像素点，直至对所有的边缘像素点完成编号；
[0077]
s54，根据边缘像素点的编号进行排序，得到边缘像素点序列。
[0078]
步骤s6中，根据边缘像素点的坐标以及与该边缘像素点左邻近的j个边缘像素点的坐标，与该边缘像素点右邻近的j边缘像素点的坐标，计算该边缘像素点的曲率；
[0079]
其中，编号为i的边缘像素点的坐标为(x
i
,y
i
)；与编号为i的该边缘像素点左邻近的j个边缘像素点的坐标依次为(x
i
‑1,y
i
‑1)、(x
i
‑2,y
i
‑2)、
…
、(x
i
‑
j
,y
i
‑
j
)；与编号为i的该边缘像素点右邻近的j个边缘像素点的坐标依次为(x
i 1
,y
i 1
)、(x
i 2
,y
i 2
)、
…
、(x
i j
,y
i j
)；；
[0080]
编号为i的边缘像素点的曲率r
i
的计算方式如下所示：
[0081]
编号为i的边缘像素点，与编号为i的该边缘像素点左邻近的j个边缘像素点，与编号为i的该边缘像素点右邻近的j个边缘像素点，由此2j 1个边缘像素点所构成的曲线的表达式为y＝f(x)；
[0082]
曲线在点(x
i
,y
i
)处的曲率r
i
为：
[0083][0084]
本实施例中，j＝1；
[0085]
若编号i＝1，即该边缘像素点为起点时，由于该边缘像素点序列首尾相连，则与编号为i的该边缘像素点左邻近的j个边缘像素点依次为：边缘像素点序列中的最后一个边缘像素点至倒数第j个边缘像素点。
[0086]
步骤s7中，根据边缘像素点的曲率以及与该边缘像素点左邻近的k个边缘像素点的曲率，与该边缘像素点右邻近的k个边缘像素点的曲率，计算该边缘像素点的线段曲率；
[0087]
其中，编号为i的边缘像素点的曲率为r
i
；与编号为i的该边缘像素点左邻近的k个边缘像素点的曲率依次为r
i
‑1，r
i
‑2…
r
i
‑
k
；与编号为i的该边缘像素点右邻近的k个边缘像素点的的曲率依次为r
i 1
，r
i 2
…
r
i k
；
[0088]
以编号为i的边缘像素点为中心所构建的线段的线段曲率的计算方式如下所
示：
[0089][0090]
本实施例中，k＝3；
[0091]
若编号i＝1，即该边缘像素点为起点时，由于该边缘像素点序列首尾相连，则与编号为i的该边缘像素点左邻近的k个边缘像素点依次为：边缘像素点序列中的最后一个边缘像素点至倒数第k个边缘像素点。
[0092]
步骤s8中，若结节边缘上，线段曲率大于设定阈值t的边缘像素点的数量超过设定数值n，则该结节边缘为不规则的结节边缘；否则为规则的结节边缘；
[0093]
其中，线段曲率的设定阈值为t，t的取值范围为0.05～0.2，本实施例中，线段曲率的设定阈值t＝0.10；设定数值n的取值范围与步骤s3中所使用滤波器有关，本实施例中n＝5。
[0094]
本实施例中，对规则的结节边缘和不规则的结节边缘上的边缘像素点的曲率进行了对比，图3为不规则的结节边缘示意图，图4为规则的结节边缘示意图，图5为该不规则的结节边缘上边缘像素点的曲率折线图，图6为该规则的结节边缘上边缘像素点的曲率折线图。
[0095]
以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。