超声图像处理方法、装置、设备及存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种超声图像处理方法、装置、设备及存储介质。


背景技术：

2.超声图像是反映介质中声学参数的差异，可得到不同于光学、x射线、y射线等的信息，随着超声技术的发展，超声图像广泛应在医学领域，用于疾病的诊断，例如通过乳腺超声图像进行乳腺疾病诊断。目前，主要通过人工处理方式对超声图像进行处理以实现疾病的诊断，人工处理方式受到医生的经验影响，而且主观性较强，容易存在诊断结果的准性不高问题。


技术实现要素：

3.本发明实施例通过提供一种超声图像处理方法、装置、设备及存储介质，旨在解决人工处理方式对超声图像进行处理以实现疾病的诊断，存在诊断结果的准性不高的技术问题。
4.本发明实施例提供了一种超声图像处理方法，所述超声图像处理方法，包括：获取待处理超声图像对应的二值图像，并确定所述二值图像中的病灶轮廓；根据所述病灶轮廓对所述二值图像进行特征提取得到多个病灶特征，融合多个所述病灶特征得到全局病灶特征；基于预设分类模型识别所述全局病灶特征，得到多个病症类型和各个所述病症类型的概率；以及，选取最大概率对应的病症类型作为目标病症类型。
5.在一实施例中，所述病灶特征包括病灶的纵横比，所述超声图像处理方法还包括：确定所述病灶轮廓的最小外接矩形；将所述最小外接矩形的高度和宽度的比值确定为所述纵横比。
6.在一实施例中，所述病灶特征还包括病灶的形状规则度，所述超声图像处理方法还包括：提取所述病灶轮廓上的各个凸包区域，并确定两两所述凸包区域之间的面积差；根据所述面积差确定所述形状规则度。
7.在一实施例中，所述病灶特征还包括病灶的边界清晰度，所述超声图像处理方法还包括：确定所述二值图像的图像梯度以及所述二值图像中所述病灶轮廓所在区域内的像素占比；根据所述图像梯度和所述像素占比确定所述边界清晰度。
8.在一实施例中，所述病灶特征还包括病灶的内部回声模式，所述超声图像处理方法还包括：
获取所述病灶轮廓所在区域之外区域的亮度；根据所述亮度确定所述内部回声模式。
9.在一实施例中，所述获取所述病灶轮廓所在区域之外区域的亮度的步骤包括：获取所述病灶轮廓所在区域之外区域的各个第一像素的灰度值；根据各个所述第一像素的灰度值的平均值确定所述亮度。
10.在一实施例中，所述病灶特征还包括病灶的后方回声特征，所述超声图像处理方法还包括：获取所述病灶轮廓所在区域内的各个第二像素的灰度值；根据各个所述第二像素的灰度值的平均值确定所述后方回声特征。
11.此外，为实现上述目的，本发明还提供了一种超声图像处理装置，所述超声图像处理装置包括：图像获取模块，用于获取待处理超声图像对应的二值图像，并确定所述二值图像中的病灶轮廓；特征提取模块，用于根据所述病灶轮廓对所述二值图像进行特征提取得到多个病灶特征，融合多个所述病灶特征得到全局病灶特征；特征处理模块，用于基于预设分类模型识别所述全局病灶特征，得到多个病症类型和各个所述病症类型的概率；类型确定模块，用于选取最大概率对应的病症类型作为目标病症类型。
12.此外，为实现上述目的，本发明还提供了一种终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的超声图像处理程序，所述超声图像处理程序被所述处理器执行时实现上述的超声图像处理方法的步骤。
13.此外，为实现上述目的，本发明还提供了一种存储介质，其上存储有超声图像处理程序，所述超声图像处理程序被处理器执行时实现上述的超声图像处理方法的步骤。
14.本发明实施例中提供的一种超声图像处理方法、装置、设备及存储介质的技术方案，至少具有如下技术效果或优点：本发明采用了获取待处理超声图像对应的二值图像，并确定二值图像中的病灶轮廓，根据病灶轮廓对二值图像进行特征提取得到多个病灶特征，融合多个病灶特征得到全局病灶特征，基于预设分类模型识别全局病灶特征，得到多个病症类型和各个病症类型的概率，然后选取最大概率对应的病症类型作为目标病症类型的技术方案，解决了人工处理方式对超声图像进行处理以实现疾病的诊断，存在诊断结果的准性不高的技术问题，实现对超声图像中病症的症状类型进行准确识别，提高了通过超声图像进行疾病诊断的准确度，还可以辅助医疗机构进行病人诊断，有利于解决了医疗机构医生缺乏的问题。
附图说明
15.图1为本发明实施例方案涉及的硬件运行环境的结构示意图；图2为本发明超声图像处理方法的一实施例的流程示意图；图3为本发明超声图像处理装置的功能模块图。
具体实施方式
16.为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
17.如图1所示，图1为本发明实施例方案涉及的硬件运行环境的结构示意图。
18.需要说明的是，图1即可为终端设备的硬件运行环境的结构示意图。
19.如图1所示，该终端设备可以包括：处理器1001，例如cpu，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（display）、输入单元比如键盘（keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如wi-fi接口）。存储器1005可以是高速ram存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
20.本领域技术人员可以理解，图1中示出的终端设备结构并不构成对终端设备限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
21.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及超声图像处理程序。其中，操作系统是管理和控制终端设备硬件和软件资源的程序，超声图像处理程序以及其它软件或程序的运行。
22.在图1所示的终端设备中，用户接口1003主要用于连接终端设备，与终端设备进行数据通信；网络接口1004主要用于后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的超声图像处理程序。
23.在本实施例中，终端设备包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器上运行的超声图像处理程序，其中：处理器1001调用存储器1005中存储的超声图像处理程序时，执行以下操作：获取待处理超声图像对应的二值图像，并确定所述二值图像中的病灶轮廓；根据所述病灶轮廓对所述二值图像进行特征提取得到多个病灶特征，融合多个所述病灶特征得到全局病灶特征；基于预设分类模型识别所述全局病灶特征，得到多个病症类型和各个所述病症类型的概率；以及，选取最大概率对应的病症类型作为目标病症类型。
24.处理器1001调用存储器1005中存储的超声图像处理程序时，还执行以下操作：确定所述病灶轮廓的最小外接矩形；将所述最小外接矩形的高度和宽度的比值确定为病灶的纵横比。
25.处理器1001调用存储器1005中存储的超声图像处理程序时，还执行以下操作：提取所述病灶轮廓上的各个凸包区域，并确定两两所述凸包区域之间的面积差；根据所述面积差确定病症的形状规则度。
26.处理器1001调用存储器1005中存储的超声图像处理程序时，还执行以下操作：确定所述二值图像的图像梯度以及所述二值图像中所述病灶轮廓所在区域内的
像素占比；根据所述图像梯度和所述像素占比确定病症的边界清晰度。
27.处理器1001调用存储器1005中存储的超声图像处理程序时，还执行以下操作：获取所述病灶轮廓所在区域之外区域的亮度；根据所述亮度确定病症的内部回声模式。
28.处理器1001调用存储器1005中存储的超声图像处理程序时，还执行以下操作：获取所述病灶轮廓所在区域之外区域的各个第一像素的灰度值；根据各个所述第一像素的灰度值的平均值确定所述亮度。
29.处理器1001调用存储器1005中存储的超声图像处理程序时，还执行以下操作：获取所述病灶轮廓所在区域内的各个第二像素的灰度值；根据各个所述第二像素的灰度值的平均值确定病症的后方回声特征。
30.本发明实施例提供了超声图像处理方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，该超声图像处理方法应用于超声图像中病灶对应的病症类型的分类。
31.如图2所示，在本发明的一实施例中，本发明的超声图像处理方法，包括以下步骤：步骤s210：获取待处理超声图像对应的二值图像，并确定所述二值图像中的病灶轮廓。
32.本实施例中，所述待处理超声图像是乳腺超声图像、肝脏超声图像等其他医学超声图像，本实施例以乳腺超声图像是乳腺超声图像为例进行说明，乳腺超声图像是指包含乳腺病灶的超声图像。
33.具体的，预先设置了基于深度学习分割算法的分割网络模型，获取到病人的乳腺超声图像之后，将乳腺超声图像作为分割网络模型的输入，输入到分割网络模型中，分割网络模型处理后输出一张分割概率图，所述分割概率图与输入的乳腺超声图像尺寸大小相同。其中，所述分割概率图中的每一个像素值表示了属于病灶的概率，采用预设阈值（例如预设阈值为0.5）对分割概率图进行二值化处理，得到乳腺超声图像对应的二值图像。二值图像与乳腺超声图像尺寸大小相同，二值图像中的像素值为0的区域代表乳腺超声图像中对应不属于病灶的区域，二值图像中的像素值为1的区域代表乳腺超声图像中对应属于病灶的区域。得到乳腺超声图像对应的二值图像之后，可以根据二值图像中的像素值确定出乳腺病灶的病灶轮廓。像素值为0表示白色，像素值为1表示黑色，白色与黑色的界线为乳腺病灶的病灶轮廓。
34.步骤s220：根据所述病灶轮廓对所述二值图像进行特征提取得到多个病灶特征，融合多个所述病灶特征得到全局病灶特征。
35.本实施例中，确定出乳腺病灶的病灶轮廓之后，根据病灶轮廓对二值图像进行特征提取，也就基于二值图像中的病灶轮廓，从二值图像中提取乳腺病灶的多个病灶特征。其中，多个病灶特征分别是乳腺病灶的纵横比、形状规则度、边界清晰度、内部回声模式以及后方回声特征等。形状规则度包括病灶形状规则和病灶形状不规则；边界清晰度包括病灶边界清晰和病灶边界不清晰；内部回声模式包括低回声、高回声、不均匀回声、无回声、等回声、钙化等；后方回声衰减、后方回声增强以及后方回声无变化。
36.具体的，乳腺病灶的纵横比的提取方式包括：确定二值图像中病灶轮廓的最小外
接矩形，将所述最小外接矩形的高度和宽度的比值确定为所述纵横比。其中，在二值图像中构建乳腺病灶的病灶轮廓的最小外接矩形，然后计算最小外接矩形的高度和宽度的比值，采用所述比值代表乳腺病灶的纵横比。
37.乳腺病灶的形状规则度的提取方式包括：提取乳腺病灶的病灶轮廓上的各个凸包区域，并确定两两凸包区域之间的面积差，根据面积差确定形状规则度。其中，乳腺病灶的病灶轮廓是一个点集，计算病灶轮廓上的包括各个凸包区域的面积，然后计算所有凸包区域的面积中两两凸包区域之间的面积差，得到多个面积差，如果所有面积差均大于面积差阈值t1，则认为乳腺病灶的形状规则度是形状规则的，如果所有面积差不都大于面积差阈值t1，则认为乳腺病灶的形状规则度是形状不规则的。
38.乳腺病灶的边界清晰度的提取方式包括：确定所述二值图像的图像梯度以及所述二值图像中所述病灶轮廓所在区域内的像素占比，根据所述图像梯度和所述像素占比确定所述边界清晰度。其中，采用拉普拉斯算子计算二值图像的图像梯度，并取图像梯度的绝对值。然后，计算病灶轮廓所在区域内对应位置下的平均图像梯度，以及该位置下大于平均图像梯度的像素占比，如果平均图像梯度大于预设梯度阈值t2以及像素占比大于预设像素占比阈值t3，则认为乳腺病灶的边界清晰，否则认为乳腺病灶的边界不清晰。
39.乳腺病灶的内部回声模式的提取方式包括：获取病灶轮廓所在区域之外区域的亮度，根据亮度确定内部回声模式。其中，回声模式的确定与人体的脂肪有关，比人体脂肪暗的组织叫做低回声，比人体脂肪亮的组织叫做高回声。本实施例中，病灶轮廓所在区域之外区域可以理解为病灶区域的周围区域，通过病灶轮廓所在区域之外区域的亮度来确定用于衡量乳腺病灶的内部回声模式的亮度衡量水平。病灶轮廓所在区域之外区域的亮度通过病灶轮廓所在区域之外区域的平均灰度值进行表示，也就是采用病灶轮廓所在区域之外区域的平均灰度值来近似脂肪的亮度衡量水平。进一步的，病灶轮廓所在区域之外区域的像素的灰度值称为第一像素的灰度值，即获取病灶轮廓所在区域之外区域的各个第一像素的灰度值，根据各个第一像素的灰度值的平均值确定亮度，也就是将各个第一像素的灰度值的平均值作为病灶轮廓所在区域之外区域的亮度。
40.进而，以亮度（平均灰度值）减10作为低回声阈值tl，以亮度（平均灰度值）加10作为高回声阈值th，根据低回声阈值tl和高回声阈值th确定乳腺病灶的内部回声模式。具体计算乳腺病灶内的低于tl的面积对应区域的灰度值，表示为x1；计算乳腺病灶内在tl与th之间的面积对应区域的灰度值，表示为x2；计算乳腺病灶内的大于th的面积对应区域的灰度值，表示为x3；第一亮度阈值为t4，第二亮度阈值为t5。
41.如果t4《x1《t5，则认为内部回声模式是不均匀回声；如果x1≤t4，则认为内部回声模式是低回声；如果x1≥t5，则认为内部回声模式是无回声；如果x2》t5，则认为内部回声模式是等回声；如果x3》t5，则认为内部回声模式是高回声；如果x3≤t4，则认为内部回声模式是钙化。
42.乳腺病灶的后方回声特征的提取方式包括：获取病灶轮廓所在区域内的各个第二像素的灰度值，根据各个第二像素的灰度值的平均值确定后方回声特征。其中，病灶轮廓所在区域内的像素称为第二像素。即获取病灶轮廓所在区域内的各个第二像素的灰度值，然
后计算获取的各个第二像素的灰度值的平均值，如果所述平均值低于或者等于低回声阈值tl，则认为乳腺病灶的后方回声特征是后方回声衰减，如果所述平均值高于高回声阈值th，则认为乳腺病灶的后方回声特征是后方回声增强。
43.得到乳腺病灶的多个病灶特征之后，将多个病灶特征进行融合，得到乳腺病灶的全局病灶特征，即全局病灶特征包括了纵横比、形状规则度、边界清晰度、内部回声模式以及后方回声特征。
44.步骤s230：基于预设分类模型识别所述全局病灶特征，得到多个病症类型和各个所述病症类型的概率。
45.步骤s240：选取最大概率对应的病症类型作为目标病症类型。
46.本实施例中，预设分类模型是指预先训练好的朴素贝叶斯分类器，朴素贝叶斯分类器可以对乳腺病灶的病症类型进行识别，乳腺病灶的病症类型包括四种类型，分别是bi-rads2、bi-rads3、bi-rads4、bi-rads5。具体的，将全局病灶特征作为朴素贝叶斯分类器的输入参数，输入到朴素贝叶斯分类器，朴素贝叶斯分类器对全局病灶特征进行识别，输出bi-rads2、bi-rads3、bi-rads4、bi-rads5以及bi-rads2、bi-rads3、bi-rads4、bi-rads5分别对应的概率，然后通过比较bi-rads2的概率、bi-rads3的概率、bi-rads4的概率以bi-rads5的概率分别对应的概率，从比对结果中选取最大概率的一种病症类型作为目标病症类型。例如，比对结果中bi-rads2的概率是最大的，则bi-rads2就是最终确定的目标病症类型，即病人乳腺病灶的病症类型是bi-rads2。
47.本实施例根据上述获取待处理超声图像对应的二值图像，并确定二值图像中的病灶轮廓，根据病灶轮廓对二值图像进行特征提取得到多个病灶特征，融合多个病灶特征得到全局病灶特征，基于预设分类模型识别全局病灶特征，得到多个病症类型和各个病症类型的概率，然后选取最大概率对应的病症类型作为目标病症类型的技术方案，实现对超声图像中病症的症状类型进行准确识别，提高了通过超声图像进行疾病诊断的准确度，还可以辅助医疗机构进行病人诊断，有利于解决了医疗机构医生缺乏的问题。
48.如图3所示，本发明提供的一种超声图像处理装置，本发明还提供了一种超声图像处理装置，所述超声图像处理装置包括：图像获取模块310，用于获取待处理超声图像对应的二值图像，并确定所述二值图像中的病灶轮廓；特征提取模块320，用于根据所述病灶轮廓对所述二值图像进行特征提取得到多个病灶特征，融合多个所述病灶特征得到全局病灶特征；特征处理模块330，用于基于预设分类模型识别所述全局病灶特征，得到多个病症类型和各个所述病症类型的概率；类型确定模块340，用于选取最大概率对应的病症类型作为目标病症类型。
49.本发明超声图像处理装置具体实施方式与上述超声图像处理方法各实施例基本相同，在此不再赘述。
50.进一步的，本发明还提供了一种终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的超声图像处理程序，所述超声图像处理程序被所述处理器执行时实现上述的超声图像处理方法的步骤。
51.进一步的，本发明还提供了一种存储介质，其上存储有超声图像处理程序，所述超
声图像处理程序被处理器执行时实现上述的超声图像处理方法的步骤。
52.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
53.本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
54.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
55.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
56.应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
57.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
58.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。