1.本技术涉及计算机图像处理领域，具体而言，涉及一种甲状腺图像处理方法、装置、电子设备及存储介质。
背景技术：
：：2.目前，在进行人体甲状腺结节检测过程中，通常是利用超声波探测得到甲状腺部位的图像，然后由人工或机器对探测到的图像进行甲状腺结节检测。其中，人工识别的方式，对作业人员的专业知识要求高，且识别的效率低。机器识别的方式，受限于目前网络模型的处理方式，识别的准确率及效率有待提高。技术实现要素：3.本技术实施例的目的在于提供一种甲状腺图像处理方法、装置、电子设备及存储介质，能够提高甲状腺结节检测的准确率及效率。4.为了实现上述目的，本技术的实施例通过如下方式实现：5.第一方面，本技术实施例提供一种甲状腺图像处理方法，所述方法包括：获取待测图像，所述待测图像包括检测甲状腺部位得到的图像；将所述待测图像输入预设深度学习模型，得到所述预设深度学习模型对所述待测图像的第一检测结果；当所述第一检测结果表示所述待测图像中存在甲状腺结节时，将所述第一检测结果中的表示所述待测图像中存在甲状腺结节的病灶图区输入经过测试的机器学习模型，得到所述机器学习模型对所述病灶图区的第二检测结果，所述第二检测结果表示所述病灶图区中的甲状腺结节的严重程度。6.在上述的实施方式中，利用预设深度学习模型，检测待测图像是否存在甲状腺结节，并在存在甲状腺结节时，再将待测图像中的病灶图区输入机器学习模型，如此，机器学习模型无需对不存在甲状腺结节的图像和不是病灶图区的区域进行检测，从而可以减少运算量，提高运算效率。另外，利用预设深度学习模型和机器学习模型相结合，有利于提高对甲状腺结节检测的准确率。7.结合第一方面，在一些可选的实施方式中，所述预设深度学习模型包括残差网络及候选区域网络，在获取待测图像之前，所述方法还包括：8.获取训练数据集及测试数据集，所述训练数据集及所述测试数据集中的每个图像对应至少一个标签，所述标签用于标注存在甲状腺结节的图区，或标注不存在甲状腺结节的图区；9.将所述训练数据集输入所述残差网络，得到所述训练数据集中的存在甲状腺结节的训练图像；10.将所述存在甲状腺结节的训练图像区域输入所述候选区域网络，得到候选区域，所述候选区域为从所述训练图像中分割的表示存在甲状腺结节的病灶图区；11.利用所述候选区域训练gcforest模型，得到训练后的gcforest模型；12.根据所述测试数据集测试所述训练后的gcforest模型，得到经过测试的所述机器学习模型。13.在上述的实施方式中，通过训练数据集对残差网络、候选区域网络、gcforest模型进行训练，并利用测试数据集对gcforest模型进行测试，如此，可以提高模型检测的准确率。14.结合第一方面，在一些可选的实施方式中，利用所述候选区域训练gcforest模型，得到训练后的gcforest模型，包括：15.通过不同指定窗口尺寸的滑动窗口，对所述候选区域进行特征提取，得到与所述不同指定窗口尺寸对应的特征图；16.将所述特征图输入所述gcforest模型中的随机森林，训练所述gcforest模型，得到所述训练后的gcforest模型。17.在上述的实施方式中，通过多尺寸的滑动窗口，从候选区域进行特征提取，以训练gcforest模型，如此，有利于在实现模型训练目的的基础上减少训练样本。18.结合第一方面，在一些可选的实施方式中，获取待测图像，包括：19.根据所述待测图像的图像类型，选择与所述图像类型对应的接口获取所述待测图像，所述图像类型包括png、jpg、bmp、dicom中的至少一种。20.在上述的实施方式中，通过与图像类型对应的接口获取待测图像，如此，可以对不同图像类型的待测图像进行检测处理，有利于提高待测图像的适用范围。21.结合第一方面，在一些可选的实施方式中，将所述待测图像输入预设深度学习模型，得到所述预设深度学习模型对所述待测图像的第一检测结果，包括：22.将所述待测图像输入所述预设深度学习模型中的残差网络，得到所述待测图像是否的存在甲状腺结节的中间检测结果；23.当所述中间检测结果表示所述待测图像中存在甲状腺结节时，将所述待测图像的输入所述深度学习模型中的候选区域网络，得到所述第一检测结果，所述第一检测结果包括从所述待测图像中分割的表示存在甲状腺结节的所述病灶图区。24.结合第一方面，在一些可选的实施方式中，输入所述预设深度学习模型的待测图像为所述待测图像经过预处理后得到的图像，所述预处理包括图像去噪、图像增强中的至少一种。25.结合第一方面，在一些可选的实施方式中，所述待测图像包括对甲状腺部位通过磁共振成像得到的图像。26.第二方面，本技术还提供一种甲状腺图像处理装置，所述装置包括：27.获取单元，用于获取待测图像，所述待测图像包括检测甲状腺部位得到的图像；28.第一检测单元，用于将所述待测图像输入预设深度学习模型，得到所述预设深度学习模型对所述待测图像的第一检测结果；29.第二检测单元，用于当所述第一检测结果表示所述待测图像中存在甲状腺结节时，将所述第一检测结果中的表示所述待测图像中存在甲状腺结节的病灶图区输入经过测试的机器学习模型，得到所述机器学习模型对所述病灶图区的第二检测结果，所述第二检测结果表示所述病灶图区中的甲状腺结节的严重程度。30.第三方面，本技术还提供一种电子设备，所述电子设备包括相互耦合的处理器及存储器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行上述的方法。31.第四方面，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。附图说明32.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。33.图1为本技术实施例提供的甲状腺图像处理方法的流程示意图。34.图2为本技术实施例提供的深度学习模型的网络结构示意图。35.图3为本技术实施例提供的机器学习模型的网络结构示意图。36.图4为申请实施例提供的甲状腺图像处理装置的框图。37.图标：200‑甲状腺图像处理装置；210‑获取单元；220‑第一检测单元；230‑第二检测单元。具体实施方式38.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。需要说明的是，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。39.本技术提供一种电子设备，可以用于对拍摄得到的甲状腺图像进行分析检测，用于辅助用户进行甲状腺结节检测。40.电子设备可以包括处理模块及存储模块。存储模块内存储计算机程序，当计算机程序被所述处理模块执行时，使得电子设备能够执行下述甲状腺图像处理方法中的各步骤。41.在本实施例中，电子设备还可以包括其他模块，例如，电子设备还可以包括通信模块用于与其他设备建立通信连接。处理模块、存储模块以及通信模块各个元件之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。42.电子设备可以是但不限于个人电脑、服务器等设备。43.请参照图1，本技术提供一种甲状腺图像处理方法，可以应用于上述的电子设备，由电子设备执行或实现方法的各步骤，方法可以包括如下步骤：44.步骤s110，获取待测图像，所述待测图像包括检测甲状腺部位得到的图像；45.步骤s120，将所述待测图像输入预设深度学习模型，得到所述预设深度学习模型对所述待测图像的第一检测结果；46.步骤s130，当所述第一检测结果表示所述待测图像中存在甲状腺结节时，将所述第一检测结果中的表示所述待测图像中存在甲状腺结节的病灶图区输入经过测试的机器学习模型，得到所述机器学习模型对所述病灶图区的第二检测结果，所述第二检测结果表示所述病灶图区中的甲状腺结节严重程度。47.在上述的实施方式中，利用预设深度学习模型，检测待测图像是否存在甲状腺结节，并在存在甲状腺结节时，再将待测图像中的病灶图区输入机器学习模型，如此，机器学习模型无需对不存在甲状腺结节的图像和不是病灶图区的区域进行检测，从而可以减少运算量，提高运算效率。另外，利用预设深度学习模型和机器学习模型相结合，有利于提高对甲状腺结节检测的准确率。48.下面将对方法的各步骤进行详细阐述，如下：49.在步骤s110之前，方法包括模型训练与测试的步骤。例如，请结合参照图2和图3，预设深度学习模型可以为maskr‑cnn。maskr‑cnn是在fasterr‑cnn(regionconvolutionalneuralnetwork，区域卷积神经网络)的基础上添加了一个预测分割mask(可被解释为“掩膜”)的分支。maskr‑cnn包括残差网络及候选区域网络(regionproposalsnetworks，rpn)，在步骤s110之前，方法可以包括步骤s101至步骤s105，如下：50.步骤s101，获取训练数据集及测试数据集，所述训练数据集及所述测试数据集中的每个图像对应至少一个标签，所述标签用于标注存在甲状腺结节的图区，或标注不存在甲状腺结节的图区；51.步骤s102，将所述训练数据集输入所述残差网络，得到所述训练数据集中的存在甲状腺结节的训练图像；52.步骤s103，将存在甲状腺结节的所述训练图像区域输入所述候选区域网络，得到候选区域，所述候选区域为从所述训练图像中分割的表示存在甲状腺结节的病灶图区；53.步骤s104，利用所述候选区域训练gcforest模型，得到训练后的gcforest模型；54.步骤s105，根据所述测试数据集测试所述训练后的gcforest模型，得到经过测试的所述机器学习模型。55.可理解地，训练数据集及测试数据集为用户预先准备好的图像数据。训练数据集和测试数据集均包括多个图像，所包括的图像数量可以根据实际情况进行灵活确定，这里不作具体限定。训练数据集用于对模型进行训练，测试数据集用于对模型进行测试，以提高模型检测的准确性。56.训练数据集和测试数据集均为拍摄人体甲状腺部位得到的图像，可以由人工对每个图像设置相应的标签。标签内容可以根据实际情况进行添加，例如，标签表示图中的甲状腺图区是否存在结节，以及在存在甲状腺结节时，对存在甲状腺结节的区域进行标记。其中，该图像可以是但不限于对甲状腺部位通过磁共振成像得到的mri(magneticresonanceimaging，核磁共振成像)图像。57.训练数据集、测试数据集中的图像在进行甲状腺结节的区域标注时，用户可以根据实际情况进行灵活标注与分割。例如，用户可以利用pyqt5.qtgui包中qpainter工具直接在图像上针对甲状腺结节图区勾画矩形或者椭圆形，然后调用opencv包中矩形和椭圆形接口直接对勾画区域进行分割；或者，利用pyqt5.qtgui包中qpainter根据鼠标点击选取点，然后将所有的点连接成多边形，最后调用opencv包中多边形接口直接对勾画区域进行分割；或者，利用opencv包中livewire算法实现磁性区域分割操作；或者基于图像中像素点的灰度值的预设阈值范围，利用opencv包中threshold工具，自定义阈值大小后生成阈值分割结果，预设阈值范围为存在甲状腺结节对应的灰度阈值范围。需要说明的是，用于甲状腺结节区域标注的软件工具包(比如pyqt5.qtgui包、qpainter工具、opencv包等)为本领域技术人员熟知。58.在本实施例中，相比于超声波成像，mri图像具有较好的组织分辨率及对比度，能同时对甲状腺及其周围组织进行多方位、多层次扫描，而且能提供形态学、肿瘤功能及生物学特性方面的信息，因此，利用mri图像检测甲状腺微结节，有利于提高检测的准确性。59.在本实施例中，残差网络可以根据实际情况进行灵活确定。例如，残差网络可以为resnet101卷积神经网络。残差网络用于提取图像中结节或微小结节区域的图像特征，然后通过特征金字塔网络(featurepyramidnetworks，fpn)能在增加极小的计算量的情况下，处理甲状腺结节检测中的多尺度变化情况，提取更多的甲状腺结节特征。60.候选区域网络是一种轻量的神经网络，通过滑动窗口(slidingwindow)扫描特征图进行卷积操作，通过设置不同的窗口尺寸与长宽比，生成anchors(锚)，anchors用于定义图像中的相对位置参考点。61.请再次参照图2，候选区域网络可以对残差网络输出的图像、优化后的adc(apparentdiffusioncoefficient,表观扩散系数图)，进行卷积处理，得到“中间图”。其中，adc图优化方式为本领域技术人员熟知。adc用于描述磁共振扩散加权成像中不同水分子扩散运动速度和范围的参数，adc图为预先获取到的图，为本领域技术人员熟知。62.候选区域网络可以针对每个anchor输出两种信息：第一种，anchor前景或背景类别的预测，前景类别代表该anchor中具有一定概率存在某类或多类目标，背景类别指待检测目标之外的其它物体，后续会滤除；第二种，预置边框的精调，当目标的中心与前景anchor的中心不完全重合，即存在偏移时，输出位置信息(x,y,w,h)的变化百分比，以精确地调整anchor位置，对目标位置的拟合更正确。其中，x,y为目标的中心的横纵坐标，w|指预置边框的宽度，h指预置边框的高度。在前景anchor中存在互相重叠的现象，通过非极大值抑制方式滤除前景得分低的anchor，保留得分最高的anchor，最终得到候选区域(例如为图2中“中间图”所对应的方框区域)，即为regionproposals。63.请再次参照图2，候选区域网络可以将获取的regionproposals输入roialign层(指自定义操作名称，可以将生成的区域建议框映射到特征图谱上，可以写roialign映射)，该层将regionproposals映射到特征图谱后，输出大小相同的感兴趣区域(rois)用于后续分类、回归及生成mask。其中，fc(fullyconnectedlayers,全连接层)，用于实现边框回归、结果分类等。fcn(fullyconvolutionalnetworks,全卷积网络)，用于实现图像分割。64.maskr‑cnn通过在最后输出添加mask分支(即，将传统卷积神经网络中的最后全连接层全部都换成卷积层)生成用于检测甲状腺结节的mask。65.在本实施例中，gcforest模型可以根据甲状腺结节图区大小特征优化该模型模型的诊断能力。即，gcforest模型可以通过不同窗口提取具有甲状腺结节的病灶图区，可以在减少训练样本的基础上，实现模型的训练与测试，以提高检测的准确性。示例性地，步骤s104可以包括：66.通过不同指定窗口尺寸的滑动窗口，对所述候选区域进行特征提取，得到与所述不同指定窗口尺寸对应的特征图；67.将所述特征图输入所述gcforest模型中的随机森林，训练所述gcforest模型，得到所述训练后的gcforest模型。68.在本实施例中，gcforest模型可以包括多粒度扫描(multi‑grainedscanning)单元和级联森林(cascadeforest)单元。多粒度扫描单元可以通过设置不同的扫描窗口尺寸生成不同尺寸的特征图，然后输入两类预设随机森林生成级联森林单元的输入向量。其中，两类预设随机森林是指：随机森林和完全随机森林，两者叶节点不同，都是生成特征图，作为级联单元的输入。级联森林单元通过学习多粒度扫描单元生成的特征图进而生成检测结果。检测结果包括表示甲状腺结节的严重程度的内容。例如，检测结果可以包括甲状腺结节的尺寸、严重程度为良性或恶性等。69.在本实施例中，输入至残差网络、gcforest模型的训练数据集、测试数据集中的图像可以为经过预处理后的图像。例如，对mri图像进行数据降噪和数据增强。比如，采用不同的小波基函数，对甲状腺mri图像进行二维小波变换，完成对mri图像的降噪；采用高斯拉普拉斯算子对mri图像进行平滑处理，达到强化mri图像纹理特征目的。经过预处理后的图像，再输入maskr‑cnn网络模型中，以对maskr‑cnn网络模型中的残差网络、候选区域网络、gcforest模型等模型进行训练，如此，有利于提高模型识别检测的准确性。70.由于甲状腺微小结节病灶最大直径通常小于或等于1厘米，病灶图区的长宽比在0.5～2.0之间，因此，可以将候选区域网络中的滑动窗口尺寸大小设置为[4,8,16](其中，数字4、8、16分别指设置3个不同大小的滑动窗口的长或宽的像素点)，窗口长宽比设置为[0.5,1,2](数字0.5、1、1.2分别对应三个滑动窗口的长宽比)以优化候选区域网络生成的regionproposals，生成最终的甲状腺微小结节自动检测分割模型，如下：[0071]l＝lcls λ1lbox λ2lmaskꢀꢀꢀ(1)[0072]在公式(1)中，l为总损失函数，lcls为分类损失函数，lbox为检测损失函数，lmask为分割损失函数，λ1、λ2为平衡权重参数。由于需要进一步提取病灶区域的影像组学特征值，maskr‑cnn模型的分割分支可以使用平均二进制交叉熵损失函数进行特征值的提取，如下：[0073][0074]在公式(2)中，m代表二维掩码的维度，i、j为循环变量，k表示类别，y和分别表示标签的值与预测值。[0075]在本实施例中，电子设备利用maskr‑cnn可以检测甲状腺结节病灶区域位置，但未正确分类(例如，不清楚甲状腺结节的严重程度)。而gcforest模型可以用于对甲状腺结节的严重程度进行分类，因此，需要通过训练gcforest模型，以确定甲状腺结节的严重程度。[0076]请再次参照图3，maskr‑cnn输入至gcforest模型的图像可以包括两类图，例如，a路输入的为扩散加权图，b路输入的为表观扩散系数图。管理人员可以根据甲状腺结节的大小特征，将gcforest模型的多尺度扫描过程的滑动窗口大小设置为不同的指定窗口尺寸，例如分别为3×3和5×5，3×3指窗口的宽高均为3个像素，5×5指窗口的宽高均为5个像素。[0077]请再次参照图3，为进一步提高gcforest模型的识别准确率，电子设备可以将提取的影像组学特征融合到级联过程。例如，电子设备将提取的微小结节影像组学特征与上一层随机森林输出值和输入向量拼接后作为下一层输入，然后一直重复上述过程，直到该模型验证收敛。其中，图3所示的120div指提取的120类影像组学特征组成的特征向量。[0078]在本实施例中，在对gcforest模型进行测试时，测试数据集中的图像的标签中，标注有表示甲状腺结节严重等级对应的内容。通过测试数据集对gcforest模型测试，直至模型收敛，从而可以提高gcforest模型对甲状腺结节严重程度分类的准确性。[0079]在步骤s110中，电子设备可以获取待测图像的方式可以根据实际情况进行灵活确定。例如，电子设备可以从存储有待测设备的u盘、服务器等获取待测图像。[0080]另外，电子设备还可以针对不同的图像类型，选择相应的接口去获取待测图像。例如，步骤s110可以包括：根据所述待测图像的图像类型，选择与所述图像类型对应的接口获取所述待测图像，所述图像类型包括但不限于png(portablenetworkgraphics，便携式网络图形)、jpeg(jointphotographicexpertsgroup，联合图像专家小组)、bmp(bitmap，位图)、dicom(digitalimagingandcommunicationsinmedicine，医学数字成像和通信)中的至少一种。其中，png、jpg、bmp、dicom为图像的数据格式，为本领域技术人员熟知的格式。[0081]示例性地，若待测图像的图像类型为png，或jpg，或bmp，则利用电子设备中的opencv接口读取，并获取待测图像基本信息，然后将图像由bgr(bluegreenred，蓝绿红)颜色空间转换为rgb(redgreenblue，红绿蓝)颜色空间，最后利用pyqt5中qimage接口显示待测图像。其中，pyqt5是一套python绑定digiaqt5应用的框架，做为python的一个模块，为本领域技术人员熟知工具包。[0082]若待测图像的图像类型为dicom，利用pydicom接口读取图像，获取图像基本信息，然后转换为jpeg格式，然后，将图像由bgr颜色空间转换为rgb颜色空间，最后利用pyqt5中qimage接口显示图像。其中，opencv接口、pydicom接口、qimage接口为电子设备中用于获取图像的接口，为本领域技术人员熟知的接口。[0083]在本实施例中，输入所述预设深度学习模型的待测图像为所述待测图像经过预处理后得到的图像，所述预处理包括图像去噪、图像增强中的至少一种。即，在步骤s120之前，需要对待测图像进行预处理。[0084]其中，图像去噪包括但不限于高斯滤波去噪、中值滤波去噪、p‑m(perona‑malik)(该名字是两个人名的组合，该p‑m方程算法利用的原理是各向同性非线性扩散实现图像滤波)方程去噪及tv(totalvariation，全变分)法去噪。[0085]其中，高斯滤波去噪的方式可以为：调用电子设备中预先安装的opencv工具包中gaussianblur接口，设置滤波参数，以实现滤波去噪，滤波参数可以根据实际情况进行灵活确定。[0086]中值滤波去噪的方式可以为：调用电子设备中预先安装的opencv工具包中medianblur接口，设置滤波参数，以实现滤波去噪，滤波参数可以根据实际情况进行灵活确定。[0087]p‑m方程去噪的方式可以为：根据非线性各向异性扩散方程(p‑m扩散方程)实现图像去噪。[0088]tv法去噪的方式可以为：根据梯度下降流对图像进行平滑的各向异性的模型，在图像内部尽可能对图像进行平滑(相邻像素的差值较小)，而在图像边缘(图像轮廓)尽可能不去平滑。[0089]图像增强的方式可以为：调用电子设备预先安装的pil包中imageenhance接口实现对图像自动增强。pil包为python常用的图像包，可以用于对图像增强，以增强图像的纹理特征，pil包为本领域技术人员熟知的软件工具。[0090]电子设备通过上述的图像预处理，可以滤除图像中的部分干扰因素，增强相应的图像特征，从而有利于提高预设深度学习模型、机器学习模型对该待测图像进行图像检测的准确性。[0091]在步骤s120中，输入所述预设深度学习模型的待测图像为所述待测图像经过预处理后得到的图像，所述预处理包括上述的图像去噪、图像增强中的至少一种。[0092]作为一种可选的实施方式，步骤s120可以包括：[0093]将所述待测图像输入所述预设深度学习模型中的残差网络，得到所述待测图像是否的存在甲状腺结节的中间检测结果；[0094]当所述中间检测结果表示所述待测图像中存在甲状腺结节时，将所述待测图像的输入所述深度学习模型中的候选区域网络，得到所述第一检测结果，所述第一检测结果包括从所述待测图像中分割的表示存在甲状腺结节的所述病灶图区。[0095]可理解地，残差网络可以用于检测待测图像中是否存在甲状腺结节。针对存在甲状腺结节的待测图像，候选区域网络可以在待测图像中对甲状腺结节的图区进行定位，并将甲状腺结节的图区作为病灶图区，从待测图像中分割开。所分割得到的病灶图区可以作为第一检测结果，并被输入至gcforest模型，以便于gcforest模型后续针对病灶图区进行严重程度的针对性检测，而无需对整个待测图像进行检测，以降低运算量，提高检测的准确性。[0096]在步骤s130中，机器学习模型包括但不限于gcforest模型，用于对病灶图区中甲状腺结节的严重程度进行检测。严重程度可以根据实际情况进行分类，例如，严重程度包括表征甲状腺结节为良性或恶性的分类。如此，电子设备通过对待测图像进行检测，可以得到是否存在甲状腺结节，以及结节的严重程度，从而可以为工作人员提供诊断依据，便于辅助工作人员完成甲状腺结节的检测工作，提高检测的效率与准确性。[0097]请参照图4，本技术实施例还提供一种甲状腺图像处理装置200，可以应用于上述的电子设备中，用于执行方法中的各步骤。甲状腺图像处理装置200包括至少一个可以软件或固件(firmware)的形式存储于存储模块中或固化在电子设备操作系统(operatingsystem，os)中的软件功能模块。处理模块用于执行存储模块中存储的可执行模块，例如甲状腺图像处理装置200所包括的软件功能模块及计算机程序等。[0098]甲状腺图像处理装置200可以包括获取单元210、第一检测单元220及第二检测单元230，可以执行的操作步骤如下：[0099]获取单元210，用于获取待测图像，所述待测图像包括检测甲状腺部位得到的图像；[0100]第一检测单元220，用于将所述待测图像输入预设深度学习模型，得到所述预设深度学习模型对所述待测图像的第一检测结果；[0101]第二检测单元230，用于当所述第一检测结果表示所述待测图像中存在甲状腺结节时，将所述第一检测结果中的表示所述待测图像中存在甲状腺结节的病灶图区输入经过测试的机器学习模型，得到所述机器学习模型对所述病灶图区的第二检测结果，所述第二检测结果表示所述病灶图区中的甲状腺结节的严重程度。[0102]可选地，甲状腺图像处理装置200还可以包括模型训练单元及模型测试单元。获取单元210在执行步骤s110之前，还可以用于获取训练数据集及测试数据集，所述训练数据集及所述测试数据集中的每个图像对应至少一个标签，所述标签用于标注存在甲状腺结节的图区，或标注不存在甲状腺结节的图区。模型训练单元用于将所述训练数据集输入所述残差网络，得到所述训练数据集中的存在甲状腺结节的训练图像，以及将所述存在甲状腺结节的训练图像区域输入所述候选区域网络，得到候选区域，所述候选区域为从所述训练图像中分割的表示存在甲状腺结节的病灶图区，以及利用所述候选区域训练gcforest模型，得到训练后的gcforest模型。模型测试单元用于根据所述测试数据集测试所述训练后的gcforest模型，得到经过测试的所述机器学习模型。[0103]可选地，模型训练单元还可以用于：通过不同指定窗口尺寸的滑动窗口，对所述候选区域进行特征提取，得到与所述不同指定窗口尺寸对应的特征图；将所述特征图输入所述gcforest模型中的随机森林，训练所述gcforest模型，得到所述训练后的gcforest模型。[0104]可选地，获取单元210还可以用于：根据所述待测图像的图像类型，选择与所述图像类型对应的接口获取所述待测图像，所述图像类型包括png、jpg、bmp、dicom中的至少一种。[0105]可选地，第一检测单元220还可以用于：将所述待测图像输入所述预设深度学习模型中的残差网络，得到所述待测图像是否的存在甲状腺结节的中间检测结果；当所述中间检测结果表示所述待测图像中存在甲状腺结节时，将所述待测图像的输入所述深度学习模型中的候选区域网络，得到所述第一检测结果，所述第一检测结果包括从所述待测图像中分割的表示存在甲状腺结节的所述病灶图区。[0106]在本实施例中，处理模块可以是一种集成电路芯片，具有信号的处理能力。上述处理模块可以是通用处理器。例如，该处理器可以是中央处理器(centralprocessingunit，cpu)、图形处理器(graphicsprocessingunit，gpu)、网络处理器(networkprocessor，np)、数字信号处理器(digitalsignalprocessing，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field－programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。[0107]存储模块可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。在本实施例中，存储模块可以用于存储待测图像、预设深度学习模型、机器学习模型等。当然，存储模块还可以用于存储程序，处理模块在接收到执行指令后，执行该程序。[0108]通信模块用于通过网络建立电子设备与其他设备(例如服务器)的通信连接，并通过网络收发数据。[0109]需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备的具体工作过程，可以参考前述方法中的各步骤对应过程，在此不再过多赘述。[0110]本技术实施例还提供一种计算机可读存储介质。计算机可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如上述实施例中所述的甲状腺图像处理方法。[0111]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本技术可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本技术的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd‑rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施场景所述的方法。[0112]综上所述，在本方案中，利用预设深度学习模型，检测待测图像是否存在甲状腺结节，并在存在甲状腺结节时，再将待测图像中的病灶图区输入机器学习模型，如此，机器学习模型无需对不存在甲状腺结节的图像和不是病灶图区的区域进行检测，从而可以减少运算量，提高运算效率。另外，利用预设深度学习模型和机器学习模型相结合，有利于提高对甲状腺结节检测的准确率。[0113]在本技术所提供的实施例中，应该理解到，所揭露的装置、系统和方法，也可以通过其它的方式实现。以上所描述的装置、系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。[0114]以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。当前第1页12当前第1页12
背景技术：
：：2.目前，在进行人体甲状腺结节检测过程中，通常是利用超声波探测得到甲状腺部位的图像，然后由人工或机器对探测到的图像进行甲状腺结节检测。其中，人工识别的方式，对作业人员的专业知识要求高，且识别的效率低。机器识别的方式，受限于目前网络模型的处理方式，识别的准确率及效率有待提高。技术实现要素：3.本技术实施例的目的在于提供一种甲状腺图像处理方法、装置、电子设备及存储介质，能够提高甲状腺结节检测的准确率及效率。4.为了实现上述目的，本技术的实施例通过如下方式实现：5.第一方面，本技术实施例提供一种甲状腺图像处理方法，所述方法包括：获取待测图像，所述待测图像包括检测甲状腺部位得到的图像；将所述待测图像输入预设深度学习模型，得到所述预设深度学习模型对所述待测图像的第一检测结果；当所述第一检测结果表示所述待测图像中存在甲状腺结节时，将所述第一检测结果中的表示所述待测图像中存在甲状腺结节的病灶图区输入经过测试的机器学习模型，得到所述机器学习模型对所述病灶图区的第二检测结果，所述第二检测结果表示所述病灶图区中的甲状腺结节的严重程度。6.在上述的实施方式中，利用预设深度学习模型，检测待测图像是否存在甲状腺结节，并在存在甲状腺结节时，再将待测图像中的病灶图区输入机器学习模型，如此，机器学习模型无需对不存在甲状腺结节的图像和不是病灶图区的区域进行检测，从而可以减少运算量，提高运算效率。另外，利用预设深度学习模型和机器学习模型相结合，有利于提高对甲状腺结节检测的准确率。7.结合第一方面，在一些可选的实施方式中，所述预设深度学习模型包括残差网络及候选区域网络，在获取待测图像之前，所述方法还包括：8.获取训练数据集及测试数据集，所述训练数据集及所述测试数据集中的每个图像对应至少一个标签，所述标签用于标注存在甲状腺结节的图区，或标注不存在甲状腺结节的图区；9.将所述训练数据集输入所述残差网络，得到所述训练数据集中的存在甲状腺结节的训练图像；10.将所述存在甲状腺结节的训练图像区域输入所述候选区域网络，得到候选区域，所述候选区域为从所述训练图像中分割的表示存在甲状腺结节的病灶图区；11.利用所述候选区域训练gcforest模型，得到训练后的gcforest模型；12.根据所述测试数据集测试所述训练后的gcforest模型，得到经过测试的所述机器学习模型。13.在上述的实施方式中，通过训练数据集对残差网络、候选区域网络、gcforest模型进行训练，并利用测试数据集对gcforest模型进行测试，如此，可以提高模型检测的准确率。14.结合第一方面，在一些可选的实施方式中，利用所述候选区域训练gcforest模型，得到训练后的gcforest模型，包括：15.通过不同指定窗口尺寸的滑动窗口，对所述候选区域进行特征提取，得到与所述不同指定窗口尺寸对应的特征图；16.将所述特征图输入所述gcforest模型中的随机森林，训练所述gcforest模型，得到所述训练后的gcforest模型。17.在上述的实施方式中，通过多尺寸的滑动窗口，从候选区域进行特征提取，以训练gcforest模型，如此，有利于在实现模型训练目的的基础上减少训练样本。18.结合第一方面，在一些可选的实施方式中，获取待测图像，包括：19.根据所述待测图像的图像类型，选择与所述图像类型对应的接口获取所述待测图像，所述图像类型包括png、jpg、bmp、dicom中的至少一种。20.在上述的实施方式中，通过与图像类型对应的接口获取待测图像，如此，可以对不同图像类型的待测图像进行检测处理，有利于提高待测图像的适用范围。21.结合第一方面，在一些可选的实施方式中，将所述待测图像输入预设深度学习模型，得到所述预设深度学习模型对所述待测图像的第一检测结果，包括：22.将所述待测图像输入所述预设深度学习模型中的残差网络，得到所述待测图像是否的存在甲状腺结节的中间检测结果；23.当所述中间检测结果表示所述待测图像中存在甲状腺结节时，将所述待测图像的输入所述深度学习模型中的候选区域网络，得到所述第一检测结果，所述第一检测结果包括从所述待测图像中分割的表示存在甲状腺结节的所述病灶图区。24.结合第一方面，在一些可选的实施方式中，输入所述预设深度学习模型的待测图像为所述待测图像经过预处理后得到的图像，所述预处理包括图像去噪、图像增强中的至少一种。25.结合第一方面，在一些可选的实施方式中，所述待测图像包括对甲状腺部位通过磁共振成像得到的图像。26.第二方面，本技术还提供一种甲状腺图像处理装置，所述装置包括：27.获取单元，用于获取待测图像，所述待测图像包括检测甲状腺部位得到的图像；28.第一检测单元，用于将所述待测图像输入预设深度学习模型，得到所述预设深度学习模型对所述待测图像的第一检测结果；29.第二检测单元，用于当所述第一检测结果表示所述待测图像中存在甲状腺结节时，将所述第一检测结果中的表示所述待测图像中存在甲状腺结节的病灶图区输入经过测试的机器学习模型，得到所述机器学习模型对所述病灶图区的第二检测结果，所述第二检测结果表示所述病灶图区中的甲状腺结节的严重程度。30.第三方面，本技术还提供一种电子设备，所述电子设备包括相互耦合的处理器及存储器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行上述的方法。31.第四方面，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。附图说明32.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。33.图1为本技术实施例提供的甲状腺图像处理方法的流程示意图。34.图2为本技术实施例提供的深度学习模型的网络结构示意图。35.图3为本技术实施例提供的机器学习模型的网络结构示意图。36.图4为申请实施例提供的甲状腺图像处理装置的框图。37.图标：200‑甲状腺图像处理装置；210‑获取单元；220‑第一检测单元；230‑第二检测单元。具体实施方式38.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。需要说明的是，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。39.本技术提供一种电子设备，可以用于对拍摄得到的甲状腺图像进行分析检测，用于辅助用户进行甲状腺结节检测。40.电子设备可以包括处理模块及存储模块。存储模块内存储计算机程序，当计算机程序被所述处理模块执行时，使得电子设备能够执行下述甲状腺图像处理方法中的各步骤。41.在本实施例中，电子设备还可以包括其他模块，例如，电子设备还可以包括通信模块用于与其他设备建立通信连接。处理模块、存储模块以及通信模块各个元件之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。42.电子设备可以是但不限于个人电脑、服务器等设备。43.请参照图1，本技术提供一种甲状腺图像处理方法，可以应用于上述的电子设备，由电子设备执行或实现方法的各步骤，方法可以包括如下步骤：44.步骤s110，获取待测图像，所述待测图像包括检测甲状腺部位得到的图像；45.步骤s120，将所述待测图像输入预设深度学习模型，得到所述预设深度学习模型对所述待测图像的第一检测结果；46.步骤s130，当所述第一检测结果表示所述待测图像中存在甲状腺结节时，将所述第一检测结果中的表示所述待测图像中存在甲状腺结节的病灶图区输入经过测试的机器学习模型，得到所述机器学习模型对所述病灶图区的第二检测结果，所述第二检测结果表示所述病灶图区中的甲状腺结节严重程度。47.在上述的实施方式中，利用预设深度学习模型，检测待测图像是否存在甲状腺结节，并在存在甲状腺结节时，再将待测图像中的病灶图区输入机器学习模型，如此，机器学习模型无需对不存在甲状腺结节的图像和不是病灶图区的区域进行检测，从而可以减少运算量，提高运算效率。另外，利用预设深度学习模型和机器学习模型相结合，有利于提高对甲状腺结节检测的准确率。48.下面将对方法的各步骤进行详细阐述，如下：49.在步骤s110之前，方法包括模型训练与测试的步骤。例如，请结合参照图2和图3，预设深度学习模型可以为maskr‑cnn。maskr‑cnn是在fasterr‑cnn(regionconvolutionalneuralnetwork，区域卷积神经网络)的基础上添加了一个预测分割mask(可被解释为“掩膜”)的分支。maskr‑cnn包括残差网络及候选区域网络(regionproposalsnetworks，rpn)，在步骤s110之前，方法可以包括步骤s101至步骤s105，如下：50.步骤s101，获取训练数据集及测试数据集，所述训练数据集及所述测试数据集中的每个图像对应至少一个标签，所述标签用于标注存在甲状腺结节的图区，或标注不存在甲状腺结节的图区；51.步骤s102，将所述训练数据集输入所述残差网络，得到所述训练数据集中的存在甲状腺结节的训练图像；52.步骤s103，将存在甲状腺结节的所述训练图像区域输入所述候选区域网络，得到候选区域，所述候选区域为从所述训练图像中分割的表示存在甲状腺结节的病灶图区；53.步骤s104，利用所述候选区域训练gcforest模型，得到训练后的gcforest模型；54.步骤s105，根据所述测试数据集测试所述训练后的gcforest模型，得到经过测试的所述机器学习模型。55.可理解地，训练数据集及测试数据集为用户预先准备好的图像数据。训练数据集和测试数据集均包括多个图像，所包括的图像数量可以根据实际情况进行灵活确定，这里不作具体限定。训练数据集用于对模型进行训练，测试数据集用于对模型进行测试，以提高模型检测的准确性。56.训练数据集和测试数据集均为拍摄人体甲状腺部位得到的图像，可以由人工对每个图像设置相应的标签。标签内容可以根据实际情况进行添加，例如，标签表示图中的甲状腺图区是否存在结节，以及在存在甲状腺结节时，对存在甲状腺结节的区域进行标记。其中，该图像可以是但不限于对甲状腺部位通过磁共振成像得到的mri(magneticresonanceimaging，核磁共振成像)图像。57.训练数据集、测试数据集中的图像在进行甲状腺结节的区域标注时，用户可以根据实际情况进行灵活标注与分割。例如，用户可以利用pyqt5.qtgui包中qpainter工具直接在图像上针对甲状腺结节图区勾画矩形或者椭圆形，然后调用opencv包中矩形和椭圆形接口直接对勾画区域进行分割；或者，利用pyqt5.qtgui包中qpainter根据鼠标点击选取点，然后将所有的点连接成多边形，最后调用opencv包中多边形接口直接对勾画区域进行分割；或者，利用opencv包中livewire算法实现磁性区域分割操作；或者基于图像中像素点的灰度值的预设阈值范围，利用opencv包中threshold工具，自定义阈值大小后生成阈值分割结果，预设阈值范围为存在甲状腺结节对应的灰度阈值范围。需要说明的是，用于甲状腺结节区域标注的软件工具包(比如pyqt5.qtgui包、qpainter工具、opencv包等)为本领域技术人员熟知。58.在本实施例中，相比于超声波成像，mri图像具有较好的组织分辨率及对比度，能同时对甲状腺及其周围组织进行多方位、多层次扫描，而且能提供形态学、肿瘤功能及生物学特性方面的信息，因此，利用mri图像检测甲状腺微结节，有利于提高检测的准确性。59.在本实施例中，残差网络可以根据实际情况进行灵活确定。例如，残差网络可以为resnet101卷积神经网络。残差网络用于提取图像中结节或微小结节区域的图像特征，然后通过特征金字塔网络(featurepyramidnetworks，fpn)能在增加极小的计算量的情况下，处理甲状腺结节检测中的多尺度变化情况，提取更多的甲状腺结节特征。60.候选区域网络是一种轻量的神经网络，通过滑动窗口(slidingwindow)扫描特征图进行卷积操作，通过设置不同的窗口尺寸与长宽比，生成anchors(锚)，anchors用于定义图像中的相对位置参考点。61.请再次参照图2，候选区域网络可以对残差网络输出的图像、优化后的adc(apparentdiffusioncoefficient,表观扩散系数图)，进行卷积处理，得到“中间图”。其中，adc图优化方式为本领域技术人员熟知。adc用于描述磁共振扩散加权成像中不同水分子扩散运动速度和范围的参数，adc图为预先获取到的图，为本领域技术人员熟知。62.候选区域网络可以针对每个anchor输出两种信息：第一种，anchor前景或背景类别的预测，前景类别代表该anchor中具有一定概率存在某类或多类目标，背景类别指待检测目标之外的其它物体，后续会滤除；第二种，预置边框的精调，当目标的中心与前景anchor的中心不完全重合，即存在偏移时，输出位置信息(x,y,w,h)的变化百分比，以精确地调整anchor位置，对目标位置的拟合更正确。其中，x,y为目标的中心的横纵坐标，w|指预置边框的宽度，h指预置边框的高度。在前景anchor中存在互相重叠的现象，通过非极大值抑制方式滤除前景得分低的anchor，保留得分最高的anchor，最终得到候选区域(例如为图2中“中间图”所对应的方框区域)，即为regionproposals。63.请再次参照图2，候选区域网络可以将获取的regionproposals输入roialign层(指自定义操作名称，可以将生成的区域建议框映射到特征图谱上，可以写roialign映射)，该层将regionproposals映射到特征图谱后，输出大小相同的感兴趣区域(rois)用于后续分类、回归及生成mask。其中，fc(fullyconnectedlayers,全连接层)，用于实现边框回归、结果分类等。fcn(fullyconvolutionalnetworks,全卷积网络)，用于实现图像分割。64.maskr‑cnn通过在最后输出添加mask分支(即，将传统卷积神经网络中的最后全连接层全部都换成卷积层)生成用于检测甲状腺结节的mask。65.在本实施例中，gcforest模型可以根据甲状腺结节图区大小特征优化该模型模型的诊断能力。即，gcforest模型可以通过不同窗口提取具有甲状腺结节的病灶图区，可以在减少训练样本的基础上，实现模型的训练与测试，以提高检测的准确性。示例性地，步骤s104可以包括：66.通过不同指定窗口尺寸的滑动窗口，对所述候选区域进行特征提取，得到与所述不同指定窗口尺寸对应的特征图；67.将所述特征图输入所述gcforest模型中的随机森林，训练所述gcforest模型，得到所述训练后的gcforest模型。68.在本实施例中，gcforest模型可以包括多粒度扫描(multi‑grainedscanning)单元和级联森林(cascadeforest)单元。多粒度扫描单元可以通过设置不同的扫描窗口尺寸生成不同尺寸的特征图，然后输入两类预设随机森林生成级联森林单元的输入向量。其中，两类预设随机森林是指：随机森林和完全随机森林，两者叶节点不同，都是生成特征图，作为级联单元的输入。级联森林单元通过学习多粒度扫描单元生成的特征图进而生成检测结果。检测结果包括表示甲状腺结节的严重程度的内容。例如，检测结果可以包括甲状腺结节的尺寸、严重程度为良性或恶性等。69.在本实施例中，输入至残差网络、gcforest模型的训练数据集、测试数据集中的图像可以为经过预处理后的图像。例如，对mri图像进行数据降噪和数据增强。比如，采用不同的小波基函数，对甲状腺mri图像进行二维小波变换，完成对mri图像的降噪；采用高斯拉普拉斯算子对mri图像进行平滑处理，达到强化mri图像纹理特征目的。经过预处理后的图像，再输入maskr‑cnn网络模型中，以对maskr‑cnn网络模型中的残差网络、候选区域网络、gcforest模型等模型进行训练，如此，有利于提高模型识别检测的准确性。70.由于甲状腺微小结节病灶最大直径通常小于或等于1厘米，病灶图区的长宽比在0.5～2.0之间，因此，可以将候选区域网络中的滑动窗口尺寸大小设置为[4,8,16](其中，数字4、8、16分别指设置3个不同大小的滑动窗口的长或宽的像素点)，窗口长宽比设置为[0.5,1,2](数字0.5、1、1.2分别对应三个滑动窗口的长宽比)以优化候选区域网络生成的regionproposals，生成最终的甲状腺微小结节自动检测分割模型，如下：[0071]l＝lcls λ1lbox λ2lmaskꢀꢀꢀ(1)[0072]在公式(1)中，l为总损失函数，lcls为分类损失函数，lbox为检测损失函数，lmask为分割损失函数，λ1、λ2为平衡权重参数。由于需要进一步提取病灶区域的影像组学特征值，maskr‑cnn模型的分割分支可以使用平均二进制交叉熵损失函数进行特征值的提取，如下：[0073][0074]在公式(2)中，m代表二维掩码的维度，i、j为循环变量，k表示类别，y和分别表示标签的值与预测值。[0075]在本实施例中，电子设备利用maskr‑cnn可以检测甲状腺结节病灶区域位置，但未正确分类(例如，不清楚甲状腺结节的严重程度)。而gcforest模型可以用于对甲状腺结节的严重程度进行分类，因此，需要通过训练gcforest模型，以确定甲状腺结节的严重程度。[0076]请再次参照图3，maskr‑cnn输入至gcforest模型的图像可以包括两类图，例如，a路输入的为扩散加权图，b路输入的为表观扩散系数图。管理人员可以根据甲状腺结节的大小特征，将gcforest模型的多尺度扫描过程的滑动窗口大小设置为不同的指定窗口尺寸，例如分别为3×3和5×5，3×3指窗口的宽高均为3个像素，5×5指窗口的宽高均为5个像素。[0077]请再次参照图3，为进一步提高gcforest模型的识别准确率，电子设备可以将提取的影像组学特征融合到级联过程。例如，电子设备将提取的微小结节影像组学特征与上一层随机森林输出值和输入向量拼接后作为下一层输入，然后一直重复上述过程，直到该模型验证收敛。其中，图3所示的120div指提取的120类影像组学特征组成的特征向量。[0078]在本实施例中，在对gcforest模型进行测试时，测试数据集中的图像的标签中，标注有表示甲状腺结节严重等级对应的内容。通过测试数据集对gcforest模型测试，直至模型收敛，从而可以提高gcforest模型对甲状腺结节严重程度分类的准确性。[0079]在步骤s110中，电子设备可以获取待测图像的方式可以根据实际情况进行灵活确定。例如，电子设备可以从存储有待测设备的u盘、服务器等获取待测图像。[0080]另外，电子设备还可以针对不同的图像类型，选择相应的接口去获取待测图像。例如，步骤s110可以包括：根据所述待测图像的图像类型，选择与所述图像类型对应的接口获取所述待测图像，所述图像类型包括但不限于png(portablenetworkgraphics，便携式网络图形)、jpeg(jointphotographicexpertsgroup，联合图像专家小组)、bmp(bitmap，位图)、dicom(digitalimagingandcommunicationsinmedicine，医学数字成像和通信)中的至少一种。其中，png、jpg、bmp、dicom为图像的数据格式，为本领域技术人员熟知的格式。[0081]示例性地，若待测图像的图像类型为png，或jpg，或bmp，则利用电子设备中的opencv接口读取，并获取待测图像基本信息，然后将图像由bgr(bluegreenred，蓝绿红)颜色空间转换为rgb(redgreenblue，红绿蓝)颜色空间，最后利用pyqt5中qimage接口显示待测图像。其中，pyqt5是一套python绑定digiaqt5应用的框架，做为python的一个模块，为本领域技术人员熟知工具包。[0082]若待测图像的图像类型为dicom，利用pydicom接口读取图像，获取图像基本信息，然后转换为jpeg格式，然后，将图像由bgr颜色空间转换为rgb颜色空间，最后利用pyqt5中qimage接口显示图像。其中，opencv接口、pydicom接口、qimage接口为电子设备中用于获取图像的接口，为本领域技术人员熟知的接口。[0083]在本实施例中，输入所述预设深度学习模型的待测图像为所述待测图像经过预处理后得到的图像，所述预处理包括图像去噪、图像增强中的至少一种。即，在步骤s120之前，需要对待测图像进行预处理。[0084]其中，图像去噪包括但不限于高斯滤波去噪、中值滤波去噪、p‑m(perona‑malik)(该名字是两个人名的组合，该p‑m方程算法利用的原理是各向同性非线性扩散实现图像滤波)方程去噪及tv(totalvariation，全变分)法去噪。[0085]其中，高斯滤波去噪的方式可以为：调用电子设备中预先安装的opencv工具包中gaussianblur接口，设置滤波参数，以实现滤波去噪，滤波参数可以根据实际情况进行灵活确定。[0086]中值滤波去噪的方式可以为：调用电子设备中预先安装的opencv工具包中medianblur接口，设置滤波参数，以实现滤波去噪，滤波参数可以根据实际情况进行灵活确定。[0087]p‑m方程去噪的方式可以为：根据非线性各向异性扩散方程(p‑m扩散方程)实现图像去噪。[0088]tv法去噪的方式可以为：根据梯度下降流对图像进行平滑的各向异性的模型，在图像内部尽可能对图像进行平滑(相邻像素的差值较小)，而在图像边缘(图像轮廓)尽可能不去平滑。[0089]图像增强的方式可以为：调用电子设备预先安装的pil包中imageenhance接口实现对图像自动增强。pil包为python常用的图像包，可以用于对图像增强，以增强图像的纹理特征，pil包为本领域技术人员熟知的软件工具。[0090]电子设备通过上述的图像预处理，可以滤除图像中的部分干扰因素，增强相应的图像特征，从而有利于提高预设深度学习模型、机器学习模型对该待测图像进行图像检测的准确性。[0091]在步骤s120中，输入所述预设深度学习模型的待测图像为所述待测图像经过预处理后得到的图像，所述预处理包括上述的图像去噪、图像增强中的至少一种。[0092]作为一种可选的实施方式，步骤s120可以包括：[0093]将所述待测图像输入所述预设深度学习模型中的残差网络，得到所述待测图像是否的存在甲状腺结节的中间检测结果；[0094]当所述中间检测结果表示所述待测图像中存在甲状腺结节时，将所述待测图像的输入所述深度学习模型中的候选区域网络，得到所述第一检测结果，所述第一检测结果包括从所述待测图像中分割的表示存在甲状腺结节的所述病灶图区。[0095]可理解地，残差网络可以用于检测待测图像中是否存在甲状腺结节。针对存在甲状腺结节的待测图像，候选区域网络可以在待测图像中对甲状腺结节的图区进行定位，并将甲状腺结节的图区作为病灶图区，从待测图像中分割开。所分割得到的病灶图区可以作为第一检测结果，并被输入至gcforest模型，以便于gcforest模型后续针对病灶图区进行严重程度的针对性检测，而无需对整个待测图像进行检测，以降低运算量，提高检测的准确性。[0096]在步骤s130中，机器学习模型包括但不限于gcforest模型，用于对病灶图区中甲状腺结节的严重程度进行检测。严重程度可以根据实际情况进行分类，例如，严重程度包括表征甲状腺结节为良性或恶性的分类。如此，电子设备通过对待测图像进行检测，可以得到是否存在甲状腺结节，以及结节的严重程度，从而可以为工作人员提供诊断依据，便于辅助工作人员完成甲状腺结节的检测工作，提高检测的效率与准确性。[0097]请参照图4，本技术实施例还提供一种甲状腺图像处理装置200，可以应用于上述的电子设备中，用于执行方法中的各步骤。甲状腺图像处理装置200包括至少一个可以软件或固件(firmware)的形式存储于存储模块中或固化在电子设备操作系统(operatingsystem，os)中的软件功能模块。处理模块用于执行存储模块中存储的可执行模块，例如甲状腺图像处理装置200所包括的软件功能模块及计算机程序等。[0098]甲状腺图像处理装置200可以包括获取单元210、第一检测单元220及第二检测单元230，可以执行的操作步骤如下：[0099]获取单元210，用于获取待测图像，所述待测图像包括检测甲状腺部位得到的图像；[0100]第一检测单元220，用于将所述待测图像输入预设深度学习模型，得到所述预设深度学习模型对所述待测图像的第一检测结果；[0101]第二检测单元230，用于当所述第一检测结果表示所述待测图像中存在甲状腺结节时，将所述第一检测结果中的表示所述待测图像中存在甲状腺结节的病灶图区输入经过测试的机器学习模型，得到所述机器学习模型对所述病灶图区的第二检测结果，所述第二检测结果表示所述病灶图区中的甲状腺结节的严重程度。[0102]可选地，甲状腺图像处理装置200还可以包括模型训练单元及模型测试单元。获取单元210在执行步骤s110之前，还可以用于获取训练数据集及测试数据集，所述训练数据集及所述测试数据集中的每个图像对应至少一个标签，所述标签用于标注存在甲状腺结节的图区，或标注不存在甲状腺结节的图区。模型训练单元用于将所述训练数据集输入所述残差网络，得到所述训练数据集中的存在甲状腺结节的训练图像，以及将所述存在甲状腺结节的训练图像区域输入所述候选区域网络，得到候选区域，所述候选区域为从所述训练图像中分割的表示存在甲状腺结节的病灶图区，以及利用所述候选区域训练gcforest模型，得到训练后的gcforest模型。模型测试单元用于根据所述测试数据集测试所述训练后的gcforest模型，得到经过测试的所述机器学习模型。[0103]可选地，模型训练单元还可以用于：通过不同指定窗口尺寸的滑动窗口，对所述候选区域进行特征提取，得到与所述不同指定窗口尺寸对应的特征图；将所述特征图输入所述gcforest模型中的随机森林，训练所述gcforest模型，得到所述训练后的gcforest模型。[0104]可选地，获取单元210还可以用于：根据所述待测图像的图像类型，选择与所述图像类型对应的接口获取所述待测图像，所述图像类型包括png、jpg、bmp、dicom中的至少一种。[0105]可选地，第一检测单元220还可以用于：将所述待测图像输入所述预设深度学习模型中的残差网络，得到所述待测图像是否的存在甲状腺结节的中间检测结果；当所述中间检测结果表示所述待测图像中存在甲状腺结节时，将所述待测图像的输入所述深度学习模型中的候选区域网络，得到所述第一检测结果，所述第一检测结果包括从所述待测图像中分割的表示存在甲状腺结节的所述病灶图区。[0106]在本实施例中，处理模块可以是一种集成电路芯片，具有信号的处理能力。上述处理模块可以是通用处理器。例如，该处理器可以是中央处理器(centralprocessingunit，cpu)、图形处理器(graphicsprocessingunit，gpu)、网络处理器(networkprocessor，np)、数字信号处理器(digitalsignalprocessing，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field－programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。[0107]存储模块可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。在本实施例中，存储模块可以用于存储待测图像、预设深度学习模型、机器学习模型等。当然，存储模块还可以用于存储程序，处理模块在接收到执行指令后，执行该程序。[0108]通信模块用于通过网络建立电子设备与其他设备(例如服务器)的通信连接，并通过网络收发数据。[0109]需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备的具体工作过程，可以参考前述方法中的各步骤对应过程，在此不再过多赘述。[0110]本技术实施例还提供一种计算机可读存储介质。计算机可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如上述实施例中所述的甲状腺图像处理方法。[0111]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本技术可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本技术的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd‑rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施场景所述的方法。[0112]综上所述，在本方案中，利用预设深度学习模型，检测待测图像是否存在甲状腺结节，并在存在甲状腺结节时，再将待测图像中的病灶图区输入机器学习模型，如此，机器学习模型无需对不存在甲状腺结节的图像和不是病灶图区的区域进行检测，从而可以减少运算量，提高运算效率。另外，利用预设深度学习模型和机器学习模型相结合，有利于提高对甲状腺结节检测的准确率。[0113]在本技术所提供的实施例中，应该理解到，所揭露的装置、系统和方法，也可以通过其它的方式实现。以上所描述的装置、系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。[0114]以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
