一种图像分类系统及终端设备的制作方法

1.本发明属于人工智能技术领域，尤其涉及一种图像分类系统及终端设备。


背景技术：

2.结节性硬化症(tuberous sclerosis complex，tsc)是一种常染色体显性遗传性疾病。结节性硬化症可以导致细胞增殖和分化失控，几乎累及所有器官和系统，尤其以脑、皮肤、肾脏、心脏表现突出，其病理改变是错构瘤，通过脑部的影像通常可以观察出神经系统异常表现。
3.磁共振成像(mri)具有丰富的软组织对比度，是用于临床诊断tsc的先进的成像工具。然而由于结节性硬化症的脑内病灶是多发病灶，位于皮层及皮层下以及室管膜下，因此对一个患者进行诊断是，需要扫描多个(上百个)序列影像，这需要花费大量的时间才能完成，且对于医生而言，也需要花费大量的时间才能看完这些序列影像进行诊断。因此，目前对结节性硬化症的诊断存在诊断效率低的问题。


技术实现要素：

4.有鉴于此，本发明实施例提供了一种图像分类系统及终端设备，以对结节性硬化症的诊断存在诊断效率低的问题。
5.第一方面，本发明实施例提供一种图像分类系统，包括：
6.图像获取模块，用于获取第一序列图像和第二序列图像，所述第一序列图像和所述第二序列图像为采用不同模态获取到的磁共振序列图像；
7.图像融合模块，用于将所述第一序列图像和所述第二序列图像进行融合，得到第三序列图像；
8.预测分类模块，用于基于训练完成的预测分类模型对所述第三序列图像进行分类识别，确定与所述第三序列图像对应的分类结果。
9.可选地，所述图像融合模块通过所述第一序列图像和所述第二序列图像的物理关联性将所述第一序列图像和所述第二序列图像进行融合。
10.可选地，所述预测分类模型包括第一三维卷积层、移动翻转残差颈三维卷积块、第二三维卷积层、全局平均池化层和全连接层。
11.可选地，所述预测分类模块包括：
12.模型构建单元，用于构建预测分类模型。
13.模型训练单元，用于基于训练数据对构建的预测分类模型进行训练，得到训练完成的预测分类模型。
14.可选地，所述模型训练单元具体用于：基于可视化数据库对构建的预测分类模型进行预训练，得到预训练后的预测分类模型，再基于训练数据集对预训练后的预测分类模型的参数进行调整，得到完成训练的预测分类模型。
15.可选地，所述模型训练单元还用于获取训练数据集，所述训练数据集包括患者的
序列图像和正常者的序列图像。
16.可选地，所述第一序列图像和所述第二序列图像均为三维图像。
17.第二方面，本发明实施例提供一种终端设备，所述终端设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
18.获取第一序列图像和第二序列图像；所述第一序列图像和所述第二序列图像为采用不同模态获取到的磁共振序列图像；
19.将所述第一序列图像和所述第二序列图像进行融合，得到第三序列图像；
20.基于训练完成的预测分类模型对所述第三序列图像进行分类识别，确定与所述第三序列图像对应的分类结果。
21.可选地，所述处理器执行所述计算机程序时还实现以下步骤：
22.构建预测分类模型；
23.基于训练数据对所述预测分类模型进行训练，得到训练完成的预测分类模型。
24.第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
25.获取第一序列图像和第二序列图像；所述第一序列图像和所述第二序列图像为采用不同模态获取到的磁共振序列图像；
26.将所述第一序列图像和所述第二序列图像进行融合，得到第三序列图像；
27.基于训练完成的预测分类模型对所述第三序列图像进行分类识别，确定与所述第三序列图像对应的分类结果。
28.第四方面，本发明实施例提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行以下步骤：
29.获取第一序列图像和第二序列图像；所述第一序列图像和所述第二序列图像为采用不同模态获取到的磁共振序列图像；
30.将所述第一序列图像和所述第二序列图像进行融合，得到第三序列图像；
31.基于训练完成的预测分类模型对所述第三序列图像进行分类识别，确定与所述第三序列图像对应的分类结果。
32.实施本发明实施例提供的一种图像分类系统及终端设备、计算机可读存储介质及计算机程序产品具有以下有益效果：
33.本发明实施例提供的一种图像分类系统，通过利用不同模态的磁共振序列图像的物理特征，只需要采集两次不同模态的序列图像，再将不同模态的序列图像进行融合，就能够改善病灶的可视化效果，并通过预测分类模型进行特征提取和分类预测，就可以实现对结节性硬化症的诊断，有效地提高结节性硬化症的诊断效率，还可以提高分类的准确度。
附图说明
34.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
35.图1是本发明实施例提供的一种图像分类系统的结构示意图图；
36.图2是本发明实施例提供的一种预测分类模型的结构示意图；
37.图3是本发明实施例一种终端设备的结构示意图；
38.图4是本发明实施例提供的终端设备的处理器执行计算机程序时实现的方法步骤的示意性流程图；
39.图5是本发明实施例提供的一种计算机可读存储介质的结构示意图。
具体实施方式
40.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
41.应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。另外，在本发明说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
42.还应当理解，在本发明说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
43.医学图像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得内部组织影像的技术与处理过程，可以通过医学成像系统来获取医学图像。
44.磁共振成像(mri)是利用原子核在强磁场内发生共振产生的信号经图像重建的一种成像技术。它利用射频脉冲对置于磁场中含有自旋不为零的原子核进行激励，射频脉冲停止后，原子核进行弛豫，在其弛豫过程中用感应线圈采集信号，按一定的数学方法重建形成数学图像。通过磁共振成像对脑部进行扫描，就可以得到对应的序列图像。
45.磁共振成像有不同的模态，每种模态都捕捉到了底层解剖学的某些特征，并提供了内在磁共振参数的独特视图。通过不同模态的扫描方式进行扫描，就可以得到对应的序列图像。磁共振成像的模态包括质子密度加权成像模态、t1加权成像(t1w)模态、t2加权成像(t2w)模态、液体衰减反转恢复(fluid-attenuated inversion recovery，flair)模态等。获取具有多个不同对比度的同一解剖结构的图像可增加mri检查中可用诊断信息的多样性。
46.对于tsc患者进行扫描时，mri的flair序列图像(通过flair模态扫描获取到的图像)中和t2w序列图像(通过t2w模态扫描获取到的图像)中能够观察到异常高或低信号。然而t2w序列图像存在强烈的脑脊液(csf)信号，会产生部分体积伪影，进而对皮层及皮层下病灶的观察产生影响。而flair序列图像就可以很好地抑制脑脊液有效增强病变的可视化，但是flair序列图像不能包括医生所需要的所有组织对比度，所以每一个病人通常需要扫
描多个序列影像，有经验的专业医生需要花大量时间才能完成一名检查者的诊断。
47.在人工智能诊断方面，目前普遍采用卷积神经网络(convolutional neural networks,cnn)来实现图像识别和分类，可以自动从数据中提取特征并基于数据进行表征学习，然而卷积神经网络的深度学习算法往往需要大量的数据集来提高精度，但tsc是一种罕见病，tsc患者的mri数据难以收集，因此很难提供大量的数据集对卷积神经网络进行训练，导致已有的人工智能诊断在tsc的诊断上的应用存在一定局限性。
48.基于此，本发明实施例提供了一种图像分类系统，通过将t2w序列图像和flair序列图像进行融合处理，得到融合后的序列图像，再通过预测分类模型进行特征提取和分类预测，就可以实现对结节性硬化症的诊断，有效地提高结节性硬化症的诊断效率，还可以提高分类的准确度。
49.以下将对本发明实施例提供的图像分类系统及终端设备进行详细的说明：
50.请参阅图1，图1是本发明实施例提供的一种图像分类系统的结构示意图。
51.如图1所示，上述图像分类系统可以包括图像获取模块10、图像融合模块20以及预测分类模块30，详述如下：
52.上述图像获取模块10用于获取第一序列图像和第二序列图像。
53.在本发明实施例中，上述第一序列图像和上述第二序列图像为采用不同模态获取到的磁共振序列图像。
54.在本发明实施例中，上述第一序列图像为t2w序列图像，上述第二序列图像为flair序列图像。当然，上述第一序列图像也可以是flair序列图像，第二序列图像也可以是t2w序列图像。其中，flair序列图像就是指控制磁共振成像系统通过flair模态对待检测者的预设部位进行扫描后得到的序列图像，t2w序列图像就是指控制磁共振成像系统通过t2w模态对待检测者的预设部位进行扫描后的得到的序列图像。
55.需要说明的是，上述预设部位可以根据诊断需求进行确定，例如是对脑部是否存在病变情况的诊断需求，则预设部位通常是头部，本发明对此不加以限制。
56.在本发明一实施例中，可以通过控制磁共振成像系统进行基于flair模态和t2w模态对待检测这的预设部位进行扫描后，得到上述第一序列图像和第二序列图像，然后将上述第一序列图像和上述第二序列图像发送到影像归档和通信系统(picture archiving and communication systems，pacs)，由影像归档和通信系统进行保存。上述图像获取模块10可以与上述影像归档和通信系统进行通信，从而从上述影像归档和通信系统中获取到上述第一序列图像和上述第二序列图像。
57.在本发明一实施例中，上述图像获取模块10还可以直接与磁共振成像系统进行通信，通过控制磁共振成像系统进行基于flair模态和t2w模态对待检测这的预设部位进行扫描后，得到上述第一序列图像和第二序列图像，直接由磁共振成像系统将扫描得到的第一序列图像和第二序列图像发送给上述图像获取模块10，以使上述图像获取模块10获取到第一序列图像和第二序列图像。
58.可以理解的是，上述图像获取模块10还可以从其他保存有第一序列图像和第二序列图像的设备中获取到上述第一序列图像和第二序列图像，以上仅为示例而非限制。
59.当然，上述图像获取模块10在获取到的第一序列图像和第二序列图像之后，还可以将第一序列图像和第二序列图像保存在图像分类系统中，等需要进行图像识别分类的时
候在调出来使用。
60.需要说明的是，上述第一序列图像和第二序列图像是同一待检测者的检测图像，在进行保存的时候可以使用待检测者的识别码(识别编号、身份证号码、医疗诊断卡号码等唯一标识码)进行关联保存。当然，也可以加入日期、扫描时间等时间信息来区分同一患者不同时间扫描到的检测图像。将同一待检测者在同一时间分别扫描到的第一序列图像和第二序列图像进行关联保存，以便后续使用。
61.上述图像融合模块20用于将上述第一序列图像和第二序列图像进行融合，得到第三序列图像。
62.在本发明实施例中，由于第一序列图像和第二序列图像是通过不同模态对待检测者的预设部位进行扫描得到的图像，因此第一序列图像和第二序列图像可以提现出不同的扫描特征。
63.在具体应用中，图像融合模块20通过所述第一序列图像和所述第二序列图像的物理关联性将所述第一序列图像和所述第二序列图像进行融合，第一序列图像和第二序列图像在物理上,存在一定的关联性，对第一序列图像和第二序列图像进行广义的乘法组合进行融合，就可以得到物理结合后的第三序列图像：
64.f(x,y)＝axayb65.其中，f(x,y)是指结合后的第三序列图像，x是指第一序列图像，y是指第二序列图像，a是一个任意的尺度因子，a、b是两个正指数(a》0；b》0)，且满足a b＝3。
66.在本发明实施例中，为了确定第一序列图像和第二序列图像结合时的最优参数组合，先令a＝1，以交叉验证的精准度为指标，在训练预测分类模型的过程中确定出最优的参数a和参数b，以实现高检测精度。在此，训练预测分类模型的过程可以参见预测分类模块30的相关描述，为避免重复，在此不加以赘述。
67.上述预测分类模块30用于基于训练完成的预测分类模型对上述第三序列图像进行分类识别，确定与上述第三序列图像对应的分类结果。
68.请参阅图2，图2示出了本发明实施例提供的预测分类模型的结构示意图。如图2所示，在本发明实施例中，上述预测分类模型包括第一三维卷积层(conv3d1)、移动翻转残差颈三维卷积块(mbconv3d)、第二三维卷积层(conv3d2)、全局平均池化层(ga pooling)和全连接层(fc)。
69.在本发明实施例中，通过将上述第三序列图像输入到上述训练完成的预测分类模型中进行特征提取和分类预测，就可以得到与该第三序列图像对应的分类结果，分类结果包括待检测者为tsc患者和待检测这不为tsc患者。
70.在此需要说明的是，上述第一序列图像和上述第二序列图像可以是三维图像，融合后得到的第三序列图像也是三维图像。
71.需要说明的是，上述预测分类模块30还可以包括模型构建单元和模型训练单元。
72.上述模型构建单元用于构建预测分类模型。
73.上述模型训练单元用于基于训练数据对构建的预测分类模型进行训练，得到训练完成的预测分类模型。
74.在本发明实施例中，上述模型构建单元构建的预测分类模型可以是efficientnet3d模型。efficientnet3d是图像分类网络之一，不仅提高了分类准确性，同时
能够显着减少了网络参数的数量，且适合小数据集的训练分类。
75.具体的，上述预测分类模型可以具有如图2所示的结构，即构建的预测分类模型包括第一三维卷积层(conv3d1)、移动翻转残差颈三维卷积块(mbconv3d)、第二三维卷积层(conv3d2)、全局平均池化层(ga pooling)和全连接层(fc)。
76.在本发明实施例中，上述模型训练单元可以基于可视化数据库(imagenet)进行预训练，得到预训练后的预测分类模型，再基于训练数据集对预训练后的预测分类模型的参数进行调整，得到完成训练的预测分类模型。
77.在具体应用中，可以采用五折交叉验证来评估模型。
78.具体的，采用adam算法进行模型训练，学习率设置为0.001、时期(epoch)设置为100，损失函数使用交叉熵损失函数：
[0079][0080]
其中，yi是训练数据集中的序列图像，n是训练数据中序列图像的数量。
[0081]
通过调整预测分类模型的参数和权重，使得上述损失函数收敛，将此时的模型参数和权重设置为预测分类模型的参数和权重，就可以得到训练完成的预测分类模型。
[0082]
在本发明实施例中，上述模型训练单元还用于获取训练数据集。
[0083]
在本发明实施例中，上述训练数据集为患者(在mri上可见tsc块茎病灶)的序列图像(可以是t2w序列图像、flair序列图像、还可以是t2w序列图像和flair序列图像融合后的序列图像)和正常者的序列图像(同样可以是t2w序列图像、flair序列图像、还可以是t2w序列图像和flair序列图像融合后的序列图像)。
[0084]
在此，可以先获取t2w序列图像和flair序列图像，然后通过深度学习工具hd-bet去除序列图像中与病灶无关的颅骨(可参见已有的深度学习工具)，便于病灶检测和分类，由于tsc患者的序列图像难以收集，故本发明实施例采用三维序列图像(三维t2w序列图像和三维flair序列图像)，然后通过剪切等多种方式使得训练数据集得以扩张，增加训练数据集的数据量。具体的，通过采集三维序列图像，然后通过将影像剪切、旋转、翻转等手段进行数据集扩充，这样能够有效地提高训练完的预测分类模型的鲁棒性。
[0085]
由此可以看出，本发明实施例提供的一种图像分类系统，能够利用不同模态的磁共振序列图像的物理特征，只需要采集两次不同模态的序列图像，再将不同模态的序列图像进行融合，就能够改善病灶的可视化效果，并通过预测分类模型进行特征提取和分类预测，就可以实现对结节性硬化症的诊断，有效地提高结节性硬化症的诊断效率，还可以提高分类的准确度。
[0086]
图3是本发明另一实施例提供的一种终端设备的结构示意图。如图3所示，该实施例提供的终端设备3包括：处理器30、存储器31以及存储在所述存储器31中并可在所述处理器30上运行的计算机程序32，例如多智能体系统的协同控制的程序。处理器30执行所述计算机程序32时实现如图4所示的方法步骤：
[0087]
s11：获取第一序列图像和第二序列图像。
[0088]
s12：将第一序列图像和第二序列图像进行融合，得到第三序列图像。
[0089]
s13：基于训练完成的预测分类模型对第三序列图像进行分类识别，确定与第三序列图像对应的分类结果。
[0090]
在本发明一实施例中，上述处理器30执行计算机程序32时还实现以下步骤：
[0091]
构建预测分类模型；
[0092]
基于训练数据对构建的预测分类模型进行训练，得到训练完成的预测分类模型。
[0093]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0094]
所述处理器30执行所述计算机程序32时实现上述图像分类系统实施例中各模块/单元的功能，例如图1所示模块10～30的功能。
[0095]
示例性的，所述计算机程序32可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器31中，并由处理器30执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序32在所述终端设备3中的执行过程。例如，所述计算机程序32可以被分割成第一获取单元和第二获取单元，各单元具体功能请参阅图1对应地实施例中的相关描述，此处不赘述。
[0096]
所述终端设备可包括但不仅限于，处理器30、存储器31。本领域技术人员可以理解，图3仅仅是终端设备3的示例，并不构成对终端设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
[0097]
所称处理器30可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0098]
所述存储器31可以是所述终端设备3的内部存储单元，例如终端设备3的硬盘或内存。所述存储器31也可以是所述终端设备3的外部存储设备，例如所述终端设备3上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器31还可以既包括所述终端设备3的内部存储单元也包括外部存储设备。所述存储器31用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。
[0099]
本发明实施例还提供了一种计算机可读存储介质。请参阅图5，图5是本发明实施例提供的一种计算机可读存储介质的结构示意图，如图5所示，计算机可读存储介质5中存储有计算机程序51，计算机程序51被处理器执行时可实现以下步骤：
[0100]
获取第一序列图像和第二序列图像；
[0101]
将第一序列图像和第二序列图像进行融合，得到第三序列图像；
[0102]
基于训练完成的预测分类模型对上述第三序列图像进行分类识别，确定与所述第三序列图像对应的分类结果。
[0103]
本发明实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现以下步骤：
[0104]
获取第一序列图像和第二序列图像；
[0105]
将第一序列图像和第二序列图像进行融合，得到第三序列图像；
[0106]
基于训练完成的预测分类模型对上述第三序列图像进行分类识别，确定与所述第三序列图像对应的分类结果。
[0107]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述终端设备的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0108]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参照其它实施例的相关描述。
[0109]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0110]
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。