一种鼻咽癌医学影像低代价智能推理方法及装置

1.本发明涉及图像处理及人工智能技术领域，特别是指一种鼻咽癌医学影像低代价智能推理方法及装置。


背景技术：

2.在鼻咽临床任务中，通过引入基于深度学习的图像分割技术，可智能地提取ct(computed tomography，电子计算机断层扫描)、pet(positron emission computed tomography，正电子发射型计算机断层显像)、mri(magnetic resonance imaging，磁共振成像)和病理影像中的肿瘤区域，为医生提供技术和数据支撑。
3.在实际推理应用中，由于待分析的图像通常具有分辨率高和尺寸大的特点，基于深度学习的图像分割模型在计算时需要占用大量显存资源，而简单的裁剪图像用于图像分割会受到卷积的补零操作影响造成边缘识别错误的情况。因此亟需设计一种鼻咽癌医学影像低代价智能推理方法。
4.unet(ronneberger o,fischer p,brox t.u-net:convolutional networks for biomedical image segmentation[c]//international conference on medical image computing and computer-assisted intervention.springer,cham,2015:234-241)中针对推理应用中显存资源占据过大的问题，提出一种overlap-tile错切裁剪策略，用于缓解由于卷积中补零操作造成局部图像推理时边缘处的错误现象。但该策略将核心区域裁剪方法固化在网络结构设计中，使得网络模型的输出尺寸小于输入尺寸。这种策略要求输入图像尺寸不得小于网络结构裁剪时的尺寸，进而限制了输入图像和核心区域的尺寸，缺乏灵活性的同时，限定了网络推理时的最小显存占用，并最终限制了网络模型在不同硬件资源上的适配能力。
[0005]
在现有鼻咽癌医学影像的分析任务中，由于不同机器不同参数不同模态采集的图像尺寸不同，对模型设计的灵活性提出了挑战。因此亟需一种灵活的鼻咽癌医学影像低代价智能推理方法，降低智能模型显存代价的同时降低裁减图像造成的错误。


技术实现要素：

[0006]
针对现有技术中缺乏模型设计的灵活性，使智能模型显存代价高以及裁减图像容易造成错误的问题，本发明提出了一种鼻咽癌医学影像低代价智能推理方法及装置。
[0007]
为解决上述技术问题，本发明提供如下技术方案：
[0008]
一方面，提供了一种鼻咽癌医学影像低代价智能推理方法，该方法应用于电子设备，该方法包括：
[0009]
s1：对鼻咽癌医学影像进行采集；
[0010]
s2：对鼻咽癌医学影像进行预处理；
[0011]
s3：通过错切裁剪法，对预处理后的鼻咽癌医学影像进行局部图像裁剪，获得局部图像集；
[0012]
s4：将局部图像集输入至预设的人工智能模型进行推理，输出局部图像集的分割结果；
[0013]
s5：对局部图像集的分割结果的核心区域进行裁剪，拼合成最终分割结果，完成鼻咽癌医学影像低代价智能推理。
[0014]
可选地，鼻咽癌医学影响包括：鼻咽镜成像、头部电子计算机断层扫描ct图像、头部正电子发射型计算机断层显像pet图像、头部磁共振成像mri图像和肿瘤病理切片图像的一种或多种。
[0015]
可选地，步骤s2中，对鼻咽癌医学影像进行预处理，包括：
[0016]
s21：设定鼻咽癌医学影像的宽度wd、裁剪宽度w
t
、核心区域宽度wc、间隔宽度wi；w
t
、wd和wi满足如下述公式(1)的关系：
[0017]wt
＝wc 2wiꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0018]
其中，w
t
、wc、wi≥0；w
t
≤wd；
[0019]
s22：通过填充pad方法，将鼻咽癌医学影像分别在上下左右四方向上扩增wi个像素，形成扩增像素后的鼻咽癌医学影像。
[0020]
可选地，填充pad方法包括补0填充、复制填充中的一种或多种。
[0021]
可选地，步骤s3中，通过错切裁剪法，对预处理后的鼻咽癌医学影像进行局部图像裁剪，获得局部图像集，包括：
[0022]
通过错切裁剪法，对扩增像素后的鼻咽癌医学影像进行局部图像裁剪，获得局部图像集；裁剪后的局部图像集中所有局部图像长和宽的尺寸均为w
t
。
[0023]
可选地，对扩增像素后的鼻咽癌医学影像进行局部图像裁剪，包括：
[0024]
设(i,j)为在原图中裁减的第i行第j列局部图像，其左上角坐标为((i-1)
×
(wi wc),(j-1)
×
(wi wc))；当j取最大值时，其局部图像的左上角坐标为((i-1)
×
(wi wc),w
d-w
t
)；当i取最大值时，其局部图像的左上角坐标为(w
d-w
t
,(j-1)
×
(wi wc))。
[0025]
可选地，步骤s4中，人工智能模型为基于卷积神经网络的图像分割模型。
[0026]
可选地，步骤s5中，对局部图像集的分割结果的核心区域进行裁剪，拼合成最终分割结果，完成鼻咽癌医学影像低代价智能推理，包括：
[0027]
对于每个局部图像的分割结果，裁剪其中[wi:wi wc，wi:wi wc]按照原先裁剪顺序直接拼合成与原始鼻咽癌医学影像相同大小的分割结果，完成鼻咽癌医学影像低代价智能推理。
[0028]
一方面，提供了一种鼻咽癌医学影像低代价智能推理装置，该装置应用于电子设备，该装置包括：
[0029]
影像采集模块，用于对鼻咽癌医学影像进行采集；
[0030]
预处理模块，用于对鼻咽癌医学影像进行预处理；
[0031]
错切裁剪模块，用于通过错切裁剪法，对预处理后的鼻咽癌医学影像进行局部图像裁剪，获得局部图像集；
[0032]
模型推理模块，用于将局部图像集输入至预设的人工智能模型进行推理，输出局部图像集的分割结果；
[0033]
拼合模块，用于对局部图像集的分割结果的核心区域进行裁剪，拼合成最终分割结果，完成鼻咽癌医学影像低代价智能推理。
[0034]
可选地，鼻咽癌医学影响包括：鼻咽镜成像、头部电子计算机断层扫描ct图像、头部正电子发射型计算机断层显像pet图像、头部磁共振成像mri图像和肿瘤病理切片图像的一种或多种。
[0035]
一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述咽癌医学影像低代价智能推理方法。
[0036]
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述咽癌医学影像低代价智能推理方法。
[0037]
本发明实施例的上述技术方案至少具有如下有益效果：
[0038]
上述方案中，本发明提供的方法将图像推理过程中的核心区域裁剪方法与网络设计过程相剥离，去除了模型设计过程中的裁剪操作，使得网络模型的输出尺寸与输入尺寸相同，并将核心区域裁剪作为一种可以调节超参数的后处理操作，这种方法更进一步降低了输入图像的限制，扩增了深度模型对不同硬件资源上的适配能力；解决了智能模型显存代价高以及裁减图像容易造成错误的问题。
附图说明
[0039]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]
图1是本发明实施例提供的一种咽癌医学影像低代价智能推理方法的流程图；
[0041]
图2是本发明实施例提供的一种咽癌医学影像低代价智能推理方法的流程图；
[0042]
图3是本发明实施例提供的一种咽癌医学影像低代价智能推理方法的鼻咽癌mri影像分割的裁减示意图；
[0043]
图4是本发明实施例提供的一种咽癌医学影像低代价智能推理装置的装置框图；
[0044]
图5是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
[0045]
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
[0046]
本发明实施例提供了一种咽癌医学影像低代价智能推理方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的咽癌医学影像低代价智能推理方法流程图，该方法的处理流程可以包括如下的步骤：
[0047]
s101：对鼻咽癌医学影像进行采集；
[0048]
s102：对鼻咽癌医学影像进行预处理；
[0049]
s103：通过错切裁剪法，对预处理后的鼻咽癌医学影像进行局部图像裁剪，获得局部图像集；
[0050]
s104：将局部图像集输入至预设的人工智能模型进行推理，输出局部图像集的分割结果；
[0051]
s105：对局部图像集的分割结果的核心区域进行裁剪，拼合成最终分割结果，完成鼻咽癌医学影像低代价智能推理。
[0052]
可选地，鼻咽癌医学影响包括：鼻咽镜成像、头部电子计算机断层扫描ct图像、头部正电子发射型计算机断层显像pet图像、头部磁共振成像mri图像和肿瘤病理切片图像的一种或多种。
[0053]
可选地，步骤s102中，对鼻咽癌医学影像进行预处理，包括：
[0054]
s121：设定鼻咽癌医学影像的宽度wd、裁剪宽度w
t
、核心区域宽度wc、间隔宽度wi；w
t
、wd和wi满足如下述公式(1)的关系：
[0055]wt
＝wc 2wiꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0056]
其中，w
t
、wc、wi≥0；w
t
≤wd；
[0057]
s122：通过填充pad方法，将鼻咽癌医学影像分别在上下左右四方向上扩增wi个像素，形成扩增像素后的鼻咽癌医学影像。
[0058]
可选地，填充pad方法包括补0填充、复制填充中的一种或多种。
[0059]
可选地，步骤s103中，通过错切裁剪法，对预处理后的鼻咽癌医学影像进行局部图像裁剪，获得局部图像集，包括：
[0060]
通过错切裁剪法，对扩增像素后的鼻咽癌医学影像进行局部图像裁剪，获得局部图像集；裁剪后的局部图像集中所有局部图像长和宽的尺寸均为w
t
。
[0061]
可选地，对扩增像素后的鼻咽癌医学影像进行局部图像裁剪，包括：
[0062]
设(i,j)为在原图中裁减的第i行第j列局部图像，其左上角坐标为((i-1)
×
(wi wc),(j-1)
×
(wi wc))；当j取最大值时，其局部图像的左上角坐标为((i-1)
×
(wi wc),w
d-w
t
)；当i取最大值时，其局部图像的左上角坐标为(w
d-w
t
,(j-1)
×
(wi wc))。
[0063]
可选地，步骤s104中，人工智能模型为基于卷积神经网络的图像分割模型。
[0064]
可选地，步骤s105中，对局部图像集的分割结果的核心区域进行裁剪，拼合成最终分割结果，完成鼻咽癌医学影像低代价智能推理，包括：
[0065]
对于每个局部图像的分割结果，裁剪其中[wi:wi wc，wi:wi wc]按照原先裁剪顺序直接拼合成与原始鼻咽癌医学影像相同大小的分割结果，完成鼻咽癌医学影像低代价智能推理。
[0066]
本发明实施例中，通过本发明提供的方法将图像推理过程中的核心区域裁剪方法与网络设计过程相剥离，去除了模型设计过程中的裁剪操作，使得网络模型的输出尺寸与输入尺寸相同，并将核心区域裁剪作为一种可以调节超参数的后处理操作，这种方法更进一步降低了输入图像的限制，扩增了深度模型对不同硬件资源上的适配能力。
[0067]
本发明实施例提供了一种咽癌医学影像低代价智能推理方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图2所示的咽癌医学影像低代价智能推理方法流程图，该方法的处理流程可以包括如下的步骤：
[0068]
s201：对鼻咽癌医学影像进行采集。
[0069]
一种可行的实施方式中，鼻咽癌医学影响可以包括：鼻咽镜成像、头部电子计算机断层扫描ct图像、头部正电子发射型计算机断层显像pet图像、头部磁共振成像mri图像和肿瘤病理切片图像的一种或多种。
[0070]
s202：设定鼻咽癌医学影像的宽度wd、裁剪宽度w
t
、核心区域宽度wc、间隔宽度wi；wt
、wd和wi满足如下述公式(1)的关系：
[0071]wt
＝wc 2wiꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0072]
其中，w
t
、wc、wi≥0；w
t
≤wd；
[0073]
s203：通过填充pad方法，将鼻咽癌医学影像分别在上下左右四方向上扩增wi个像素，形成扩增像素后的鼻咽癌医学影像。
[0074]
一种可行的实施方式中，填充pad方法包括补0填充、复制填充中的一种或多种。
[0075]
s204：通过错切裁剪法，对预处理后的鼻咽癌医学影像进行局部图像裁剪，获得局部图像集。
[0076]
一种可行的实施方式中，如图3所示，通过错切裁剪法，对扩增像素后的鼻咽癌医学影像进行局部图像裁剪，获得局部图像集；裁剪后的局部图像集中所有局部图像长和宽的尺寸均为w
t
。
[0077]
一种可行的实施方式中，设(i,j)为在原图中裁减的第i行第j列局部图像，其左上角坐标为((i-1)
×
(wi wc),(j-1)
×
(wi wc))；当j取最大值时，其局部图像的左上角坐标为((i-1)
×
(wi wc),w
d-w
t
)；当i取最大值时，其局部图像的左上角坐标为(w
d-w
t
,(j-1)
×
(wi wc))。
[0078]
s205：将局部图像集输入至预设的人工智能模型进行推理，输出局部图像集的分割结果。
[0079]
一种可行的实施方式中，人工智能模型为基于卷积神经网络的图像分割模型。
[0080]
s206：对局部图像集的分割结果的核心区域进行裁剪，拼合成最终分割结果，完成鼻咽癌医学影像低代价智能推理。
[0081]
一种可行的实施方式中，对于每个局部图像的分割结果，裁剪其中[wi：wi wc，wi:wi wc]按照原先裁剪顺序直接拼合成与原始鼻咽癌医学影像相同大小的分割结果，完成鼻咽癌医学影像低代价智能推理。
[0082]
下面通过本发明的一种实施例相应的测试结果，对上述方法进行详细说明：
[0083]
本实施例选择36张尺寸为2800
×
1600的大尺寸图像进行分析，并取其信息变化量(vi)的平均值作为分析结果。
[0084]
(1)w
t
和wi对性能的影响
[0085]
相对于经典的unet中阐述的错切裁剪策略，本发明提出的方法可以在推理过程中修改超参数以适配不同的硬件配置。因此，本发明首先分析超参数对本文提出方法的影响。
[0086]wt
和wi是本发明的超参数，发明探讨在同一硬件资源条件下(单台nvidia tesla v100)不同输入参数的性能。如表1所示分别在不同输入w
t
和wi下，对最大显存占用量、耗时、和vi的影响。其中，输入图像尺寸需为2s的倍数。
[0087]
表1 w
t
和wi的变化对于性能的影响
[0088][0089]
由表1可得，推理时显存占用随着w
t
增大而增大。在模型推理过程中，显存占用主要包括网络参数占用的显存及输入图像的特征图占用的显存，而当输入图像较小时，显存主要由网络参数占据(118.42mb)，因此当w
t
从16增长至64时，显存占用没有明显提高。
[0090]
模型推理的耗时随着输入图像尺寸的增大而缩小。其耗时主要包括cpu(central processing units，中央处理器)至gpu(graphics processing unit，图形处理器)两者之间传输时间和gpu并行计算时间。当输入图像小，切片多，传输时间大，gpu并行时间少；当输入图像大，切片少，传输时间小，gpu并行时间大；但传输时间是线性增长的，gpu并行运算在图像越大时，速度提高比率越大，所以模型推理的耗时随着输入图像尺寸的增大而缩小；
[0091]
且随着输入图像尺寸的增大，模型推理时有效感受野增大，所以整体vi错误率降低。本发明提出的方法虽然在前向推理时可将输入图像尺寸降到16，相比于经典的unet在固定裁剪时只能将输入图像尺寸最小降至392，在自适应裁剪时要求最小尺寸为140，本发明提出的方法在输入图像尺寸为32、64和128时也呈现了可以接受的性能结果，说明本发明提出的方法可更加节省显存占用。
[0092]
本实施例进一步探讨在w
t
不变的情况下，wi改变对结果的影响。为方便分析，本实施例设置w
t
＝128，其结果如表2所示。
[0093]
表2 wi的变化对于性能的影响
[0094][0095]
如表2可得，随着wi变大，核心区域越小，模型计算时补零操作对结果影响越小，vi错误率越低；wi越大，核心区域越小，切片越多，耗时越多；综合时间和vi指标，考虑到在实际应用中，医护人员可选择硬件配置较低的机器运行本发明，最终选择wi为16。
[0096]
(2)不同硬件机器下的评估结果
[0097]
表3不同硬件资源下的评估结果
[0098][0099]
本实施例进一步对比在不同硬件资源下选择不同的超参数对速度和性能的影响。本实施例选择了搭载高性能gpu运算工作站和低性能的个人笔记本进行对比分析，以佐证本实施例提出的策略可促使深度网络模型在任意机型上进行部署，其中低性能个人笔记本主要依靠内存进行计算和分析。如表3所示。由表得，本实施例算法可在高性能工作站和低性能个人笔记本上均可运行，且w
t
越大，耗时越短，vi错误量越低。
[0100]
图4是根据一示例性实施例示出的一种鼻咽癌医学影像低代价智能推理装置框图。参照图4，该装置300包括：
[0101]
影像采集模块310，用于对鼻咽癌医学影像进行采集；
[0102]
预处理模块320，用于对鼻咽癌医学影像进行预处理；
[0103]
错切裁剪模块330，用于通过错切裁剪法，对预处理后的鼻咽癌医学影像进行局部图像裁剪，获得局部图像集；
[0104]
模型推理模块340，用于将局部图像集输入至预设的人工智能模型进行推理，输出局部图像集的分割结果；
[0105]
拼合模块350，用于对局部图像集的分割结果的核心区域进行裁剪，拼合成最终分割结果，完成鼻咽癌医学影像低代价智能推理。
[0106]
可选地，鼻咽癌医学影响包括：鼻咽镜成像、头部ct图像、头部pet图像、头部mri图
像和肿瘤病理切片图像的一种或多种。
[0107]
可选地，预处理模块320，还用于设定鼻咽癌医学影像的宽度wd、裁剪宽度w
t
、核心区域宽度wc、间隔宽度wi；w
t
、wd和wi满足如下述公式(1)的关系：
[0108]wt
＝wc 2wiꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0109]
其中，w
t
、wc、wi≥0；w
t
≤wd；
[0110]
通过填充pad方法，将鼻咽癌医学影像分别在上下左右四方向上扩增wi个像素，形成扩增像素后的鼻咽癌医学影像。
[0111]
可选地，填充pad方法包括补0填充、复制填充中的一种或多种。
[0112]
可选地，错切裁剪模块330，还用于通过错切裁剪法，对扩增像素后的鼻咽癌医学影像进行局部图像裁剪，获得局部图像集；裁剪后的局部图像集中所有局部图像长和宽的尺寸均为w
t
。
[0113]
可选地，错切裁剪模块330，还用于设(i,j)为在原图中裁减的第i行第j列局部图像，其左上角坐标为((i-1)
×
(wi wc),(j-1)
×
(wi wc))；当j取最大值时，其局部图像的左上角坐标为((i-1)
×
(wi wc),w
d-w
t
)；当i取最大值时，其局部图像的左上角坐标为(w
d-w
t
,(j-1)
×
(wi wc))。
[0114]
可选地，人工智能模型为基于卷积神经网络的图像分割模型。
[0115]
可选地，拼合模块350，还用于对于每个局部图像的分割结果，裁剪其中[wi:wi wc，wi:wi wc]按照原先裁剪顺序直接拼合成与原始鼻咽癌医学影像相同大小的分割结果，完成鼻咽癌医学影像低代价智能推理。
[0116]
本发明实施例中，本发明提供的方法将图像推理过程中的核心区域裁剪方法与网络设计过程相剥离，去除了模型设计过程中的裁剪操作，使得网络模型的输出尺寸与输入尺寸相同，并将核心区域裁剪作为一种可以调节超参数的后处理操作，这种方法更进一步降低了输入图像的限制，扩增了深度模型对不同硬件资源上的适配能力。
[0117]
图5是本发明实施例提供的一种电子设备400的结构示意图，该电子设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)401和一个或一个以上的存储器402，其中，所述存储器402中存储有至少一条指令，所述至少一条指令由所述处理器401加载并执行以实现下述鼻咽癌医学影像低代价智能推理方法的步骤：
[0118]
s1：对鼻咽癌医学影像进行采集；
[0119]
s2：对鼻咽癌医学影像进行预处理；
[0120]
s3：通过错切裁剪法，对预处理后的鼻咽癌医学影像进行局部图像裁剪，获得局部图像集；
[0121]
s4：将局部图像集输入至预设的人工智能模型进行推理，输出局部图像集的分割结果；
[0122]
s5：对局部图像集的分割结果的核心区域进行裁剪，拼合成最终分割结果，完成鼻咽癌医学影像低代价智能推理。
[0123]
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述鼻咽癌医学影像低代价智能推理方法。例如，所述计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数
据存储设备等。
[0124]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0125]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。