图像检测模型的生成方法、图像检测方法及计算机设备与流程

1.本技术涉及医学影像处理技术领域，特别是涉及图像检测模型的生成方法、图像检测方法及计算机设备。


背景技术：

2.随着计算机技术的快速发展，神经网络和医学影像技术极大地提升了现代医疗水平。
3.神经网络需要大量已标注的医学影像，进行全监督训练才能发挥较好的效果，但是，专业影像科医生数量较少，通过专业影像科医生标注的医学影像更少，进而导致训练得到的神经网络的准确度不高。
4.为了解决已标注的医学影像数据缺乏的问题，需要扩充已标注的医学影像。通常采用图像变换、数据增强等方式对已标注的图像进行扩充，但是上述扩充方式更适合在训练处理自然图像的神经网络的情况下使用；与自然图像相比，医学影像的像素量少，医学影像中的感兴趣区域，只占据医学影像的很小部分，采用图像变换、数据增强等方式对医学影像进行扩充，容易导致感兴趣区域丢失，因此，通过上述扩充方式扩充医学影像的数据集，会导致根据该数据集训练得到的神经网络的准确度较低。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供能够得到包括注意力区域的多张扩增图像，提高图像检测模型的准确度的图像检测模型的生成方法、图像检测方法及计算机设备。
6.第一方面，本技术提供了一种图像检测模型的生成方法。所述图像检测模型的生成方法包括：
7.获取第一医学图像的眼动数据，并基于所述眼动数据确定所述第一医学图像的注意力训练热图，其中，所述眼动数据是人员查阅所述第一医学图像时采集得到的；
8.通过多张第一医学图像，以及每张第一医学图像的注意力训练热图，对第一初始模型进行训练，得到注意力预测模型；
9.将第二医学图像输入所述注意力预测模型，得到注意力热图，并基于所述注意力热图对所述第二医学图像进行扩增，得到所述第二医学图像的多张扩增图像；
10.通过多张第二医学图像、每张第二医学图像对应的多张扩增图像、以及每张第二医学图像的标注图像，对第二初始模型进行训练，得到图像检测模型。
11.在其中一个实施例中，所述眼动数据包括多个采样点的采样时刻和采样位置；所述基于所述眼动数据确定所述第一医学图像的注意力训练热图，包括：
12.根据所述多个采样点的采样时刻，在所述多个采样点中确定注视点和回看点，其中，所述注视点包括大于预设时长的注视时长，所述回看点包括不连续的多个注视时长，所述注视时长包括连续的多个采样时刻；
13.基于所述注视点和所述回看点的采样位置，在蒙版图像上标记所述注视点和所述
回看点，得到待处理图像，其中，所述蒙版图像与所述第一医学图像的尺寸相同；
14.对所述待处理图像进行高斯平滑处理，得到所述第一医学图像的注意力训练热图。
15.在其中一个实施例中，所述基于所述注意力热图对所述第二医学图像进行扩增，得到所述第二医学图像的多张扩增图像，包括：
16.确定所述注意力热图的分割掩膜，并基于所述分割掩膜和所述第二医学图像确定眼动扩增图像，其中，所述眼动扩增图像包括所述注意力区域；
17.按照预设的多种方式对所述第二医学图像进行扩增处理，得到多张初始图像，并基于所述注意力热图和所述多张初始图像，确定多张目标图像，其中，每张目标图像均包括所述注意力区域，所述多张扩增图像包括所述眼动扩增图像和所述多张目标图像。
18.在其中一个实施例中，所述多种方式包括随机遮蔽方式和随机裁切方式；所述按照预设的多种方式对所述第二医学图像进行扩增处理，得到多张初始图像，并基于所述注意力热图和所述多张初始图像，确定多张目标图像，包括：
19.采用随机遮蔽方式对所述第二医学图像进行处理，得到初始遮蔽图像；
20.将所述初始遮蔽图像和所述注意力热图进行比较，若所述初始遮蔽图像包括所述注意力区域，则将所述初始遮蔽图像作为目标图像；
21.采用随机裁切方式对所述第二医学图像进行处理，得到初始裁切图像；
22.将所述初始裁切图像和所述注意力热图进行比较，若所述初始裁切图像包括所述注意力区域，则将所述初始裁切图像作为目标图像。
23.在其中一个实施例中，所述采用随机遮蔽方式对所述第二医学图像进行处理，得到初始遮蔽图像之后，还包括：
24.将所述初始遮蔽图像和所述注意力热图进行比较，若所述初始遮蔽图像不包括所述注意力区域，则剔除所述初始遮蔽图像，并重复上述得到初始遮蔽图像的过程，直至得到的初始遮蔽图像包括所述注意力区域。
25.在其中一个实施例中，所述采用随机裁切方式对所述第二医学图像进行处理，得到初始裁切图像之后，还包括：
26.将所述初始裁切图像和所述注意力热图进行比较，若所述初始裁切图像不包括所述注意力区域，则剔除所述初始裁切图像，并重复上述得到初始裁切图像的过程，直至得到的初始裁切图像包括所述注意力区域。
27.在其中一个实施例中，所述方法还包括：
28.对所述第二医学图像进行旋转处理和色彩扰动处理，得到旋转图像和色彩扰动图像，将所述旋转图像和所述色彩扰动图像作为所述第二医学图像的扩增图像。
29.第二方面，本技术还提供了一种图像检测模型的生成装置。所述装置包括：
30.眼动数据处理模块，用于获取第一医学图像的眼动数据，并基于所述眼动数据确定所述第一医学图像的注意力训练热图，其中，所述眼动数据是人员查阅所述医学图像时采集得到的；
31.注意力预测模型训练模型，用于通过多张第一医学图像，以及每张第一医学图像的注意力训练热图，对第一初始模型进行训练，得到注意力预测模型；
32.扩增模块，用于将第二医学图像输入所述注意力预测模型，得到注意力热图，并基
于所述注意力热图对所述第二医学图像进行扩增，得到所述第二医学图像的多张扩增图像；
33.图像检测模型训练模块，用于通过多张第二医学图像、每张第二医学图像对应的多张扩增图像、以及每张第二医学图像的标注图像，对第二初始模型进行训练，得到图像检测模型。
34.第三方面，本技术还提供了一种图像检测方法。所述图像检测方法包括：
35.获取待处理医学图像；
36.将待处理医学图像输入图像检测模型，以确定感兴趣区域；
37.所述图像检测模型通过多张第二医学图像、每张第二医学图像对应的多张扩增图像、以及每张第二医学图像的标注图像，对初始模型进行训练获得；
38.第二医学图像对应的多张扩增图像为基于注意力热图对第二医学图像进行扩增获得；
39.注意力热图与模拟眼动数据相关。
40.第四方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
41.获取待处理医学图像；
42.将待处理医学图像输入图像检测模型，以确定感兴趣区域；
43.所述图像检测模型通过多张第二医学图像、每张第二医学图像对应的多张扩增图像、以及每张第二医学图像的标注图像，对初始模型进行训练获得；
44.第二医学图像对应的多张扩增图像为基于注意力热图对第二医学图像进行扩增获得；
45.注意力热图通过实时采集或者模拟方式获得，且注意力热图与人员查阅第二医学图像时的眼动数据相关。
46.第五方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
47.获取待处理医学图像；
48.将待处理医学图像输入图像检测模型，以确定感兴趣区域；
49.所述图像检测模型通过多张第二医学图像、每张第二医学图像对应的多张扩增图像、以及每张第二医学图像的标注图像，对初始模型进行训练获得；
50.第二医学图像对应的多张扩增图像为基于注意力热图对第二医学图像进行扩增获得；
51.注意力热图通过实时采集或者模拟方式获得，且注意力热图与人员查阅第二医学图像时的眼动数据相关。
52.第六方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
53.获取待处理医学图像；
54.将待处理医学图像输入图像检测模型，以确定感兴趣区域；
55.所述图像检测模型通过多张第二医学图像、每张第二医学图像对应的多张扩增图像、以及每张第二医学图像的标注图像，对初始模型进行训练获得；
56.第二医学图像对应的多张扩增图像为基于注意力热图对第二医学图像进行扩增获得；
57.注意力热图通过实时采集或者模拟方式获得，且注意力热图与人员查阅第二医学图像时的眼动数据相关。
58.上述图像检测模型的生成方法、图像检测模型的生成装置、图像检测方法、计算机设备、存储介质和计算机程序产品，根据第一医学图像的眼动数据确定第一医学图像的注意力训练热图，根据多张第一医学图像和每张第一医学图像的注意力训练热图训练第一初始模型，得到注意力预测模型，通过注意力预测模型预测第二医学图像的注意力热图，第二医学图像的注意力热图包括第二医学图像的注意力区域，基于所述注意力热图对所述第二医学图像进行扩增，以使得第二医学图像的扩增图像均包括注意力区域，通过多张第二医学图像、每张第二医学图像对应的多张扩增图像、以及每张第二医学图像的标注图像，对第二初始模型进行训练，得到图像检测模型。由于多张第二医学图像，以及每张第二医学图像对应的多张扩增图像均包括注意力区域，而注意力区域可以反映第二医学图像中的感兴趣区域，进而第二初始模型可以学习到注意力区域的信息，提高了训练得到的图像检测模型的准确度。
附图说明
59.图1为一个实施例中图像检测模型的生成方法的流程示意图；
60.图2为一个实施例中采集眼动数据的示意图；
61.图3为一个实施例中确定第一医学图像的注意力训练热图的示意图；
62.图4为一个实施例中第二医学图像的示意图；
63.图5为图4的注意力热图；
64.图6为图4的眼动扩增图像；
65.图7为图4的初始遮蔽图像；
66.图8为图4的初始裁切图像；
67.图9为图4的包括注意力区域的初始遮蔽图像；
68.图10为图4的包括注意力区域的初始裁切图像；
69.图11为一个实施例中确定第二医学图像的多张扩增图像的流程示意图；
70.图12为另一个实施例中确定第二医学图像的多张扩增图像的流程示意图；
71.图13为一个具体实施例中图像检测模型的生成方法的流程示意图；
72.图14为一个实施例中图像检测方法的流程示意图；
73.图15为一个实施例中图像检测模型的生成装置的结构框图；
74.图16为一个实施例中计算机设备的内部结构图。
具体实施方式
75.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
76.在一个实施例中，如图1所示，提供了一种图像检测模型的生成方法，本实施例以
该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
77.s101，获取第一医学图像的眼动数据，并基于所述眼动数据确定所述第一医学图像的注意力训练热图。
78.其中，所述眼动数据是人员查阅所述第一医学图像时采集得到的，第一医学图像的注意力训练热图包括第一医学图的注意力区域，注意力区域是人员查阅第一医学图像时关注的区域。
79.具体地，第一医学图像是通过医学影像设备拍摄得到，第一医学图像可以是计算机断层扫描(computed tomography，ct)图像、核磁共振成像(magnetic resonance imaging，mri)图像、直接数字化x射线影像(direct digit radiography，ddr)图像、超声(ultrasonic，us)图像、正电子发射型计算机断层(positron emission computed tomography，pet)图像、单光子发射计算机断层扫描(single photon emission computed tomography，spect)图像、数字减影血管造影(digital subtraction angiography，dsa)图像等单模态的医学图像，还可使mr-pet、ct-pet、mr-us等混合模态的医学图像。
80.通过眼动仪采集人员查阅第一医学图像产生的眼动数据，人员可以是放射科医生，眼动仪将采集的第一医学图像的眼动数据发送到终端，使得终端获取到第一医学图像的眼动数据。眼动数据包括多个采样点的采样时刻和采样位置，通过多个采样点的采样时刻和采样位置，在第一医学图像中确定人员关注的区域，进而确定第一医学图像的注意力训练热图；人员关注的区域为第一医学图像的注意力区域，通常人员关注的区域为第一医学图像中的感兴趣区域所在区域，因此第一医学图像的注意力区域可以反映第一医学图像中的感兴趣区域，感兴趣区域通常是病灶所处区域。
81.示例性地，如图2所示，显示屏上显示第一医学图像，在显示屏下方设置眼动仪，以使得眼动仪可以采集到人员查阅第一医学图像产生的眼动数据；采用5点校准程序对人员进行眼球追踪校准，人员查阅显示屏上显示的一张第一医学图像，直至可以确定该第一医学图像的感兴趣区域，更换下一张第一医学图像，通过眼动仪采集该第一医学图像的眼动数据，眼动仪将该第一医学图像的眼动数据发送到终端，使得终端获取到第一医学图像的眼动数据。在人员需要查阅多张第一医学图像的情况下，设置每查阅预设数量的第一医学图像后，提示人员休息，以减少人员的疲劳情况，从而提高注意力水平，使得采集的眼动数据可以准确反映第一医学图像中的注意力区域。
82.s102，通过多张第一医学图像，以及每张第一医学图像的注意力训练热图，对第一初始模型进行训练，得到注意力预测模型。
83.具体地，获取多张第一医学图像的眼动数据，根据每张第一医学图像的眼动数据确定每张第一医学图像的注意力训练热图。
84.将第一医学图像输入至第一初始模型，通过第一初始模型得到该第一医学图像的注意力预测图像，根据该第一医学图像的注意力预测图像和注意力训练热图计算第一损失值，根据第一损失值调整第一初始模型的模型参数，以完成对第一初始模型的一次训练，通过多张第一医学图像，以及每张第一医学图像的注意力训练热图对第一初始模型进行多次迭代训练，直至第一初始模型的模型参数收敛，将模型参数收敛的第一初始模型作为注意
力预测模型。
85.通过上述过程训练得到的注意力预测模型相当于虚拟的放射科医生，可以预测医学图像的注意力区域。
86.s103，将第二医学图像输入所述注意力预测模型，得到注意力热图，并基于所述注意力热图对所述第二医学图像进行扩增，得到所述第二医学图像的多张扩增图像。
87.其中，注意力热图包括第二医学图像中的注意力区域，每张扩增图像均包括第二医学图像中的注意力区域。
88.具体地，第二医学图像也是通过医学影像设备拍摄得到，第二医学图像可以是计算机断层扫描(computed tomography，ct)图像、核磁共振成像(magnetic resonance imaging，mri)图像、直接数字化x射线影像(direct digit radiography，ddr)图像、超声(ultrasonic，us)图像、正电子发射型计算机断层(positron emission computed tomography，pet)图像、单光子发射计算机断层扫描(single photon emission computed tomography，spect)图像、数字减影血管造影(digital subtraction angiography，dsa)图像等单模态的医学图像，还可使mr-pet、ct-pet、mr-us等混合模态的医学图像。第二医学图像可以与第一医学图像相同。
89.将第二医学图像输入注意力预测模型，通过注意力预测模型得到第二医学图像的注意力热图；第二医学图像的注意力热图仅包括第二医学图像的注意力区域。
90.采用预设的多种方式对第二医学图像进行扩增处理，得到多张初始图像，根据第二医学图像的注意力热图和多张初始图像确定多张扩增图像，以使得每张扩增图像中均包括注意力区域。
91.s104，通过多张第二医学图像、每张第二医学图像对应的多张扩增图像、以及每张第二医学图像的标注图像，对第二初始模型进行训练，得到图像检测模型。
92.其中，第二医学图像的标注图像，是医生使用金标准标注第二医学图像中的感兴趣区域得到的。
93.终端获取多张第二医学图像，每张第二医学图像对应的多张扩增图像，以及每张第二医学图像的标注图像；将多张第二医学图像和每张第二医学图像对应的多张扩增图像，作为多张训练图像，将训练图像输入至第二初始模型，通过第二初始模型得到该训练图像的感兴趣区域预测图像，根据该训练图像的标注图像和感兴趣区域预测图像计算第二损失值，根据第二损失值调整第二初始模型的模型参数，以完成对第二初始模型的一次训练，通过多张训练图像，以及每张训练图像的标注图像对第二初始模型进行多次迭代训练，直至第二初始模型的模型参数收敛，将模型参数收敛的第二初始模型作为图像检测模型。
94.通过上述训练过程训练的到的图像检测模型，可以预测医学图像中的感兴趣区域。
95.上述图像检测模型的生成方法中，根据第一医学图像的眼动数据确定第一医学图像的注意力训练热图，根据多张第一医学图像和每张第一医学图像的注意力训练热图训练第一初始模型，得到注意力预测模型，通过注意力预测模型预测第二医学图像的注意力热图，第二医学图像的注意力热图包括第二医学图像的注意力区域，基于所述注意力热图对所述第二医学图像进行扩增，以使得第二医学图像的扩增图像均包括注意力区域，通过多张第二医学图像、每张第二医学图像对应的多张扩增图像、以及每张第二医学图像的标注
图像，对第二初始模型进行训练，得到图像检测模型。由于多张第二医学图像，以及每张第二医学图像对应的多张扩增图像均包括注意力区域，而注意力区域可以反映第二医学图像中的感兴趣区域，进而第二初始模型可以学习到注意力区域的信息，提高了训练得到的图像检测模型的准确度。
96.在一个实施例中，眼动数据包括多个采样点的采样时刻和采样位置；采样点是视线落点，每个采样点均有其对应的采样时刻和采样位置，采样时刻是人员的视线落在该采样点的时刻，采样位置是该采样点在第一医学图像中的坐标。基于所述眼动数据确定所述第一医学图像的注意力训练热图包括如下过程：
97.s111，根据所述多个采样点的采样时刻，在所述多个采样点中确定注视点和回看点。
98.其中，所述注视点包括大于预设时长的注视时长，所述回看点包括不连续的多个注视时长，所述注视时长包括连续的多个采样时刻。
99.具体地，在人员查阅第一医学图像的过程中采集的眼动数据，确定眼动数据的多个采样点，对于任一采样点，统计该采样点的多个采样时刻，以确定该采样点的注视时长，若该采样点的注视时长大于预设时长，则该采样点为注视点，若该采样点存在多个不连续的注视时长，则该采样点为回看点。
100.对于任一采样点，若该采样点的多个采样时刻中存在连续的多个采样时刻，并且连续的多个采样时刻的数量超过预设注视数量，则确定连续的多个采样时刻构成该采样点的注视时长。若该采样点的注视时长(连续的多个采样时刻对应的时长)大于预设时长，则该采样点为注视点。若该采样点包括多段不连续的注视时长，则该采样点为回看点。
101.例如，采样点f1的采样时刻包括：t1,t2,t3,t4,t5,t6,t7,t11,t21,t30,t31,t32,t33,t34；假设注视时长包括连续的4个采样时刻，预设时长为6个连续采样时刻对应的时长；连续的t1,t2,t3,t4,t5,t6,t7，构成f1的第一注视时长，连续的t30,t31,t32,t33,t34构成f2的第二注视时长；f1的第一注视时长包括7个连续采样时刻，第一注视时长大于预设时长，因此f1为注视点；f1的第一注视时长和第二注视时长之间不连续，因此f1为回看点。
102.例如，采样点f2的采样时刻包括：t1,t2,t3,t21,t22,t23,t24,t25,t26,t27；假设注视时长包括连续的4个采样时刻，预设时长为6个连续采样时刻对应的时长；连续的t21,t22,t23,t24,t25,t26,t27，构成f2的注视时长，由于f2的注视时长大于预设时长，因此f2为注视点；f2不包括不连续的多个注视时长，因此f2不为回看点。
103.s112，基于所述注视点和所述回看点的采样位置，在蒙版图像上标记所述注视点和所述回看点，得到待处理图像。
104.其中，所述蒙版图像与所述第一医学图像的尺寸相同。
105.具体地，获取与第一医学图像尺寸相同的蒙版图像，在蒙版图像上标记注视点和回看点，得到待处理图像。注视点是人员注视时间较长的采样点，回看点是人员多次注视的采样点，因此注视点和回看点是人员关注的采样点，待处理图像中只包括第一医学图像中的注视点和回看点，通过此步骤去除了不受人员关注的采样点。
106.s113，对所述待处理图像进行高斯平滑处理，得到所述第一医学图像的注意力训练热图。
107.具体地，待处理图像用于反映人员关注的注视点和回看点，而实际上，人员在查阅
第一医学图像时，关注的应是第一医学图像的一些区域，因此对所待处理图像进行高斯平滑处理，得到第一医学图像的注意力训练热图，注意力训练热图包括第一医学图像中的注意力区域。
108.示例性地，如图3所示，获取第一医学图像p1，并采集人员查阅第一医学图像过程中产生的眼动数据，眼动数据包括多个采样点，在第一医学图像上标注多个采样点得到图像p2，在多个采样点中确定注视点和回看点，将p2的多个采样点中除了注视点和非回看点以外的采样点滤除，得到图像p3，将p3中的注视点和回看点标注在与第一医学图像尺寸相同的蒙版图像上，得到待处理图像，对待处理图像进行高斯平滑处理，得到第一医学图像的注意力训练热图p4。
109.在一个实施例中，基于所述注意力热图对所述第二医学图像进行扩增，得到所述第二医学图像的多张扩增图像包括如下过程：
110.s311、确定所述注意力热图的分割掩膜，并基于所述分割掩膜和所述第二医学图像确定眼动扩增图像。
111.其中，所述眼动扩增图像包括所述注意力区域。
112.具体地，注意力热图仅包括第二医学图像中的注意力区域，注意力热图的分割掩膜中，处于注意力区域内的像素点的像素值为1，不处于注意力区域内的像素点的像素值为0，将分割掩膜和第二医学图像相乘，得到眼动扩增图像，分割掩膜和第二医学图像相乘是逐像素点相乘，由于分割掩膜中处于注意力区域内的像素点的像素值为1，不处于注意力区域内的像素点的像素值为0，因此，眼动扩增图像中仅包括第二医学图像的注意力区域。比如，第二医学图像如图4所示，第二医学图像的注意力热图如图5所示，第二医学图像的眼动扩增图像如图6所示。
113.s312、按照预设的多种方式对所述第二医学图像进行扩增处理，得到多张初始图像，并基于所述注意力热图和所述多张初始图像，确定多张目标图像。
114.其中，每张目标图像均包括所述注意力区域，所述多张扩增图像包括所述眼动扩增图像和所述多张目标图像。
115.在一个实施例中，预设的多种方式包括：随机遮蔽方式和随机裁切方式，得到多张目标图像的过程包括：
116.采用随机遮蔽方式对所述第二医学图像进行处理，得到初始遮蔽图像；将所述初始遮蔽图像和所述注意力热图进行比较，若所述初始遮蔽图像包括所述注意力区域，则将所述初始遮蔽图像作为目标图像；采用随机裁切方式对所述第二医学图像进行处理，得到初始裁切图像；将所述初始裁切图像和所述注意力热图进行比较，若所述初始裁切图像包括所述注意力区域，则将所述初始裁切图像作为目标图像。
117.在一种实现方式中，采用随机遮蔽方式对所述第二医学图像进行处理，得到初始遮蔽图像包括：在第二医学图像中随机选取一个像素点，以该像素点为中心点，在第二医学图像中确定遮蔽区域，将遮蔽区域内所有像素点的像素值置0，得到初始遮蔽图像；遮蔽区域的形状和尺寸为预先设定的，比如遮蔽区域为矩形区域，遮蔽区域的尺寸为40*40。比如，第二医学图像如图4所示，初始遮蔽图像如图7所示。
118.在一种实现方式中，采用随机裁切方式对所述第二医学图像进行处理，得到初始裁切图像包括：在预先设定的比例集合中随机选取一个比例，根据该比例在第二医学图像
中随机裁切得到部分图像，将裁切得到的部分图像放大，得到与第二医学图像面积相同的初始裁切图像；部分图像和第二医学图像的面积之比为该比例。比如，第二医学图像如图4所示，初始裁切图像如图8所示。
119.采用随机遮蔽方式对第二医学图像进行处理，可能会遮蔽第二医学图像中的注意力区域，导致初始遮蔽图像不包括注意力区域，因此将初始遮蔽图像和注意力热图比较。初始遮蔽图像包括注意力区域，指的是初始遮蔽图像包括完整的注意力区域，若初始遮蔽图像包括部分注意力区域，则初始遮蔽图像不包括注意力区域；若初始遮蔽图像包括注意力区域，则该初始遮蔽图像可以作为目标图像，用于训练第一初始模型。
120.采用随机裁切方式对第二医学图像进行处理，可能会将第二医学图像中的注意力区域裁切去除，导致初始裁切图像不包括注意力区域，因此将初始裁切图像和注意力热图比较。同样地，指的是初始裁切图像包括完整的注意力区域，若初始裁切图像包括注意力区域，则该初始裁切图像可以作为目标图像，用于训练第一初始模型。
121.在一个实施例中，为了保证第二医学图像有其对应的包括注意力区域的初始遮蔽图像和初始裁切图像，得到多张目标图像的过程还包括：
122.将所述初始遮蔽图像和所述注意力热图进行比较，若所述初始遮蔽图像不包括所述注意力区域，则剔除所述初始遮蔽图像，并重复上述得到初始遮蔽图像的过程，直至得到的初始遮蔽图像包括所述注意力区域。比如，第二医学图像如图4所示，包括注意力区域的初始遮蔽图像如图9所示。
123.将所述初始裁切图像和所述注意力热图进行比较，若所述初始裁切图像不包括所述注意力区域，则剔除所述初始裁切图像，并重复上述得到初始裁切图像的过程，直至得到的初始裁切图像包括所述注意力区域。比如，第二医学图像如图4所示，包括注意力区域的初始裁切图像如图10所示。
124.具体地，初始遮蔽图像不包括注意力区域的情况包括：初始遮蔽图像包括部分注意力区域的情况，以及初始遮蔽图像完全不包括注意力区域的情况。同样地，初始裁切图像不包括注意力区域的情况包括：初始裁切图像包括部分注意力区域的情况，以及初始裁切图像完全不包括注意力区域的情况。
125.若初始遮蔽图像不包括注意力区域，则再次采用随机遮蔽方式对第二医学图像进行处理，直至得到的初始遮蔽图像包括注意力区域，将包括注意力区域的初始遮蔽图像作为目标图像。
126.若初始裁切图像不包括注意力区域，则再次采用随机裁切方式对第二医学图像进行处理，直至得到的初始裁切图像包括注意力区域，将包括注意力区域的初始裁切图像作为目标图像。
127.通过上述过程，使得采用预设的多种方式对第二医学图像进行处理，可以得到包括注意力区域的两张目标图像。可以想到的是，多种方式不局限于随机遮蔽方式和随机裁切方式，还可以对第二医学图像进行其他图像处理，以得到处理后图像，将处理后图像与注意力热图进行比较，若处理后图像包括注意力区域，则将处理后图像作为目标图像，若处理后图像不包括注意力区域，则重复上述得到处理后图像的过程，直至得到包括注意力区域的处理后图像。
128.在一个实施例中，为了增加第二医学图像的扩增图像的数量，图像检测模型的生
成方法还包括：
129.对所述第二医学图像进行旋转处理和色彩扰动处理，得到旋转图像和色彩扰动图像，将所述旋转图像和所述色彩扰动图像作为所述第二医学图像的扩增图像。
130.具体地，对第二医学图像进行旋转处理，包括采用随机方向和随机角度对第二医学图像进行旋转处理、对第二医学图像进行水平翻转处理、以及对第二医学图像进行垂直翻转处理。
131.由于第二医学图像进行旋转处理和色彩扰动处理均不会导致注意力区域丢失，因此直接将旋转图像和色彩扰动图像作为第二医学图像的扩增图像。
132.在一个实施例中，如图11所示，确定第二医学图像的多张扩增图像的过程包括：
133.a1、获取第二医学图像的注意力热图，其中，第二医学图像的注意力热图与模拟眼动数据相关；
134.a2、确定注意力热图的分割掩膜，并基于分割掩膜和第二医学图像确定眼动扩增图像，其中，眼动扩增图像包括注意力区域；
135.a3、采用随机遮蔽方式对第二医学图像进行处理，得到初始遮蔽图像；
136.a4、采用随机裁切方式对第二医学图像进行处理，得到初始裁切图像；
137.a5、将初始遮蔽图像和注意力热图进行比较，判断初始遮蔽图像是否包括注意力区域，若不包括，进入a6；若包括，进入a7；
138.a6、剔除该初始遮蔽图像，并进入a3；
139.a7、将初始遮蔽图像作为目标图像；
140.a8、将初始裁切图像和注意力热图进行比较，判断初始裁切图像是否包括注意力区域，若不包括，进入a9；若包括，进入a10；
141.a9、剔除该初始裁切图像，并进入a4；
142.a10、将初始裁切图像作为目标图像。
143.第二医学图像的多张扩增图像包括眼动扩增图像和多张目标图像。
144.具体地，获取第二医学图像的注意力热图，第二医学图像的注意力热图与第二医学图像的眼动数据相关，第二医学图像的注意力热图包括第二医学图像的注意力区域。根据第二医学图像的注意力热图对第二医学图像进行扩增得到多张扩增图像，以使得每张扩增图像均包括第二医学图像的注意力区域。
145.在一个实施例中，如图12所示，确定第二医学图像的多张扩增图像的过程包括：
146.b1、获取第二医学图像的注意力热图，其中，所述注意力热图通过实时采集或者模拟方式获得，且所述注意力热图与人员查阅所述第二医学图像时的眼动数据相关；
147.b2、确定注意力热图的分割掩膜，并基于分割掩膜和第二医学图像确定眼动扩增图像，其中，眼动扩增图像包括注意力区域；
148.b3、采用随机遮蔽方式对第二医学图像进行处理，得到初始遮蔽图像；
149.b4、采用随机裁切方式对第二医学图像进行处理，得到初始裁切图像；
150.b5、将初始遮蔽图像和注意力热图进行比较，判断初始遮蔽图像是否包括注意力区域，若不包括，进入b6；若包括，进入b7；
151.b6、剔除该初始遮蔽图像，并进入b3；
152.b7、将初始遮蔽图像作为目标图像；
153.b8、将初始裁切图像和注意力热图进行比较，判断初始裁切图像是否包括注意力区域，若不包括，进入b9；若包括，进入b10；
154.b9、剔除该初始裁切图像，并进入b4；
155.b10、将初始裁切图像作为目标图像。
156.第二医学图像的多张扩增图像包括眼动扩增图像和多张目标图像。
157.具体地，获取人员查阅第二医学图像时产生的眼动数据，或者，模拟人员查阅第二医学图像，通过模拟方式获得眼动数据，根据眼动数据确定第二医学图像的注意力热图，第二医学图像的注意力热图包括第二医学图像的注意力区域。根据第二医学图像的注意力热图对第二医学图像进行扩增得到多张扩增图像，以使得每张扩增图像均包括第二医学图像的注意力区域。
158.在一个具体实施例中，如图13所示，图像检测模型的生成方法，包括：
159.第一过程：
160.采用眼动仪确定第一医学图像y1的眼动数据，根据第一医学图像y1的眼动数据确定第一医学图像y1的注意力训练热图z1；
161.通过多张第一医学图像y1和每张第一医学图像的注意力训练热图z1对第一初始模型进行训练，得到注意力预测模型；
162.第二过程：
163.将第二医学图像y2输入注意力预测模型，得到第二医学图像y2的注意力热图z2；
164.根据注意力热图z2和第二医学图像y2确定眼动扩增图像k1；
165.采用随机遮蔽和随机裁切的方式对第二医学图像y2进行处理，得到初始遮蔽图像c1和初始裁切图像c2；
166.在本实施例中，c1不包括注意力区域，则重新采用随机遮蔽的方式对第二医学图像y2进行处理，得到目标图像k2；
167.在本实施例中，c2不包括注意力区域，则重新采用随机裁切的方式对第二医学图像y2进行处理，得到目标图像k3；第二医学图像的扩增图像包括：眼动扩增图像k1、目标图像k2和目标图像k3；
168.通过多张第二医学图像、每张第二医学图像的标注图像和多张扩增图像对第二初始模型进行训练，得到图像检测模型。
169.在一个实施例中，图像检测模型用于检测医学图像中的感兴趣区域。将待检测医学图像输入图像检测模型，通过图像检测模型得到检测结果，检测结果包括待检测医学图像中感兴趣区域的位置和类型，可以在待检测医学图像中勾画出感兴趣区域，以展示待检测医学图像中的感兴趣区域。
170.本实施中，通过根据第一医学图像的眼动数据确定第一医学图像的注意力训练热图，根据多张第一医学图像和每张第一医学图像的注意力训练热图训练第一初始模型，得到注意力预测模型，通过注意力预测模型预测第二医学图像的注意力热图，第二医学图像的注意力热图包括第二医学图像的注意力区域，基于所述注意力热图对所述第二医学图像进行扩增，以使得第二医学图像的扩增图像均包括注意力区域，通过多张第二医学图像、每张第二医学图像对应的多张扩增图像、以及每张第二医学图像的标注图像，对第二初始模型进行训练，得到图像检测模型。由于多张第二医学图像，以及每张第二医学图像对应的多
张扩增图像均包括注意力区域，而注意力区域可以反映第二医学图像中的感兴趣区域，进而第二初始模型可以学习到注意力区域的信息，提高了训练得到的图像检测模型的准确度。
171.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
172.将所述待处理医学图像输入图像检测模型，以确定感兴趣区域，其中，图像检测模型通过多张第二医学图像、每张第二医学图像对应的多张扩增图像、以及每张第二医学图像的标注图像，对初始模型进行训练获得，第二医学图像对应的多张所述扩增图像为基于注意力热图对所述第二医学图像进行扩增获得，注意力热图与模拟眼动数据相关。
173.在一个实施例中，如图14所示，提供了一种图像检测方法，包括：
174.m100、获取待处理医学图像；
175.m200、将所述待处理医学图像输入图像检测模型，以确定感兴趣区域。
176.其中，图像检测模型通过多张第二医学图像、每张第二医学图像对应的多张扩增图像、以及每张第二医学图像的标注图像，对初始模型进行训练获得，第二医学图像对应的多张所述扩增图像为基于注意力热图对所述第二医学图像进行扩增获得，注意力热图与模拟眼动数据相关。
177.具体地，待处理医学图像是医学影像设备拍摄人体的身体部位得到的，图像检测模型用于检测待处理医学图像中的感兴趣区域，即病灶所在区域。将待处理医学图像输入图像检测模型，通过图像检测模型得到检测结果，检测结果包括待处理医学图像中感兴趣区域的位置和类型，可以在待处理医学图像中勾画出感兴趣区域。
178.第二医学图像的注意力热图与第二医学图像的眼动数据相关。获取人员查阅第二医学图像时产生的眼动数据，或者，模拟人员查阅第二医学图像，通过模拟方式获得眼动数据，根据眼动数据确定第二医学图像的注意力热图，第二医学图像的注意力热图包括第二医学图像的注意力区域。根据第二医学图像的注意力热图对第二医学图像进行扩增得到多张扩增图像，以使得每张扩增图像均包括第二医学图像的注意力区域。
179.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的图像检测模型的生成方法的图像检测模型的生成装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多图像检测模型的生成装置实施例中的具体限定可以参见上文中对于图像检测模型的生成方法的限定，在此不再赘述。
180.在一个实施例中，如图15所示，提供了一种图像检测模型的生成装置，包括：
181.眼动数据处理模块100，用于获取第一医学图像的眼动数据，并基于所述眼动数据确定所述第一医学图像的注意力训练热图，其中，所述眼动数据是人员查阅所述医学图像时采集得到的；
182.注意力预测模型训练模型200，用于通过多张第一医学图像，以及每张第一医学图
像的注意力训练热图，对第一初始模型进行训练，得到注意力预测模型；
183.扩增模块300，用于将第二医学图像输入所述注意力预测模型，得到注意力热图，并基于所述注意力热图对所述第二医学图像进行扩增，得到所述第二医学图像的多张扩增图像；
184.图像检测模型训练模块400，用于通过多张第二医学图像、每张第二医学图像对应的多张扩增图像、以及每张第二医学图像的标注图像，对第二初始模型进行训练，得到图像检测模型。
185.在一个实施例中，所述眼动数据包括多个采样点的采样时刻和采样位置；所述眼动数据处理模块，包括：
186.采样点处理单元，用于根据所述多个采样点的采样时刻，在所述多个采样点中确定注视点和回看点，其中，所述注视点包括大于预设时长的注视时长，所述回看点包括不连续的多个注视时长，所述注视时长包括连续的多个采样时刻；
187.待处理图像确定单元，用于基于所述注视点和所述回看点的采样位置，在蒙版图像上标记所述注视点和所述回看点，得到待处理图像，其中，所述蒙版图像与所述第一医学图像的尺寸相同；
188.高斯平滑处理单元，用于对所述待处理图像进行高斯平滑处理，得到所述第一医学图像的注意力训练热图。
189.在一个实施例中，所述扩增模块包括：
190.眼动扩增图像确定单元，用于确定所述注意力热图的分割掩膜，并基于所述分割掩膜和所述第二医学图像确定眼动扩增图像，其中，所述眼动扩增图像包括所述注意力区域；
191.目标图像确定单元，用于按照预设的多种方式对所述第二医学图像进行扩增处理，得到多张初始图像，并基于所述注意力热图和所述多张初始图像，确定多张目标图像，其中，每张目标图像均包括所述注意力区域，所述多张扩增图像包括所述眼动扩增图像和所述多张目标图像。
192.在一个实施例中，所述目标图像确定单元，包括：
193.随机遮蔽单元，用于采用随机遮蔽方式对所述第二医学图像进行处理，得到初始遮蔽图像；
194.第一比较单元，用于将所述初始遮蔽图像和所述注意力热图进行比较，若所述初始遮蔽图像包括所述注意力区域，则将所述初始遮蔽图像作为目标图像；
195.随机裁切单元，用于采用随机裁切方式对所述第二医学图像进行处理，得到初始裁切图像；
196.第二比较单元，用于将所述初始裁切图像和所述注意力热图进行比较，若所述初始裁切图像包括所述注意力区域，则将所述初始裁切图像作为目标图像。
197.在一个实施例中，所述目标图像确定单元，还包括：
198.第三比较单元，用于将所述初始遮蔽图像和所述注意力热图进行比较，若所述初始遮蔽图像不包括所述注意力区域，则剔除所述初始遮蔽图像，并重复上述得到初始遮蔽图像的过程，直至得到的初始遮蔽图像包括所述注意力区域
199.第四比较单元，用于将所述初始裁切图像和所述注意力热图进行比较，若所述初
始裁切图像不包括所述注意力区域，则剔除所述初始裁切图像，并重复上述得到初始裁切图像的过程，直至得到的初始裁切图像包括所述注意力区域。
200.在一个实施例中，所述装置，还包括：
201.旋转处理和色彩扰动处理单元，用于对所述第二医学图像进行旋转处理和色彩扰动处理，得到旋转图像和色彩扰动图像，将所述旋转图像和所述色彩扰动图像作为所述第二医学图像的扩增图像。
202.上述图像检测模型的生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
203.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图16所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像检测模型的生成装置方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
204.本领域技术人员可以理解，图16中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
205.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
206.获取待处理医学图像；
207.将所述待处理医学图像输入图像检测模型，以确定感兴趣区域；
208.所述图像检测模型通过多张第二医学图像、每张第二医学图像对应的多张扩增图像、以及每张第二医学图像的标注图像，对初始模型进行训练获得；
209.第二医学图像对应的多张所述扩增图像为基于注意力热图对所述第二医学图像进行扩增获得；
210.所述注意力热图通过实时采集或者模拟方式获得，且所述注意力热图与人员查阅所述第二医学图像时的眼动数据相关。
211.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
212.获取待处理医学图像；
213.将所述待处理医学图像输入图像检测模型，以确定感兴趣区域；
214.所述图像检测模型通过多张第二医学图像、每张第二医学图像对应的多张扩增图像、以及每张第二医学图像的标注图像，对初始模型进行训练获得；
215.第二医学图像对应的多张所述扩增图像为基于注意力热图对所述第二医学图像进行扩增获得；
216.所述注意力热图通过实时采集或者模拟方式获得，且所述注意力热图与人员查阅所述第二医学图像时的眼动数据相关。
217.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
218.获取待处理医学图像；
219.将所述待处理医学图像输入图像检测模型，以确定感兴趣区域；
220.所述图像检测模型通过多张第二医学图像、每张第二医学图像对应的多张扩增图像、以及每张第二医学图像的标注图像，对初始模型进行训练获得；
221.第二医学图像对应的多张所述扩增图像为基于注意力热图对所述第二医学图像进行扩增获得；
222.所述注意力热图通过实时采集或者模拟方式获得，且所述注意力热图与人员查阅所述第二医学图像时的眼动数据相关。
223.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
224.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
225.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
226.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。