图像修补方法、装置、设备及存储介质与流程

1.本技术实施例涉及图像处理技术，特别涉及一种图像修补方法、装置、设备及存储介质。


背景技术：

2.在图像标注的应用场景中，一般是人工通过画笔或阈值等标注工具进行图像标注。然而，上述方式不仅标注效率低下，且在图像标注过程中会形成肉眼无法识别的中心空洞，或者非闭合区域形成的边界空洞，导致图像标注的质量差。


技术实现要素：

3.本技术实施例提供一种图像修补方法、装置、设备及存储介质，实现在图像标注过程中自动识别肉眼无法识别的中心空洞以及边界空洞，并对中心空洞以及边界空洞进行自动修补，以提高图像的标注效率和标注质量。
4.第一方面，本技术实施例提供了一种图像修补方法，该方法包括：
5.对目标图像中感兴趣区域进行标注，得到标注区域图像，并确定所述标注区域图像的边界信息；
6.根据所述边界信息，对所述标注区域图像进行分割得到第一图像，并对所述目标图像进行分割得到第二图像；
7.对所述第一图像和所述第二图像进行融合，得到融合图像；
8.将所述融合图像和所述第一图像输入至图像修补模型中，以确定目标修补图像，所述图像修补模型用于确定修补第一图像的目标修补图像；
9.根据所述目标修补图像，对所述第一图像进行修补。
10.第二方面，本技术实施例提供了一种图像修补装置，该装置包括：
11.边界确定模块，用于对目标图像中感兴趣区域进行标注，得到标注区域图像，并确定所述标注区域图像的边界信息；
12.图像分割模块，用于根据所述边界信息，对所述标注区域图像进行分割得到第一图像，并对所述目标图像进行分割得到第二图像；
13.图像融合模块，用于对所述第一图像和所述第二图像进行融合，得到融合图像；
14.图像确定模块，用于将所述融合图像和所述第一图像输入至图像修补模型中，以确定目标修补图像，所述图像修补模型用于确定修补第一图像的目标修补图像；
15.图像修补模块，用于根据所述目标修补图像，对所述第一图像进行修补。
16.第三方面，本技术实施例提供了一种图像修补设备，包括：
17.处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行第一方面实施例所述的图像修补方法。
18.第四方面，本技术实施例提供了一种计算机可读存储介质，用于存储计算机程序，所述计算机程序使得计算机执行第一方面实施例所述的图像修补方法。
19.第五方面，本技术实施例提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现第一方面实施例所述的图像修补方法。
20.本技术实施例公开的技术方案，具有如下有益效果：
21.通过从目标图像中获取标注区域图像，并确定标注区域图像的边界信息，基于边界信息分割标注区域图像得到第一图像，以及分割目标图像得到第二图像，并将第一图像和第二图像进行融合得到融合图像，将融合图像和第一图像输入至图像修补模型，得到目标修补图像，然后基于目标修补图像对第一图像进行修补。由此，实现在图像标注过程中自动识别肉眼无法识别的中心空洞以及边界空洞，并对中心空洞以及边界空洞进行自动修补，以提高图像的标注效率和标注质量。
附图说明
22.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1是本技术实施例的一种图像修补方法的流程示意图；
24.图2a是本技术实施例提供的检查脑部出血的医学影像图像的示意图；
25.图2b是本技术实施例提供的从检查脑部出血的医学影像图像中标注出感兴趣区域的示意图；
26.图3是本技术实施例提供的第一种确定标注区域图像的边界信息的流程示意图；
27.图4是本技术实施例提供的第二种确定标注区域图像的边界信息的流程示意图；
28.图5是本技术实施例提供的另一种图像修补方法的流程示意图；
29.图6是本技术实施例提供的基于图像修补模型确定目标修补图像的示意图；
30.图7是本技术实施例提供的再一种图像修补方法的流程示意图；
31.图8是本技术实施例提供的一种图像修补装置的示意性框图；
32.图9是本技术实施例提供的一种图像修补设备的示意性框图。
具体实施方式
33.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
34.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
35.本发明实施例主要针对现有技术中，人工通过画笔或阈值等标注工具进行图像标注时，不仅标注效率低下，并且在图像标注过程中会形成肉眼无法识别的中心空洞，或者非闭合区域形成的边界空洞，导致图像标注质量差的问题，提出了一种图像修补方法、装置、设备及存储介质。
36.下面结合附图对本技术实施例提供的一种图像修补方法、装置、设备及存储介质进行详细描述。
37.首先结合图1，对本技术实施例提供的一种图像修补方法进行说明。图1是本技术实施例的一种图像修补方法的流程示意图。本实施例提供的图像修补方法，可由图像修补装置来执行，以实现对图像标注过程中存在的空洞修补过程进行控制。该图像修补装置可由硬件和/或软件组成，并可集成于图像修补设备中。其中，该图像修补方法包括以下步骤：
38.s101，对目标图像中感兴趣区域进行标注，得到标注区域图像，并确定所述标注区域图像的边界信息。
39.本技术实施例中，目标图像可为医学影像图像或常规图像。其中，医学影像图像可为检查脑部出血的医学影像图像，也可以是检查肺部感染的医学影像图像，或者还可以是检查心脏病的医学影像图像等等。可以理解的是，医学影像图像并不限于上述几种，还可以是其他人体部位的医学影像图像，此处对其不做具体限定。另外，常规图像是指除医学影像图像之外的其他图像。例如，人物图像、风景图像和/或建筑物图像等等。
40.示例性的，可通过图像修补设备中的阈值或者其他标注工具自动标注出感兴趣区域，以得到标注区域图像。例如，使用阈值标注工具从检查脑部出血的医学影像图像(具体如图2a所示)中，标注出感兴趣区域(具体如图2b所示)。也即是说，通过图像标注工具自动为目标图像添加标签，以标注出感兴趣区域，进而基于感兴趣区域得到标注区域图像。
41.进一步的，使用阈值或其他等标注工具，在目标图像中确定标注区域图像时，由于阈值分布不均匀的原因，会导致标注区域图像中会出现非闭合区域的边界空洞，以及肉眼可能无法识别的中心空洞。例如，如图2b中显示的区域21为中心空洞。那么，为了识别出标注区域图像中存在的空洞，并对空洞进行修补，得到修补后的标注区域图像，本实施例在得到标注区域图像之后，还可确定标注区域的边界信息。
42.具体的，确定标注区域图像的边界信息，可通过图3和图4所示的两种方式实现：
43.首先，通过图3对确定标注区域图像的边界信息的第一种方式进行说明。如图3所示，确定标注区域图像的边界信息可包括如下步骤：
44.s11：确定标注区域图像的最大横坐标、最小横坐标、最大纵坐标和最小纵坐标。
45.s12：根据所述最大横坐标、最小横坐标、最大纵坐标和最小纵坐标，确定所述标注区域图像的边界信息。
46.基于目标图像可得到该目标图像中各像素点的位置信息，即目标图像中各像素点的位置信息是已知的，那么从目标图像中确定出的标注区域图像中各像素点的位置信息也是已知。基于此，本实施例可通过获取标注区域图像中各像素点的位置信息，并从标注区域图像中各像素点的位置信息中，获取标注区域图像的最大横坐标、最小横坐标、最大纵坐标和最小纵坐标。然后，根据获取到的最大横坐标、最小横坐标、最大纵坐标和最小纵坐标，确定出标注区域图像的边界信息。
47.例如，若标注区域图像的最大横坐标为：xmax，最小横坐标为：xmin；标注区域图像
的最大纵坐标为：ymax，最小纵坐标为：ymin，那么基于xmax、xmin、ymax和ymin，即可确定出标注区域图像的边界信息。具体标注区域图像的边界信息为：mask_bounds＝[xmax，xmin，ymax，ymin]。
[0048]
其次，通过图4对确定标注区域图像的边界信息的第二种方式进行说明。如图4所示，确定标注区域图像的边界信息具体可包括如下步骤：
[0049]
s21：确定所述标注区域图像的最大横坐标、最小横坐标、最大纵坐标和最小纵坐标。
[0050]
s22：根据所述最大横坐标和所述最小横坐标，确定所述标注区域图像的长度，并根据所述最大纵坐标和所述最小纵坐标，确定所述标注区域图像的宽度。
[0051]
s23：对所述标注区域图像的长度和宽度进行放大处理，并根据得到新最大横坐标、新最小横坐标、新最大纵坐标和新最小纵坐标，确定所述标注区域图像的边界信息。
[0052]
可选的，通过从标注区域图像中各像素点的位置信息中，获取标注区域图像的最大横坐标、最小横坐标、最大纵坐标和最小纵坐标，以根据最大横坐标和最小横坐标，计算出标注区域图像的长度，以及根据最大纵坐标和最小纵坐标，计算出标注区域图像的宽度。然后，对标注区域图像的长度和宽度进行放大处理，得到新最大横坐标、新最小横坐标、新最大纵坐标和新最小纵坐标，并将新最大横坐标、新最小横坐标、新最大纵坐标和新最小纵坐标，确定为标注区域图像的边界信息。
[0053]
在本实施例中，对标注区域图像的长度和宽度进行放大处理，可按照预设倍数进行放大处理。其中，预设倍数可根据图像修补精度进行适应性设置，此处对其不做限制。可选的本实施例优选的将预设倍数设置为大于或等于1.2倍，这样设置的好处使得图像修补的精度更高。例如，若预设倍数为1.2倍，则将标注区域图像的长度和宽度在原始基础上分别放大1.2倍。又例如，若预设倍数为1.5倍，则将标注区域图像的长度和宽度在原始基础上分别放大1.5倍。
[0054]
为了便于理解第二种确定标注区域图像的边界信息，下面以举例形式进行说明。
[0055]
例如，若标注区域图像的最大横坐标为：xmax，最小横坐标为：xmin；标注区域图像的最大纵坐标为：ymax，最小纵坐标为：ymin，且预设倍数为1.2倍。那么，根据xmax和xmin确定标注区域图像的长度为：xmax-xmin，并根据ymax和ymin确定标注区域图像的宽度为：ymax-ymin。之后，根据1.2倍分别对标注区域图像的长度：xmax-xmin和标注区域图像的宽度：ymax-ymin进行放大处理。对标注区域图像的长度和宽度进行放大处理后，获取放大后的新最大横坐标：ixmax、最小横坐标：ixmin、最大纵坐标iymax和最小纵坐标iymin。从而基于ixmax、ixmin、iymax和iymin，即可确定出标注区域图像的边界信息。具体边界信息为：new_bounds＝[ixmax，ixmin，iymax，iymin]。
[0056]
由于标注区域图像中非闭合区域形成的边界空洞，会导致标注区域图像缺损而不完整。因此，本实施例优选采用第二种实现方式，确定标注区域图像的边界信息，以确保将标注区域图像中边界像素点为空洞像素点的情况涵盖进来，进而为提高图像修补的精度和准确度提供条件。
[0057]
s102，根据所述边界信息，对所述标注区域图像进行分割得到第一图像，并对所述目标图像进行分割得到第二图像。
[0058]
为了便于识别标注区域图像中存在的边界空洞及中心空洞，以及对边界空洞及中
心空洞进行修补，本实施例在确定出标注区域图像的边界信息之后，可对标注区域图像进行处理。具体的，可基于边界信息，对标注区域图像进行分割得到第一图像。具体实现过程为：根据边界信息，对标注区域图像进行分割，得到第一分割图像；对第一分割图像进行二值化处理，得到第一图像。
[0059]
需要说明的是，因为标注区域图像为彩色图像或者灰度图像，那么对标注区域图像进行分割之后得到的第一分割图像也为彩色图像或者灰度图像。如果直接基于第一分割图像进行图像修补操作的话，图像不仅复杂，并且需要处理的数据量会很大，即计算量很大，甚至可能无法凸显感兴趣区域的轮廓。为此，本实施例可通过对第一分割图像进行二值化处理，以使图像变得简单，而且减少计算量，同时还能凸显出来感兴趣区域的轮廓，从而对修补标注区域图像中存在的空洞提供条件。
[0060]
进一步的，本实施例还可对目标图像进行处理。具体的，基于边界信息，对目标图像进行分割得到第二图像。具体实现过程为：根据所述边界信息，对所述目标图像进行分割，得到第二分割图像；对所述第二分割图像进行归一化处理，得到第二图像。
[0061]
也就是说，基于确定的边界信息，分别对标注区域图像和目标图像进行分割处理，以将大小不同的两个图像处理成大小相同的第一图像和第二图像，为后续图像融合奠定基础。
[0062]
s103，对所述第一图像和所述第二图像进行融合，得到融合图像。
[0063]
示例性的，可基于第一图像的像素点矩阵和第二图像的像素点矩阵，对第一图像和第二图像进行融合，以得到融合图像。
[0064]
具体实现时，可利用图像转换函数，基于第一图像获取第一图像的像素点矩阵，以及基于第二图像获取第二图像的像素点矩阵，并将第一图像的像素点矩阵中各像素点作为第一像素点，将第二图像的像素点矩阵中各像素点作为第二像素点。之后，在第二图像的像素点矩阵中，确定出与各第一像素点位置对应的第二像素点。确定出与每个第一像素点位置对应的第二像素点之后，将存在对应关系的第一像素点和第二像素点进行相加，得到新像素点矩阵。将新像素点矩阵对应的图像，确定为融合图像。其中，将存在对应关系的第一像素点和第二像素点进行相加，具体是将存在对应关系的第一像素点像素值和第二像素点像素值进行相加。
[0065]
例如，若第一图像的像素点矩阵为：
[0066][0067]
其中，a
nm
表示第n行第m列的第一像素点，n和m分别为大于1的正整数。
[0068]
第二图像的像素点矩阵为：
[0069][0070]
其中，b
nm
表示第n行第m列的第二像素点，n和m分别为大于1的正整数。
[0071]
那么，可将第一图像的像素点矩阵mask_matrix与第二图像的像素点矩阵image_matrix中位置对应像素点的像素值进行相加，得到新像素点矩阵：
[0072]
然后，将该新像素点矩阵concat_matrix对应的图像，确定为融合图像。
[0073]
s104，将所述融合图像和所述第一图像输入至图像修补模型中，以确定目标修补图像，所述图像修补模型用于确定修补第一图像的目标修补图像。
[0074]
本实施例中，图像修补模型可由残差网络、金字塔池化(pyramid pooling)配合上采样组成。其中，图像修补模型是基于大量图像样本，对神经网络进行训练得到的。具体训练过程为：将图像样本输入至神经网络中，以使神经网络基于图像样本进行训练，以确定各网络层的权重值，从而得到图像修补模型。
[0075]
示例性的，通过将得到的融合图像和第一图像作为输入，输入至图像修补模型中，以通过图像修补模型对融合图像和第一图像进行处理，得到处理结果。此处，处理结果即为目标修补图像。
[0076]
s105，根据所述目标修补图像，对所述第一图像进行修补。
[0077]
示例性的，可通过目标修补图像，确定第一图像中存在的空洞像素点，之后对第一图像中存在空洞像素点进行修补。
[0078]
具体实现时，可首先确定目标修补图像的像素点矩阵，并根据目标修补图像的像素点矩阵，在第一图像的像素点矩阵中确定哪些像素点为空洞像素点。然后，对空洞像素点的像素值进行调整，以实现对第一图像的修补目的。其中，确定目标修补图像的像素点矩阵时，可根据opencv转换函数等方式，将目标修补图像转换成像素点矩阵，以确定出目标修补图像的像素点矩阵。此处对其不做具体限制。
[0079]
由于第一图像为二值化图像，那么正常像素点的像素值应该为1，而空洞像素点因与正常像素点不同，即空洞像素点的像素值为0。因此，本实施例对空洞像素点的像素值进行调整具体为：将空洞像素点的像素值0调整成像素值1，以使空洞像素点变成正常像素点，从而完成空洞像素点的修补操作。
[0080]
本技术实施例提供的图像修补方法，通过从目标图像中获取标注区域图像，并确
定标注区域图像的边界信息，基于边界信息分割标注区域图像得到第一图像，以及分割目标图像得到第二图像，并将第一图像和第二图像进行融合得到融合图像，将融合图像和第一图像输入至图像修补模型，得到目标修补图像，然后基于目标修补图像对第一图像进行修补。由此，实现在图像标注过程中自动识别肉眼无法识别的中心空洞以及边界空洞，并对中心空洞以及边界空洞进行自动修补，以提高图像的标注效率和标注质量。
[0081]
通过上述描述可知，本技术实施例基于标注区域图像确定的第一图像，以及第一图像和第二图像确定的融合图像，确定修补图像，并基于修补图像对存在空洞的第一图像进行修补。
[0082]
本实施例在上述实施例的基础上，对将所述融合图像和所述第一图像输入至图像修补模型中，以确定目标修补图像进行进一步优化。下面结合图5，对本技术实施例提供的图像修补方法的上述优化过程进行具体说明。
[0083]
s201，对目标图像中感兴趣区域进行标注，得到标注区域图像，并确定所述标注区域图像的边界信息。
[0084]
s202，根据所述边界信息，对所述标注区域图像进行分割得到第一图像，并对所述目标图像进行分割得到第二图像。
[0085]
s203，对所述第一图像和所述第二图像进行融合，得到融合图像。
[0086]
s204，利用所述图像修补模型，基于所述第一图像生成第一分辨率图像和第二分辨率图像，所述图像修补模型用于确定修补第一图像的目标修补图像。
[0087]
示例性的，将第一图像和融合图像输入至图像修补模型之后，图像修补模型可先基于第一图像生成不同分辨率的图像，即第一分辨率图像和第二分辨率图像，以为后续确定目标修补图像奠定基础。
[0088]
其中，第一分辨率图像为分辨率图像，第二分辨率图像为分辨率图像。在本实施例中，分辨率图像可表示为：mask8_0，分辨率图像可表示为：mask4_0。需要说明的是，上述分辨率是指正常分辨率的同理，分辨率是指正常分辨率的
[0089]
s205，将所述融合图像、所述第一图像、所述第一分辨率图像和所述第二分辨率图像输入至所述图像修补模型，确定第一修补图像、第二修补图像和第三修补图像。
[0090]
其中，第一修补图像、第二修补图像和第三修补图像具有不同的分辨率。例如，本实施例中第一修补图像的分辨率为第二修补图像的分辨率为以及第三修补图像的分辨率为100％。
[0091]
示例性的，得到第一分辨率图像和第二分辨率图像之后，将第一分辨率图像、第二分辨率图像、融合图像和第一图像一起作为输入数据，输入至图像修补模型中，以通过图像修补模型基于上述四张图像进行处理，以确定出第一修补图像、第二修补图像和第三修补图像。
[0092]
如图6所示，假设本实施例中融合图像为concat_matrix、第一图像为mask_matrix、第一分辨率图像为mask8_0以及第二分辨率图像为mask4_0。那么将concat_
matrix、mask_matrix、mask8_0和mask4_0作为输入数据，一起输入至图像修补模型，以进行第一次修补，得到第一修补图像mask8_1、第二修补图像mask4_1和第三修补图像mask10_1。
[0093]
s206，对所述第一修补图像进行上采样，得到新的第一修补图像。
[0094]
s207，将所述融合图像、所述第一图像、所述第一修补图像和所述新的第一修补图像输入至所述图像修补模型，确定第四修补图像、第五修补图像和第六修补图像。
[0095]
本实施例中，新的第一修补图像是与第一修补图像具有不同分辨率的修补图像。具体的，该新的第一修补图像为：1/4分辨率的修补图像，可表示为：mask8_1_up。
[0096]
其中，第四修补图像、第五修补图像和第六修补图像具有不同的分辨率。例如，本实施例中第四修补图像的分辨率为第五修补图像的分辨率为以及第六修补图像的分辨率为100％。
[0097]
示例性的，对第一修补图像进行上采样之后，本实施例可利用新的第一修补图像替换第二分辨率图像，以及利用第一修补图像替换第一分辨率图像。然后，将融合图像、第一图像、第一修补图像和新的第一修补图像作为输入数据一起输入图像修补模型中，以通过图像修补模型基于上述四张图像进行处理，以确定出第四修补图像、第五修补图像和第六修补图像。
[0098]
继续以图6为示例进行说明，由于第一修补图像为mask8_1，那么对第一修补图像进行上采样可得到新的第一修补图像mask8_1_up。然后，将融合图像为concat_matrix、第一图像为mask_matrix、第一修补图像为mask8_1以及新第一修补图像为mask8_1_up作为输入数据，一起输入至图像修补模型，以进行第二次修补，得到第四修补图像mask8_2、第五修补图像mask4_2和第三修补图像mask10_2。
[0099]
s208，将所述融合图像、所述第一图像、所述第四修补图像和所述第五修补图像输入至所述图像修补模型，确定第七修补图像、第八修补图像和第九修补图像。
[0100]
本实施例中，第七修补图像、第八修补图像和第九修补图像具有不同的分辨率。例如，本实施例中第七修补图像的分辨率为第八修补图像的分辨率为以及第九修补图像的分辨率为100％。
[0101]
示例性的，本实施例可利用该第四修补图像替换第一修补图像，以及利用第五修补图像替换新第一修补图像。然后，将融合图像、第一图像、第四修补图像和第五修补图像作为输入数据一起输入图像修补模型中，以通过图像修补模型基于上述四张图像进行处理，以确定出第七修补图像、第八修补图像和第九修补图像。
[0102]
继续以上述示例进行说明，利用第四修补图像mask8_2替换第一修补图像mask8_1，并利用第五修补图像mask4_2替换新第一修补图像mask8_1_up。然后，将融合图像为concat_matrix、第一图像为mask_matrix、第四修补图像mask8_2以及第五修补图像mask4_2作为输入数据，一起输入至图像修补模型，以进行第三次修补，得到第七修补图像mask8_3、第八修补图像mask4_3和第九修补图像mask10_3，具体过程参见图6所示。
[0103]
s209，将所述第九修补图像确定为目标修补图像。
[0104]
其中，第九修补图像为100％分辨率图像，可表示为：mask10_3。
[0105]
继续以上述示例进行说明，基于图6可知，利用图像修补模型进行三次修补操作之
后，得到的第七修补图像mask8_3、第八修补图像mask4_3和第九修补图像mask10_3相较于前两次的修补操作得到的修补图像处于稳定状态。并且，第九修补图像mask10_3相较于第七修补图像mask8_3和第八修补图像mask4_3而言，它的清晰度最高质量最好，因此可将第九修补图像mask10_3确定为目标修补图像。
[0106]
s210，根据所述目标修补图像，对所述第一图像进行修补。
[0107]
可以理解的是，本实施例通过利用图像修补模型多次图像修补操作，并将除第一次修补之外的其他两次修补的输入图像，基于前一次修补得到的修补图像进行替换可不断提高图像修补的准确度和精准度，使得对第一图像的修补精度和准确度更高。
[0108]
本技术实施例提供的图像修补方法，通过从目标图像中获取标注区域图像，并确定标注区域图像的边界信息，基于边界信息分割标注区域图像得到第一图像，以及分割目标图像得到第二图像，并将第一图像和第二图像进行融合得到融合图像，将融合图像和第一图像输入至图像修补模型，得到目标修补图像，然后基于目标修补图像对第一图像进行修补。由此，实现在图像标注过程中自动识别肉眼无法识别的中心空洞以及边界空洞，并对中心空洞以及边界空洞进行自动修补，以提高图像的标注效率和标注质量
[0109]
本实施例在上述实施例的基础上，对根据所述目标修补图像，对所述第一图像进行修补进行进一步优化。下面结合图7，对本技术实施例提供的图像修补方法的上述优化过程进行具体说明。
[0110]
如图7所示，本技术实施例提供的图像修补方法可包括如下步骤：
[0111]
s301，对目标图像中感兴趣区域进行标注，得到标注区域图像，并确定所述标注区域图像的边界信息。
[0112]
s302，根据所述边界信息，对所述标注区域图像进行分割得到第一图像，并对所述目标图像进行分割得到第二图像。
[0113]
s303，对所述第一图像和所述第二图像进行融合，得到融合图像。
[0114]
s304，将所述融合图像和所述第一图像输入至图像修补模型中，以确定目标修补图像，所述图像修补模型用于确定修补第一图像的目标修补图像。
[0115]
s305，确定所述目标修补图像的像素点矩阵。
[0116]
示例性的，可根据opencv转换函数等方式，将目标修补图像转换成像素点矩阵，从而确定出目标修补图像的像素点矩阵。
[0117]
本实施例中，确定目标修补图像的像素点矩阵，可如下：
[0118][0119]
其中，c
nm
表示第n行第m列的像素点，n和m分别为大于1的正整数。
[0120]
s306，从所述目标修补图像的像素点矩阵中，选取像素值大于阈值的像素点作为目标像素点。
[0121]
其中，阈值是指可根据实际修补精度进行适应性设置，且该阈值用于从目标修补
图像的像素点矩阵中筛选出所有疑似空洞的空洞像素点，即目标像素点。
[0122]
可选的，可将目标修补图像的像素点矩阵中，每一个像素点的像素值与阈值进行比对，以确定出哪些像素点的像素自大于该阈值。然后，将大于该阈值的所有像素点确定为目标像素点，并确定每个目标像素点的位置信息，为从第一图像中确定空洞像素点奠定基础。
[0123]
例如，若阈值为0.85，那么当目标修补图像的像素点矩阵中第2行第3列的像素点、第5行第1列的像素点以及第7行第5列的像素点的像素值均大于0.85，则将第2行第3列的像素点、第5行第1列的像素点以及第7行第5列的像素点确定为目标像素点。
[0124]
s307，根据所述目标像素点，确定所述第一图像的待修补像素点，并对所述待修补像素点进行修补。
[0125]
本实施例中，第一图像为二值化图像，即第一图像的像素点的像素值为1或0，即不是1就是0。其中，1表示正常像素点，0表示空洞像素点。
[0126]
示例性的，可根据目标像素点，在第一图像中确定与该目标像素点位置相同的像素点，并确定像素点的像素值是否为预设值。若不是，则将该像素点确定为待修补像素点，否则确定该像素点为正常像素点。其中，预设值优选为1。
[0127]
继续以上述示例进行说明，假设分别基于第2行第3列的目标像素点、第5行第1列的目标像素点以及第7行第5列的目标像素点，在第一图像中确定出与第2行第3列的目标像素点相同位置的第一像素点a
23
、与第5行第1列的目标像素点相同位置的第一像素点a
51
以及与第7行第5列的目标像素点相同位置的第一像素点a
75
。若第一像素点a
23
和第一像素点a
75
的像素值均为0，第一像素点a
51
的像素值为1，则说明第一像素点a
23
和第一像素点a
75
为待修补像素点(空洞像素点)，而第一像素点a
51
为正常像素点。
[0128]
进一步的，在确定出第一图像中的待修补像素点之后，本实施例可将所述待修补像素点的像素值调整为所述预设值。即将空洞像素点的像素值0调整成像素值1，以使空洞像素点变成正常像素点，从而完成空洞像素点的修补操作。
[0129]
继续以上述示例进行说明，由于第一像素点a
23
和第一像素点a
75
为待修补像素点，那么可将第一像素点a
23
的像素值0调整为1，并将第一像素点a
75
的像素值0调整为1，从而完成待修补像素点的修补。
[0130]
本技术实施例提供的图像修补方法，通过从目标图像中获取标注区域图像，并确定标注区域图像的边界信息，基于边界信息分割标注区域图像得到第一图像，以及分割目标图像得到第二图像，并将第一图像和第二图像进行融合得到融合图像，将融合图像和第一图像输入至图像修补模型，得到目标修补图像，然后基于目标修补图像对第一图像进行修补。由此，实现在图像标注过程中自动识别肉眼无法识别的中心空洞以及边界空洞，并对中心空洞以及边界空洞进行自动修补，以提高图像的标注效率和标注质量
[0131]
下面参照附图8，对本技术实施例提出的一种图像修补装置进行描述。图8是本技术实施例提供的一种图像修补装置的示意性框图。
[0132]
其中，该图像修补装置400包括：边界确定模块410、图像分割模块420、图像融合模块430、图像确定模块440和图像修补模块450。
[0133]
其中，边界确定模块410，用于对目标图像中感兴趣区域进行标注，得到标注区域图像，并确定所述标注区域图像的边界信息；
[0134]
图像分割模块420，用于根据所述边界信息，对所述标注区域图像进行分割得到第一图像，并对所述目标图像进行分割得到第二图像；
[0135]
图像融合模块430，用于对所述第一图像和所述第二图像进行融合，得到融合图像；
[0136]
图像确定模块440，用于将所述融合图像和所述第一图像输入至图像修补模型中，以确定目标修补图像，所述图像修补模型用于确定修补第一图像的目标修补图像；
[0137]
图像修补模块450，用于根据所述目标修补图像，对所述第一图像进行修补。
[0138]
本技术实施例的一种可选实现方式，边界确定模块410，具体用于：
[0139]
确定所述标注区域图像的最大横坐标、最小横坐标、最大纵坐标和最小纵坐标；
[0140]
根据所述最大横坐标和所述最小横坐标，确定所述标注区域图像的长度，并根据所述最大纵坐标和所述最小纵坐标，确定所述标注区域图像的宽度；
[0141]
对所述标注区域图像的长度和宽度进行放大处理，并根据新最大横坐标、新最小横坐标、新最大纵坐标和新最小纵坐标，确定所述标注区域图像的边界信息。
[0142]
本技术实施例的一种可选实现方式，图像分割模块420，具体用于：
[0143]
根据所述边界信息，对所述标注区域图像进行分割，得到第一分割图像；
[0144]
对所述第一分割图像进行二值化处理，得到第一图像。
[0145]
本技术实施例的一种可选实现方式，图像分割模块420，具体用于：
[0146]
根据所述边界信息，对所述目标图像进行分割，得到第二分割图像；
[0147]
对所述第二分割图像进行归一化处理，得到第二图像。
[0148]
本技术实施例的一种可选实现方式，还包括：图像生成模块；
[0149]
图像生成模块，用于利用所述图像修补模型，基于所述第一图像生成第一分辨率图像和第二分辨率图像。
[0150]
本技术实施例的一种可选实现方式，图像确定模块440，具体用于：
[0151]
利用所述图像修补模型，对所述融合图像、所述第一图像、所述第一分辨率图像和所述第二分辨率图像进行处理，确定第一修补图像、第二修补图像和第三修补图像；
[0152]
对所述第一修补图像进行上采样处理，得到新的第一修补图像；
[0153]
将所述融合图像、所述第一图像、所述第一修补图像和所述新的第一修补图像输入至所述图像修补模型，确定第四修补图像、第五修补图像和第六修补图像；
[0154]
将所述融合图像、所述第一图像、所述第四修补图像和所述第五修补图像输入至所述图像修补模型，确定第七修补图像、第八修补图像和第九修补图像；
[0155]
将所述第九修补图像确定为目标修补图像。
[0156]
本技术实施例的一种可选实现方式，图像修补模块450，具体用于：
[0157]
确定所述目标修补图像的像素点矩阵；
[0158]
从所述目标修补图像的像素点矩阵中，选取像素值大于阈值的像素点作为目标像素点；
[0159]
根据所述目标像素点，确定所述第一图像的待修补像素点，并对所述待修补像素点进行修补。
[0160]
本技术实施例的一种可选实现方式，图像修补模块450，还用于：
[0161]
在所述第一图像中，确定与所述目标像素点位置相同的像素点；
[0162]
确定所述像素点的像素值是否为预设值；
[0163]
若否，则将所述像素点确定为待修补像素点。
[0164]
本技术实施例的一种可选实现方式，图像修补模块450，还用于：
[0165]
将所述待修补像素点的像素值调整为所述预设值。
[0166]
本技术实施例的一种可选实现方式，目标图像为医学影像图像或常规图像。
[0167]
应理解的是，图像修补装置实施例与图像修补方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图8所示的图像修补装置400可以执行图1对应的方法实施例，并且图像修补装置400中的各个模块的前述和其它操作和/或功能分别为了实现图1中的各个方法中的相应流程，为了简洁，在此不再赘述。
[0168]
上文中结合附图从功能模块的角度描述了本技术实施例的图像修补装置400。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本技术实施例中的图像修补方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本技术实施例公开的图像修补方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
[0169]
图9是本技术实施例提供的一种图像修补设备500的示意性框图。
[0170]
如图9所示，该图像修补设备500可包括：
[0171]
存储器510和处理器520，该存储器510用于存储计算机程序，并将该程序代码传输给该处理器520。换言之，该处理器520可以从存储器510中调用并运行计算机程序，以实现本技术实施例中的图像修补方法。
[0172]
例如，该处理器520可用于根据该计算机程序中的指令执行上述图像修补方法实施例。
[0173]
在本技术的一些实施例中，该处理器520可以包括但不限于：
[0174]
通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
[0175]
在本技术的一些实施例中，该存储器510包括但不限于：
[0176]
易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synch link dram，sldram)和直接内存总线随机存取存储器
(direct rambus ram，dr ram)。
[0177]
在本技术的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器510中，并由该处理器520执行，以完成本技术提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该图像修补设备中的执行过程。
[0178]
如图9所示，该图像修补设备500还可包括：
[0179]
收发器530，该收发器530可连接至该处理器520或存储器510。
[0180]
其中，处理器520可以控制该收发器530与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器530可以包括发射机和接收机。收发器530还可以进一步包括天线，天线的数量可以为一个或多个。
[0181]
应当理解，该图像修补设备500中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
[0182]
本技术还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述实施例的图像修补方法。或者说，本技术实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
[0183]
当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本技术实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，dvd))、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0184]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0185]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0186]
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
[0187]
以上该，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以该权利要求的保护范围为准。