图像生成方法、模型训练方法、检测方法、装置及系统与流程

1.本公开涉及人工智能技术领域，尤其涉及一种图像生成方法、模型训练方法、检测方法、装置及系统。


背景技术：

2.由于地面往往分布大量的窨井，而这些窨井经常会出现井盖缺失的问题。一旦井盖缺失，会对行人和车辆产生极大的安全隐患，造成不良的社会影响。因此，需要及时地检测出地面上井盖缺失的窨井，并采取相应的防护措施。目前，可以采集道路的图像，通过预先训练的目标检测模型检测图像中是否包括井盖缺失窨井。但是由于井盖缺失窨井的图像较少，很难囊括不同的场景，导致目标检测模型的训练数据不够全面，最后训练的目标检测模型的精度也比较低。


技术实现要素：

3.本公开提供一种样本图像生成方法、模型训练方法、检测方法、装置及系统。
4.根据本公开实施例的第一方面，提供一种样本图像生成方法，所述样本图像用于训练目标检测模型，所述目标检测模型用于检测图像中的井盖缺失窨井，所述方法包括：
5.获取带井盖窨井的图像；
6.将井盖缺失窨井的特征迁移到所述带井盖窨井的图像中的所述带井盖窨井中，得到包括井盖缺失窨井的样本图像，其中，所述井盖缺失窨井的特征通过对井盖缺失窨井的图像进行特征提取得到。
7.在一些实施例中，将井盖缺失窨井的特征迁移到所述带井盖窨井的图像中的所述带井盖窨井中，得到包括井盖缺失窨井的样本图像，包括：
8.将所述带井盖窨井的图像输入到预先训练的风格迁移模型中，通过所述风格迁移模型将井盖缺失窨井的特征迁移到所述带井盖窨井的图像中的所述带井盖窨井中，得到包括井盖缺失窨井的样本图像；其中，所述风格迁移模型通过包括带井盖窨井的第一图像和包括井盖缺失窨井的第二图像训练得到；或
9.从所述带井盖窨井的图像中截取包括所述带井盖窨井的第一图像区域，将所述第一图像区域输入到所述风格迁移模型中，通过所述风格迁移模型将井盖缺失窨井的特征迁移到所述第一图像区域中的所述带井盖窨井中，得到包括井盖缺失窨井的第二图像区域，利用所述第二图像区域替换所述第一图像区域，得到所述样本图像。
10.在一些实施例中，所述风格迁移模型包括生成对抗网络，所述风格迁移模型基于包括带井盖窨井的第一图像和包括井盖缺失窨井的第二图像训练得到，包括：
11.利用所述生成对抗网络的生成器基于所述第一图像生成包括井盖缺失窨井的图像；
12.基于所述生成对抗网络的判别器对所述生成器生成的图像和所述第二图像的判别结果确定第一损失；
13.基于所述生成器生成的图像中的第一图像块与所述第一图像中的第二图像块的相似度、以及所述生成器生成的图像中的第一图像块和第一图像中的第三图像块的相似度确定第二损失；其中，所述第一图像块和所述第二图像块位于同一像素位置，所述第一图像块和所述第三图像块位于不同的像素位置；
14.基于所述第一损失和所述第二损失确定目标损失，利用所述目标损失对所述生成对抗网络进行训练。
15.在一些实施例中，利用所述第二图像区域替换所述第一图像区域，得到所述样本图像，包括：
16.基于所述第二图像区域确定掩膜图像；
17.利用所述掩膜图像从所述第二图像区域中提取前景图像，以及利用所述掩膜图像从所述第一图像区域中提取背景图像；
18.将所述前景图像与所述背景图像融合，利用融合得到的图像替换所述第一图像区域，得到所述样本图像。
19.在一些实施例中，基于所述第二图像区域确定掩膜图像，包括：
20.对所述第二图像区域进行缩放处理，使得所述第二图像区域的尺寸和所述第一图像区域的尺寸一致；
21.将缩放处理后的第二图像区域进行灰度处理后再进行去噪处理，再对去噪后的灰度图像进行二值化处理；
22.对二值化处理得到的二值化图像进行去噪处理，得到所述掩膜图像。
23.根据本公开实施例的第二方面，提供一种目标检测模型训练方法，所述方法包括：
24.利用上述第一方面提及的样本图像生成方法生成样本图像；
25.利用所述样本图像对预设的初始模型进行训练，得到所述目标检测模型。
26.根据本公开实施例的第三方面，提供一种检测道路中井盖缺失窨井的方法，所述方法包括：
27.获取道路的图像；
28.将所述图像输入到预先训练的目标检测模型中，通过所述目标检测模型检测图像中井盖缺失的窨井，其中，所述目标检测模型通过样本图像训练得到，所述样本图像包括通过上述第一方面提及的样本图像生成方法生成的图像。
29.根据本公开实施例的第四方面，提供一种道路检测系统，所述道路检测系统包括图像采集装置和服务器，所述图像采集装置位于道路侧或道路巡检装置中，
30.所述图像采集装置用于采集道路的图像，并发送给所述服务器；
31.所述服务器用于将所述图像输入到预先训练的目标检测模型中，通过所述目标检测模型检测图像中井盖缺失的窨井，其中，所述目标检测模型通过样本图像训练得到，所述样本图像包括通过上述第一方面提及的样本图像生成方法生成的图像。
32.在一些实施例中，所述服务器还用于在检测到图像中包括井盖缺失的窨井的情况下，获取所述图像采集装置采集该图像时的位置信息，并向道路中车辆推送告警信息，其中，所述告警信息包括所述位置信息。
33.在一些实施例中，所述图像采集装置搭载于道路巡检装置中，所述服务器还用于在检测到所述图像中包括井盖缺失窨井的情况下，控制所述道路巡检装置移动至所述井盖
缺失窨井的附近位置，以通过所述道路巡检装置发出提示信息。
34.根据本公开实施例的第五方面，提供一种样本图像生成装置，所述样本图像用于训练目标检测模型，所述目标检测模型用于检测图像中的井盖缺失窨井，所述装置包括：
35.获取模块，用于获取带井盖窨井的图像；
36.迁移模块，用于将井盖缺失窨井的特征迁移到所述带井盖窨井的图像中的所述带井盖窨井中，得到包括井盖缺失窨井的样本图像，其中，所述井盖缺失窨井的特征通过对井盖缺失窨井的图像进行特征提取得到。
37.根据本公开实施例的第六方面，提供一种电子设备，所述电子设备包括处理器、存储器、存储在所述存储器可供所述处理器执行的计算机指令，所述处理器执行所述计算机指令时，可实现上述第一方面、第二方面以及第三方面提及的方法。
38.根据本公开实施例的第七方面，提供一种计算机可读存储介质，所述存储介质上存储有计算机指令，所述计算机指令被执行时实现上述第一方面、第二方面以及第三方面提及的方法。
39.本公开实施例中，考虑到虽然井盖缺失窨井的图像比较难从实际生活场景中采集得到，但是却可以获取到不同场景下的大量带井盖窨井的图像，因而，可以从已获得的少量井盖缺失窨井的图像中提取井盖缺失窨井的特征，然后将这些特征迁移到带井盖窨井的图像中的带井盖窨井中，从而可以得到不同场景下的井盖缺失窨井的图像，作为样本图像。通过这种方式，即可以得到大量不同场景下的井盖缺失窨井的样本图像，用于训练目标检测模型，使得样本数据可以更加多样化，训练得到的目标检测模型的预测结果也更加准确。
40.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
41.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
42.图1是本公开实施例的一种样本图像生成方法的示意图。
43.图2是本公开实施例的一种样本图像生成方法的流程图。
44.图3是本公开实施例的样本图像生成方法的示意图。
45.图4是本公开实施例的一种利用第二图像区域替换第一图像区域的示意图。
46.图5是本公开实施例的一种风格迁移模型的训练示意图。
47.图6本公开实施例的一种道路检测系统的示意图。
48.图7本公开实施例的一种道路检测系统向车辆告警的示意图。
49.图8本公开实施例的一种道路检测系统对车辆和行人进行提示的示意图。
50.图9是本公开实施例的一种样本图像生成装置的逻辑结构示意图。
51.图10是本公开实施例的一种电子设备的逻辑结构示意图。
具体实施方式
52.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例
中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
53.在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。
54.应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
55.为了使本技术领域的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开实施例中的技术方案作进一步详细的说明。
56.随着城市的现代化建设，有各种管道需铺设于城市的地下，如煤气或天然气管道、下水道、电力管网、自来水管道等，这些管道在地面的入口一般称为窨井，而窨井一般通过井盖覆盖。由于地面往往分布大量的窨井，而这些窨井经常会出现井盖缺失的问题。一旦井盖缺失，会对行人和车辆产生极大的安全隐患，造成不良的社会影响。因此，需要及时地检测出地面上井盖缺失的窨井，并采取相应的防护措施。
57.目前在对井盖缺失的窨井进行自动化检测时，通常是采集道路中窨井的图像，然后对图像进行检测，以确定图像中是否包括井盖缺失的窨井。对图像进行检测通常包括两种方式，一种方式是基于传统的图像处理技术的检测，这种技术是通过采集窨井的图像，提取图像中井盖缺失窨井的形态学、颜色、几何等特征，基于这些特征对井盖缺失的窨井进行识别，该种方法需要大量的计算以及伴随大量的超参数调整，泛化性较差，难以适应不同的场景。另一种方式是基于深度学习的神经网络模型的目标检测技术，这种方法通过获取大量井盖缺失窨井的图像，利用这些图像对神经网络模型进行训练，得到能够从图像中检测出井盖缺失的窨井的目标检测模型。这种方式的泛化性更强，且可以适应各种场景，并且超参数更少，也更容易部署于轻量化的计算设备中。
58.但是，第二种方式需要利用大量不同场景下的井盖缺失窨井的图像对神经网络模型进行训练，训练得到的目标检测模型才能达到较好的效果和检测精度。然而窨井井盖缺失的场景往往比较少，并且井盖缺失窨井的图像(尤其是不同场景下的井盖缺失窨井的图像)通常很难获取，导致训练样本的数量不足，且难以覆盖不同的场景，不够多样化，导致最终训练的目标检测模型的检测效果不够理想。
59.基于此，本公开实施例提供了一种样本图像生成方法，考虑到虽然井盖缺失窨井的图像比较难从实际生活场景中采集得到，但是却可以获取到不同场景下的大量带井盖窨井的图像，因而，可以从已获得的少量井盖缺失窨井的图像中提取井盖缺失窨井的特征，然后将这些特征迁移到带井盖窨井的图像中的带井盖窨井中，从而可以得到不同场景下的井盖缺失窨井的图像，作为样本图像。通过这种方式，即可以得到大量不同场景下的井盖缺失
窨井的样本图像，用于训练目标检测模型，使得样本数据可以更加多样化，训练得到的目标检测模型的预测结果也更加准确。
60.本公开实施例的样本图像生成方法可以由各种电子设备执行，比如，手机、电脑、云端服务器等。比如，在一些场景，该方法可以通过安装在电子设备的app实现，比如，用户可以开启该app，导入带井盖窨井的图像，则可以自动生成样本图像。或者用户可以同时导入带井盖窨井的图像以及井盖缺失窨井的图像，然后自动生成样本图像。
61.如图1所示，为本公开实施例的样本图像生成方法的示意图，如图2所示，为本公开实施例的样本图像生成方法的流程图，该方法可以包括以下步骤：
62.s202、获取带井盖窨井的图像；
63.在步骤s202中，可以获取带井盖窨井的图像，比如，可以提供一个用户交互界面，然后可以获取用户通过交互界面中的“导入控件”导入的带井盖窨井的图像。其中，带井盖窨井的图像可以对道路中的窨井进行图像采集得到的图像。比如，道路中通常会设置摄像头，因而可以通过这些摄像头采集道路中的窨井的图像。或者，为了得到不同场景下的带井盖窨井的图像，可以利用一个搭载摄像头的道路巡检装置对道路进行巡检，在巡检的过程中通过该摄像头采集不同路段中的带井盖窨井的图像。
64.s204、将井盖缺失窨井的特征迁移到所述带井盖窨井的图像中的所述带井盖窨井中，得到包括井盖缺失窨井的样本图像，其中，所述井盖缺失窨井的特征通过对井盖缺失窨井的图像进行特征提取得到。
65.在步骤s204中，可以获取一些井盖缺失窨井的图像，比如，可以从网络中获取，或者也可以对道路图像进行采集，得到井盖缺失窨井的图像，由于井盖缺失窨井图像较难获取，数量往往较少。所以，可以对井盖缺失窨井的图像进行特征提取，得到井盖缺失窨井的特征。在获取到带井盖窨井的图像后，可以将从井盖缺失窨井的图像中提取到的井盖缺失窨井的特征，迁移到带井盖窨井的图像中的带井盖窨井中，得到包括井盖缺失窨井的样本图像。通过这种风格迁移的方式，即可以得到大量不同场景下的井盖缺失窨井的样本图像。
66.其中，在一些场景，对井盖缺失窨井的图像进行特征提取可以预先完成，比如，可以预先对获得的井盖缺失窨井的图像进行特征提取，得到井盖缺失窨井的特征。后续每获取一帧带井盖窨井的图像，都可以将预先提取到的特征迁移到该图像中的带井盖窨井中。
67.在一些场景，对井盖缺失窨井的图像进行特征提取也可以实时完成，比如，用户也可以同时输入一组图像，该图像中包括带井盖窨井的图像，以及井盖缺失窨井的图像，然后可以从该井盖缺失窨井图像中提取井盖缺失窨井的特征，并将提取到的特征迁移到带井盖窨井的图像中的带井盖窨井中。
68.可以利用图像处理技术对获得的井盖缺失窨井的图像进行特征提取，得到井盖缺失窨井的特征，比如，可以图像处理技术提取图像中井盖缺失窨井的形态学，颜色，几何等特征。或者也可以预先训练神经网络，通过神经网络对井盖缺失窨井的图像进行特征提取得到井盖缺失窨井的特征，比如，可以通过神经网络学习井盖缺失窨井的特征，并提取。同样的，将提取到的特征迁移到带井盖窨井的图像中的带井盖窨井中可以通过图像处理技术实现，也可以通过预先训练的神经网络实现。比如，神经网络模型可以生成对抗网络，自编码器等等。其中，特征提取和特征迁移可以由同一个神经网络模型实现，也可以由不同的神经网络模型实现。
69.在一些实施例中，将井盖缺失窨井的特征迁移到带井盖窨井的图像中的带井盖窨井中，得到包括井盖缺失窨井的样本图像可以通过预先训练的风格迁移模型实现。比如，可以获取带井盖窨井的第一图像和包括井盖缺失窨井的第二图像，然后利用上述两种图像训练得到风格迁移模型。比如，以风格迁移模型为生成对抗网络为例，可以利用生成对抗网络的生成器基于第一图像生成井盖缺失窨井的图像，然后利用生成对抗网络的判别器对生成的图像和第二图像进行鉴别，基于判别结果来训练生成对抗网络。
70.在训练得到风格迁移模型后，可以利用风格迁移模型将井盖缺失窨井的特征迁移到带井盖窨井的图像中的带井盖窨井中。比如，在一些实施例中，可以直接将带井盖窨井的图像输入到预先训练的风格迁移模型中，通过风格迁移模型将井盖缺失窨井的特征迁移到带井盖窨井的图像中的带井盖窨井中，得到包括井盖缺失窨井的样本图像。
71.当然，上述方式是对带井盖窨井的图像进行全图迁移，即将带井盖窨井的图像输入到风格模型中，即可以得到样本图像，方便快捷。但是这种方式要求神经网络要先从图像中鉴别窨井的区域，然后完成特征的迁移，由于图像中可能还存在其他的对象，在图像中场景较复杂的情况下，由于存在较多的干扰，采用全图迁移的方式可能会导致最终生成的样本图像效果不够理想。所以，在一些实施例中，如图3所示，可以先从带井盖窨井的图像中截取包括带井盖窨井的第一图像区域，将第一图像区域输入到风格迁移模型中，通过风格迁移模型将井盖缺失窨井的特征迁移到第一图像区域中的带井盖窨井中，得到包括井盖缺失窨井的第二图像区域，然后利用第二图像区域替换第一图像区域，得到样本图像。
72.这种方式通过先从图像中截取包括带井盖窨井的第一图像区域，由于第一图像区域通常是仅包括带井盖窨井，或者是大部分都是带井盖窨井，存在的干扰较少。然后利用风格迁移模型将井盖缺失窨井的特征迁移到第一图像区域中的带井盖窨井中，得到包括井盖缺失窨井的第二图像区域，再利用第二图像区域替换第一图像区域，得到样本图像。通过这种方式，最终得到的样本图像效果更好。
73.在一些实施例中，在利用第二图像区域替换第一图像区域，得到样本图像时，可以直接利用第二图像区域替换第一图像区域，但是这种方式得到的图像会不太自然，比如，会存在较为明显的融合边界，使得样本图像的效果较差。
74.在一些实施例中，如图4所示，为了让第二图像区域和带井盖窨井图像融合的更加自然，得到效果更好、更加逼真的样本图像，可以先基于第二图像区域确定掩膜图像，然后利用掩膜图像从第二图像区域中提取前景图像，以及利用掩膜图像第一图像区域中提取背景图像，将提取到的前景图像与背景图像融合，然后再利用融合得到的图像替换该带井盖窨井图像中的第一图像区域，得到包括井盖缺失窨井的样本图像。其中，掩膜图像即为一个二值化图像，通过该掩膜图像与第二图像区域进行与运算，即可以得到该前景图像，通过对该掩膜图像取反，再与第一图像区域进行与运算，即可以得到背景图像。然后将前景图像和背景图像融合，利用融合得到的图像替换第一图像区域，通过这种融合方式，可以消除融合边界，将井盖缺失的窨井的特征无缝融合于真实场景当中，得到更加自然的样本图像。
75.掩膜图像的准确设计无疑是影响最终融合结果的关键，在一些实施中，为了得到更加精准的掩膜图像，可以对先第二图像区域进行缩放处理，使得第二图像区域的尺寸和第一图像区域的尺寸一致。由于通常风格迁移模型输出的第二图像区域，其尺寸是固定的，可能会与第一图像区域的尺寸不同。所以，可以先对可以对先第二图像区域进行缩放处理，
使得两个图像区域的尺寸一致。然后可以对缩放处理后的第二图像区域进行灰度处理，灰度处理是为了将彩色图像变成灰度图像，以方便对图像进行二值化。在对图像进行灰度处理后，可以先对图像进行去噪处理，去除图像中的一些噪声。然后再对去噪处理后的图像进行二值化处理，比如，可以利用otsu算法对图像进行二值化处理。由于二值化处理后的图像可能还会存在一些噪声，因而，可以再次对对二值化处理得到的图像进行去噪处理，得到掩膜图像。比如，可以利用形态学开运算对二值化图像进行进一步降噪，之后再用形态学闭运算将二值化图像中的区域进行连接，得到最终的掩膜图像。通过上述一系列的图像处理，可以得到精准的掩膜图像，利用掩膜图像对第二图像区域和带井盖窨井图像进行融合，也可以得到更加自然的融合效果。
76.在一些实施例中，如图5所示，风格迁移模型可以是生成对抗网络，在利用带井盖窨井的第一图像和包括井盖缺失窨井的第二图像对该生成对抗网络进行训练时，可以利用生成对抗网络的生成器基于第一图像生成包括井盖缺失窨井的图像，然后利用基于判别器对生成器生成的图像和第二图像的判别结果确定第一损失，并且可以基于生成器生成的图像中的第一图像块与第一图像中的第二图像块的相似度、以及生成器生成的图像中的第一图像块和第一图像中的第三图像块的相似度确定第二损失；其中，第一图像块和所述第二图像块位于同一像素位置，第一图像块和第三图像块位于不同的像素位置。第三图像块可以是第一图像中与第一图像块位于不同像素位置的一个图像块，也可以是多个图像块，比如，在一些场景，第三图像块可以是第一图像中与第一图像块位于不同像素位置的256个图像块。
77.一般的生成对抗网络在训练时，仅仅是基于判别器对生成器生成的图像和真实图像的判别结果确定损失，基于该损失对生成对抗网络进行训练。这种方式训练的生成对抗网络的效果还不够理想，利用训练的生成对抗网络生成的样本图像效果还有待提高。为了提升训练的生成对抗网络的精度，本公开实施例中在训练生成对抗网络时，引入了对比学习的思路，即考虑到生成器生成的图像中的某个区域和该区域在输入图像中的对应区域的相似度，必然要高于该区域和输入图像中的除该对应区域的其他区域的相似度要高，这样生成器生成的图像才比较准确。基于该思路，在训练生成对抗网络时，除了基于判别器对生成器生成的图像和第二图像的判别结果确定第一损失，还可以进一步基于生成器生成的图像中的第一图像块与第一图像中与该第一图像块位于相同像素位置的第二图像块的相似度、以及生成器生成的图像中的第一图像块和第一图像中与该第一图像块位于不同像素位置的第三图像块的相似度确定第二损失，然后可以基于第一损失和第二损失确定目标损失，利用目标损失对生成对抗网络进行训练。通过这种方式训练得到的生成对抗网络在进行特征迁移时，生成的样本图像的效果会大大提高。
78.在训练得到生成对抗网络后，即可以将带井盖窨井的图像输入到生成对抗网络的生成器中，得到样本图像，或者将第一图像区域输入到该生成器中，得到第二图像区域。
79.进一步的，本公开实施例还提供了一种目标检测模型训练方法，所述方法包括以下步骤：
80.利用上述实施例中描述的样本图像生成方法生成样本图像；
81.利用样本图像对预设的初始模型进行训练，得到目标检测模型。
82.其中，生成样本图像的具体实施细节可参考上述实施例中的描述，在此不再赘述。
83.进一步的，本公开实施例还提供了一种检测道路中井盖缺失窨井的方法，该方法可以用于检测道路中井盖缺失的窨井，该方法包括以下步骤：
84.获取道路的图像；
85.将所述图像输入到预先训练的目标检测模型中，通过所述目标检测模型检测图像中井盖缺失的窨井，其中，所述目标检测模型通过样本图像训练得到，所述样本图像包括通过上述实施例中介绍的样本图像生成方法生成的图像。
86.比如，可以通过道路中设置的摄像头采集道路的图像，或者也可以在道路巡检装置中搭载摄像头，在巡检车对道路进行巡检的过程中，通过摄像头采集道路的图像，然后可以利用预先训练的目标检测模型对采集到的图像进行检测，以及时检测出道路中井盖缺失的窨井。其中，在一些场景，可以在道路巡检装置中设置检测装置，利用该检测装置执行上述道路检测方法。在一些场景，摄像头在采集到道路的图像后，也可以发送给云端服务器，通过云端服务器执行上述道路检测方法。
87.其中，目标检测模型通过样本图像训练得到，该样本图像包括通过上述实施例中介绍的样本图像生成方法生成的图像。
88.进一步的，本公开实施例还提供了一种道路检测系统，如图6所示，该道路检测系统包括图像采集装置和服务器，图像采集装置位于道路侧或道路巡检装置中，比如，图像采集装置可以是固定设置于道路，或者图像采集装置也可以搭载在道路巡检装置中，该道路巡检装置可以是一个可移动的智能装置，比如，可以是一个机器人、一辆巡检车、或者自动驾驶车辆等等。在道路巡检装置对道路进行巡检的过程中，可以采集不同路段的图像。图像采集装置在采集到道路的图像后，可以发送给服务器。服务器用于将接收到的图像输入到预先训练的目标检测模型中，通过目标检测模型检测图像中井盖缺失的窨井。
89.其中，目标检测模型通过样本图像训练得到，该样本图像包括通过上述实施例中介绍的样本图像生成方法生成的图像。
90.在一些实施例中，如图7所示，服务器还用于在检测到图像中包括井盖缺失的窨井的情况下，获取图像采集装置采集该图像时的位置信息，并向道路中车辆发出告警信息，其中，告警信息包括该位置信息。如果图像采集装置固定的设置于道路中，那么图像采集装置的位置信息可以预先记录在服务器中，服务器可以基于图像中携带的图像采集装置的标识信息确定图像采集装置采集该图像时的位置信息，进而可以定位井盖缺失窨井所在的位置。如果图像采集装置是搭载在道路巡检装置上，那么道路巡检装置可以同时搭载定位装置，比如gps，在向服务器发送图像的同时，可以同时发送定位信息，以便服务器可以基于定位信息确定采集该图像时图像采集装置的位置，进而可以定位井盖缺失窨井所在的位置。服务器在检测到道路出现井盖缺失窨井的时候，即可以向道路中的车辆发出告警信息，提示车辆在某个路段的某个位置处出现井盖缺失的问题，以便车辆可以注意安全。同时，也可以提示道路维修人员及时处理该异常情况。
91.在一些场景，如图8所示，服务器在检测到某个路段的某个位置处出现井盖缺失的问题时，也可以控制道路巡检装置停留在该井盖缺失的窨井附近，通过语音或者视觉信息对周围的行人或者车辆进行提示，直至维修人员过来维修。
92.为了进一步解释本公开实施例提供的样本图像生成方法，以下结合一个具体的实施例加以解释。
93.为了得到更加丰富的井盖缺失窨井的图像，作为样本图像，用于训练目标检测模型，以对道路中的井盖缺失窨井进行检测，本实施提供了一种样本图像生成方法。具体如下：
94.1、风格迁移模型的训练
95.可以从各种途径获取有限的井盖缺失窨井的原始图像，以及从实际使用场景中(如设置在道路中的摄像头或道路巡检装置中搭载的摄像头)获取较大数量包括带井盖窨井的原始图像，用边界框对上述井盖缺失窨井的原始图像中的井盖缺失窨井所在区域进行标注，以及用边界框对上述带井盖窨井的原始图像中的带井盖窨井所在区域进行标注。
96.将所有井盖缺失窨井的原始图像按照边界框进行裁剪，将井盖缺失窨井的部分区域提取出来，得到井盖缺失窨井的局部图像，利用这些局部图像构成a数据集，同理将带井盖窨井的图像按照边界框进行裁剪，将带井盖窨井的部分提取出来，得到带井盖窨井的局部图像，利用这些图像构成b数据集。利用a，b数据集对生成对抗网络进行训练，得到风格迁移模型。具体的训练方式可参考上述实施例中的描述，在此不再赘述。
97.2、利用风格迁移模型得到井盖缺失窨井的局部图像
98.可以从b数据集中获取带井盖窨井的局部图像输入到该风格迁移模型中，生成对应的场景的井盖缺失窨井的局部图像。
99.3、图像融合
100.(1)获取步骤2中生成的井盖缺失窨井的局部图像b，以及b对应的裁剪前的包括带井盖窨井的原始图像a。
101.(2)在原始图像a中的合理区域选取一roi区域，其中，该合理区域可以是原始图像a中原来带井盖窨井所在的区域，也可以是其他可能存在窨井的区域。比如，可以先对原始图像a进行语义分割，基于语义分割的结果从原始图像a中确定该roi区域。
102.(3)将b缩放到roi区域同样的尺寸，灰度处理后进行区域降噪生成b1；
103.(4)利用otsu算法，将b1进行二值化处理，并用形态学开运算对特征区域进行进一步降噪，之后用形态学闭运算将特征区域进行连接，生成掩模图像b_mask；
104.(5)将得到的掩模图像与b进行与运算，得到井盖缺失窨井的特征区域b_front，同时将原始图像a中roi区域与掩模图像的反做与运算，得到roi背景区域roi_bg，将b_front和roi_bg融合，并替换原始图像a中的roi区域，得到样本图像。
105.4、目标检测模型的训练
106.利用步骤3中生成的样本图像，以及该样本图像对应的roi区域作为标签；对预设的初始模型进行训练，得到目标检测模型。
107.5.道路检测
108.利用道路中设置的摄像头或者道路巡检装置中搭载的摄像头采集道路的图像，将图像输入到目标检测模型，通过目标检测模型检测图像中是否有井盖缺失的窨井。
109.其中，不难理解，上述各实施例中的描述的方案在不存在冲突的情况，可以进行组合，本公开实施例中不一一例举。
110.相应的，本公开实施例还提供了一种样本图像生成装置，所述样本图像用于训练目标检测模型，所述目标检测模型用于检测图像中的井盖缺失窨井，如图9所示，所述装置包括：
111.获取模块91，用于获取带井盖窨井的图像；
112.迁移模块92，用于将井盖缺失窨井的特征迁移到所述带井盖窨井的图像中的所述带井盖窨井中，得到包括井盖缺失窨井的样本图像，其中，所述井盖缺失窨井的特征通过对井盖缺失窨井的图像进行特征提取得到。
113.在一些实施例中，所述迁移模块用于将井盖缺失窨井的特征迁移到所述带井盖窨井的图像中的所述带井盖窨井中，得到包括井盖缺失窨井的样本图像时，具体用于：
114.将所述带井盖窨井的图像输入到预先训练的风格迁移模型中，通过所述风格迁移模型将井盖缺失窨井的特征迁移到所述带井盖窨井的图像中的所述带井盖窨井中，得到包括井盖缺失窨井的样本图像；其中，所述风格迁移模型通过包括带井盖窨井的第一图像和包括井盖缺失窨井的第二图像训练得到；或
115.从所述带井盖窨井的图像中截取包括所述带井盖窨井的第一图像区域，将所述第一图像区域输入到所述风格迁移模型中，通过所述风格迁移模型将井盖缺失窨井的特征迁移到所述第一图像区域中的所述带井盖窨井中，得到包括井盖缺失窨井的第二图像区域，利用所述第二图像区域替换所述第一图像区域，得到所述样本图像。
116.在一些实施例中，所述风格迁移模型包括生成对抗网络，所述风格迁移模型基于包括带井盖窨井的第一图像和包括井盖缺失窨井的第二图像训练得到时，具体训练过程如下：
117.利用所述生成对抗网络的生成器基于所述第一图像生成包括井盖缺失窨井的图像；
118.基于所述生成对抗网络的判别器对所述生成器生成的图像和所述第二图像的判别结果确定第一损失；
119.基于所述生成器生成的图像中的第一图像块与所述第一图像中的第二图像块的相似度、以及所述生成器生成的图像中的第一图像块和第一图像中的第三图像块的相似度确定第二损失；其中，所述第一图像块和所述第二图像块位于同一像素位置，所述第一图像块和所述第三图像块位于不同的像素位置；
120.基于所述第一损失和所述第二损失确定目标损失，利用所述目标损失对所述生成对抗网络进行训练。
121.在一些实施例中，所述迁移模型用于利用所述第二图像区域替换所述第一图像区域，得到所述样本图像时，具体用于：
122.基于所述第二图像区域确定掩膜图像；
123.利用所述掩膜图像从所述第二图像区域中提取前景图像，以及利用所述掩膜图像从所述第一图像区域中提取背景图像；
124.将所述前景图像与所述背景图像融合，利用融合得到的图像替换所述第一图像区域，得到所述样本图像。
125.在一些实施例中，所述迁移模块用于基于所述第二图像区域确定掩膜图像时，具体用于：
126.对所述第二图像区域进行缩放处理，使得所述第二图像区域的尺寸和所述第一图像区域的尺寸一致；
127.将缩放处理后的第二图像区域进行灰度处理后再进行去噪处理，再对去噪后的灰
度图像进行二值化处理；
128.对二值化处理得到的二值化图像进行去噪处理，得到所述掩膜图像。
129.其中，上述装置执行样本图像生成方法的具体步骤可以参考上述方法实施例中的描述，在此不再赘述。
130.进一步的，本公开实施例还提供一种电子设备，如图10所示，所述电子设备包括处理器110、存储器120、存储于所述存储器120可供所述处理器110执行的计算机指令，所述处理器110执行所述计算机指令时实现上述实施例中任一项所述的方法。
131.本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的方法。
132.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
133.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本公开实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例各个实施例或者实施例的某些部分所述的方法。
134.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
135.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本公开实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
136.以上所述仅是本公开实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本公开实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本公开实施例的保护范围。