基于对抗学习的模型训练方法、装置、设备和存储介质与流程

1.本发明实施例涉及图像处理技术领域，尤其涉及基于对抗学习的模型训练方法、装置、设备和存储介质。


背景技术：

2.3d目标检测在很多现实应用(例如自动驾驶，机器人控制等)中起到关键作用，成为计算机视觉的研究热点。这个任务旨在从3d数据(例如点云)中识别出目标物体的类别和检测出对应的3d边界框。
3.现有的3d目标检测方法在标准的点云数据集上表现出了不错的性能，例如在kitti点云数据集上能实现较高的识别速度和识别精度。然而3d目标检测数据的获取成本较高(设备成本以及标注成本)，因此希望可以在公开的标准数据集上训练模型，然后直接应用于实际场景。
4.发明人在将基于公开的标准数据集得到的训练模型用于实际场景时，因为实际场景中获取的点云数据可能会因为各种因素影响(例如雾霾遮挡、低反射率以及激光雷达本身线数过低，如32线或16线)相较于公开的标准数据集更为稀疏，导致训练好的模型在这些稀疏的点云数据上表现不佳，实际使用时的识别精度不足。


技术实现要素：

5.本发明提供了一种基于对抗学习的模型训练方法、装置、终端设备和存储介质，以解决现有技术基于标准数据集训练好的模型在实际使用时识别精度不足的技术问题。
6.第一方面，本发明实施例提供了一种基于对抗学习的模型训练方法，包括：
7.将原始样本输入增强器和检测器，所述原始样本为3d点云数据；
8.在所述检测器对所述原始样本进行目标检测，并计算第一损失函数，所述第一损失函数为所述检测器在所述原始样本上的损失函数；
9.在所述检测器基于所述增强器确认的稀疏化参数对所述原始样本进行稀疏化，得到当前样本；
10.在所述检测器对所述当前样本进行目标检测，并计算所述第二损失函数，所述第二损失函数为所述检测器在所述当前样本上的损失函数；
11.当所述检测器的检测能力低于预设的训练停止条件时，基于所述第一损失函数和第二损失函数训练所述检测器，并在所述检测器对所述原始样本和当前样本进行目标检测；
12.基于所述第一损失函数和第二损失函数训练所述增强器，以确认所述稀疏化参数。
13.第二方面，本发明实施例还提供了一种基于对抗学习的模型训练装置，包括：
14.样本输入单元，用于将原始样本输入增强器和检测器，所述原始样本为3d点云数据；
15.第一检测单元，用于在所述检测器对所述原始样本进行目标检测，并计算第一损失函数，所述第一损失函数为所述检测器在所述原始样本上的损失函数；
16.稀疏化单元，用于在所述检测器基于所述增强器确认的稀疏化参数对所述原始样本进行稀疏化，得到当前样本；
17.第二检测单元，用于在所述检测器对所述当前样本进行目标检测，并计算所述第二损失函数，所述第二损失函数为所述检测器在所述当前样本上的损失函数；
18.检测器训练单元，用于当所述检测器的检测能力低于预设的训练停止条件时，基于所述第一损失函数和第二损失函数训练所述检测器，并在所述检测器对所述原始样本和当前样本进行目标检测；
19.增强器训练单元，用于基于所述第一损失函数和第二损失函数训练所述增强器，以确认所述稀疏化参数。
20.第三方面，本发明实施例还提供了一种终端设备，包括：
21.一个或多个处理器；
22.存储器，用于存储一个或多个程序；
23.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面任一所述的基于对抗学习的模型训练方法。
24.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面任一所述的基于对抗学习的模型训练方法。
25.上述基于对抗学习的模型训练方法、装置、终端设备和存储介质，将原始样本输入增强器和检测器，所述原始样本为3d点云数据；在所述检测器对所述原始样本进行目标检测，并计算第一损失函数，所述第一损失函数为所述检测器在所述原始样本上的损失函数；在所述检测器基于所述增强器确认的稀疏化参数对所述原始样本进行稀疏化，得到当前样本；在所述检测器对所述当前样本进行目标检测，并计算所述第二损失函数，所述第二损失函数为所述检测器在所述当前样本上的损失函数；当所述检测器的检测能力低于预设的训练停止条件时，基于所述第一损失函数和第二损失函数训练所述检测器，并在所述检测器对所述原始样本和当前样本进行目标检测；基于所述第一损失函数和第二损失函数训练所述增强器，以确认所述稀疏化参数。通过增强器和检测器对抗的方式进行模型训练，在基于密度较高的标准数据集的训练中实现对稀疏化点云的识别，增强了模型对稀疏化点云的鲁棒性，有效提升了模型在实际应用中的实用性。
附图说明
26.图1为本发明实施例一提供的一种基于对抗学习的模型训练方法的流程图；
27.图2为现有技术的训练模型在三种难度的数据集上不同稀疏度的map的统计图；
28.图3为本发明实施例中增强器的底层数据处理过程示意图；
29.图4本发明实施例中中检测器的底层数据处理过程示意图；
30.图5为本发明实施例中检测器的数据处理过程示意图；
31.图6为本发明实施例中整体的数据处理过程示意图；
32.图7为本发明实施例二提供的一种基于对抗学习的模型训练装置的结构示意图；
33.图8为本发明实施例三提供的一种终端设备的结构示意图。
具体实施方式
34.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
35.需要注意的是，由于篇幅所限，本技术说明书没有穷举所有可选的实施方式，本领域技术人员在阅读本技术说明书后，应该能够想到，只要技术特征不互相矛盾，那么技术特征的任意组合均可以构成可选的实施方式。
36.例如，在实施例一的一个实施方式中，记载了一个技术特征：通过权重对提取到的特征进行稀疏化，在实施例一的另一个实施方式中，记载了另一个技术特征：基于第一损失函数和第二损失函数训练增强器，以更新稀疏化参数，本领域技术人员在阅读本技术说明书后，应该能够想到，同时具有这两个特征的实施方式也是一种可选的实施方式，即在更新稀疏化参数之后，根据新的稀疏化参数对提取到的特征进行稀疏化。
37.下面对各实施例进行详细说明。
38.实施例一
39.图1为本发明实施例一提供的一种基于对抗学习的模型训练方法的流程图。实施例中提供的基于对抗学习的模型训练方法可以由基于对抗学习的模型训练方法对应的操作设备执行，该操作设备可以通过软件和/或硬件的方式实现，该操作设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。
40.训练好的模型从3d点云数据中识别出目标的能力可以通过map(mean average precisionk,平均精度值)进行衡量，map越高，说明训练好的模型对3d点云数据的识别效果越好。通过图2所示的统计图可以发现，现有的技术方案训练好的模型，在面对稀疏化之后的3d点云数据，map随着稀疏度的提升而不断减低，也即稀疏化的数据越多，对目标识别的效果越差，对应带来map的降低。不管是针对哪种难度级别的3d点云数据，随着3d点云数据的稀疏度增加，现有模型的识别精度显著下降。
41.具体的，参考图1，该基于对抗学习的模型训练方法具体包括：
42.步骤s110：将原始样本输入增强器和检测器，原始样本为3d点云数据。
43.在检测领域，通过测量仪器得到的产品外观表面的点数据集合也称之为点云。常见的测量仪器例如三维坐标测量机、三维激光扫描仪、照相式扫描仪等。从检测到的3d点云数据而言，三维坐标测量机所得到的点数量一般比较少，点与点的间距也比较大，点云比较稀疏；使用三维激光扫描仪或照相式扫描仪得到的点数量一般比较多，点与点的间距也比较小，点云比较密集。
44.本方案中的增强器用于在每次训练之后得到掩膜作为检测器对原始样本进行稀疏化处理的稀疏化参数。具体处理过程如图3所示，对于给定的原始样本中的n
p
×
d维的3d点云数据，增强器首先通过一个mlp(multi-layer perceptron,多层感知器)提取3d点云数据的特征，得到n
p
×
32维的点云局部特征，然后通过最大池化层得到1
×
32维的点云全局特征，再将点云全局特征进行复制，并与点云局部特征进行拼接来融合全局和局部信息，最后通过另一个mlp得到稀疏的掩膜，该掩膜即为供后续检测器使用的稀疏化参数。
45.本方案中的检测器实现的目标功能与现有技术对3d点云数据进行目标检测的检测器功能相同，但是在本方案中，检测器的训练过程有针对稀疏化点云数据的强化训练。具
体而言，对于给定的原始样本中的n
p
×
d维的3d点云数据，检测器首先通过一个mlp对3d点云数据进行特征提取，得到n
p
×
64维的点云特征，然后和掩膜(稀疏化参数)相乘得到稀疏的点云特征(即虚线框内的操作)，最后经过最大值池化得到3d点云数据的全局特征。后续对全局特征进行目标检测与现有技术的检测操作类似，在此不做赘述。
46.步骤s120：在检测器对原始样本进行目标检测，并计算第一损失函数，第一损失函数为检测器在原始样本上的损失函数。
47.检测器作为3d目标检测的基本功能实现的核心单元，用于对样本数据进行目标检测，具体的检测对象不止是原始样本，也包括稀疏化之后的当前样本和训练完成之后对实际样本的检测。整体上，如图5所示，将检测对象对应的待测数据输入到检测器，检测器对待测数据进行特征提取，得到待测数据中的全部特征生成完整特征集，基于完整特征集进行目标检测，并将目标检测结果标记显示。
48.在本方案的具体实施过程中，步骤s120具体可以通过步骤s121-步骤s123实施：
49.步骤s121：在检测器对原始样本进行特征提取得到多个特征。
50.步骤s122：基于特征对原始样本进行目标检测。
51.步骤s123：根据目标检测的结果计算第一损失函数。
52.在本方案中，针对的重点不是模型训练完成后如何对待检测数据进行目标搜索，而是模型训练过程中如何提高检测器对稀疏化的3d点云数据的目标识别能力，具体需要通过多次训练实现，在训练过程中，需要基于原始样本进行特征提取，计算相关处理过程中的损失函数，在此，将检测器在原始样本上的损失函数定义为第一损失函数。
53.步骤s130：在检测器基于增强器确认的稀疏化参数对原始样本进行稀疏化，得到当前样本。
54.对原始样本的稀疏化可以是对点云数据的稀疏化，也可以是对特征的稀疏化。如果是对点云数据的稀疏化，则检测器需要对稀疏化之后的点云数据进行特征提取、目标检测等检测相关处理过程；如果是特征的稀疏化，则检测器在基于稀疏化参数对完整特征集中的特征进行稀疏化，然后在稀疏化之后的特征的基础上进行目标检测。
55.在本方案中，如果采用对完整特征集进行稀疏化，步骤s130具体可以通过步骤s131-步骤s132实施：
56.步骤s131：检测器获取增强器确认的稀疏化参数。
57.步骤s132：根据稀疏权重对特征进行稀疏化。
58.对原始样本中的3d点云数据而言，其中每个纬度都是具有物理意义的空间坐标，对坐标乘以一个稀疏化参数，相当于改变了原始的空间坐标，因此，在本方案中通过稀疏化参数对完整特征集进行稀疏化处理，避免了对原始的空间坐标的直接改变，因为对原始样本的特征提取是独立地对每个点提取特征，因此通过对特征的稀疏化相当于在对点云稀疏化的同时避免了对原始的空间坐标的直接改变。
59.步骤s140：在检测器对当前样本进行目标检测，并计算第二损失函数，第二损失函数为检测器在当前样本上的损失函数。
60.作为检测器和增强器的对抗学习的实现，检测器需要对每次训练结果进行评价，具体为计算检测器在当前样本上的损失函数，在本方案中定义为第二损失函数。
61.步骤s150：当检测器的检测能力低于预设的训练停止条件时，基于第一损失函数
和第二损失函数训练检测器，并在检测器对原始样本和当前样本进行目标检测。
62.在具体实施过程中，检测器基于以下损失函数进行训练：
63.ld＝l(x) l(x
′
) γ||f
p-f
′
p
||264.其中，l(x)表示第一损失函数，l(x
′
)表示第二损失函数，γ||f
p-f
′
p
||2表示视觉损失函数。
65.为了让检测器可以同时识别原始样本和稀疏样本，使用上述损失函数来训练检测器，该损失函数的最后一项是视觉损失函数，可以使得检测器学习到的特征有一定的稀疏不变性。
66.当然，如果检测器的检测能力达到预设的训练停止条件，表示检测器的训练完成，可以将训练得到的检测器用于实际待检测数据进行目标预测，本方案中的训练过程结束；如果检测器的检测能力低于预设的训练停止条件，则继续训练。
67.步骤s160：基于第一损失函数和第二损失函数训练增强器，以确认稀疏化参数。
68.在具体实施过程中，增强器基于以下损失函数进行训练：
69.la＝l(x
′
) λ|1.0-exp(l(x
′
)-ρl(x))|
70.其中，l(x)表示第一损失函数，l(x
′
)表示第二损失函数，ρ≥1，λ表示|1.0-exp(l(x
′
)-ρl(x))|的权重。
71.为了使稀疏化的样本在训练过程中更具挑战，可以训练增强器使其增大检测器在稀疏化样本上的损失函数，即增大第二损失函数，但是单纯地增大第二损失函数可能会导致稀疏化得到的当前样本变得及其稀疏并失去形状信息，例如增强器可能会生成全为0的稀疏化参数来最大化第二损失函数。基于此，通过以上损失函数来训练增强器，该损失函数的第二项在l(x
′
)＝ρl(x)时达到最小值0，因此可以通过控制ρ≥1来使得第二损失函数增大的同时控制当前样本的难度。最终，第一项中的第二损失函数可以限制当前样本保持其形状信息，整体上，通过λ控制第二向的权重。
72.本方案的整体训练过程可以参考图6，基于待测数据，增强器在训练过程中不断调整稀疏化参数，检测器基于稀疏化参数对提取到的完整特征集进行稀疏化处理，进而在稀疏特征集的基础上实现目标检测，最终训练出检测器对稀疏的3d点云数据的准确检测能力。
73.上述，将原始样本输入增强器和检测器，原始样本为3d点云数据；在检测器对原始样本进行目标检测，并计算第一损失函数，第一损失函数为检测器在原始样本上的损失函数；在检测器基于增强器确认的稀疏化参数对原始样本进行稀疏化，得到当前样本；在检测器对当前样本进行目标检测，并计算第二损失函数，第二损失函数为检测器在当前样本上的损失函数；当检测器的检测能力低于预设的训练停止条件，基于第一损失函数和第二损失函数训练检测器，并在检测器对原始样本和当前样本进行目标检测；基于第一损失函数和第二损失函数训练增强器，以确认稀疏化参数。通过增强器和检测器对抗的方式进行模型训练，在基于密度较高的标准数据集的训练中实现对稀疏化点云的识别，增强了模型对稀疏化点云的鲁棒性，有效提升了模型在实际应用中的实用性。
74.实施例二
75.图7为本发明实施例二提供的一种基于对抗学习的模型训练装置的结构示意图。参考图7，该基于对抗学习的模型训练装置包括：样本输入单元210、第一检测单元220、稀疏
化单元230、第二检测单元240、检测器训练单元250和增强器训练单元260。
76.其中，样本输入单元210，用于将原始样本输入增强器和检测器，原始样本为3d点云数据；第一检测单元220，用于在检测器对原始样本进行目标检测，并计算第一损失函数，第一损失函数为检测器在原始样本上的损失函数；稀疏化单元230，用于在检测器基于增强器确认的稀疏化参数对原始样本进行稀疏化，得到当前样本；第二检测单元240，用于在检测器对当前样本进行目标检测，并计算第二损失函数，第二损失函数为检测器在当前样本上的损失函数；检测器训练单元250，用于当检测器的检测能力低于预设的训练停止条件，基于第一损失函数和第二损失函数训练检测器，并在检测器对原始样本和当前样本进行目标检测；增强器训练单元260，用于基于第一损失函数和第二损失函数训练增强器，以确认稀疏化参数。
77.在上述实施例的基础上，第一检测单元220，包括：
78.特征提取模块，用于在检测器对原始样本进行特征提取得到多个特征；
79.目标检测模块，用于基于特征对原始样本进行目标检测；
80.损失计算模块，用于根据目标检测的结果计算第一损失函数。
81.在上述实施例的基础上，稀疏化单元，包括：
82.参数获取模块，用于检测器获取增强器确认的稀疏化参数；
83.特征稀疏化模块，用于根据稀疏化参数对特征进行稀疏化。
84.在上述实施例的基础上，检测器基于以下损失函数进行训练：
85.ld＝l(x) l(x
′
) γ||f
p-f
′
p
||286.其中，l(x)表示第一损失函数，l(x
′
)表示第二损失函数，γ||f
p-f
′
p
||2表示视觉损失函数。
87.在上述实施例的基础上，增强器基于以下损失函数进行训练：
88.la＝l(x
′
) λ|1.0-exp(l(x
′
)-ρl(x)
89.其中，l(x)表示第一损失函数，l(x
′
)表示第二损失函数，ρ≥1，λ表示|1.0-exp(l(x
′
)-ρl(x))|的权重。
90.本发明实施例提供的基于对抗学习的模型训练装置包含在终端设备中，且可用于执行上述实施例一中提供的任一基于对抗学习的模型训练方法，具备相应的功能和有益效果。
91.值得注意的是，上述基于对抗学习的模型训练装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
92.实施例三
93.图8为本发明实施例三提供的一种终端设备的结构示意图，该终端设备是前文所说操作设备的一种具体的硬件呈现方案。如图8所示，该终端设备包括处理器310、存储器320、输入装置330、输出装置340以及通信装置350；终端设备中处理器310的数量可以是一个或多个，图8中以一个处理器310为例；终端设备中的处理器310、存储器320、输入装置330、输出装置340以及通信装置350可以通过总线或其他方式连接，图8中以通过总线连接为例。
94.存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于对抗学习的模型训练方法对应的程序指令/模块(例如，基于对抗学习的模型训练装置中的样本输入单元210、第一检测单元220、稀疏化单元230、第二检测单元240、检测器训练单元250和增强器训练单元260)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述的基于对抗学习的模型训练方法。
95.存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
96.输入装置330可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
97.上述终端设备包含基于对抗学习的模型训练装置，可以用于执行任意基于对抗学习的模型训练方法，具备相应的功能和有益效果。
98.实施例四
99.本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本技术任意实施例中提供的基于对抗学习的模型训练方法中的相关操作，且具备相应的功能和有益效果。
100.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。
101.因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
102.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网
络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
103.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
104.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
105.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。