训练图像生成、定位检测网络训练、定位检测方法及装置与流程

1.本技术涉及图像识别技术领域，具体涉及一种训练图像生成、定位检测网络训练、定位检测方法及装置。


背景技术：

2.随着人工智能技术的发展，自动驾驶逐步开始应用到人们的出行中，而交通信号灯检测是自动驾驶的关键技术之一。如果无法正确地检测出交通信号灯的位置，可能导致自动驾驶车辆违反交通规则，甚至可能造成严重的交通事故。
3.现有技术中主要使用深度检测网络yolov3进行交通信号灯的检测，通过对待检测图像和网络权重进行二值化处理虽然缩减了网络运算量和权重存储空间，但其检测精度也受到较大影响，在一些复杂场景下容易出现漏检或检错等问题。另外，由于在网络训练中通常使用全量的标注图像，训练图像集的收集与准备需要花费大量时间与人力。因此，现有技术难以真正实现交通信号灯的准确定位，需要提供更加有效的技术方案。


技术实现要素：

4.本技术提供了一种训练图像生成、定位检测网络训练、定位检测方法及装置，可以得到大量训练图像从而提高定位检测网络的泛化能力以及提高交通信号灯定位的准确性，本技术技术方案如下：
5.一方面，提供了一种训练图像生成方法，所述方法包括：
6.获取第一数量个检测目标图像和第二数量个背景图像，所述检测目标图像为交通信号灯图像；
7.从预设的图像特效库中选择至少一个第一图像特效数据和至少一个第二图像特效数据；
8.基于所述第一图像特效数据对所述检测目标图像进行特效处理，得到第三数量个特效处理后的检测目标图像，所述第三数量大于所述第一数量；
9.基于所述第二图像特效数据对所述背景图像进行特效处理，得到第四数量个特效处理后的背景图像，所述第四数量大于所述第二数量；
10.响应于图像合成指令，所述图像合成指令包括所述特效处理后的检测目标图像在所述特效处理后的背景图像中的第一位置信息，基于所述第一位置信息，在所述特效处理后的背景图像中添加所述特效处理后的检测目标图像，得到标注有所述第一位置信息的训练图像。
11.另一方面，提供了一种定位检测网络训练方法，所述方法包括：
12.获取训练图像，所述训练图像包括标注有交通信号灯的位置信息的交通信号灯图像；
13.将所述训练图像输入预设神经网络进行交通信号灯定位检测训练，在训练过程中基于反向传播算法调整所述预设神经网络的网络参数至所述预设神经网络输出的所述训
练图像中交通信号灯的预测位置信息与标注的交通信号灯的位置信息相匹配，得到所述定位检测网络；
14.其中，所述训练图像是基于如上述的训练图像生成方法生成后得到的。
15.另一方面，提供了一种定位检测方法，所述方法包括：
16.获取待检测图像；
17.将所述待检测图像输入定位检测网络进行交通信号灯定位检测；
18.当检测到所述待检测图像中包含交通信号灯时，输出所述待检测图像中交通信号灯的位置信息；
19.其中，所述定位检测网络是基于如上述的定位检测网络训练方法训练后得到的。
20.另一方面，提供了一种训练图像生成装置，所述装置包括：
21.图像获取模块，用于获取第一数量个检测目标图像和第二数量个背景图像，所述检测目标图像为交通信号灯图像；
22.图像特效数据选择模块，用于从预设的图像特效库中选择至少一个第一图像特效数据和至少一个第二图像特效数据；
23.第一特效处理模块，用于基于所述第一图像特效数据对所述检测目标图像进行特效处理，得到第三数量个特效处理后的检测目标图像，所述第三数量大于所述第一数量；
24.第二特效处理模块，用于基于所述第二图像特效数据对所述背景图像进行特效处理，得到第四数量个特效处理后的背景图像，所述第四数量大于所述第二数量；
25.图像合成模块，用于响应于图像合成指令，所述图像合成指令包括所述特效处理后的检测目标图像在所述特效处理后的背景图像中的第一位置信息，基于所述第一位置信息，在所述特效处理后的背景图像中添加所述特效处理后的检测目标图像，得到标注有所述第一位置信息的训练图像。
26.另一方面，提供了一种定位检测网络训练装置，所述装置包括：
27.训练图像获取模块，用于获取训练图像，所述训练图像包括标注有交通信号灯的位置信息的交通信号灯图像；
28.定位检测训练模块，用于将所述训练图像输入预设神经网络进行交通信号灯定位检测训练，在训练过程中基于反向传播算法调整所述预设神经网络的网络参数至所述预设神经网络输出的所述训练图像中交通信号灯的预测位置信息与标注的交通信号灯的位置信息相匹配，得到所述定位检测网络；
29.其中，所述训练图像是基于如上述的训练图像生成装置生成后得到的。
30.另一方面，提供了一种定位检测装置，所述装置包括：
31.待检测图像获取模块，用于获取待检测图像；
32.定位检测模块，用于将所述待检测图像输入定位检测网络进行交通信号灯定位检测；
33.位置信息输出模块，用于当检测到所述待检测图像中包含交通信号灯时，输出所述待检测图像中交通信号灯的位置信息；
34.其中，所述定位检测网络是基于如上述的定位检测网络训练装置训练后得到的。
35.另一方面，提供了一种定位检测设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处
理器加载并执行以实现如上述的定位检测方法。
36.另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的定位检测方法。
37.本技术提供的训练图像生成、定位检测网络训练、定位检测方法及装置，具有如下技术效果：
38.本技术通过特效处理和图像合成的方法进行数据扩充，得到大量各类路况场景下的训练图像，并利用所述训练图像对定位检测网络进行交通信号灯定位检测训练，一方面，提升了训练图像的生成效率和特征多样性，另一方面，基于丰富的训练图像得到了泛化能力较强的定位检测网络，提升了在复杂道路场景下交通信号灯的定位准确度。
附图说明
39.为了更清楚地说明本技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
40.图1是本技术实施例提供的一种训练图像生成方法的流程示意图；
41.图2是本技术实施例提供的一种第一位置信息确定方法的流程示意图；
42.图3是本技术实施例提供的另一种训练图像生成方法的流程示意图；
43.图4是本技术实施例提供的一种数据扩充方法的流程示意图；
44.图5是本技术实施例提供的一种定位检测网络训练方法的流程示意图；
45.图6是本技术实施例提供的一种预设神经网络训练方法的流程示意图；
46.图7是本技术实施例提供的一种损失信息的计算方法的流程示意图；
47.图8是本技术实施例提供的一种定位检测方法的流程示意图；
48.图9是本技术实施例提供的一种训练图像生成装置示意图；
49.图10是本技术实施例提供的一种定位检测网络训练装置示意图；
50.图11是本技术实施例提供的一种定位检测装置示意图；
51.图12是本技术实施例提供的一种定位检测方法的服务器的硬件结构框图。
具体实施方式
52.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
53.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限
于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
54.以下介绍本技术实施例提供的一种训练图像生成方法，图1为本技术实施例提供的一种训练图像生成方法的流程示意图。需要说明的是，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图1所示，上述方法可以包括：
55.s101，获取第一数量个检测目标图像和第二数量个背景图像，上述检测目标图像为交通信号灯图像。
56.在实际应用中，在进行神经网络的交通信号灯定位检测训练之前，可以先确定训练图像，在本说明书实施例中，可以通过合成检测目标图像和背景图像得到训练图像。
57.在本说明书实施例中，检测目标图像可以为展示有检测目标的二维图像，具体的，检测目标可以为交通信号灯。在一个具体的实施例中，可以对包含交通信号灯的不同道路场景的图像进行抠图处理，得到交通信号灯图像，并将交通信号灯图像作为检测目标图像。
58.具体的，背景图像可以包括但不限于二维路况图像、二维车况图像，在一个具体的实施例中，可以预先获取大量的路况图像和车况图像并存储在预设的背景图像库，从背景图像库中选择指定数量的背景图像。
59.在实际应用中，上述第一数量和第二数量可以基于实际的训练图像生成需求进行预先设定。
60.s103，从预设的图像特效库中选择至少一个第一图像特效数据和至少一个第二图像特效数据。
61.在实际应用中，图像特效库可以基于实际的训练图像生成需求进行预先设置。在本说明书实施例中，图像特效库可以为图像特效数据的集合库，图像特效数据可以包括但不限于：明暗度数据、色彩数据、对比度数据、阴影数据、缩放数据、滤镜数据等。
62.s105，基于上述第一图像特效数据对上述检测目标图像进行特效处理，得到第三数量个特效处理后的检测目标图像，上述第三数量大于上述第一数量。
63.在本说明书实施例中，第一图像特效数据可以包括图像特效库中的一个或多个图像特效数据。
64.比如，第一数量个检测目标图像包括第一检测目标图像，第一图像特效数据包括：明暗度：30％、对比度：10％，在一个可选的实施例中，对第一检测目标图像进行明暗度30％的特效处理得到第二检测目标图像，对第一检测目标图像进行对比度10％的特效处理得到第三检测目标图像，对第一检测目标图像进行明暗度30％和对比度10％的特效处理得到第四检测目标图像，将第二检测目标图像、第三检测目标图像和第四检测目标图像作为第三数量个特效处理后的检测目标图像，提升了检测目标图像的多样性。
65.由以上实施例的技术方案可见，通过多种图像特效数据对检测目标图像处理，可以得到多种特效处理后的检测目标图像，以便于模拟不同路况场景和不同天气环境下获取的交通信号灯图像。
66.s107，基于上述第二图像特效数据对上述背景图像进行特效处理，得到第四数量个特效处理后的背景图像，上述第四数量大于上述第二数量。
67.具体的，这里对背景图像进行特效处理的具体步骤与s105中对检测目标图像进行特效处理的步骤类似，具体步骤可以参见s105中对检测目标图像进行特效处理的相关描述，在此不再赘述。
68.s109，响应于图像合成指令，上述图像合成指令包括上述特效处理后的检测目标图像在上述特效处理后的背景图像中的第一位置信息，基于上述第一位置信息，在上述特效处理后的背景图像中添加上述特效处理后的检测目标图像，得到标注有上述第一位置信息的训练图像。
69.在本说明书实施例中，可以响应于针对图像合成功能的触发操作，生成图像合成指令，从而响应于图像合成指令，进行图像合成操作。
70.在一个可选的实施例中，上述第一位置可以包括至少两个目标第一位置信息，基于上述至少两个目标第一位置信息，在上述特效处理后的背景图像中添加与目标第一位置信息的数量相匹配的特效处理后的检测目标图像。具体的，目标第一位置信息的数量可以基于实际的训练图像合成需求进行预先设置。
71.在另一个可选的实施例中，在进行图像合成之后，还可以从上述预设的图像特效库中选择至少一个目标图像特效数据，并基于上述标图像特效数据对上述训练图像进行处理，得到特效处理后的训练图像，以增加训练图像的多样性。
72.在本说明书实施例中，在进行图像合成之前，上述训练图像生成方法还可以包括：
73.s201，响应于基于上述特效处理后的背景图像触发的位置信息配置指令，获取上述位置信息配置指令在上述特效处理后的背景图像中对应的触发位置信息。
74.一个可选的实施例中，可以对特效处理后的背景图像的目标位置进行点击操作，触发位置信息配置指令，位置信息配置指令携带有上述特效处理后的背景图像中对应的触发位置信息，上述触发位置信息可以为上述点击操作对应的目标位置信息。
75.另一个可选的实施例中，可以对特效处理后的背景图像的任意位置进行点击操作，触发位置信息输入界面，输入上述特效处理后的背景图像中的目标位置信息后生成位置信息配置指令，位置信息配置指令携带有触发位置信息，触发位置信息可以为上述目标位置信息，上述目标位置信息可以基于实际的图像合成需求进行设定。
76.s203，将上述触发位置信息作为上述第一位置信息。
77.由以上实施例的技术方案可见，通过在特效处理后的背景图像中设置位置信息，再基于位置信息将特效处理后的检测目标图像添加到特效处理后的背景图像得到包含有标注的训练图像，一方面能够简单快捷地生成训练图像，另一方面通过特效处理能够提高训练图像的多样性。
78.在一个可选的实施例中，上述训练图像生成方法还可以包括：
79.s301，获取第五数量个对比目标图像。
80.在本说明书实施例中，对比目标图像可以为展示有对比目标的图像，对比目标可以为与交通信号灯相似、易与交通信号灯混淆的目标，具体的，对比目标可以包括但不限于车尾灯、路灯等。
81.s303，从上述预设的图像特效库中选择至少一个第三图像特效数据。
82.在实际应用中，图像特效库可以基于实际的训练图像生成需求进行预先设置。在本说明书实施例中，图像特效库可以为图像特效数据的集合库，图像特效数据可以包括但不限于：明暗度数据，色彩数据，对比度数据、阴影数据等。
83.s305，基于上述第三图像特效数据对上述对比目标图像进行特效处理，得到第六数量个特效处理后的对比目标图像，上述第五数量大于上述第六数量。
84.具体的，这里对对比目标图像进行特效处理的具体步骤与s105中对检测目标图像进行特效处理的步骤类似，具体步骤可以参见s105中对检测目标图像进行特效处理的相关描述，在此不再赘述。
85.s307，响应于上述图像合成指令，上述图像合成指令包括上述第一位置信息和上述特效处理后的对比目标图像在上述特效处理后的背景图像中的第二位置信息，基于上述第一位置信息和上述第二位置信息，在上述特效处理后的背景图像中添加上述特效处理后的检测目标图像和上述特效处理后的对比目标图像，得到标注有上述第一位置信息的上述训练图像。
86.在本说明书实施例中，可以响应于针对图像合成功能的触发操作，生成图像合成指令，从而响应于图像合成指令，进行图像合成操作。
87.在一个可选的实施例中，上述第一位置可以包括至少两个目标第一位置信息，上述第二位置可以包括至少两个目标第二位置信息，基于上述至少两个目标第一位置信息和上述至少两个目标第二位置信息，在上述特效处理后的背景图像中添加与目标第一位置信息的数量相匹配的特效处理后的检测目标图像以及与目标第二位置信息的数量相匹配的特效处理后的对比目标图像。
88.具体的，这里获取第二位置信息的具体步骤与s201～s203中获取第一位置信息的步骤类似，具体步骤可以参见s201～s203中获取第一位置信息的相关描述，在此不再赘述。
89.在实际应用中，通过合成包含检测目标图像和对比目标图像的训练图像可以提升训练图像的特征多样性，有利于提升神经网络的训练效果。
90.在本说明书实施例中，上述训练图像生成方法还可以包括：
91.对上述训练图像进行数据扩充，得到目标训练图像。
92.在一个具体的实施例中，上述的数据扩充方法可以包括：
93.s401，获取第七数量个更新检测目标图像和第八数量个更新背景图像。
94.在实际应用中，通过更新检测目标图像和更新背景图像可以进一步扩充检测目标图像和背景图像，提升合成的训练图像的丰富性。上述第七数量和第八数量可以基于实际的训练图像扩充需求进行预先设定。
95.s403，从上述预设的图像特效库中选择至少一个第四图像特效数据和至少一个第五图像特效数据。
96.在实际应用中，图像特效库可以基于实际的训练图像生成需求进行预先设置。在本说明书实施例中，图像特效库可以为图像特效数据的集合库，图像特效数据可以包括但不限于：明暗度数据，色彩数据，对比度数据、阴影数据等。
97.s405，基于上述第四图像特效数据对上述更新检测目标图像进行特效处理，得到第九数量个特效处理后的更新检测目标图像，上述第九数量大于上述第七数量。
98.具体的，这里对更新检测目标图像进行特效处理的具体步骤与s105中对检测目标
图像进行特效处理的步骤类似，具体步骤可以参见s105中对检测目标图像进行特效处理的相关描述，在此不再赘述。
99.s407，基于上述第五图像特效数据对上述更新背景图像进行特效处理，得到第十数量个特效处理后的更新背景图像，上述第十数量大于上述第八数量。
100.具体的，这里对更新背景图像进行特效处理的具体步骤与s105中对检测目标图像进行特效处理的步骤类似，具体步骤可以参见s105中对检测目标图像进行特效处理的相关描述，在此不再赘述。
101.s409，响应于更新图像合成指令，上述更新图像合成指令包括上述特效处理后的更新检测目标图像在上述特效处理后的更新背景图像中的第三位置信息，基于上述第三位置信息，在上述特效处理后的更新背景图像中添加上述特效处理后的更新检测目标图像，得到标注有上述第三位置信息的更新训练图像。
102.具体的，这里进行更新图像合成的具体步骤与s109中进行图像合成的步骤类似，具体步骤可以参见s109中进行图像合成的相关描述，在此不再赘述。
103.具体的，这里获取第三位置信息的具体步骤与s201～s203中获取第一位置信息的步骤类似，具体步骤可以参见s201～s203中获取第一位置信息的相关描述，在此不再赘述。
104.s411，基于上述训练图像和上述更新训练图像，得到上述目标训练图像。
105.由以上实施例提供的技术方案可见，本说明书实施例中通过对检测目标图像和背景图像进行特效处理，再在特效处理后的背景图像中设定位置信息，最后基于位置信息将特效处理后的检测目标图像添加到特效处理后的背景图像得到标注有位置信息的训练图像，一方面提升了训练图像的生成效率，另一方面通过特效处理能够提高训练图像的丰富性；同时通过合成包含检测目标图像和对比目标图像的训练图像可以提升训练图像的特征多样性，从而提升了定位检测网络的训练精度。
106.以下介绍本技术实施例提供的一种定位检测网络训练方法，图6为本技术实施例提供的一种定位检测网络训练方法的流程示意图。需要说明的是，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图5所示，上述方法可以包括：
107.s501，获取训练图像，上述训练图像包括标注有交通信号灯的位置信息的交通信号灯图像。
108.具体的，训练图像是基于如上述的训练图像生成方法生成后得到的，这里训练图像的获取可以参见上述相关描述，在此不再赘述。
109.s503，将上述训练图像输入预设神经网络进行交通信号灯定位检测训练，在训练过程中基于反向传播算法调整上述预设神经网络的网络参数至上述预设神经网络输出的上述训练图像中交通信号灯的预测位置信息与标注的交通信号灯的位置信息相匹配，得到上述定位检测网络。
110.在本说明书实施例中，上述预设神经网络可以包括但不限于深度神经网络、卷积神经网络、递归神经网络或逻辑回归网络等机器学习方式。上述网络参数可以为训练过程
中学习到的网络参数，具体的，网络参数可以包括但不限于：权重、偏置值。
111.在本说明书实施例中，如图6所示，图6是本说明书实施例提供的一种预设神经网络训练方法的流程示意图，具体的，可以包括：
112.s601，将上述训练图像输入上述预设神经网络进行交通信号灯定位检测，得到上述预测位置信息。
113.s603，基于上述预测位置信息和上述位置信息进行计算，得到上述预设神经网络对应的损失信息。
114.在一些实施例中，上述预测位置信息可以包括预测坐标信息，上述位置信息可以包括坐标信息。
115.在一个具体的实施例中，如图7所示，图7是本说明书实施例提供的一种损失信息的计算方法，具体的，可以包括：
116.s701，对上述预测坐标信息和上述坐标信息之间的向量差进行求模计算，得到位置信息误差值。
117.在本说明书实施例中，上述预测坐标信息可以为预测矩形坐标，上述坐标信息可以为矩形坐标，具体的，位置信息误差值的计算方法可以包括：
118.分别计算预测矩形坐标和矩形坐标之间四个矩形顶点坐标的向量差；
119.计算上述四个矩形顶点坐标的向量差的均值；
120.对上述均值进行求模计算，得到上述位置信息误差值。
121.s703，确定与上述位置信息误差值对应的损失函数。
122.在本说明书实施例中，可以预先结合多个样本位置信息误差值和对应的样本损失信息进行归纳总结后设定分段损失函数。
123.在一个具体的实施例中，分段损失函数可以为：
[0124][0125]
其中，loss为损失信息，|x|为位置信息误差值，a为位置信息误差值分段节点，b为控制参数。
[0126]
具体的，当位置信息误差值较大，即位置信息误差值大于a时，将第二段函数作为对应的损失函数，该段函数的导数为1，对大误差不敏感，可以有效防止对应的损失信息被大误差主导；当位置信息误差值较小，即位置信息误差值小于a时，将第一段函数作为对应的损失函数，该段函数主体为对数函数，对小误差更敏感，能够很好地降低小误差，使模型更精确。其中，位置信息误差值分段节点a和控制参数b可以结合实际应用中对损失信息的梯度限制需求进行设定。
[0127]
s705，将上述位置信息误差值输入上述对应的损失函数，得到上述对应的损失信息。
[0128]
由以上实施例提供的技术方案可见，本说明书实施例中利用分段损失函数可以得到与位置信息误差值的大小相对应的损失信息，从而更好地调整网络参数，得到检测能力
更强的预设神经网络。
[0129]
s605，根据上述损失信息反向更新上述预设神经网络的网络参数，得到更新后的预设神经网络。
[0130]
s607，基于上述更新后的预设神经网络重复执行上述将上述训练图像输入上述预设神经网络进行交通信号灯定位检测，得到上述预测位置信息至上述根据上述损失信息反向更新上述预设神经网络的网络参数，得到更新后的预设神经网络的步骤直至上述损失信息满足预设损失条件。
[0131]
具体的，这里的预设损失条件可以结合实际应用中对定位检测网络的训练精度设定。
[0132]
s609，将上述损失信息满足上述预设损失条件时的初始定位检测网络作为上述定位检测网络。
[0133]
在一个具体的实施例中，以预设神经网络为深度神经网络为例，将训练图像输入到深度神经网络进行前馈传输，深度神经网络的输出为训练图像中交通信号灯的预测位置信息，而训练图像的样本标签为标注的交通信号灯的位置信息，根据标注的位置信息与预测位置信息确定位置信息误差值，相应的，训练过程中根据位置信息误差值可以得到对应的损失信息；再将损失信息基于bp算法(由信号的正向传播和误差的反向传播两个过程组成)从最后一层往前传输，在每一层中，通过这个损失信息去修改该层的神经网络权重的数值，修改完的数值会使得下一次前馈传输输出的交通信号灯的预测位置信息和标注的位置信息之间的位置信息误差值变得更小，当该位置信息误差值对应的损失信息小于预设损失条件时，可以将当前的深度神经网络作为定位检测网络。
[0134]
由以上实施例提供的技术方案可见，本说明书实施例中利用上述训练图像生成方法得到的大量训练图像对预设神经网络进行交通信号灯定位检测训练，并提供了一种计算损失信息的方法，在训练过程中根据损失信息反向更新预设神经网络的网络参数，获得了泛化能力较强的定位检测网络，提高在复杂场景下交通信号灯的定位检测准确度。
[0135]
以下介绍本技术实施例提供的一种定位检测方法，图9为本技术实施例提供的一种定位检测方法的流程示意图。需要说明的是，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图8所示，上述方法可以包括：
[0136]
s801，获取待检测图像。
[0137]
在实际应用中，待检测图像可以包括需要进行交通信号灯定位检测的路况图像。
[0138]
s803，将上述待检测图像输入定位检测网络进行交通信号灯定位检测。
[0139]
具体的，定位检测网络是基于如上述的定位检测网络训练方法训练后得到的。
[0140]
s805，当检测到上述待检测图像中包含交通信号灯时，输出上述待检测图像中交通信号灯的位置信息。
[0141]
在本说明书实施例中，位置信息可以包括矩形坐标。可选的实施例中，当检测到待检测图像中包含交通信号灯时，可以输出待检测图像中交通信号灯的矩形顶点坐标或矩形对角坐标。
[0142]
由以上本说明书实施例可见，利用上述定位检测网络训练方法训练得到的定位检测网络进行交通信号灯的定位检测，提升了交通信号灯定位检测的准确率，在复杂的道路场景下也有较好的交通信号灯定位检测效果。
[0143]
本技术实施例提供了一种训练图像生成装置，如图9所示，上述装置可以包括：
[0144]
图像获取模块910，用于获取第一数量个检测目标图像和第二数量个背景图像，所述检测目标图像为交通信号灯图像；
[0145]
图像特效数据选择模块920，用于从预设的图像特效库中选择至少一个第一图像特效数据和至少一个第二图像特效数据；
[0146]
第一特效处理模块930，用于基于所述第一图像特效数据对所述检测目标图像进行特效处理，得到第三数量个特效处理后的检测目标图像，所述第三数量大于所述第一数量；
[0147]
第二特效处理模块940，用于基于所述第二图像特效数据对所述背景图像进行特效处理，得到第四数量个特效处理后的背景图像，所述第四数量大于所述第二数量；
[0148]
图像合成模块950，用于响应于图像合成指令，所述图像合成指令包括所述特效处理后的检测目标图像在所述特效处理后的背景图像中的第一位置信息，基于所述第一位置信息，在所述特效处理后的背景图像中添加所述特效处理后的检测目标图像，得到标注有所述第一位置信息的训练图像。
[0149]
在本说明书实施例中，上述装置还可以包括：
[0150]
触发位置信息获取模块，用于响应于基于上述特效处理后的背景图像触发的位置信息配置指令，获取上述位置信息配置指令在上述特效处理后的背景图像中对应的触发位置信息。
[0151]
第一位置信息确定模块，用于将上述触发位置信息作为上述第一位置信息。
[0152]
在一个可选的实施例中，上述装置还可以包括：
[0153]
对比目标图像获取模块，用于获取第五数量个对比目标图像；
[0154]
图像特效数据选择模块，用于从上述预设的图像特效库中选择至少一个第三图像特效数据；
[0155]
第三特效处理模块，用于基于上述第三图像特效数据对上述对比目标图像进行特效处理，得到第六数量个特效处理后的对比目标图像，上述第五数量大于上述第六数量；
[0156]
图像合成指令模块，用于响应于上述图像合成指令，上述图像合成指令包括上述第一位置信息和上述特效处理后的对比目标图像在上述特效处理后的背景图像中的第二位置信息，基于上述第一位置信息和上述第二位置信息，在上述特效处理后的背景图像中添加上述特效处理后的检测目标图像和上述特效处理后的对比目标图像，得到标注有上述第一位置信息的上述训练图像。
[0157]
在本说明书实施例中，上述装置还可以包括：
[0158]
数据扩充模块，用于对上述训练图像进行数据扩充，得到目标训练图像。
[0159]
在一个具体的实施例中，上述数据扩充模块可以包括：
[0160]
更新图像获取单元，用于获取第七数量个更新检测目标图像和第八数量个更新背景图像；
[0161]
图像特效数据选择单元，用于从上述预设的图像特效库中选择至少一个第四图像
特效数据和至少一个第五图像特效数据；
[0162]
第四特效处理单元，用于基于上述第四图像特效数据对上述更新检测目标图像进行特效处理，得到第九数量个特效处理后的更新检测目标图像，上述第九数量大于上述第七数量；
[0163]
第五特效处理单元，用于基于上述第五图像特效数据对上述更新背景图像进行特效处理，得到第十数量个特效处理后的更新背景图像，上述第十数量大于上述第八数量；
[0164]
更新图像合成单元，用于响应于更新图像合成指令，上述更新图像合成指令包括上述特效处理后的更新检测目标图像在上述特效处理后的更新背景图像中的第三位置信息，基于上述第三位置信息，在上述特效处理后的更新背景图像中添加上述特效处理后的更新检测目标图像，得到标注有上述第三位置信息的更新训练图像。
[0165]
目标训练图像单元，用于基于上述训练图像和上述更新训练图像，得到上述目标训练图像。
[0166]
上述的训练图像生成装置实施例中的装置与训练图像生成方法实施例基于同样地发明构思。
[0167]
本技术实施例还提供了一种定位检测网络训练装置，如图10所示，上述装置可以包括：
[0168]
训练图像获取模块1010，用于获取训练图像，上述训练图像包括标注有交通信号灯的位置信息的交通信号灯图像；
[0169]
定位检测训练模块1020，用于将上述训练图像输入预设神经网络进行交通信号灯定位检测训练，在训练过程中基于反向传播算法调整上述预设神经网络的网络参数至上述预设神经网络输出的上述训练图像中交通信号灯的预测位置信息与标注的交通信号灯的位置信息相匹配，得到上述定位检测网络；
[0170]
其中，上述训练图像是基于如上述的训练图像生成装置生成后得到的。
[0171]
在本说明书实施例中，上述定位检测训练模块1020可以包括：
[0172]
定位检测单元，用于将上述训练图像输入上述预设神经网络进行交通信号灯定位检测，得到上述预测位置信息；
[0173]
损失信息计算单元，用于基于上述预测位置信息和上述位置信息进行计算，得到上述预设神经网络对应的损失信息；
[0174]
预设神经网络更新单元，用于根据上述损失信息反向更新上述预设神经网络的网络参数，得到更新后的预设神经网络；
[0175]
重复训练单元，用于基于上述更新后的预设神经网络重复执行上述将上述训练图像输入上述预设神经网络进行交通信号灯定位检测，得到上述预测位置信息至上述根据上述损失信息反向更新上述预设神经网络的网络参数，得到更新后的预设神经网络的步骤直至上述损失信息满足预设损失条件；
[0176]
定位检测网络确定单元，用于将上述损失信息满足上述预设损失条件时的初始定位检测网络作为上述定位检测网络。
[0177]
在一个具体的实施例中，上述损失信息计算单元可以包括：
[0178]
位置信息误差值计算单元，用于对上述预测坐标信息和上述坐标信息之间的向量差进行求模计算，得到位置信息误差值；
[0179]
损失函数确定单元，用于确定与上述位置信息误差值对应的损失函数；
[0180]
损失信息确定单元，用于将上述位置信息误差值输入上述对应的损失函数，得到上述对应的损失信息。
[0181]
上述的定位检测网络训练装置实施例中的装置与定位检测网络训练方法实施例基于同样地发明构思。
[0182]
本技术实施例还提供了一种定位检测装置，如图11所示，上述装置可以包括：
[0183]
待检测图像获取模块1110，用于获取待检测图像；
[0184]
定位检测模块1120，用于将上述待检测图像输入定位检测网络进行交通信号灯定位检测；
[0185]
位置信息输出模块1130，用于当检测到上述待检测图像中包含交通信号灯时，输出上述待检测图像中交通信号灯的位置信息；
[0186]
其中，上述定位检测网络是基于如上述的定位检测网络训练装置训练后得到的。
[0187]
上述的定位检测装置实施例中的装置与定位检测方法实施例基于同样地发明构思。
[0188]
本技术实施例提供了一种定位检测设备，该定位检测设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的定位检测方法。
[0189]
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据上述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
[0190]
本技术实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行，即上述计算机设备可以包括移动终端、计算机终端、服务器或者类似的运算装置。以运行在服务器上为例，图12是本技术实施例提供的一种定位检测方法的服务器的硬件结构框图。如图12所示，该服务器1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，cpu)1210(处理器1210可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器1230，一个或一个以上存储应用程序1223或数据1222的存储介质1220(例如一个或一个以上海量存储设备)。其中，存储器1230和存储介质1220可以是短暂存储或持久存储。存储在存储介质1220的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1210可以设置为与存储介质1220通信，在服务器1200上执行存储介质1220中的一系列指令操作。服务器1200还可以包括一个或一个以上电源1260，一个或一个以上有线或无线网络接口1250，一个或一个以上输入输出接口1240，和/或，一个或一个以上操作系统1221，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等等。
[0191]
输入输出接口1240可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1200的通信供应商提供的无线网络。在一个实例中，输入输出接口1240包
括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1240可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
[0192]
本领域普通技术人员可以理解，图12所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器1200还可包括比图12中所示更多或者更少的组件，或者具有与图12所示不同的配置。
[0193]
本技术实施例还提供了一种存储介质，上述存储介质可设置于服务器之中以保存用于实现方法实施例中一种的定位检测方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的定位检测方法。
[0194]
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0195]
由上述本技术提供的训练图像生成、定位检测网络训练、定位检测方法及装置的实施例可见，利用本技术提供的技术方案，通过对检测目标图像和背景图像进行特效处理，再在特效处理后的背景图像中设定位置信息，最后基于位置信息将特效处理后的检测目标图像添加到特效处理后的背景图像得到标注有位置信息的训练图像，一方面提升了训练图像的生成效率，另一方面通过特效处理能够提高训练图像的丰富性；利用上述方法得到的大量训练图像对预设神经网络进行交通信号灯定位检测训练，并提供了一种计算损失信息的方法，在训练过程中根据损失信息反向更新预设神经网络的网络参数，获得了泛化能力较强的定位检测网络从而提高了在复杂场景下交通信号灯的定位检测准确度。
[0196]
需要说明的是：上述本技术实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0197]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0198]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，上述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0199]
以上上述仅为本技术的较佳实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。