光流确定方法、用于确定光流的模型训练方法及装置与流程

1.本公开涉及辅助驾驶技术领域，尤其是一种光流确定方法、用于确定光流的模型训练方法及装置。


背景技术：

2.在辅助驾驶或自动驾驶等应用场景下，有时需要应用光流数据。目前常采用的方式是，先基于车载激光雷达获取的点云数据集与成像装置拍摄的图像之间的对应关系，再基于该对应关系获取光流数据。
3.但是，采用上述方式的点云数据集通常是稀疏的，这就导致通过现有技术获取的光流数据也是稀疏的，而稀疏的光流数据难以满足辅助驾驶或自动驾驶等应用场景的需求。


技术实现要素：

4.为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种光流确定方法、用于确定光流的模型训练方法及装置。
5.根据本公开的一个方面，提供了一种光流确定方法，包括：
6.基于目标道路分别对应的点云数据集和图像，确定第一光流的真值；
7.基于所述第一光流的真值，确定所述第一光流的预测值，所述第一光流的预测值比所述第一光流的真值稠密；
8.基于所述第一光流的预测值，以及所述第一光流与第二光流之间的对应关系，确定所述第二光流的预测值；
9.其中，所述第一光流为正向光流或反向光流，所述正向光流为从拍摄所述图像的成像装置的视角到虚拟视角的光流，所述反向光流为从所述虚拟视角到所述成像装置的视角的光流。
10.根据本公开实施例的又一个方面，提供了一种用于确定光流的模型训练方法，其中，包括：
11.基于上述方面所述的光流确定方法，确定第一光流的真值，所述第一光流的真值基于目标道路分别对应的点云数据集和图像确定；
12.利用待训练的神经网络模型对所述点云数据集和所述图像进行处理，得到所述第一光流的预测值；
13.基于所述第一光流的真值和所述第一光流的预测值，确定网络损失；
14.基于所述网络损失对所述神经网络模型进行训练；
15.其中，所述第一光流为正向光流或反向光流，所述正向光流为从拍摄所述图像的成像装置的视角到虚拟视角的光流，所述反向光流为从所述虚拟视角到所述成像装置的视角的光流。
16.根据本公开实施例的又一个方面，提供了一种光流确定装置，包括：
17.第一真值确定模块，用于基于目标道路分别对应的点云数据集和图像，确定第一光流的真值；
18.第一预测值确定模块，用于基于所述第一真值确定模块确定的所述第一光流的真值，确定所述第一光流的预测值，所述第一光流的预测值比所述第一光流的真值稠密；
19.第二预测值确定模块，用于基于所述第一预测值确定模块确定的所述第一光流的预测值，以及所述第一光流与第二光流之间的对应关系，确定所述第二光流的预测值；
20.其中，所述第一光流为正向光流或反向光流，所述正向光流为从拍摄所述图像的成像装置的视角到虚拟视角的光流，所述反向光流为从所述虚拟视角到所述成像装置的视角的光流。
21.根据本公开实施例的又一个方面，提供了一种用于确定光流的模型训练装置，其中，包括：
22.光流真值确定模块，用于基于上述权利要求1-6任意一项所述的光流确定方法，确定第一光流的真值，所述第一光流的真值基于目标道路分别对应的点云数据集和图像确定；
23.光流预测值确定模块，用于利用待训练的神经网络模型对所述点云数据集和所述图像进行处理，得到所述第一光流的预测值；
24.网络损失确定模块，用于基于所述光流真值确定模块确定的所述第一光流的真值和所述光流预测值确定模块确定的所述第一光流的预测值，确定网络损失；
25.网络模型训练模块，用于基于所述网络损失确定模块确定的所述网络损失对所述神经网络模型进行训练；
26.其中，所述第一光流为正向光流或反向光流，所述正向光流为从拍摄所述图像的成像装置的视角到虚拟视角的光流，所述反向光流为从所述虚拟视角到所述成像装置的视角的光流。
27.根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的光流确定方法或用于确定光流的模型训练方法。
28.根据本公开实施例的又一个方面，提供了一种电子设备，所述电子设备包括：
29.处理器；
30.用于存储所述处理器可执行指令的存储器；
31.所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的光流确定方法或用于确定光流的模型训练方法。
32.通过本公开实施例的方案确定光流时，在确定第一光流的真值后，基于第一光流的真值，确定第一光流的预测值，以及基于第一光流的预测值，以及第一光流与第二光流之间的对应关系，确定第二光流的预测值。其中，第一光流的预测值比第一光流的真值稠密，因此，通过本公开实施例提供的方案，可确定较稠密的第一光流的预测值。进一步的，由于第一光流的预测值较稠密，因此，确定的第二光流的预测值也较稠密。也就是说，通过本公开实施例提供的方案，能够得到稠密的第一光流和第二光流，解决现有技术只能得到稀疏光流的问题。
附图说明
33.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
34.图1是本公开所适用的场景示意图。
35.图2是本公开一示例性实施例提供的光流确定方法的流程示意图。
36.图3是本公开另一示例性实施例提供的光流确定方法的流程示意图。
37.图4是本公开另一示例性实施例提供的光流确定方法的流程示意图。
38.图5是本公开另一示例性实施例提供的光流确定方法的流程示意图。
39.图6是本公开一示例性实施例提供的用于确定光流的模型训练方法的流程示意图。
40.图7是本公开一示例性实施例提供的光流确定装置的结构图。
41.图8是本公开另一示例性实施例提供的光流确定装置的结构图。
42.图9是本公开一示例性实施例提供的用于确定光流的模型训练装置的结构图。
43.图10是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
44.下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
45.应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
46.本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
47.还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
48.还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
49.另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
50.还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
51.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
52.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
53.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
54.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
55.本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
56.终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
57.申请概述
58.在辅助驾驶或自动驾驶等应用场景下，有时需要应用光流数据。其中，光流可为同一摄像头在不同时刻拍摄的图像形成的光流，也可为根据不同传感器的视角的转换形成的光流。
59.其中，该不同传感器通常为车载雷达和成像装置，这种情况下，基于车载雷达获取的点云数据集与成像装置拍摄的图像之间的对应关系，确定光流。
60.但是，点云数据集通常较为稀疏，相应的，基于较为稀疏的点云数据集与图像之间的对应关系所确定的光流也是稀疏的，即通过现有技术仅能获取稀疏的光流，而稀疏的光流难以满足辅助驾驶或自动驾驶等应用场景的需求。
61.示例性系统
62.本公开实施例可应用于需要确定光流的应用场景中，该应用场景可包括辅助驾驶或自动驾驶等应用场景。
63.用于实现本公开实施例的光流确定方法的设备可为计算机、智能驾驶控制设备或服务器(例如车载服务器)等电子设备，并且在图1中公开一种该设备的示例图。
64.参见图1，用于实现本公开实施例的光流确定方法的设备100应用于辅助驾驶或自动驾驶的应用场景，并且，设备100可分别与成像装置200和传感器300相连接，并进行信息的交互。
65.设备100与成像装置200和传感器300之间的连接方式不限于实体连接。在一种示例中，设备100与成像装置200和传感器300之间的连接方式可为电连接。或者，在另一示例中，设备100与成像装置200和传感器300之间的连接方式可为网络连接，即设备100可通过网络分别与成像装置200和传感器300进行信息交互。
66.其中，传感器300为能够生成点云数据集的设备。例如，传感器300可包括激光雷达，这种情况下，点云数据集可包括激光雷达根据激光生成的点云数据集；或者，传感器300
可包括根据图像生成点云数据集的成像处理装置，这种情况下，该点云数据集可包括成像处理装置根据图像生成的点云数据集。
67.另外，传感器300在生成目标道路对应的点云数据集之后，可向设备100传输目标道路对应的点云数据集。该点云数据集包括多个点，每个点指的是相应的点云数据。在一个示例中，该传感器300为激光雷达，激光雷达发射的激光在遇到道路上的物体的某一位置后发生反射，那么该点云数据集中的每个点(即点云数据)通常包括该物体的某一位置的三维坐标和激光反射强度。
68.成像装置200可拍摄目标道路对应的图像，并将图像传输至设备100，从而使设备100获取目标道路对应的图像。
69.其中，目标道路对应的点云数据集指的是基于目标道路上存在的物体生产的点云数据集，如果该点云数据集由激光雷达生成，该点云数据集可由激光雷达向目标道路上的物体所发射的激光生成。目标道路对应的图像指的是成像装置对目标道路进行拍摄后，所得到的包含目标道路的图像。
70.设备100在接收到点云数据集和图像之后，可执行本公开实施例提供的光流确定方法，从而确定相应的光流。其中，设备100根据接收到的点云数据集和图像确定第一光流的真值，该第一光流可为正向光流或反向光流；然后，设备100基于第一光流的真值，确定第一光流的预测值，与第一光流的真值相比，第一光流的预测值较稠密；设备100基于第一光流的预测值，以及第一光流与第二光流之间的对应关系，确定第二光流的预测值。由于第一光流的预测值较稠密，这种情况下，设备100确定的第二光流的预测值也较为稠密。也就是说，通过执行本公开实施例提供的光流确定方法，设备100可确定较稠密的第一光流的预测值和第二光流的预测值。
71.如果本公开实施例应用于辅助驾驶或自动驾驶的应用场景，该成像装置200可包括车载摄像头，并且，该传感器300可包括车载传感器，设备100可为车辆内的服务器(例如车载的智能终端)。这种情况下，车辆内的服务器可基于本公开实施例提供的方案，确定稠密的光流，以满足辅助驾驶或自动驾驶等应用场景的需求。
72.示例性方法1
73.图2是本公开一示例性实施例提供的光流确定方法的流程示意图。本实施例可应用在电子设备上，如图2所示，包括如下步骤：
74.步骤s201，基于目标道路分别对应的点云数据集和图像，确定第一光流的真值。
75.其中，第一光流可为正向光流或反向光流。正向光流为从拍摄所述图像的成像装置的视角到虚拟视角的光流；反向光流为从虚拟视角到成像装置的视角的光流。
76.该虚拟视角可包括不同类型的视角。示例性的，在辅助驾驶或自动驾驶的应用场景下，该虚拟视角通常为鸟瞰(brid-eye-view,bev)视角。在其他应用场景下，该虚拟视角可为车辆的左视图的视角或其他视角。
77.在本公开实施例中，可基于点云数据集中的各个点分别在图像上投影的坐标(即为该点的第一坐标)，以及在虚拟视角平面上投影的坐标(即为该点的第二坐标)，确定第一光流的真值。其中，如果第一光流为正向光流，该第一光流的真值可为点云数据集中的同一点的第二坐标与第一坐标的差值，如果第一光流为反向光流，该第一光流的真值可为点云数据集中的同一点的第一坐标与第二坐标的差值。
78.其中，可基于传感器相对于成像装置的第一外参，确定点云数据集中的各个点分别在图像上投影的坐标。该传感器用于获取目标道路对应的点云数据集，并将该点云数据集传输至用于执行本公开提供的光流确定方法的电子设备；该成像装置用于获取目标道路对应的图像，并将该图像传输至用于执行本公开提供的光流确定方法的电子设备。传感器相对于成像装置的第一外参，为表征传感器与成像装置之间的坐标的坐标系转换关系的参数，例如表征传感器与成像装置之间的坐标的坐标系转换关系的旋转矩阵和/或平移矩阵等。
79.相应的，可基于传感器相对于虚拟视角的成像装置的第二外参，确定点云数据集中的各个点分别在虚拟视角平面上投影的第二坐标。其中，第二外参为表征传感器与虚拟视角的成像装置之间的坐标的坐标系转换关系的参数，例如表征传感器与虚拟视角的成像装置之间的坐标的坐标系转换关系的旋转矩阵和/或平移矩阵等。
80.步骤s202，基于第一光流的真值，确定第一光流的预测值，所述第一光流的预测值比所述第一光流的真值稠密。
81.在本公开实施例中，可基于神经网络模型确定第一光流的预测值。该神经网络模型具备自学习能力，这种情况下，该神经网络模型可基于第一光流的真值，学习得到第一光流的预测值。
82.步骤s203，基于第一光流的预测值，以及第一光流与第二光流之间的对应关系，确定所述第二光流的预测值。
83.其中，第二光流与第一光流不同。如果第一光流为正向光流，则第二光流为反向光流；如果第一光流为反向光流，则第二光流为正向光流。并且，由于第一光流的预测值较稠密，而第二光流的预测值基于第一光流的预测值，以及第一光流与第二光流之间的对应关系确定，因此，第二光流的预测值也较稠密。
84.通过本公开实施例的方案确定光流时，在确定第一光流的真值后，还会基于第一光流的真值，确定所述第一光流的预测值，以及基于第一光流的预测值，以及第一光流与第二光流之间的对应关系，确定第二光流的预测值。其中，第一光流的预测值比第一光流的真值稠密，因此，通过本公开实施例提供的方案，可确定较稠密的第一光流的预测值。进一步的，由于第一光流的预测值较稠密，因此，确定的第二光流的预测值也较稠密。也就是说，通过本公开实施例提供的方案，能够得到稠密的第一光流和第二光流，解决现有技术只能得到稀疏光流的问题。
85.参见图3，在本公开另一示例性实施例中，在上述图2所示实施例的基础上，还可包括以下步骤：
86.步骤s204，基于点云数据集和图像，确定第二光流的真值。
87.其中，该点云数据集和图像可分别为步骤s201中应用的点云数据集和图像，点云数据集和图像的获取方式可与步骤s201相同，此处不再赘述。
88.另外，在图3中，在完成步骤s203之后，才执行步骤s204，而在实际的应用场景中，步骤s204的执行时间没有严格限制。例如，步骤s204还可与步骤s201、或步骤s202或步骤s203同时执行，或者，步骤s204还可在步骤s201与步骤s202之间，或步骤s202与步骤s203之间执行。
89.步骤s205，基于第二光流的真值和第二光流的预测值，确定所述第二光流的预测
值的评估结果。
90.由于第二光流的预测值是基于第一光流的预测值，以及第一光流和第二光流的对应关系确定，因此，第二光流的预测值可能有误。这种情况下，可基于步骤s205，确定第二光流的预测值的评估结果，从而能够根据该评估结果，确定第二光流的预测值是否准确。
91.在一种可行的示例中，步骤s205中公开的确定第二光流的预测值的评估结果的操作，可通过以下步骤实现：
92.首先，基于同一坐标对应的第二光流的真值和第二光流的预测值，计算准确度参数。
93.其中，所述准确度参数为第一数量与第二数量的比值，第一数量为第二光流的真值和第二光流的预测值相同的次数值，第二数量为用于比较的第二光流的真值的参考数量。
94.在本公开实施例中，基于同一坐标对应的第二光流的真值和第二光流的预测值，计算准确度参数。其中，该坐标可包括点云数据集中的点在图像投影上的第一坐标，也可包括点云数据集中的点在虚拟视角平面上投影的第二坐标。
95.在一个示例中，该坐标为第二坐标，虚拟视角为bev视角，点云数据集中的某一点在bev视角平面上投影的第二坐标为(3，1)，该坐标对应的第二光流的真值为(-1，1)，并且，该坐标对应的第二光流的预测值也为(-1，1)，这种情况下，可认为该坐标对应的第二光流的真值和第二光流的预测值相同。
96.另外，准确度参数为第一数量与第二数量的比值，示例性的，如果第一数量为8，第二数量为10，即用于比较的第二光流的真值的参考数量为10，在10次比较中，第二光流的真值和第二光流的预测值相同的次数值为8，这种情况下，可确定准确度参数为80％。
97.然后，基于准确度参数和预设的第一阈值，确定第二光流的预测值的评估结果。
98.在本公开实施例提供的方案中，通过比较准确度参数和第一阈值，确定第二光流的预测值的评估结果。其中，如果准确度参数大于第一阈值，则可确定第二光流的预测值的评估结果为准确，如果准确度参数小于或等于第一阈值，则可确定第二光流的预测值的评估结果为不准确。
99.另外，第一阈值的具体数值可根据实际需求设定，通常情况下，对第二光流的预测值的准确度要求越高时，该第一阈值的具体数值往往越高。
100.参见图4，在本公开另一示例性实施例中，在上述图2所示实施例的基础上，还可包括以下步骤：
101.步骤s206，当确定第二光流的预测值的评估结果符合预设条件，基于第二光流的预测值和图像，确定虚拟视角下的图像。
102.在本公开实施例提供的方案中，第二光流的预测值的评估结果符合预设条件，通常指的是第二光流的预测值大于预设的第一阈值，这种情况下，可认为第二光流的预测值是准确的。
103.另外，光流可反映成像装置拍摄的图像与虚拟视角下的图像的像素坐标的位移变化量，因此，在确定第二光流的预测值正确之后，可基于第二光流的预测值确定虚拟视角下的图像。
104.在一种可行的设计中，该操作可通过以下步骤实现：
105.第一步，基于第二光流的预测值，确定第一像素与第二像素的对应关系，其中，第一像素为成像装置视角的图像中的像素，第二像素为虚拟视角下的图像的像素。
106.其中，所述成像装置视角的图像可包括步骤s201中的目标道路对应的图像。
107.由于第二光流的预测值反映了成像装置视角的图像与虚拟视角下的图像的像素坐标的位移变化量，因此，可基于第二光流的预测值和第一像素的坐标，确定相应的第二像素的坐标。
108.示例性的，第二光流为反向光流flow(u，v)，某一第一像素的坐标为(u1，v1)，与该第一像素具有对应关系的第二像素的坐标为(u2，v2)，如果flow(u，v)中每一个维度的数值均为整数(该整数可包括正数和/或负数)，则第一像素与第二像素的对应关系可通过以下公式表示：
109.(u1，v1)＝flow(u，v) (u2，v2)。
110.进一步的，有时第二光流的预测值包括浮点数，即flow(u，v)中至少一个维度的数值包括浮点数，这种情况下，可对flow(u，v)做插值处理，插值处理后的光流为flow(u0，v0)，并且u0和v0均为整数。这种情况下，第一像素与第二像素的对应关系可通过以下公式表示：
111.(u1，v1)＝flow(u0，v0) (u2，v2)。
112.第二步，基于第一像素与第二像素的对应关系，以及成像装置视角的图像，确定虚拟视角下的图像。
113.该步骤中，基于第一像素与第二像素的对应关系，以及成像装置视角的图像包含的特征，可确定与第一像素相对应的第二像素的特征，进而可确定虚拟视角下的图像。
114.在步骤s203中，公开基于第一光流的预测值，以及第一光流与第二光流之间的对应关系，确定第二光流的预测值的操作。参见图5，在本公开另一示例性实施例中，在上述图2所示实施例的基础上，该操作可包括以下步骤：
115.步骤s2031，基于各个坐标分别对应的第一光流的预测值，确定第二光流的预测值的坐标。
116.其中，由于第一光流为正向光流或反向光流，第二光流与第一光流不同，则点云数据集中同一点对应的第一光流与第二光流在同一维度下的坐标互为相反数。例如，如果点云数据集中某一点对应的第一光流为(a，b)，则该点对应的第二光流为(-a，-b)。
117.另外，设定成像装置视角的图像中某一像素的坐标为第三坐标(u3，v3)，该像素转换至虚拟视角的图像中的坐标为第四坐标(u4，v4)，并且该像素对应的反向光流为(-a1，-b1)，该像素对应的正向光流为(a1，b1)，则根据正向光流与反向光流的含义，可得到以下公式：
118.(u4，v4) (-a1，-b1)＝(u3，v3)
ꢀꢀꢀꢀꢀ
公式(1)；
119.(u3，v3) (a1，b1)＝(u4，v4)
ꢀꢀꢀꢀꢀꢀ
公式(2)。
120.示例性的，如果成像装置视角的图像中某一像素的坐标为(2，2)，该像素转换至虚拟视角的图像中的坐标为(3，1)，该像素对应的正向光流为(1，-1)，该像素对应的反向光流为(-1，1)，即以下公式成立：
121.(3，1) (-1，1)＝(2，2)；
122.(2，2) (1，-1)＝(3，1)。
123.其中，如果第一光流为反向光流，基于公式(1)，可根据虚拟视角的图像中某一像素的坐标(u4，v4)和该像素对应的反向光流(-a1，-b1)，确定该像素对应的正向光流的预测值的坐标(u3，v3)。如果第一光流为正向光流，基于公式(2)，可根据成像装置视角的图像中某一像素的坐标(u3，v3)和该像素对应的正向光流(a1，b1)，确定该像素对应的反向光流的预测值的坐标(u4，v4)。
124.步骤s2032，基于所述第二光流的预测值的坐标，以及所述第一光流与第二光流之间的对应关系，确定所述第二光流的预测值。
125.其中，第一光流与第二光流之间的对应关系通常包括：同一像素对应的第一光流与第二光流在同一维度下的坐标互为相反数。这种情况下，基于第一光流的预测值和通过步骤s2031确定的第二光流的预测值的坐标，即可确定各个坐标分别对应的第二光流的预测值。
126.通过步骤s2031和步骤s2032的操作，可基于第一光流的预测值，以及第一光流与第二光流之间的对应关系，确定第二光流的预测值。该方案中，第一光流的预测值较稠密，相应的，确定的第二光流的预测值也较稠密，从而能够满足获取稠密的光流的需求。
127.示例性方法2
128.图6是本公开一示例性实施例提供的用于确定光流的模型训练方法的流程示意图，如图6所示，该方法包括如下步骤：
129.步骤s211，基于本公开的示例性方法1中任意一个实施例提供的光流确定方法，确定第一光流的真值。
130.其中，第一光流的真值基于目标道路分别对应的点云数据集和图像确定，第一光流为正向光流或反向光流，正向光流为从拍摄图像的成像装置的视角到虚拟视角的光流，反向光流为从虚拟视角到成像装置的视角的光流。本公开的示例性方法1中任意一个实施例提供的光流确定方法，为图2至图5中任意一个示意图对应的光流确定方法。
131.步骤s212，利用待训练的神经网络模型对点云数据集和图像进行处理，得到第一光流的预测值。
132.其中，神经网络模型具有深度学习功能，并且可实现光流预测，基于该神经网络模型，可实现对第一光流的预测，从而得到第一光流的预测值。
133.步骤s213，基于第一光流的真值和第一光流的预测值，确定网络损失。
134.该步骤中，可通过现有的深度学习技术确定网络损失。例如，第一光流的真值和第一光流的预测值均为二维矩阵，可根据这两个二维矩阵之间的差异，确定网络损失。
135.步骤s214，基于网络损失对神经网络模型进行训练。
136.在基于网络损失对神经网络模型进行训练的过程中，可基于网络损失调整神经网络模型的参数，并在每次调整参数之后，通过调整参数后的神经网络模型，再次确定网络损失，直到网络损失小于预设阈值，或者调整神经网络模型的参数次数达到预设次数。
137.其中，如果网络损失小于预设阈值，通常表明通过该神经网络模型确定的第一光流的预测值的准确性较高，这种情况下，可结束对神经网络模型的训练。
138.另外，如果调整神经网络模型的参数次数达到预设次数，通常表明在对神经网络模型训练的过程中，已经多次调整神经网络模型的参数，为了节省算力，也可结束对神经网络模型的训练。
139.通过本公开实施例提供的用于确定光流的模型训练方法，可对神经网络模型进行训练，以便后续可通过训练后的神经网络模型，确定准确度较高的第一光流的预测值。
140.并且本公开实施例提供的方法基于第一光流的真值和第一光流的预测值对神经网络模型进行训练，训练流程简单且效率高，便于高效地确定光流的预测值。
141.示例性装置1
142.图7是本公开一示例性实施例提供的光流确定装置的结构图。该光流确定装置可以设置于终端设备、服务器等电子设备中，或者车辆等对象上，执行本公开上述任一实施例的光流确定方法。如图7所示，该实施例的光流确定装置包括：第一真值确定模块201、第一预测值确定模块202和第二预测值确定模块203。
143.其中，第一真值确定模块201，用于基于目标道路分别对应的点云数据集和图像，确定第一光流的真值。
144.第一预测值确定模块202，用于基于所述第一真值确定模块201确定的所述第一光流的真值，确定所述第一光流的预测值，所述第一光流的预测值比所述第一光流的真值稠密。
145.第二预测值确定模块203，用于基于所述第一预测值确定模块202确定的所述第一光流的预测值，以及所述第一光流与第二光流之间的对应关系，确定第二光流的预测值。
146.其中，所述第一光流为正向光流或反向光流，所述正向光流为从拍摄所述图像的成像装置的视角到虚拟视角的光流，所述反向光流为从所述虚拟视角到所述成像装置的视角的光流。
147.在其中一些实施方式中，参见图8所示的一种光流确定装置的结构的示例图，该光流确定装置还可包括：
148.第二真值确定模块204，用于基于所述点云数据集和所述图像，确定所述第二光流的真值；
149.评估结果确定模块205，用于基于所述第二真值确定模块204确定的所述第二光流的真值和所述第二预测值确定模块203确定的所述第二光流的预测值，确定所述第二光流的预测值的评估结果。
150.在一个可行的示例中，所述评估结果确定模块205包括：
151.参数确定单元2051，用于基于同一坐标对应的所述第二光流的真值和所述第二光流的预测值，计算准确度参数，所述准确度参数为第一数量与第二数量的比值，所述第一数量为所述第二光流的真值和所述第二光流的预测值相同的次数值，所述第二数量为用于比较的所述第二光流的真值的参考数量；
152.评估结果确定单元2052，用于基于所述参数确定单元2051确定的所述准确度参数和预设的第一阈值，确定所述第二光流的预测值的评估结果。
153.在其中一些实施方式中，参见图8所示的一种光流确定装置的结构的示例图，该光流确定装置还可包括：
154.图像确定模块206，用于当确定所述评估结果确定模块205确定所述第二光流的预测值的评估结果符合预设条件，基于所述第二光流的预测值和所述图像，确定所述虚拟视角下的图像。
155.其中，在一个可行的示例中，参见图8所示的一种光流确定装置的结构的示例图，
所述图像确定模块206包括：
156.对应关系确定单元2061，用于基于所述第二光流的预测值，确定第一像素与第二像素的对应关系，其中，所述第一像素为所述成像装置视角的图像中的像素，所述第二像素为所述虚拟视角下的图像的像素；
157.图像确定单元2062，用于基于所述对应关系确定单元2061确定的所述对应关系以及所述成像装置视角的图像，确定所述虚拟视角下的图像。
158.在其中一些实施方式中，参见图8所示的一种光流确定装置的结构的示例图，第二预测值确定模块203可包括：
159.坐标确定单元2031，用于基于各个坐标分别对应的所述第一光流的预测值，确定所述第二光流的预测值的坐标；
160.预测值确定单元2032，用于基于所述坐标确定单元2031确定的所述第二光流的预测值的坐标，以及所述第一光流与第二光流之间的对应关系，确定所述第二光流的预测值。
161.通过本公开实施例提供的光流确定装置，能够基于第一光流的真值，确定所述第一光流的预测值，以及基于第一光流的预测值，以及第一光流与第二光流之间的对应关系，确定第二光流的预测值。其中，第一光流的预测值比第一光流的真值稠密，因此，通过本公开实施例提供的装置，可确定较稠密的第一光流的预测值。进一步的，由于第一光流的预测值较稠密，因此，确定的第二光流的预测值也较稠密。也就是说，通过本公开实施例提供的装置，能够得到稠密的第一光流和第二光流，解决现有技术只能得到稀疏光流的问题。
162.示例性装置2
163.图9是本公开一示例性实施例提供的用于确定光流的模型训练装置的结构图。该用于确定光流的模型训练装置可以设置于终端设备、服务器等电子设备中，或者车辆等对象上，执行本公开上述任一实施例的用于确定光流的模型训练方法。如图9所示，该实施例的用于确定光流的模型训练装置包括：光流真值确定模块301、光流预测值确定模块302、网络损失确定模块303和网络模型训练模块304。
164.其中，光流真值确定模块301，用于基于上述任意一项实施例提供的光流确定方法，确定第一光流的真值，所述第一光流的真值基于目标道路分别对应的点云数据集和图像确定；
165.光流预测值确定模块302，用于利用待训练的神经网络模型对所述点云数据集和所述图像进行处理，得到所述第一光流的预测值；
166.网络损失确定模块303，用于基于所述光流真值确定模块301确定的所述第一光流的真值和所述光流预测值确定模块302确定的所述第一光流的预测值，确定网络损失；
167.网络模型训练模块304，用于基于所述网络损失确定模块303确定的所述网络损失对所述神经网络模型进行训练；
168.其中，所述第一光流为正向光流或反向光流，所述正向光流为从拍摄所述图像的成像装置的视角到虚拟视角的光流，所述反向光流为从所述虚拟视角到所述成像装置的视角的光流。
169.通过本公开实施例提供的用于确定光流的模型训练装置，可对神经网络模型进行训练，以便后续可通过训练后的神经网络模型，确定准确度较高的第一光流的预测值。并且，该装置对神经网络模型进行训练的流程简单，训练效率较高，便于高效地确定光流的预
测值。
170.示例性电子设备
171.下面，参考图10来描述根据本技术实施例的电子设备。在本公开一示例性实施例中，该电子设备可以是图1所示的设备100，或者，在本公开另一示例性实施例中，该电子设备可以是包括图1所示的设备100、成像装置200和传感器300的电子设备。当然，该电子设备也可以为其他形式，本公开对此不作限定。
172.图10图示了根据本技术实施例的电子设备的框图。
173.如图10所示，电子设备11包括一个或多个处理器111和存储器112。
174.处理器111可以是中央处理单元(central processing unit，cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备11中的其他组件以执行期望的功能。
175.存储器112可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(random access memory，ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(read-only memory，rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器111可以运行所述程序指令，以实现上文所述的本技术的各个实施例的光流确定方法或用于确定光流的模型训练方法，以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如点云数据集和图像等各种内容。
176.在一个示例中，电子设备11还可以包括：输入装置113和输出装置114，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
177.例如，该输入装置113可以是麦克风或麦克风阵列，或者该输入装置113可以是通信网络连接器等。
178.此外，该输入装置113还可以包括例如键盘、鼠标等等。
179.该输出装置114可以向外部输出各种信息，包括确定出的第一光流的预测值和第二光流的预测值等。该输出装置114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
180.当然，为了简化，图10中仅示出了该电子设备11中与本技术有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备11还可以包括任何其他适当的组件。
181.示例性计算机程序产品和计算机可读存储介质
182.除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的光流确定方法或用于确定光流的模型训练方法中的步骤。
183.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c 等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软
件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
184.此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的光流确定方法或用于确定光流的模型训练方法中的步骤。
185.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(random access memory，ram)、只读存储器(read-only memory，rom)、可擦式可编程只读存储器((erasable programmable read-only memory，eprom)或闪存)、光纤、便携式紧凑盘只读存储器(compact disc read-only memory，cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
186.以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
187.本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
188.还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
189.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
190.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。