目标在图像中位置框的预测方法、装置、设备及存储介质与流程

1.本技术涉及自动驾驶技术领域，尤其涉及一种目标在图像中位置框的预测方法、装置、设备及存储介质。


背景技术：

2.随着人工智能、电子信息、自动控制、智能制造等技术的进步，汽车自动驾驶技术得到高速发展。在自动驾驶的匹配追踪技术中，需要预测出目标物体的位置框在当前图像帧的位置，尤其是行人、车辆等目标物体，这样才能匹配出目标物体的当前轨迹信息。
3.目前，通常利用目标物体在历史图像帧中的位置框信息来训练一个预测模型，然后通过该预测模型来预测得到目标物体的位置框在当前图像帧中的位置，但这种方法在针对未训练过的场景存在预测精度较低的问题。


技术实现要素：

4.本技术提供一种目标在图像中位置框的预测方法、装置、设备及存储介质，能够提高目标在图像中位置框的预测精度。
5.为达到上述目的，本技术采用如下技术方案：
6.本技术实施例第一方面，提供一种目标在图像中位置框的预测方法，该方法包括：从第一参考帧的第一位置框中获取第一目标像素点，其中，第一参考帧为当前时刻下的上一帧图像，图像为车辆上的采集设备采集的图像，第一位置框为第一参考帧经过目标检测后的目标物体的边界框，第一目标像素点为第一位置框的底边的任一点；
7.根据第一目标像素点、并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、第一位置框的第一高度和第一位置框的第一宽度，以及根据预设的采集设备的标定参数和预设的第二目标世界位置，得到目标物体在当前帧图像中对应的预测框；其中，第一目标设备位置为第一目标像素点在采集设备的设备坐标系下的位置，第二目标世界位置为第二目标像素点在世界坐标系下的位置，第二目标像素点为第一目标像素点在第一参考帧的上一帧图像中对应的像素点。
8.在一个实施例中，根据第一目标像素点、并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、第一位置框的第一高度和第一位置框的第一宽度，以及根据预设的采集设备的标定参数和预设的第二目标世界位置，得到目标物体在当前帧图像中对应的预测框，包括：
9.根据标定参数、第一车辆位置、第一车辆偏航角和第二目标世界位置，确定当前时刻第一目标像素点在世界坐标系下的位置，得到当前目标世界位置；
10.根据当前目标世界位置、当前车辆位置、当前车辆偏航角、第一车辆位置、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图
像中对应的预测框。
11.在一个实施例中，根据标定参数、第一车辆位置、第一车辆偏航角和第二目标世界位置，确定当前时刻第一目标像素点在世界坐标系下的位置，得到当前目标世界位置，包括：
12.根据标定参数、第一车辆位置、第一车辆偏航角，确定第一目标像素点在世界坐标系下的位置，得到第一目标世界位置；
13.根据第一目标世界位置和第二目标世界位置，预测第一目标像素点在当前时刻在世界坐标系下的位置，得到当前目标世界位置。
14.在一个实施例中，根据标定参数、第一车辆位置、第一车辆偏航角，确定第一目标像素点在世界坐标系下的位置，得到第一目标世界位置，包括：
15.根据第一车辆位置和第一车辆偏航角，确定第一时刻下车辆的车体坐标系与世界坐标系的转换关系；
16.根据标定参数和转换关系，确定第一目标像素点在世界坐标系下的位置，得到第一目标世界位置。
17.在一个实施例中，根据当前目标世界位置、当前车辆位置、当前车辆偏航角、第一车辆位置、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框，包括：
18.根据第一车辆位置和第一车辆偏航角，确定第一时刻下车辆的车体坐标系与世界坐标系的转换关系；
19.根据转换关系，确定当前目标世界位置在车体坐标系下位置，得到当前目标车体位置，以及确定当前车辆位置在车体坐标系下的位置，得到当前车辆车体位置；
20.根据当前目标车体位置、当前车辆车体位置、当前车辆偏航角、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框。
21.在一个实施例中，根据当前目标车体位置、当前车辆车体位置、当前车辆偏航角、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框，包括：
22.根据当前目标车体位置和当前车辆车体位置，确定第一目标像素点在当前时刻相对车辆的位置，得到当前目标车辆参考位置；
23.根据当前车辆偏航角和第一车辆偏航角确定偏航角差值；
24.根据偏航角差值对当前目标车辆参考位置进行修正，得到当前目标车辆位置；
25.根据标定参数，确定当前目标车辆位置在设备坐标系下的当前目标设备位置；
26.根据当前目标设备位置、标定参数、第一目标设备位置、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框。
27.在一个实施例中，根据当前目标设备位置、标定参数、第一目标设备位置、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框，包括：
28.根据标定参数，确定当前目标设备位置在图像中的位置，得到第一目标像素点在当前时刻对应的当前帧图像中的目标位置；
29.根据第一目标设备位置、第一高度和第一宽度，确定第一位置框在当前帧图像中
的当前高度和当前宽度；
30.根据当前高度、当前宽度和目标位置得到目标物体在当前帧图像中对应的预测框。
31.本技术实施例第二方面，提供了一种目标在图像中位置框的预测装置，该装置包括：
32.获取模块，用于从第一参考帧的第一位置框中获取第一目标像素点，其中，第一参考帧为当前时刻下的上一帧图像，图像为车辆上的采集设备采集的图像，第一位置框为第一参考帧经过目标检测后的目标物体的边界框，第一目标像素点为第一位置框的底边的任一点；
33.确定模块，用于根据第一目标像素点，并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、第一位置框的第一高度和第一位置框的第一宽度，以及根据预设的采集设备的标定参数和预设的第二目标世界位置，得到目标物体在当前帧图像中对应的预测框；其中，第一目标设备位置为第一目标像素点在采集设备的设备坐标系下的位置，第二目标世界位置为第二目标像素点在世界坐标系下的位置，第二目标像素点为第一目标像素点在第一参考帧的上一帧图像中对应的像素点。
34.本技术实施例第三方面，提供了一种电子设备，该设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时实现本技术实施例第一方面中的目标在图像中位置框的预测方法。
35.本技术实施例第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本技术实施例第一方面中的目标在图像中位置框的预测方法。
36.本技术实施例提供的技术方案带来的有益效果至少包括：
37.本技术实施例提供的目标在图像中位置框的预测方法，通过从第一参考帧的第一位置框中获取第一目标像素点，然后，根据第一目标像素点，并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、第一位置框的第一高度和第一位置框的第一宽度，以及根据预设的采集设备的标定参数和预设的第二目标世界位置，得到目标物体在当前帧图像中对应的预测框。其中，第一参考帧为当前时刻下的上一帧图像，图像为车辆上的采集设备采集的图像，第一位置框为第一参考帧经过目标检测后的目标物体的边界框，第一目标像素点为第一位置框的底边的任一点，第一目标设备位置为第一目标像素点在采集设备的设备坐标系下的位置，第二目标世界位置为第二目标像素点在世界坐标系下的位置，第二目标像素点为第一目标像素点在第一参考帧的上一帧图像中对应的像素点。本技术的预测方法是根据目标图像的历史参考图像中的目标像素点以及当前车辆的位置信息以及偏航角的数据来对目标在图像中的位置框进行预测，这种方法由于是根据实时采集数据进行预测，因此针对任一场景都有较高的预测精度，且不需要提前训练预测模型，预测的实时性好。
附图说明
38.图1为本技术实施例提供的一种车载终端的结构示意图；
39.图2为本技术实施例提供的目标在图像中位置框的预测方法的流程图一；
40.图3为本技术实施例提供的预测得到的目标在图像中位置框的示意图；
41.图4为本技术实施例提供的目标在图像中位置框的预测方法的流程图二；
42.图5为本技术实施例提供的一种目标在图像中位置框的预测装置的结构图。
具体实施方式
43.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
44.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
45.另外，“基于”或“根据”的使用意味着开放和包容性，因为“基于”或“根据”一个或多个条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出的值。
46.随着人工智能、电子信息、自动控制、智能制造等技术的进步，汽车自动驾驶技术得到高速发展。在自动驾驶的匹配追踪技术中，需要预测出目标物体的位置框在当前图像帧的位置，这样才能匹配出目标物体的当前轨迹信息。
47.目前，通常利用目标图像的历史图像帧中的位置框信息来训练一个预测模型，然后通过该预测模型来预测得到目标物体的位置框在当前图像帧中的位置，但这种方法在针对未训练过的场景存在预测精度较低的问题。
48.为了解决上述问题，本技术实施例提供了一种目标在图像中位置框的预测方法，通过从第一参考帧的第一位置框中获取第一目标像素点，然后，根据第一目标像素点，并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、第一位置框的第一高度和第一位置框的第一宽度，以及根据预设的采集设备的标定参数和预设的第二目标世界位置，得到目标物体在当前帧图像中对应的预测框。其中，第一参考帧为当前时刻下的上一帧图像，图像为车辆上的采集设备采集的图像，第一位置框为第一参考帧经过目标检测后的目标物体的边界框，第一目标像素点为第一位置框的底边的任一点，第一目标设备位置为第一目标像素点在采集设备的设备坐标系下的位置，第二目标世界位置为第二目标像素点在世界坐标系下的位置，第二目标像素点为第一目标像素点在第一参考帧的上一帧图像中对应的像素点。本技术的预测方法是根据目标图像的历史参考图像中的目标像素点以及当前车辆的位置信息以及偏航角的数据来对目标在图像中的位置框进行预测，这种方法由于是根据实时采集数据进行预测，因此针对任一场景都有较高的预测精度，且不需要提前训练预测模型，预测的实时性好。
49.本技术实施例提供的目标在图像中位置框的预测方法的执行主体可以为电子设备，具体的，该电子设备可以为计算机设备、终端设备，或者服务器，其中，终端设备可以为车载终端、各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等，本申
请对比不作具体限定。
50.图1执行主体为车载终端为例示出，图1为本技术实施例提供的一种车载终端的内部结构示意图。如图1所示，该车载终端包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例提供的一种目标在图像中位置框的预测方法的步骤。内存储器为非易失性存储介质中的操作系统和计算机程序提供高速缓存的运行环境。
51.本领域技术人员可以理解，图1中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的车载终端的限定，具体的车载终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
52.基于上述执行主体，本技术实施例提供一种目标在图像中位置框的预测方法。如图2所示，该方法包括以下步骤：
53.步骤201、从第一参考帧的第一位置框中获取第一目标像素点。
54.其中，第一参考帧为当前时刻下的上一帧图像，图像为车辆上的采集设备采集的图像，第一位置框为第一参考帧经过目标检测后的目标物体的边界框，第一目标像素点为第一位置框的底边的任一点。
55.可选的，第一目标像素点可以为第一位置框的底边的中点。
56.需要说明的是，由于本技术中包括将第一目标像素点转换到世界坐标系下，如图3所示，可以看出目标物体的检测框的底边是位于地面的，因此选取的目标像素点是位于第一位置框的底边上的像素点。
57.步骤202、根据第一目标像素点，并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、第一位置框的第一高度和第一位置框的第一宽度，以及根据预设的采集设备的标定参数和预设的第二目标世界位置，得到目标物体在当前帧图像中对应的预测框。
58.其中，第一目标设备位置为第一目标像素点在采集设备的设备坐标系下的位置，第二目标世界位置为第二目标像素点在世界坐标系下的位置，第二目标像素点为第一目标像素点在第一参考帧的上一帧图像中对应的像素点。
59.示例的，若第一目标像素点为第一位置框底边的中点，则第二目标像素点则为第二位置框底边的中点，第二位置框则为第一参考帧的上一帧图像经过目标检测后得到的目标物体的边界框。
60.其中，当前时刻下的当前车辆位置和第一时刻下的第一车辆位置是获取的车辆装载的全球定位系统(gps)传输的位置信息。当前时刻下的当前车辆偏航角和第一时刻下的第一车辆偏航角是获取车辆的惯性测量单元(imu)传输的车辆的偏航角。
61.其中，采集设备的标定参数包括内参和外参，内参是采集设备相较于采集设备拍摄的图像的标定参数，外参是采集设备相较于车辆的标定参数。
62.可选的，可以通过获取到的当前车辆位置、当前车辆偏航角、第一车辆位置、第一车辆偏航角、以及根据预设的标定参数、预设的第二目标世界位置先预测出第一目标像素点在当前帧图像中的位置，得到当前目标像素点，然后根据获取到的第一高度和第一宽度、第一目标设备位置确定出第一位置框在当前帧图像中的位置框的高度和宽度，最后根据当
前目标像素点和第一位置框在当前帧图像中的位置框的高度和宽度，得到目标物体在当前帧图像中对应的预测框。
63.本技术实施例提供的目标在图像中位置框的预测方法，通过从第一参考帧的第一位置框中获取第一目标像素点，然后，根据第一目标像素点，并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、第一位置框的第一高度和第一位置框的第一宽度，以及根据预设的采集设备的标定参数和预设的第二目标世界位置，得到目标物体在当前帧图像中对应的预测框。其中，第一参考帧为当前时刻下的上一帧图像，图像为车辆上的采集设备采集的图像，第一位置框为第一参考帧经过目标检测后的目标物体的边界框，第一目标像素点为第一位置框的底边的任一点，第一目标设备位置为第一目标像素点在采集设备的设备坐标系下的位置，第二目标世界位置为第二目标像素点在世界坐标系下的位置，第二目标像素点为第一目标像素点在第一参考帧的上一帧图像中对应的像素点。本技术的预测方法是根据目标图像的历史参考图像中的目标像素点以及当前车辆的位置信息以及偏航角的数据来对目标在图像中的位置框进行预测，这种方法由于是根据实时采集数据进行预测，因此针对任一场景都有较高的预测精度，且不需要提前训练预测模型，预测的实时性好。
64.可选的，如图4所示，上述步骤202、根据第一目标像素点，并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、第一位置框的第一高度和第一位置框的第一宽度，以及根据预设的采集设备的标定参数和预设的第二目标世界位置，得到目标物体在当前帧图像中对应的预测框的过程可以为：
65.步骤401、根据标定参数、第一车辆位置、第一车辆偏航角和第二目标世界位置，确定当前时刻第一目标像素点在世界坐标系下的位置，得到当前目标世界位置。
66.步骤402、根据当前目标世界位置、当前车辆位置、当前车辆偏航角、第一车辆位置、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框。
67.可以理解的是，由于实时可以获取到的是车辆在世界坐标下的车辆当前位置和车辆偏航角，因此需要先预测出当前帧图像中的目标像素点
68.第一目标像素点在第一参考帧中的位置坐标转换到世界坐标下，得到当前目标世界位置，然后根据当前目标世界位置、当前车辆位置、当前车辆偏航角、第一车辆位置、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框。
69.可选的，上述步骤401根据标定参数、第一车辆位置、第一车辆偏航角和第二目标世界位置，确定当前时刻第一目标像素点在世界坐标系下的位置，得到当前目标世界位置的过程可以为：
70.根据标定参数、第一车辆位置、第一车辆偏航角，确定第一目标像素点在世界坐标系下的位置，得到第一目标世界位置，然后根据第一目标世界位置和第二目标世界位置，预测第一目标像素点在当前时刻在世界坐标系下的位置，得到当前目标世界位置。
71.具体的，上述根据标定参数、第一车辆位置、第一车辆偏航角，确定第一目标像素点在世界坐标系下的位置，得到第一目标世界位置的过程可以为：根据第一车辆位置和第
一车辆偏航角，确定第一时刻下车辆的车体坐标系与世界坐标系的转换关系，然后根据标定参数和转换关系，确定第一目标像素点在世界坐标系下的位置，得到第一目标世界位置。
72.可选的，上述步骤402、根据当前目标世界位置、当前车辆位置、当前车辆偏航角、第一车辆位置、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框的过程可以为：
73.根据第一车辆位置和第一车辆偏航角，确定第一时刻下车辆的车体坐标系与世界坐标系的转换关系，然后根据转换关系，确定当前目标世界位置在车体坐标系下位置，得到当前目标车体位置，以及确定当前车辆位置在车体坐标系下的位置，得到当前车辆车体位置，最后，根据当前目标车体位置、当前车辆车体位置、当前车辆偏航角、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框。
74.具体的，根据当前目标车体位置、当前车辆车体位置、当前车辆偏航角、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框的过程可以为：根据当前目标车体位置和当前车辆车体位置，确定第一目标像素点在当前时刻相对车辆的位置，得到当前目标车辆参考位置，根据当前车辆偏航角和第一车辆偏航角确定偏航角差值，根据偏航角差值对当前目标车辆参考位置进行修正，得到当前目标车辆位置，根据标定参数，确定当前目标车辆位置在设备坐标系下的当前目标设备位置，最后，根据当前目标设备位置、标定参数、第一目标设备位置、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框。
75.进一步的，上述根据当前目标设备位置、标定参数、第一目标设备位置、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框的过程可以为：根据标定参数，确定当前目标设备位置在图像中的位置，得到第一目标像素点在当前时刻对应的当前帧图像中的目标位置，之后根据第一目标设备位置、第一高度和第一宽度，确定第一位置框在当前帧图像中的当前高度和当前宽度，最后根据当前高度、当前宽度和目标位置得到目标物体在当前帧图像中对应的预测框。
76.为了便于本领域技术人员的理解，以执行主体为车载终端为例介绍本技术提供的目标在图像中位置框的预测方法，具体的，该方法包括：
77.(1)从第一参考帧的第一位置框中获取第一目标像素点。
78.其中，第一参考帧为当前时刻下的上一帧图像，图像为车辆上的采集设备采集的图像，第一位置框为第一参考帧经过目标检测后的目标物体的边界框，第一目标像素点为第一位置框的底边的任一点。
79.在实际执行过程中，对于目标物体m已有历史轨迹信息，从第一参考帧中的获取第一目标像素点，该第一目标像素点cb的像素为(u，v)。
80.(2)根据第一车辆位置和第一车辆偏航角，确定第一时刻下车辆的车体坐标系与世界坐标系的转换关系。
81.其中，第一车辆位置信息是第一参考帧对应的第一时刻下的车辆在世界坐标系下的位置信息，第一车辆偏航角是第一时刻下的车辆的偏航角。
82.第一时刻下的第一车辆位置是获取的车辆装载的全球定位系统(gps)传输的位置信息。该第一车辆位置信息是车辆在世界坐标系下的位置信息。
83.可选的，该转换关系包括：车体坐标系与世界坐标系的平移矩阵t
t-1
和车体坐标系与世界坐标系的旋转矩阵r
t-1
。示例的，可以将车辆的后轴中心作为车体坐标系(vcs)的原点，然后根据第一车辆位置确定第一时刻下车体坐标系与世界坐标系的平移矩阵t
t-1
，并根据第一车辆偏航角确定第一时刻下车体坐标系与世界坐标系的旋转矩阵r
t-1
。
84.(3)根据标定参数和转换关系，确定第一目标像素点在世界坐标系下的位置，得到第一目标世界位置。
85.其中，标定参数为采集设备的标定参数。具体的，标定参数包括内参k和外参r
cam
、t
cam
，内参是采集设备相较于采集设备拍摄的图像的标定参数，外参是采集设备相较于车辆的标定参数。第一目标世界位置为第一目标像素点在世界坐标系下位置。
86.可选的，可以通过如下公式(1)，计算得到第一目标像素点在车体坐标系下的坐标同时可以计算得到第一目标像素点(u，v)在相机坐标系z轴方向的值s。
[0087][0088]
然后，通过第一时刻的旋转矩阵r
t-1和平移矩阵t
t-1和公式(2)可以将vcs坐标系下点转到世界坐标系下，得到第一目标世界位置，该位置为公式(2)为：
[0089][0090]
(4)根据第一目标世界位置和第二目标世界位置，预测第一目标像素点在当前时刻在世界坐标系下的位置，得到当前目标世界位置。
[0091]
其中，第二目标世界位置为第二目标像素点在世界坐标系下的位置，第二目标像素点为第一目标像素点在第一参考帧的上一帧图像中对应的像素点。
[0092]
示例的，若第一目标像素点为第一位置框底边的中点，则第二目标像素点则为第二位置框底边的中点，第二位置框则为第一参考帧的上一帧图像经过目标检测后得到的目标物体的边界框。
[0093]
可以理解的是，由于本技术是针对一段视频中的多个图像帧的连续预测过程，因此第二目标世界位置在进行上一帧预测时已经预先计算得到，具体的，第二目标世界位置的确定过程可以参考上述步骤(1)-步骤(3)。
[0094]
可选的，上述过程可以为：根据第一目标世界位置和第二目标世界位置计算得到第一目标像素点的位移量，然后根据第一参考帧对应的第一时刻和第一参考帧的上一帧图像对应的第二时刻之间的时间间隔，并根据位移量和时间间隔得到第一目标像素点的速度。根据速度和当前时刻与第一时刻的时间间隔，得到第一目标像素点在第一时刻至当前时刻的位移，再加上第一目标世界位置，得到当前目标世界位置。
[0095]
(5)根据转换关系，确定当前目标世界位置在车体坐标系下位置，得到当前目标车
体位置，以及确定当前车辆位置在车体坐标系下的位置，得到当前车辆车体位置。
[0096]
假设当前时刻车辆在世界坐标系下的位置即当前车辆位置为通过第一时刻的旋转矩阵r
t-1
和平移矩阵t
t-1
将当前时刻的当前车辆位置和当前目标世界位置分别转到vcs坐标系下，得到当前目标车体位置和当前车辆车体位置
[0097]
具体的转换过程可以如公式(2)所示。
[0098]
(6)根据当前目标车体位置和当前车辆车体位置，确定第一目标像素点在当前时刻相对车辆的位置，得到当前目标车辆参考位置。
[0099]
可选的，通过计算得到当前目标车辆参考位置。
[0100]
(7)根据当前车辆偏航角和第一车辆偏航角确定偏航角差值。
[0101]
计算当前车辆偏航角yaw
t
和第一车辆偏航角yaw
t-1
的差值，得到偏航角差值δyaw。
[0102]
(8)根据偏航角差值对当前目标车辆参考位置进行修正，得到当前目标车辆位置。
[0103]
可选的，根据公式(3)可以计算得到当前目标车辆参考位置旋转偏航角差值δyaw后的位置，得到当前目标车辆位置
[0104][0105]
(9)根据标定参数，确定当前目标车辆位置在设备坐标系下的当前目标设备位置。
[0106]
可选的，可以根据采集设备的外参r
cam
、t
cam
，将当前目标车辆位置转到相机坐标系下，得到当前目标设备位置
[0107]
(10)根据标定参数，确定当前目标设备位置在图像中的位置，得到第一目标像素点在当前时刻对应的当前帧图像中的目标位置。
[0108]
可选的，可以根据采集设备的内参k将当前目标设备位置转换到图像坐标系上，得到第一目标像素点在当前时刻对应的当前帧图像中的目标位置new_cb。
[0109]
(11)根据第一目标设备位置、第一高度和第一宽度，确定第一位置框在当前帧图像中的当前高度和当前宽度。
[0110]
其中，第一目标设备位置为第一目标像素点在采集设备的设备坐标系下的位置。可选的，第一目标设备位置可以将第一目标像素点通过内参k转换得到。
[0111]
可以理解的是，由于目标物体在不同时刻距离采集设备的距离不同，因此不同时刻目标物体在图像中大小也不同，对应的不同时刻目标物体的位置框在图像中的大小也不同。而目标物体的位置框的高度和宽度与目标物体距离采集设备的距离成比例关系，因此，可以根据当前目标设备位置，以及第一位置框的第一高度h
t-1
和第一宽度w
t-1
，计算目标物体在当前帧图像中当前位置框的当前高度h
t
和当前宽度w
t
。
[0112][0113][0114]
(12)根据当前高度、当前宽度和目标位置得到目标物体在当前帧图像中对应的预测框。
[0115]
由于已经预测出第一目标像素点在当前帧图像中的像素点坐标，且计算得到第一位置框在当前帧图像中的当前高度和当前宽度，因此即能得到目标物体在当前帧图像中对应的预测框。
[0116]
需要说明的是，上述步骤(1)-(12)是以图像中的一个目标物体为例示出目标在图像中位置框的预测方法，对于图像中包括的其他目标物体的位置框的预测方法可以根据上述方法得到。如图3所示，为根据本技术提供的目标在图像中位置框的预测方法，预测得到的目标物体的位置框的示意图。其中，虚线表示的位置框为第一参考帧的位置框，实线表示的边界框为预测得到的当前帧图像的位置框。
[0117]
应该理解的是，上述实施例中的步骤流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0118]
如图5所示，本技术实施例还提供了一种目标在图像中位置框的预测装置，该装置包括：
[0119]
获取模块11，用于从第一参考帧的第一位置框中获取第一目标像素点，其中，第一参考帧为当前时刻下的上一帧图像，图像为车辆上的采集设备采集的图像，第一位置框为第一参考帧经过目标检测后的目标物体的边界框，第一目标像素点为第一位置框的底边的任一点；
[0120]
确定模块12，用于根据第一目标像素点，并根据获取到的当前时刻下的当前车辆位置和当前车辆偏航角、第一参考帧对应的第一时刻下的第一车辆位置和第一车辆偏航角、第一目标设备位置、第一位置框的第一高度和第一位置框的第一宽度，以及根据预设的采集设备的标定参数和预设的第二目标世界位置，得到目标物体在当前帧图像中对应的预测框；其中，第一目标设备位置为第一目标像素点在采集设备的设备坐标系下的位置，第二目标世界位置为第二目标像素点在世界坐标系下的位置，第二目标像素点为第一目标像素点在第一参考帧的上一帧图像中对应的像素点。
[0121]
在一个实施例中，确定模块12具体用于：
[0122]
根据标定参数、第一车辆位置、第一车辆偏航角和第二目标世界位置，确定当前时刻第一目标像素点在世界坐标系下的位置，得到当前目标世界位置；
[0123]
根据当前目标世界位置、当前车辆位置、当前车辆偏航角、第一车辆位置、第一车
辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框。
[0124]
在一个实施例中，确定模块12具体用于：
[0125]
根据标定参数、第一车辆位置、第一车辆偏航角，确定第一目标像素点在世界坐标系下的位置，得到第一目标世界位置；
[0126]
根据第一目标世界位置和第二目标世界位置，预测第一目标像素点在当前时刻在世界坐标系下的位置，得到当前目标世界位置。
[0127]
在一个实施例中，确定模块12具体用于：
[0128]
根据第一车辆位置和第一车辆偏航角，确定第一时刻下车辆的车体坐标系与世界坐标系的转换关系；
[0129]
根据标定参数和转换关系，确定第一目标像素点在世界坐标系下的位置，得到第一目标世界位置。
[0130]
在一个实施例中，确定模块12具体用于：
[0131]
根据第一车辆位置和第一车辆偏航角，确定第一时刻下车辆的车体坐标系与世界坐标系的转换关系；
[0132]
根据转换关系，确定当前目标世界位置在车体坐标系下位置，得到当前目标车体位置，以及确定当前车辆位置在车体坐标系下的位置，得到当前车辆车体位置；
[0133]
根据当前目标车体位置、当前车辆车体位置、当前车辆偏航角、第一车辆偏航角、第一目标设备位置、标定参数、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框。
[0134]
在一个实施例中，确定模块12具体用于：
[0135]
根据当前目标车体位置和当前车辆车体位置，确定第一目标像素点在当前时刻相对车辆的位置，得到当前目标车辆参考位置；
[0136]
根据当前车辆偏航角和第一车辆偏航角确定偏航角差值；
[0137]
根据偏航角差值对当前目标车辆参考位置进行修正，得到当前目标车辆位置；
[0138]
根据标定参数，确定当前目标车辆位置在设备坐标系下的当前目标设备位置；
[0139]
根据当前目标设备位置、标定参数、第一目标设备位置、第一高度和第一宽度，确定目标物体在当前帧图像中对应的预测框。
[0140]
在一个实施例中，确定模块12具体用于：
[0141]
根据标定参数，确定当前目标设备位置在图像中的位置，得到第一目标像素点在当前时刻对应的当前帧图像中的目标位置；
[0142]
根据第一目标设备位置、第一高度和第一宽度，确定第一位置框在当前帧图像中的当前高度和当前宽度；
[0143]
根据当前高度、当前宽度和目标位置得到目标物体在当前帧图像中对应的预测框。
[0144]
本实施例提供的目标在图像中位置框的预测装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再多加赘述。
[0145]
关于目标在图像中位置框的预测装置的具体限定可以参见上文中对于目标在图像中位置框的预测方法的限定，在此不再赘述。上述目标在图像中位置框的预测装置中的
各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0146]
本技术的另一实施例中，还提供一种电子设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时实现如本技术实施例的目标在图像中位置框的预测方法的步骤。
[0147]
本技术另一实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如本技术实施例的目标在图像中位置框的预测方法的步骤。
[0148]
本技术另一实施例中，还提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在目标在图像中位置框的预测装置上运行时，使得目标在图像中位置框的预测装置执行上述方法实施例所示的方法流程中目标在图像中位置框的预测方法执行的各个步骤。
[0149]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时，全部或部分地产生按照本技术实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0150]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0151]
以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。