一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

确定车辆中目标对象的位置的方法、装置、介质和设备与流程

2023-03-09 15:51:00 来源:中国专利 TAG:


1.本公开涉及计算机视觉技术,尤其是一种确定车辆中目标对象的位置的方法、装置、介质和设备。


背景技术:

2.在车辆辅助驾驶领域,对于车内人员状态的监控是一个重要的环节,该环节通常是利用机器视觉对车辆内部的场景图像进行感知来实现的,车内不同位置的人员,例如主驾、副驾、后排,对其监控以及后续的处理方式也存在差异,因此在这个环节中,确定车内人员的位置,是实现监控的前提。
3.相关技术中,通常是对车辆内部的场景图像进行人脸识别,确定出场景图像中的人脸检测框,然后根据人脸检测框预测车内人员的车辆座位。例如根据人脸检测框的大小区分前后排,根据人脸检测框在图像中的左右位置区分驾驶员和副驾驶员。由于车内人员的身体特征和动作等因素都会影响到人脸检测框的尺寸和位置,进而对预测结果产生不利影响,最终确定的位置不准确,可能导致错误的决策。


技术实现要素:

4.为了解决上述技术问题,提出了本公开。本公开的实施例提供了一种确定车辆中目标对象的位置的方法、装置、存储介质和电子设备。
5.根据本公开实施例的一个方面,提供了一种确定车辆中目标对象的位置的方法,该方法包括:获取目标车辆的场景信息和目标车辆内部的目标图像;基于目标图像,确定目标图像中各目标对象的目标检测框;基于场景信息,获取目标车辆对应的区域划分策略;基于目标检测框和区域划分策略,确定各目标对象的参考区域;基于目标检测框和各目标对象的参考区域,确定各目标对象的目标参考区域;将各目标对象的目标参考区域对应的车辆座位确定为各目标对象在目标车辆中的座位。
6.根据本公开实施例的又一个方面,提供了一种确定车辆中目标对象的位置的装置,该装置包括:信息获取单元,被配置成获取目标车辆的场景信息和目标车辆内部的目标图像;对象检测单元,被配置成基于目标图像,确定目标图像中各目标对象的目标检测框;策略获取单元,被配置成基于场景信息,获取目标车辆对应的区域划分策略;区域划分单元,被配置成基于目标检测框和区域划分策略,确定各目标对象的参考区域;区域确定单元,被配置成基于目标检测框和各目标对象的参考区域,确定各目标对象的目标参考区域;位置确定单元,被配置成将各目标对象的目标参考区域对应的车辆座位确定为各目标对象在目标车辆中的座位。
7.根据本公开实施例的再一方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于实现上述方法。
8.根据本公开实施例的又一方面,提供了一种电子设备,该电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器,用于从所述存储器中读取所述可
执行指令,并执行所述指令以实现上述方法。
9.基于本公开上述实施例提供的确定车辆中目标对象的位置的方法,从车辆内部的目标图像中识别出各个目标对象的目标检测框,根据车辆的场景信息对应的区域划分策略和目标检测框,确定各个目标对象的参考区域;然后根据目标检测框和各个目标对象的参考区域,确定各个目标对象的目标参考区域,并将目标参考区域的对应的车辆座位确定为各个目标对象在目标车辆中的座位。与根据人脸检测框直接估计目标对象的车辆座位相比,可以有效避免车内人员的动作和身体特征等干扰信息对确定目标对象的位置时的干扰,有助于更准确地确定目标对象在目标车辆中的位置。
10.下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。
附图说明
11.通过结合附图对本公开实施例进行更详细的描述,本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
12.图1是本公开的确定车辆中目标对象的位置的方法的一个实施例的流程示意图;
13.图2是本公开的确定车辆中目标对象的位置的方法一个实施例中区域划分策略的示意图;
14.图3是本公开的确定车辆中目标对象的位置的方法的一个实施例中确定参考区域的流程示意图;
15.图4是本公开的确定车辆中目标对象的位置的方法的一个实施例中确定目标参考区域的流程示意图;
16.图5是本公开的确定车辆中目标对象的位置的方法的一个实施例中确定第一目标检测框和第一目标对象的流程示意图;
17.图6是本公开的确定车辆中目标对象的位置的方法的又一个实施例中确定目标参考区域的流程示意图;
18.图7是本公开的确定车辆中目标对象的位置的方法的一个实施例的场景示意图;
19.图8是本公开的确定车辆中目标对象的位置的方法的一个实施例中生成区域划分策略的流程示意图;
20.图9是本公开的确定车辆中目标对象的位置的装置的一个实施例的结构示意图;
21.图10是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
22.下面,将参考附图详细地描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的示例实施例的限制。
23.应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
24.本领域技术人员可以理解,本公开实施例中的“第一”、“第二”等术语仅用于区别
不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
25.还应理解,在本公开实施例中,“多个”可以指两个或两个以上,“至少一个”可以指一个、两个或两个以上。
26.还应理解,对于本公开实施例中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。
27.另外,本公开中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本公开中字符“/”,一般表示前后关联对象是一种“或”的关系。
28.还应理解,本公开对各个实施例的描述着重强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,不再一一赘述。
29.同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
30.以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
31.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
32.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
33.本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
34.终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
35.申请概述
36.在实现本公开的过程中,发明人发现,相关技术中利用人脸检测框直接确定车内对象的位置时,容易受到对象的身体特征和动作等因素的干扰,导致预测结果的准确度较低。例如,例如后排对象前移或后排人员的脸部尺寸较大都会导致人脸检测框的尺寸较大,后续根据人脸检测框的尺寸预测对象的座位时就容易发生误判。
37.由此可见,上述方法至少存在以下问题:容易受到干扰,导致准确度较低。
38.示例性方法
39.图1是本公开一示例性实施例提供的确定车辆中目标对象的位置的方法的流程示
意图。本实施例可应用在电子设备上,具体比如车载计算平台、服务器或终端上,如图1所示,包括如下步骤。
40.步骤110、获取目标车辆的场景信息和目标车辆内部的目标图像。
41.在本实施例中,场景信息可以表征车辆驾驶舱内部的特征信息,例如驾驶舱内的空间结构、座位和布局等,不同型号的车辆通常具有不同的场景信息。目标图像表示目标车辆驾驶舱内部的图像,通常可以由目标车辆上设置的摄像头拍摄得到。
42.在一个具体的示例中,执行主体可以是向目标车辆提供辅助驾驶服务的云端服务器,其上可以预存有各种型号的车辆对应的场景信息,通过检索目标车辆的型号即可获取目标车辆的场景信息。目标车辆上可以设置有摄像头,用于对目标车辆的驾驶舱内部进行拍摄,以采集目标图像。执行主体可以通过网络从摄像头获取目标图像。
43.再例如,目标车辆的车载计算平台中可以预存有目标车辆的场景信息,以便于车载计算平台从本地存储空间获取目标车辆的场景信息,同时,车载计算平台可以从目标车辆上设置的摄像头获取目标图像。
44.步骤120、基于目标图像,确定目标图像中各目标对象的目标检测框。
45.在本实施例中,执行主体可以对目标图像进行目标检测,以识别目标图像中包括的目标对象,并以目标检测框对目标对象进行标记。其中,目标对象可以是人,也可以是动物。目标检测框可以是仅包括目标对象的脸部区域,也可以同时包括目标对象的脸部区域和躯干区域。
46.步骤130、基于场景信息,获取目标车辆对应的区域划分策略。
47.在本实施例中,区域划分策略用于划分目标车辆内部的各个座位在目标图像中的覆盖区域。
48.进一步结合图2对区域划分策略进行示例性说明,图3示出了本实施例中区域划分策略的示意图。如图2所示,区域划分策略可以包括各个车辆座位对应的图像区域的边界,以此可以将目标图像划分为主驾区域、副驾区域和后排区域。
49.步骤140、基于目标检测框和区域划分策略,确定各目标对象的参考区域。
50.在本实施例中,参考区域表征车辆座位在图像中的覆盖区域,每个车辆座位对应一个参考区域。目标对象的参考区域则表示目标对象。
51.在本实施例中,执行主体可以根据目标检测框在目标图像中的位置以及车辆座位在图像中的覆盖区域,确定目标检测框所处的参考区域,即可确定目标检测框表征的目标对象的参考区域。
52.如图2所示,三条分界线分别与图像的边界形成3个封闭区域,其中,分界线210以上的区域为后排区域,分界线220左边的区域为副驾区域,分界线230右边的区域为主驾区域,相应地,主驾区域为主驾驶座位对应的参考区域,副驾区域为副驾驶座位对应的区域,后排区域为后排座位对应的参考区域。
53.作为示例,目标检测框240的参考区域可以是后排区域和副驾区域,目标检测框250的参考区域可以是后排区域、副驾区域和主驾区域。
54.可选的,当一个目标检测框跨越多个参考区域时,可以将该多个参考区域全部确定为目标检测框表征的目标对象的参考区域。
55.步骤150、基于目标检测框和各目标对象的参考区域,确定各目标对象的目标参考
区域。
56.在本实施例中,可以根据目标检测框与各个参考区域的相对关系,确定目标对象的目标参考区域。
57.可选的,当参考区域中包含的目标检测框的数量超过该参考区域对应的车辆座位的可乘坐数量时,可以基于目标检测框的特征属性对各个目标检测框进行筛选,从中确定出符合数量要求的目标检测框,并将筛选出来的目标检测框表征的目标对象的目标参考区域确定为该参考区域。当参考区域中包含的目标检测框的数量不超过可乘坐数量时,可以直接将该参考区域确定为各个目标检测框表征的目标对象的目标参考区域。
58.作为示例,可以根据目标检测框的大小对不同的参考区域中的目标检测框进行筛选。对于后排座位对应的参考区域,可以优先选取较小的目标检测框;对于主驾或副驾对应的参考区域,可以优先选取较大的目标检测框。
59.再例如,还可以根据目标检测框的位置对不同的参考区域中的目标检测框进行筛选。对于主驾对应的参考区域,可以优先选取位置靠右的目标检测框;对于副驾对应的参考区域,可以优先选取位置靠左的目标检测框。
60.再例如,还可以根据目标检测框与参考区域的重叠程度对各个目标检测框进行筛选,可以优先选取重叠程度高的目标检测框。
61.可选的,当一个目标检测框同时对应多个参考区域时,可以先计算出目标检测框分别与多个参考区域的重叠面积,然后将重叠面积最大的参考区域确定为该目标检测框表征的目标对象的目标参考区域。
62.步骤160、将各目标对象的目标参考区域对应的车辆座位确定为各目标对象在目标车辆中的座位。
63.继续结合图2对本实施例中的确定车辆中目标对象的位置的方法进行示例性说明。
64.相关技术通常是根据人脸检测框的尺寸预测估计车内人员的位置,例如当人脸检测框的尺寸较大时,则预测该人脸检测框对应的车内人员位于车辆内部的前排座位。然而,人脸检测框的大小是与车内人员的脸部尺寸正相关的,车内人员的脸部尺寸较大,识别出的人脸检测框尺寸也就越大,如图2中的目标检测框240被预测为前排座位的概率较大。而在本实施例中,根据区域划分策略可以确定目标检测框240的参考区域为副驾区域和后排区域,然后可以根据目标检测框240与两个区域的重叠程度,确定目标检测框240的目标参考区域为后排区域,从而避免了车内人员的身体特征对预测结果的干扰。
65.再例如,当后排乘坐人员的头部向前排倾斜时,同样会造成人脸检测框的尺寸变大,例如图2中的目标检测框250。在这种情况下,相关技术中将目标检测框250预测为前排座位的概率较大。而在本实施例中,目标检测框250的参考区域可以包括副驾区域、后排区域和主驾区域,然后再从这三个区域中筛选出目标参考区域,例如当副驾区域和主驾区域均存在其他目标检测框时,可以将目标检测框250的目标参考区域确定为后排区域,从而避免了车内人员的动作对预测结果的干扰。
66.本实施例中的确定车辆中目标对象的位置的方法,从车辆内部的目标图像中识别出各个目标对象的目标检测框,根据车辆的场景信息对应的区域划分策略和目标检测框,确定各个目标对象的参考区域;然后根据目标检测框和各个目标对象的参考区域,确定各
个目标对象的目标参考区域,并将目标参考区域的对应的车辆座位确定为各个目标对象在目标车辆中的座位。与根据人脸检测框直接估计目标对象的车辆座位相比,可以有效避免车内人员的动作和身体特征等干扰信息对确定目标对象的位置时的干扰,有助于更准确地确定目标对象在目标车辆中的位置。
67.接着参考图3,图3示出了本公开的确定车辆中目标对象的位置的方法的一个实施例中确定参考区域的流程图,如图3所示,上述步骤140可以进一步包括以下步骤。
68.步骤310、基于区域划分策略,对各目标检测框进行车内座位的前后排划分,确定前排目标检测框和后排目标检测框。
69.在本实施例中,执行主体可以根据区域划分策略确定前排座位和后排座位的覆盖区域,然后将位于前排座位的覆盖区域中的目标检测框确定为前排目标检测框,将位于后排座位的覆盖区域中的目标检测框确定为后排目标检测框。
70.在本实施例的一些可选的实施方式中,还可以获取目标图像和检测框的深度信息,区域划分策略还可以包括深度阈值,当目标检测框的深度值大于深度阈值时,可以将目标检测框确定为后排目标检测框;当目标检测框不大于深度阈值时,可以将目标检测框确定为前排目标检测框。
71.再例如,当目标检测框跨越多个参考区域时,可以首先根据目标检测框与各个参考区域的重叠面积对目标检测框进行前后排划分,例如图2中的目标检测框240,可以首先确定目标检测框240分别与后排区域、前排区域的重叠面积,然后确定两个重叠面积的差值,若差值大于预设的阈值,可以将后排区域确定为目标检测框240的参考区域。而对于目标检测框250,其与前排区域、后排区域的重叠面积相近,此时可以对比目标检测框250的深度值与深度阈值,若深度值大于深度阈值,则将后排区域确定为目标检测框250的参考区域;若深度值不大于深度阈值,则将前排区域确定为目标检测框250的参考区域。
72.在本实施方式中,可以基于目标检测框的深度信息对目标检测框进行前后排划分,可以更准确地对目标检测框进行前后排划分。
73.步骤320、基于区域划分策略,对前排目标检测框进行车内座位的主副驾划分,确定主驾目标检测框和副驾目标检测框。
74.在本实施例中,执行主体可以根据区域划分策略确定主驾座位和副驾座位的覆盖区域,然后位于主驾座位的覆盖区域中的前排目标检测框确定为主驾目标检测框,将位于副驾座位的覆盖区域中的前排检测框确定为副驾目标检测框。
75.步骤330、基于主驾目标检测框、副驾目标检测框、后排目标检测框,确定各目标对象的参考区域分别为主驾、副驾、后排对应的参考区域。
76.图3所示的实施例体现了基于区域划分策略先对各个目标检测框进行前后排划分、再对前排目标检测框进行主副驾划分的步骤,有助于提高确定目标对象的参考区域的效率和准确度。
77.接着参考图4,图4示出了本公开的确定车辆中目标对象的位置的方法的一个实施例中确定目标参考区域的流程图,如图4所示,上述步骤150可以进一步包括以下步骤。
78.步骤410、确定各目标对象的参考区域中目标检测框的数量。
79.实践中,当目标图像中的目标对象处于移动状态时,可能会导致目标检测框无法准确表征目标对象的乘坐位置。例如,当后排乘客将身体伸到前排时,该后排乘客的目标检
测框就处于前排座位的参考区域中,从而对确定目标对象的位置造成了干扰。
80.考虑到这种情况,本实施例可以根据参考区域中包含的目标检测框的数量对参考区域中的干扰检测框进行筛选。当目标对象的参考区域中目标检测框的数量不大于预设数量,执行步骤420。当目标对象的参考区域中目标检测框的数量大于预设数量时,执行步骤430至步骤450。其中,预设数量可以是参考区域对应的座位的可乘坐数量,例如,主驾和副驾的可乘坐数量均为1,则前排区域的预设数量可以为2。当前排目标检测框的数量为3时,表示前排区域存在1个干扰检测框,则执行步骤430至步骤450。当前排检测框的数量不大于2时,表示不存在干扰检测框,则执行步骤420。
81.可选的,预设数量还可以是座位上的实时乘坐数量,例如执行主体可以获取座椅的传感器数据,并通过传感器数据预测出当前乘坐在该座椅上的对象数量,并将该对象数量确定为预设数量。如此一来,可以根据目标车辆中的座位的实时乘坐数量排除目标对象的动作对结果造成的干扰,有助于提高准确度。
82.在本实施例中,当目标对象的参考区域中目标检测框的数量不大于预设数量时,执行步骤420,当目标检测框的数量大于预设数量时,则执行步骤430至步骤450。
83.步骤420、将目标对象的参考区域确定为目标对象的目标参考区域。
84.在本实施例中,当目标对象的参考区域中目标检测框的数量不大于预设数量,表示参考区域中不存在干扰检测框,此时可以将目标对象的参考区域直接确定为目标对象的目标参考区域。
85.步骤430、将目标对象的参考区域确定为竞争区域。
86.在本实施例中,响应于目标对象的参考区域中目标检测框的数量大于预设数量,可以将目标对象的参考区域确定为竞争区域,以便于通过竞争策略对各个目标检测框进行筛选。
87.步骤440、基于区域划分策略,从竞争区域中确定出预设数量的第一目标检测框,将第一目标检测框对应的目标对象作为第一目标对象。
88.在本实施例中,区域划分策略还可以包括参考区域中目标检测框的竞争策略,用于对参考区域中的各个目标检测框进行筛选。
89.作为示例,执行主体可以根据目标检测框的大小和位置对竞争区域中的目标检测框进行筛选,例如,当竞争区域为驾驶区域时,可以根据目标检测框的大小确定面积权重,面积权重与目标检测框的大小正相关;同时,可以根据目标检测框的位置确定位置权重,目标检测框的位置越靠右,位置权重越大。之后,根据面积权重与位置权重之和对各个目标检测框进行排序,从中选出面积权重与位置权重之和最大的目标检测框,作为第一目标检测框,第一目标检测框对应的目标对象则为第一目标对象。
90.在本实施例的一些可选的实施方式中,步骤440还可以进一步包括:确定各目标检测框与竞争区域的重叠度;基于各目标检测框与竞争区域的重叠度,从各目标检测框中确定出预设数量的第一目标检测框。
91.在本实施方式中,重叠度可以表示目标检测框与竞争区域的重叠面积。执行主体可以首先确定各个目标检测框与竞争区域的重叠面积,并按照由大到小的顺序从各个目标检测框中选取出预设数量的第一目标检测框。可以更快速、更准确地对竞争区域中的目标检测框进行筛选。
92.在本实施例的一些可选的实施方式中,还可以按照图3所示的实施例中的次序依次对各个参考区域中的目标检测框进行筛选。例如,可以首先对前排区域目标检测框执行步骤410至步骤440,确定出前排目标检测框和后排目标检测框之后,再对主驾区域中的前排目标检测框执行步骤410至步骤440,确定出主驾对应的参考区域这中的第一目标检测框;然后再对副驾区域中的前排目标检测框执行步骤410至步骤440,确定出副驾对应的参考区域中的第一目标检测框;之后,再对后排检测框执行步骤410至步骤440,去顶出后排对应的参考区域中的第一目标检测框。
93.步骤450、将竞争区域确定为第一目标对象的目标参考区域。图4所示的实施例,体现了根据区域划分策略对参考区域中的目标检测框进行筛选,以确定目标对象的目标参考区域的步骤,可以结合参考区域对应的预设数量排除参考区域中的干扰检测框,避免处于运动状态的目标对象对预测过程造成的干扰,有助于提高本实施例中的确定车辆中目标对象的位置的方法的抗干扰性和准确度。
94.进一步参考图5,图5示出了本公开的确定车辆中目标对象的位置的方法的一个实施例中确定第一目标检测框和第一目标对象的流程图,如图5所示,上述步骤440可以进一步包括以下步骤。
95.步骤510、基于区域划分策略,获取竞争区域的检测框映射关系。
96.其中,检测框映射关系表征检测框的属性与覆盖参考区域的权重的对应关系。
97.在本实施例中,区域划分策略可以包括各个参考区域的检测框映射关系,以便于执行主体根据目标检测框的属性从检测框映射关系中确定出对应的权重。目标检测框的覆盖参考区域的权重可以表示目标对象位于该参考区域对应的座位的概率,覆盖参考区域的权重越大表示目标对象位于该参考区域对应的座位的概率越大。
98.检测框映射关系可以包括检测框的一种或多种属性与覆盖参考区域的权重的对应关系,检测框的属性例如可以包括检测框的大小、位置、深度信息、与参考区域的重叠面积等。
99.在本实施例的一些可选的实施方式中,检测框映射关系可以通过如下方式确定:根据场景信息,获取多个样本图像;识别出样本图像中包含的对象的检测框,并根据对象乘坐的座位,标记出各个检测框对应的座位标签;对多个样本图像进行统计分析,确定出具有相同标签的各个检测框,然后对确定处的各个检测框的属性进行统计,确定出具有相同属性的检测框的数量,并根据数量确定该属性对应的权重。
100.在本实施方式中,可以通过对多个样本图像中包含的检测框的属性进行统计分析,确定检测框的属性与覆盖区域的权重的对应关系,进而得到参考区域的检测框映射关系,通过检测框映射关系可以更准确地刻画检测框的属性与对象位于参考区域中的概率的关联。
101.步骤520、基于各目标检测框的属性以及检测框映射关系,确定各目标检测框的覆盖参考区域的权重。
102.作为示例,检测框映射关系中可以包括检测框的大小与第一权重的对应关系、检测框的位置与第二权重的对应关系、检测框的重叠度与第三权重的对应关系以及深度信息与第四权重的对应关系。每个竞争区域可以包括上述一个或多个对应关系。例如,当检测框映射关系包括上述四个对应关系时,执行主体可以根据检测框的大小、位置、深度信息和重
叠度,分别从上述三个对应关系中确定出第一权重、第二权重、第三权重和第四权重,然后将第一权重、第二权重、第三权重和第四权重之和确定为目标检测框的覆盖参考区域的权重。
103.再例如,不同竞争区域的检测框映射关系可以包括不同的对应关系。例如后排区域作为竞争区域,检测框映射关系可以包括深度信息与第四权重的对应关系,执行主体可以根据目标检测框的深度信息确定对应的权重;主驾区域和副驾区域作为竞争区域,检测框映射关系则可以包括位置与第二权重的对应关系、深度信息与第四权重的对应关系。
104.步骤530、基于各目标检测框的覆盖参考区域的权重,从各目标检测框中确定出预设数量的第一目标检测框,并将第一目标检测框对应的目标对象作为第一目标对象。
105.作为示例,执行主体可以根据步骤520中确定出的各个目标检测框的覆盖参考区域的权重,按照从大到小的顺序对各个目标检测框进行排序,然后将排序靠前的预设数量的目标检测框确定为第一目标检测框,并将第一目标检测框对应的目标对象作为第一目标对象。
106.图5所示的实施例体现了根据检测框映射关系以及目标检测框的属性对竞争区域中的各个目标检测框进行筛选的步骤,可以更精确地排除干扰检测框,有助于更准确地确定目标对象在车辆中的位置。
107.接着参考图6,图6示出了本公开的确定车辆中目标对象的位置的方法的又一个实施例中确定目标参考区域的流程图。图4所示的实施例还可以包括图6所示的流程,如图6所示,该流程包括以下步骤。
108.步骤610、基于各目标对象的参考区域的优先级,确定竞争区域和候选参考区域。
109.在本实施例中,可以预先设定各个参考区域的优先级,例如,主驾对应的参考区域的优先级高于副驾对应的参考区域,副驾对应的参考区域的优先级高于后排座位对应的参考区域。但多个参考区域中的目标检测框的数量大于预设数量时,可以将其中优先级最高的参考区域确定为竞争区域,并将优先级仅次于竞争区域的参考区域确定为候选参考区域。
110.步骤620、从竞争区域中的各目标检测框中确定出预设数量的第一目标检测框,将第一目标检测框对应的目标对象作为第一目标对象。
111.步骤620与上述步骤430相对应,此处不再赘述。
112.步骤630、将竞争区域中除第一目标检测框之外的各目标检测框作为第二目标检测框,将候选参考区域中的各目标检测框作为第三目标检测框。
113.步骤640、从各第二目标检测框和各第三目标检测框中确定候选参考区域的第四目标检测框,将第四目标检测框对应的目标对象作为第四目标对象。
114.在本实施例中,执行主体可以通过图4和图5所示的流程,对候选参考区域中的各第二目标检测框和各第三目标检测框进行筛选,从中确定出预设数量的第四目标检测框。
115.步骤650、将候选参考区域确定为第四目标对象的目标参考区域。
116.进一步结合图7进行示例性说明,如图7所示,主驾区域中包含的目标检测框710、720、730,副驾区域中包含目标检测框740、750,后排区域中包含目标检测框760。则根据各个参考区域的优先级,将主驾区域确定为竞争区域,将副驾区域确定为候选参考区域。之后,执行主体可以对目标检测框710、720、730执行图4和图5所示的流程,将目标检测框710
确定为第一目标检测框,则目标检测框720、730被确定为第二目标检测框,目标检测框740、750被确定为第三目标检测框。之后,执行主体可以对目标检测框720、730、740、750执行图4和图5所示的流程,将目标检测框720确定为第四目标检测框。相应地,目标检测框710表征的目标对象的目标参考区域为主驾区域,目标检测框720表征的目标对象的目标参考区域为副驾区域。
117.可选的,步骤650之后,可以对优先级次于候选参考区域的其他参考区域再次执行步骤610,以确定新的竞争区域和候选参考区域,并对新的竞争区域和候选参考区域执行步骤620至步骤650,以对其中的目标检测框进行筛选,直至所有参考区域均被遍历,完成对目标车辆内的目标对象的位置的确认流程。
118.进一步的,若所有参考区域均被遍历之后,仍存在未确定目标参考区域的目标检测框,将该未确定目标参考区域的目标检测框确定为无效检测框,并将无效检测框对应的目标对象确定为无效对象。作为示例,无效对象可以是目标车辆外部的对象。
119.在图6所示的实施例中,可以根据预设的优先级确定竞争区域和候选参考区域,在确定出竞争区域中的第一目标检测框之后,将竞争区域中剩余的第二目标检测框并入候选参考区域中,从第二目标检测框和候选参考区域中包含的第三目标检测框中筛选出第四目标检测框。实现了根据优先级对各个参考区域中的目标检测框进行筛选,有助于进一步提高确定目标对象在车辆中的位置的准确度。
120.接着参考图8,图8示出了本公开的确定车辆中目标对象的位置的方法一个实施例中确定区域划分策略的流程图。上述任一实施例可以采用图8所示的流程确定区域划分策略,如图8所示,该流程包括以下步骤。
121.步骤810、获取场景信息对应的参考图像。
122.其中,参考图像为场景信息对应的参考车辆内部的图像。
123.在本市实施例中,参考车辆与目标车辆为同一种型号的车辆,两者具有相同的空间结构和布局等特征,即参考车辆与目标车辆具有相同的场景信息。
124.需要说明的是,参考图像与目标图像为相同预设型号的图像采集设备、以相同拍摄姿态进行采集得到的,以确保两者具有相同的图像参数。
125.步骤820、基于参考对象在参考车辆中的座位,确定参考对象在参考图像中的座位标签,并将标记后的参考图像作为图像样本。
126.在本实施例中,参考对象为参考图像中包含的对象。
127.步骤830、确定参考对象在图像样本中的参考检测框,并将参考对象的座位标签确定为参考检测框对应的座位标签。
128.步骤840、确定每个座位标签对应的参考检测框在图像样本中的分布区域。
129.在本实施例中,执行主体可以对图像样本进行统计分析,确定出每个座位标签对应的参考检测框,并对确定出的参考检测框的覆盖区域进行汇总,可以得到每个座位标签对应的参考检测框在图像样本中的分布区域。
130.步骤850、基于每个座位标签对应的参考检测框在图像样本中的分布区域,确定参考车辆的车辆座位在图像样本中的参考区域。
131.在本实施例中,执行主体可以将座位标签对应的参考检测框在图像样本中的分布区域确定为车辆座位的参考区域。
132.步骤860、基于参考车辆的车辆座位在图像样本中的参考区域,确定区域划分策略。
133.作为示例,执行主体可以将参考车辆的各个车辆座位在图像样本中的参考区域汇总,即可得到场景信息对应的区域划分策略。
134.在图8所示的实施例中,通过对具有相同场景信息的图像样本进行分析,确定出参考车辆的车辆座位在图像样本中的参考区域,以此得到场景信息对应的区域划分策略,可以适用于目标车辆,有助于提高目标车辆中区域划分的准确度和效率,从而进一步提高本实施例中确定车辆中目标对象的位置的方法的准确度和运算效率。
135.本公开实施例提供的任一种确定车辆中目标对象的位置的方法可以由任意适当的具有数据处理能力的设备执行,包括但不限于:终端设备和服务器等。或者,本公开实施例提供的任一种确定车辆中目标对象的位置的方法可以由处理器执行,如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种确定车辆中目标对象的位置的方法。下文不再赘述。
136.示例性装置
137.图9示出了本公开的确定车辆中目标对象的位置的装置的一个实施例的结构示意图,如图9所示,该装置包括:信息获取单元910,被配置成获取目标车辆的场景信息和目标车辆内部的目标图像;对象检测单元920,被配置成基于目标图像,确定目标图像中各目标对象的目标检测框;策略获取单元930,被配置成基于场景信息,获取目标车辆对应的区域划分策略;区域划分单元940,被配置成基于目标检测框和区域划分策略,确定各目标对象的参考区域;区域确定单元950,被配置成基于目标检测框和各目标对象的参考区域,确定各目标对象的目标参考区域;位置确定单元960,被配置成将各目标对象的目标参考区域对应的车辆座位确定为各目标对象在目标车辆中的座位。
138.在其中一个实施方式中,区域划分单元940进一步包括:第一划分模块,被配置成基于区域划分策略,对各目标检测框进行车内座位的前后排划分,确定前排目标检测框和后排目标检测框;第二划分模块,被配置成基于区域划分策略,对前排目标检测框进行车内座位的主副驾划分,确定主驾目标检测框和副驾目标检测框;区域确定模块,被配置成基于主驾目标检测框、副驾目标检测框、后排目标检测框,确定各目标对象的参考区域分别为主驾、副驾、后排对应的参考区域。
139.在其中一个实施方式中,区域确定单元950进一步包括:数量确定模块,被配置成确定各目标对象的参考区域中目标检测框的数量;第一确定模块,被配置成响应于目标对象的参考区域中目标检测框的数量不大于预设数量,将目标对象的参考区域确定为目标对象的目标参考区域。
140.在其中一个实施方式中,该装置还包括竞争单元,被配置成响应于目标对象的参考区域中目标检测框的数量大于预设数量,将目标对象的参考区域确定为竞争区域;基于区域划分策略,从竞争区域中确定出预设数量的第一目标检测框,将第一目标检测框对应的目标对象作为第一目标对象;将竞争区域确定为第一目标对象的目标参考区域。
141.在其中一个实施方式中,竞争单元被进一步配置成:基于区域划分策略,获取竞争区域的检测框映射关系,检测框映射关系表征检测框的属性与覆盖参考区域的权重的对应关系;基于各目标检测框的属性以及检测框映射关系,确定各目标检测框的覆盖参考区域
的权重;基于各目标检测框的覆盖参考区域的权重,从各目标检测框中确定出预设数量的第一目标检测框,并将第一目标检测框对应的目标对象作为第一目标对象。
142.在其中一个实施方式中,竞争单元被进一步配置成:确定各目标检测框与竞争区域的重叠度;基于各目标检测框与竞争区域的重叠度,从各目标检测框中确定出预设数量的第一目标检测框。
143.在其中一个实施方式中,该装置还包括:优先级单元,被配置成基于各目标对象的参考区域的优先级,确定竞争区域和候选参考区域;竞争单元还被配置成:将竞争区域中除第一目标检测框之外的各目标检测框作为第二目标检测框,将候选参考区域中的各目标检测框作为第三目标检测框。从各第二目标检测框和各第三目标检测框中确定候选参考区域的第四目标检测框,将第四目标检测框对应的目标对象作为第四目标对象;将候选参考区域确定为第四目标对象的目标参考区域。
144.在其中一个实施方式中,该装置还包括策略生成单元,被配置成:获取场景信息对应的参考图像,参考图像为场景信息对应的参考车辆内部的图像;基于参考对象在参考车辆中的座位,确定参考对象在参考图像中的座位标签,并将标记后的参考图像作为图像样本;确定参考对象在图像样本中的参考检测框,并将参考对象的座位标签确定为参考检测框对应的座位标签;确定每个座位标签对应的参考检测框在图像样本中的分布区域;基于每个座位标签对应的参考检测框在图像样本中的分布区域,确定参考车辆的车辆座位在图像样本中的参考区域;基于参考车辆的车辆座位在图像样本中的参考区域,确定区域划分策略。
145.示例性电子设备
146.下面,参考图10来描述根据本公开实施例的电子设备。图图示了根据本公开实施例的电子设备的框图。如图10所示,电子设备1000包括一个或多个处理器1010和存储器1020。
147.处理器1010可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备1000中的其他组件以执行期望的功能。
148.存储器1020可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器11可以运行所述程序指令,以实现上文所述的本公开的各个实施例的确定车辆中目标对象的位置的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
149.在一个示例中,电子设备1000还可以包括:输入装置1030和输出装置1040,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。该输入装置1030可以是上述的麦克风或麦克风阵列,用于捕捉声源的输入信号。在该电子设备是单机设备时,该输入装置1030可以是通信网络连接器。
150.此外,该输入设备1030还可以包括例如键盘、鼠标等等。
151.该输出装置1040可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出设备1040可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输
出设备等等。
152.当然,为了简化,图10中仅示出了该电子设备1000中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备1000还可以包括任何其他适当的组件。
153.示例性计算机程序产品和计算机可读存储介质
154.除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的确定车辆中目标对象的位置的方法中的步骤。
155.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如java、c 等,还包括常规的过程式程序设计语言,诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
156.此外,本公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的确定车辆中目标对象的位置的方法中的步骤。
157.所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
158.以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
159.本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
160.本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
161.可能以许多方式来实现本公开的方法和装置。例如,可通过软件、硬件、固件或者
软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
162.还需要指出的是,在本公开的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
163.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
164.为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献