一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

兴趣点的信息识别方法、模型训练方法、装置和设备与流程

2022-07-02 07:11:16 来源:中国专利 TAG:


1.本公开涉及人工智能中的语音技术、地图导航、深度学习、自动驾驶、智能交通、车联网和智能座舱等领域,尤其涉及一种兴趣点的信息识别方法、模型训练方法、装置和设备。


背景技术:

2.随着科技的发展,提供了导航技术,以便于用户的出行。在为用户提供导航时,兴趣点(point of interest,简称poi)的通行信息的准确性对于导航准确性至关重要。其中,通行信息,指的是可以指示出兴趣点的通行性的信息。通行信息,包括以下的一种或多种:兴趣点的可通行通道口、兴趣点的可通行通道口的朝向、兴趣点的位置、等等。
3.如何准确、快速的确定出兴趣点的通行信息,是一个亟需解决的问题。


技术实现要素:

4.本公开提供了一种用于准确、快速的确定出兴趣点的通行信息的兴趣点的信息识别方法、模型训练方法、装置和设备。
5.根据本公开的第一方面,提供了一种兴趣点的信息识别方法,所述方法包括:
6.获取待识别兴趣点的初始信息;其中,所述初始信息中包括所述待识别兴趣点在当前时段下的轨迹信息,所述轨迹信息表征以兴趣点为关键位置的轨迹;
7.获取所述待识别兴趣点的相关性特征;其中,所述相关性特征表征同一兴趣点在同一时段下的通行信息与轨迹信息之间的相关性;所述通行信息为可指示出兴趣点的通行性的信息;
8.根据所述待识别兴趣点在当前时段下的轨迹信息、以及所述相关性特征,确定所述待识别兴趣点在当前时段下的通行信息。
9.根据本公开的第二方面,提供了一种应用于兴趣点的信息识别的模型训练方法,所述方法包括:
10.获取待训练兴趣点集合;其中,所述待训练兴趣点集合中包括多个待训练兴趣点,所述待训练兴趣点具有通行信息和轨迹信息,所述通行信息为可指示出兴趣点的通行性的信息,所述轨迹信息表征以兴趣点为关键位置的轨迹;
11.根据所述待训练兴趣点的通行信息和轨迹信息,确定所述待训练兴趣点的相关性特征;其中,所述相关性特征表征同一兴趣点在同一时段下的通行信息与轨迹信息之间的相关性;
12.对所述待训练兴趣点的相关性特征进行训练处理,得到识别模型;其中,所述识别模型用于识别待识别兴趣点的通行信息。
13.根据本公开的三方面,提供了一种兴趣点的信息识别装置,所述装置包括:
14.第一获取单元,用于获取待识别兴趣点的初始信息;其中,所述初始信息中包括所述待识别兴趣点在当前时段下的轨迹信息,所述轨迹信息表征以兴趣点为关键位置的轨
迹;
15.第二获取单元,用于获取所述待识别兴趣点的相关性特征;其中,所述相关性特征表征同一兴趣点在同一时段下的通行信息与轨迹信息之间的相关性;所述通行信息为可指示出兴趣点的通行性的信息;
16.确定单元,用于根据所述待识别兴趣点在当前时段下的轨迹信息、以及所述相关性特征,确定所述待识别兴趣点在当前时段下的通行信息。
17.根据本公开的四方面,提供了一种应用于兴趣点的信息识别的模型训练装置,所述装置包括:
18.第一获取单元,用于获取待训练兴趣点集合;其中,所述待训练兴趣点集合中包括多个待训练兴趣点,所述待训练兴趣点具有通行信息和轨迹信息,所述通行信息为可指示出兴趣点的通行性的信息,所述轨迹信息表征以兴趣点为关键位置的轨迹;
19.确定单元,用于根据所述待训练兴趣点的通行信息和轨迹信息,确定所述待训练兴趣点的相关性特征;其中,所述相关性特征表征同一兴趣点在同一时段下的通行信息与轨迹信息之间的相关性;
20.训练单元,用于对所述待训练兴趣点的相关性特征进行训练处理,得到识别模型;其中,所述识别模型用于识别待识别兴趣点的通行信息。
21.根据本公开的第五方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面或第二方面所述的方法。
22.根据本公开的第六方面,提供一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行第一方面或第二方面所述的方法。
23.根据本公开的第七方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面或第二方面所述的方法。
24.根据本公开的第八方面,提供了一种自动驾驶车辆,所述自动驾驶车辆中设置有第五方面提供的电子设备。
25.根据本公开的技术方案,通过获取待识别兴趣点的相关性特征,相关性特征表征同一兴趣点在同一时段下的通行信息与轨迹信息之间的相关性;可以基于待识别兴趣点在当前时段下的轨迹信息、以及待识别兴趣点的相关性特征,确定出待识别兴趣点在当前时段下的通行信息。不需要采集车或人工去获取待识别兴趣点在当前时段下的通行信息,基于相关性特征可以准确、快速的确定出待识别兴趣点在当前时段下的通行信息;减少了时间成本和人工成本,并且提高了效率。并且,针对待识别兴趣点,只需要待识别兴趣点的位于当前时段下一条轨迹信息,就可以确定出待识别兴趣点在当前时段下的通行信息,不需要多条轨迹信息去得到当前时段下的通行信息;可以及时的确定出待识别兴趣点在当前时段下的通行信息。
26.应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
27.附图用于更好地理解本方案,不构成对本公开的限定。其中:
28.图1是可以实现本公开实施例的场景图一;
29.图2是可以实现本公开实施例的场景图二;
30.图3是根据本公开第一实施例的示意图;
31.图4是根据本公开第二实施例的示意图;
32.图5是根据本公开提供的特征信息的示意图一;
33.图6是根据本公开第三实施例的示意图;
34.图7是根据本公开提供的识别模型的结构示意图;
35.图8是根据本公开第四实施例的示意图;
36.图9是根据本公开第五实施例的示意图;
37.图10是根据本公开提供的特征信息的示意图二;
38.图11是根据本公开第六实施例的示意图;
39.图12是根据本公开提供的初始模型的结构示意图;
40.图13是根据本公开第七实施例的示意图;
41.图14是根据本公开第八实施例的示意图;
42.图15是根据本公开第九实施例的示意图;
43.图16是根据本公开第十实施例的示意图;
44.图17是根据本公开第十一实施例的示意图;
45.图18示出了可以用来实施本公开的实施例的示例电子设备1800的示意性框图。
具体实施方式
46.以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
47.随着科技的发展,提供了导航技术,以便于用户的出行。在为用户提供导航时,兴趣点(point of interest,简称poi)的通行信息的准确性对于导航准确性至关重要。兴趣点可以为终点,或者,兴趣点为用户路径上的重要位置点。
48.其中,通行信息,指的是可以指示出兴趣点的通行性的信息。通行信息,包括以下的一种或多种:兴趣点的可通行通道口、兴趣点的可通行通道口的朝向、兴趣点的位置、等等。
49.例如,对于一个兴趣点a,兴趣点a的通行信息为兴趣点的a口是否开放。a口为兴趣点a的入口或者出口。
50.若兴趣点的通行信息错误,则无法为用户或车辆提供准确的导航路径。若兴趣点的通行信息错误,则为用户或车辆提供的导航路径是错误的,使得用户或车辆无法准确、无法及时的抵达或经过兴趣点。例如,兴趣点a是终点,兴趣点a的入口a是不开放的,但是却确定兴趣点的入口a是开放的;则所生成的以兴趣点a为终点、以兴趣点a的入口a为入口的导航路径是错误的,车辆无法进入兴趣点a。从而需要准确、快速的确定出兴趣点的通行信息。
51.一个示例中,可以通过采集车去采集兴趣点的通行信息。在采集的过程中,会遇到很多实际问题。例如,兴趣点的搬迁,则导致兴趣点的通行信息变更正了;兴趣点的通行信息失效,则需要重新采集兴趣点的通行信息;兴趣点所位于的道路正在修路、封闭等,则无法采集兴趣点的通行信息。
52.从而,在上述方式中,需要大量的时间和成本去采集兴趣点的通行信息。并且因为会遇到很多实际问题,无法及时的采集到兴趣点的通行信息;不便于后续的为用户或车辆提供兴趣点的通行信息,不便于为用户或车辆提供导航。并且,上述方式中需要基于多条轨迹,确定出兴趣点的当前的通行信息;但是轨迹是滞后的,需要一定时间去得到多条估计,进而无法及时、快速的得到兴趣点的当前的通行信息。可知,上述方式无法准确、快速的确定出兴趣点的通行信息。
53.一个示例中,可以采集到用户的历史轨迹,历史轨迹可以指示出兴趣点的通行信息。可以人工的对用户的历史轨迹进行辨别,进而得到兴趣点的通行信息。例如,兴趣点为终点,从而历史轨迹中可以看出兴趣点的入口是否开放,进而可以人工的辨别出兴趣点的通行信息。
54.但是上述方式中,需要人工的对很多条历史轨迹进行辨别,进而得到各个兴趣点的通行信息;从而需要消耗大量的人工成本;并且效率减低,且人工的方式容易出现错误。并且,若出现兴趣点的搬迁、或者兴趣点的通行信息失效、等等情况,则需要人工的再次对历史轨迹进行辨别,以重新得到兴趣点的通行信息;需要等待较长时间。并且,上述方式中需要人工的基于多条轨迹,确定出兴趣点的当前的通行信息;但是轨迹是滞后的,需要一定时间去得到多条估计,进而无法及时、快速的得到兴趣点的当前的通行信息。从而,上述方式无法准确、快速的确定出兴趣点的通行信息。
55.本公开提供一种兴趣点的信息识别方法、模型训练方法、装置和设备,人工智能中的语音技术、地图导航、深度学习、自动驾驶、智能交通、车联网和智能座舱等领域,以达到准确、快速的确定出兴趣点的通行信息的目的。
56.本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
57.图1是可以实现本公开实施例的场景图一,如图1所示,在用户基于移动终端101进行导航时,移动终端101需要获取到兴趣点的通行信息。通行信息,指的是可以指示出兴趣点的通行性的信息。通行信息,包括以下的一种或多种:兴趣点的可通行通道口、兴趣点的可通行通道口的朝向、兴趣点的位置、等等。例如,对于一个兴趣点a,兴趣点a的通行信息为兴趣点的a口是否开放。a口为兴趣点a的入口或者出口。然后,移动终端101基于兴趣点的通行信息为用户提供导航路径,进而为用户提供导航。
58.图2是可以实现本公开实施例的场景图二,如图2所示,在自动驾驶车辆或用户基于车载终端201进行导航时,车载终端201需要获取到兴趣点的通行信息。通行信息,指的是可以指示出兴趣点的通行性的信息。通行信息,包括以下的一种或多种:兴趣点的可通行通道口、兴趣点的可通行通道口的朝向、兴趣点的位置、等等。例如,对于一个兴趣点a,兴趣点a的通行信息为兴趣点的a口是否开放。a口为兴趣点a的入口或者出口。然后,车载终端201基于兴趣点的通行信息为自动驾驶车辆或用户提供导航路径,进而为自动驾驶车辆或用户提供导航。
59.图3是根据本公开第一实施例的示意图,如图3所示,本实施例提供的兴趣点的信息识别方法,包括:
60.s301、获取待识别兴趣点的初始信息;其中,初始信息中包括待识别兴趣点在当前时段下的轨迹信息,轨迹信息表征以兴趣点为关键位置的轨迹。
61.示例性地,本实施例以执行主体可以是服务器、或者终端设备、或者电子设备、或者自动驾驶车辆、或者自动驾驶车辆上的控制器、或者远程设备、或者兴趣点的信息识别装置或设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为电子设备进行说明。
62.获取待识别兴趣点。可以从其他设备中获取待识别兴趣点,或者从本地获取待识别兴趣点。
63.本实施例中需要获取待识别兴趣点的初始信息,初始信息中包括待识别兴趣点在当前时段下的轨迹信息。从而基于待识别兴趣点的初始信息,确定出待识别兴趣点在当前时段下的通行信息。
64.通行信息,指的是,可以指示出兴趣点的通行性的信息。通行信息,包括以下的一种或多种:兴趣点的可通行通道口、兴趣点的可通行通道口的朝向、兴趣点的位置、兴趣点的开放时间、等等。
65.例如,对于一个兴趣点a,兴趣点的可通行通道口,指的是,兴趣点a的通行信息为兴趣点的a口是否开放。a口为兴趣点a的入口或者出口。
66.再例如,对于一个兴趣点a,兴趣点的可通行通道口的朝向,指的是,兴趣点a的通行信息为兴趣点的入口的朝向;或者,兴趣点a的通行信息为兴趣点的出口的朝向。
67.再例如,对于一个兴趣点a,兴趣点的位置,指的是,兴趣点a的通行信息为兴趣点的入口的具体位置。兴趣点a的通行信息为兴趣点的出口的具体位置。
68.再例如,对于一个兴趣点a,兴趣点的开放时间,指的是,兴趣点a的通行信息为兴趣点是时刻1至时刻2期间是开放的。
69.轨迹信息,指的是,以兴趣点为关键位置的轨迹。轨迹可以为用户的行驶轨迹;或者,轨迹可以为车辆的行驶轨迹。关键位置,指的是,兴趣点为轨迹上终点;或者,兴趣点为轨迹上重要途经点。
70.例如,对于一条轨迹g,轨迹g以兴趣点a为终点。或者,对于一条轨迹g,轨迹g中的一个重要途经点为兴趣点a。
71.s302、获取待识别兴趣点的相关性特征;其中,相关性特征表征同一兴趣点在同一时段下的通行信息与轨迹信息之间的相关性;通行信息为可指示出兴趣点的通行性的信息。
72.示例性地,还需要获取到待识别兴趣点的相关性特征。相关性特征指示出了待识别兴趣点在同一时段下的通行信息与轨迹信息之间的相关性关系、关联关系。
73.上述“时段”指的是一个时间段;例如,一个“时段”为p个小时,或者,一个“时段”为p天,p为大于等于1的正整数。
74.并且,上述“同一时段”,指的是,针对一个时段来说,该时段是一个时刻与另一个时刻所构成的时长;若针对两个时段来说,若其中一个时段的时长等于另一个时段的时长,并且,其中一个时段对应的前后两个时刻,分别与另一个时段对应的前后两个时刻相同,则
这两个时段是同一时段。例如,1月1日的13:00时刻至14:00时刻,构成了时段1;1月2日的13:00时刻至14:00时刻,构成了时段2;时段1与时段2的时长相同,并且,时段1是13:00时刻至14:00时刻,时段2也是13:00时刻至14:00时刻,则时段1和时段2可以认为是同一时段。
75.或者,上述“同一时段”,指的是,针对一个时段来说,该时段是一个时刻与另一个时刻所构成的时长;若针对两个时段来说,其中一个时段所在的日期,不同于另一个时段所在的日期,则这两个时段不是同一个时段;此时,没有任意两个时段是相同的,每一时段均是不同的。例如,1月1日的13:00时刻至14:00时刻,构成了时段1;1月2日的13:00时刻至14:00时刻,构成了时段2;虽然时段1与时段2的时长相同,时段1是13:00时刻至14:00时刻,时段2也是13:00时刻至14:00时刻,但是时段1是1月1日下的一个时段,时段2是1月2日下的一个时段,时段1与时段2不能认为是同一时段,时段1与时段2分别是两个不同的独立的时段。
76.s303、根据待识别兴趣点在当前时段下的轨迹信息、以及相关性特征,确定待识别兴趣点在当前时段下的通行信息。
77.示例性地,由于相关性特征表征同一兴趣点在同一时段下的通行信息与轨迹信息之间的相关性,从而可以根据待识别兴趣点的初始信息中的待识别兴趣点在当前时段下的轨迹信息、以及待识别兴趣点的相关性特征,确定出待识别兴趣点在当前时段下的通行信息。
78.本实施例中,通过获取待识别兴趣点的相关性特征,相关性特征表征同一兴趣点在同一时段下的通行信息与轨迹信息之间的相关性;可以基于待识别兴趣点在当前时段下的轨迹信息、以及待识别兴趣点的相关性特征,确定出待识别兴趣点在当前时段下的通行信息。不需要采集车或人工去获取待识别兴趣点在当前时段下的通行信息,基于相关性特征可以准确、快速的确定出待识别兴趣点在当前时段下的通行信息;减少了时间成本和人工成本,并且提高了效率。并且,针对待识别兴趣点,只需要待识别兴趣点的位于当前时段下一条轨迹信息,就可以确定出待识别兴趣点在当前时段下的通行信息,不需要多条轨迹信息去得到当前时段下的通行信息;可以及时的确定出待识别兴趣点在当前时段下的通行信息。
79.为使读者更深刻地理解本公开的实现原理,现结合以下图4-图7对图3所示的实施例进行进一步细化。
80.图4是根据本公开第二实施例的示意图,如图4所示,本实施例提供的兴趣点的信息识别方法,包括:
81.s401、获取待识别兴趣点的初始信息;其中,初始信息中包括待识别兴趣点在当前时段下的轨迹信息,轨迹信息表征以兴趣点为关键位置的轨迹。
82.一个示例中,初始信息中还包括待识别兴趣点在历史时间段内的每一时段下的通行信息、以及待识别兴趣点在历史时间段内的每一时段下的轨迹信息;待识别兴趣点具有在历史时间段内的每一时段下的相关性特征。历史时间段中包括至少一个时段。
83.一个示例中,通行信息,包括以下的一种或多种:可通行通道口、可通行通道口的朝向、兴趣点的位置、兴趣点的开放时间。
84.示例性地,本实施例以执行主体可以是服务器、或者终端设备、或者电子设备、或者自动驾驶车辆、或者自动驾驶车辆上的控制器、或者远程设备、或者兴趣点的信息识别装置或设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为电子
设备进行说明。
85.可以从其他设备或者数据库中,获取待识别兴趣点的初始信息,初始信息包括待识别兴趣点在当前时段下的轨迹信息。
86.轨迹信息,指的是,以兴趣点为关键位置的轨迹。轨迹可以为用户的行驶轨迹;或者,轨迹可以为车辆的行驶轨迹。关键位置,指的是,兴趣点为轨迹上终点;或者,兴趣点为轨迹上重要途经点。
87.为了更加准确的识别出待识别兴趣点在当前时段下的通行信息,还需要针对一个历史时间段,获取待识别兴趣点在历史时间段内的每一时段下的通行信息和轨迹信息。其中,历史时间段中不包括上述“当前时段”。
88.可知,针对待识别兴趣点来说,待识别兴趣点在历史时间段内的每一时段下的通行信息,是待识别兴趣点在历史时间段内的每一时段下的真实的通行信息。并且,针对待识别兴趣点来说,待识别兴趣点在历史时间段内的每一时段下的轨迹信息,是待识别兴趣点在历史时间段内的每一时段下的真实的轨迹信息。
89.其中,待识别兴趣点在历史时间段内的各时段下的通行信息,是具有正样本和负样本的;针对待识别兴趣点,可以为正样本、负样本设置不同的权重,进而针对同一待识别兴趣点在各时段下的信息是平衡的。例如,通行信息是待识别兴趣点的入口是否开放;则针对待识别兴趣点,该待识别兴趣点的在历史时间段内的一个时段下的通行信息表征入口开放,这是正样本;该待识别兴趣点的在历史时间段内的下一个时段下的通行信息表征入口不开放,这是负样本。
90.举例来说,历史时间段包括3个时段,分别为时段1、时段2、时段3。待识别兴趣点poi1在时段1下的通行信息,表征poi1的入口在时段1内开放;并且,待识别兴趣点poi1在时段1下具有位于时段1内的轨迹信息。待识别兴趣点poi1在时段2下的通行信息,表征poi1的入口在时段2内不开放;并且,待识别兴趣点poi1在时段2下具有位于时段2内的轨迹信息。待识别兴趣点poi1在时段3下的通行信息,表征poi1的入口在时段3内开放;并且,待识别兴趣点poi1在时段3下具有位于时段3内的轨迹信息。
91.通行信息,包括以下的一种或多种:可通行通道口、可通行通道口的朝向、兴趣点的位置、兴趣点的开放时间。通行信息,可以包括多种信息;进而可以识别出待识别兴趣点的多种通行信息。
92.在上述过程中,待识别兴趣点在历史时间段内的每一时段下的通行信息,是真实的通行信息;这些信息是根据以待识别兴趣点为关键点的历史轨迹所确定出来的。或者,可以基于智能问答的方式获取到待识别兴趣点在历史时间段内的每一时段下的通行信息;参见下面的介绍。
93.一个示例中,待识别兴趣点在历史时间段内的每一时段下的通行信息,为基于每一用户语音所确定的;其中,用户语音的内容中包括待识别兴趣点在历史时间段内的时段下的通行信息;用户语音为基于智能问答方式所获取的。
94.一个示例中,待识别兴趣点在历史时间段内的每一时段下的通行信息,为每一纠正语音中的通行信息;其中,纠正语音为相似度信息所表征数值最高的候选语音;相似度信息为用户语音与预设的候选语音集合中的候选语音之间的相似度;预设的候选语音集合中包括至少一个候选语音。
95.一个示例中,相似度信息为第一音频信息与第二音频信息之间的相似度;其中,第一音频信息为用户语音的音频信息,第二音频信息为候选语音的音频信息。
96.示例性地,本实施例中,可以基于智能问答的方式获取到待识别兴趣点在历史时间段内的每一时段下的通行信息。
97.对于待识别兴趣点在历史时间段内的每一时段的真实的通行信息,若之前没有获取到,或者由于待识别兴趣点所在的位置较为边缘化,难以通过多条轨迹确定该待识别兴趣点在历史时间段中的时段的通行信息,可以通过智能问答方式,基于语音交互去获取到待识别兴趣点在历史时间段内的每一时段的通行信息。
98.在基于智能问答的方式获取待识别兴趣点在历史时间段中的时段的通行信息的时候,由于预先设置了多个文本,每一文本包括针对于待识别兴趣点的提问的文本信息。基于从文本到语音(text to speech,简称tts)模型,从预设的文本中提取文本;基于tts模型,根据提取的文本生成问题语音。
99.向用户发出所生成的问题语音。例如,向用户拨打电话,然后发出问题语音。
100.从而用户可以回复所发出的智能的问题语音,进而可以获取到用户发出的用户语音,用户语音的内容中具有待识别兴趣点在历史时间段中的时段的通行信息。
101.举例来说,基于tts模型,将文本转换为拟人化的问题语音。基于虚拟数字人通过电话向用户发出问题语音。问题语音,例如是“门前是否能停车”、“附近是否有停车场”、“景区在节假日是否有调度”、“你们店铺是否朝向a路”、等等。用户可以基于问题语音发出回复的语音。进而可以获取到用户的用户语音。用户语音,例如是“门前可以停车”、“附近没有停车场”、“景区在节假日有调度”、“店铺朝向a路”、等等。
102.通过智能问答方式获取到包括有通行信息的用户语音,进而从用户语音中提取出待识别兴趣点在历史时间段中的时段的通行信息。从而可以在短时间内获取到待识别兴趣点在历史时间段内的每一时段下的通行信息。不需要采集车或人工的方式去获取待识别兴趣点在历史时间段中的时段的通行信息。可以便于后续快速完成识别出待识别兴趣点在当前时段下的通行信息。
103.一个示例中,由于预先设置了多个预设问题文本,每一预设问题文本包括针对于待识别兴趣点的提问的文本信息。基于tts模型,从预设的文本中提取预设问题文本;基于tts模型,根据提取的预设问题文本生成问题语音。
104.在与用户进行智能问答交互的过程中,为了实现与用户之间的流畅对话,并且为了有效降低用户挂断电话的概率和比例,可以获取用户意图。用户可以首次发出语音,或者用户在接收到第一次的问题语音之后发出语音。然后,基于用户发出的语音,采用意图识别方式识别出用户意图。
105.然后,基于用户意图再生成新的问题语音;此时,需要针对当前的待识别兴趣点所要去获取的通行信息,确定出与当前的待识别兴趣点、用户意图均对应为预设问题文本,例如,依据待识别兴趣点、用户意图、预设问题文本三者的对应关系,确定出与当前的待识别兴趣点、用户意图均对应为预设问题文本;从而,基于所确定的预设问题文本,生成新的问题语音。或者,需要针对当前的待识别兴趣点所要去获取的通行信息,确定出与当前的待识别兴趣点对应为预设问题文本,例如,依据待识别兴趣点与预设问题文本三者的对应关系,确定出与当前的待识别兴趣点对应为预设问题文本;并且需要基于当前的用户意图、与当
前的待识别兴趣点对应为预设问题文本,综合的去生成完整的、顺畅的问题语音,从而得到新的问题语音。
106.通过电话发出新的问题语音。由于用户会基于新的问题语音发出反馈的语音,进而可以获取到用户发出的用户语音。
107.通过上述智能语音交互过程,可以基于用户意图向用户发出问题语音,以向用户询问待识别兴趣点在历史时间段中的时段的通行信息。可以实现与用户之间的流畅对话,并且为了有效降低用户挂断电话的概率和比例;从而可以有效的、准确的、快速的确定出待识别兴趣点在历史时间段内的每一时段下的通行信息。
108.举例来说,基于预设问题文本,生成一个问题语音“请问是a地吗?”;a地是一个待识别兴趣点。基于智能数字人,通过电话向用户发出所生成的问题语音。获取到用户的用户语音“是的,你是哪位?”。此时,需要判断用户意图,以生成合适的新的问题语音,以降低用户挂断电话的概率和比例。可以根据用户语音“是的,你是哪位?”,提取出用户意图为“用户对当前通话内容有疑问”;进而基于用户意图和预设问题文本,生成新的问题语音“我是智能客服b,目前在进行店铺的a口是否开放通行呢?”,然后基于智能数字人,通过电话向用户发出所生成的新的问题语音。在用户发出新的用户语音“a口是开放通行的”。新的用户语音“a口是开放通行的”,可以提取出待识别兴趣点的通行信息“a口在目前是开放通行的”。注意的是,这里提取的通行信息,是待识别兴趣点在历史时间段中的时段的通行信息。
109.并且,在提取与用户语音对应的通行信息的时候,即,在提取用户语音中的通行信息的时候,由于用户的口音的影响,可能会出现所提取的通行信息不准确的现象,所提取的通行信息并不是用户语音真正所要表达的信息。从而需要针对口音进行用户语音的纠正。
110.预先设置有一个预设的候选语音集合,预设的候选语音集合中包括至少一个候选语音,候选语音可以为普通话发音的语音;候选语音的内容为通行信息。需要先提取出该预设的候选语音集合。
111.或者,预先设置有多个预设的候选语音集合,每一预设的候选语音集合中包括至少一个候选语音,候选语音的内容为通行信息;每一候选语音集合与每一地理区域对应;针对每一候选语音集合,该候选语音集合中的候选语音,为以与该候选语音集合对应的地理区域进行发音的语音。从而针对当前的用户语音,是预先知道该用户语音的用户所在的地理区域的;进而可以提取与该用户语音匹配的预设的候选语音集合。
112.举例来说,候选语音可以为以下信息:位置信息、朝向信息、是否可以停车、道路名字、入口是否开放、出口是否开放、兴趣点的名字、相邻兴趣点的名字、等等。
113.然后,计算用户语音与所提取的预设的候选语音集合中每一候选语音之间的相似度,得到每一候选语音的相似度信息。
114.一个示例中,在得到每一候选语音的相似度信息的过程中,若对用户语音进行语音识别和文本处理,得到与用户语音对应的文本;将与用户语音对应的文本、每一候选语音所对应的文本,两者进行相似度计算;这样的方式不准确的,因为若用户语音是具有地方性口音的,对用户语音进行语音识别和文本处理所得到的文本是不准确的。进而不能采用这样的方式去确定相似度信息。
115.本实施例中,在得到每一候选语音的相似度信息的过程中,可以基于音频去确定用户语音与所提取的预设的候选语音集合中每一候选语音之间的相似度。
116.一种方式为:可以对用户语音进行音频分析处理,得到用户语音的第一音频信息;对每一候选语音进行音频分析处理,得到每一候选语音的第二音频信息。针对每一候选语音,计算用户语音的第一音频信息与该候选语音的第二音频信息,两者之间的相似度,得到该候选语音的相似度信息cos=(x1*x2)/(norm(x1)*norm(x2))。其中,x1为用户语音的第一音频信息,x2为候选语音的第二音频信息;norm()是一个函数,该函数的功能是一种可以在向量空间里对向量赋予长度和大小。
117.另一种方式为:可以对用户语音进行音频分析处理,得到用户语音的第一音频信息;对每一候选语音进行音频分析处理,得到每一候选语音的第二音频信息。针对每一候选语音,将用户语音的第一音频信息、以及该候选语音的第二音频信息,输入至预设的二分类模型中;进而基于预设的二分类模型对用户语音的第一音频信息、以及该候选语音的第二音频信息的音频相似度进行计算,得到该候选语音的相似度信息。
118.通过对用户语音的第一音频信息、以及每一候选语音的第二音频信息的音频相似度进行计算,可以准确的确定出每一候选语音的相似度信息。有利于后续准确的确定出与用户语音最相似的候选语音,进而准确的对用户语音进行纠正。
119.在得到用户语音与所提取的预设的候选语音集合中每一候选语音之间的相似度之后,确定相似度信息所表征数值最高的候选语音,为纠正语音;可知,由于候选语音的内容是具有通行信息的,并且,纠正语音是所提取的预设的候选语音集合中一个候选语音,从而纠正语音是具有通行信息的。
120.然后,就可以确定纠正语音中的通行信息,作为用户语音的通行信息。从而准确的提取出用户语音中的通行信息。
121.针对待识别兴趣点,基于智能问答方式所得到与待识别兴趣点对应的用户语音,都可以采用步骤s401去确定出用户语音中的通行信息,进而提取到待识别兴趣点在历史时段内的每一时段的通行信息。
122.并且,针对每一待识别兴趣点在每一时段下,基于智能问答方式得到待识别兴趣点在每一时段下的用户语音。然后基于步骤s401,确定出待识别兴趣点在历史时间段内的每一时段下的通行信息。
123.在上述过程中,待识别兴趣点在历史时间段内的每一时段下的轨迹信息,是真实的通行信息。可以从其他设备或者数据库中,获取待识别兴趣点在历史时间段内的每一时段下的轨迹信息。
124.s402、获取待识别兴趣点的相关性特征;其中,相关性特征表征同一兴趣点在同一时段下的通行信息与轨迹信息之间的相关性;通行信息为可指示出兴趣点的通行性的信息。
125.一个示例中,待识别兴趣点具有在历史时间段内的每一时段下的相关性特征;其中,历史时间段中包括至少一个时段。
126.示例性地,待识别兴趣点具有在历史时间段内的每一时段下的通行信息和轨迹信息,进而针对历史时间段内的每一时段,对待识别兴趣点的通行信息与轨迹信息进行分析处理,确定出待识别兴趣点在同一时段内下的通行信息与轨迹信息之间的相关性信息,进而得到待识别兴趣点在历史时间段内的每一时段下的相关性特征。相关性特征指示出了待识别兴趣点在同一时段下的通行信息与轨迹信息之间的相关性关系、关联关系。
127.上述“时段”指的是一个时间段;例如,一个“时段”为p个小时,或者,一个“时段”为p天,p为大于等于1的正整数。对于“时段”的解释,可以参见步骤s302,不再赘述。
128.举例来说,历史时间段包括时段1和时段。针对待识别兴趣点a,可以采用本实施例获取到待识别兴趣点a在时段1下的通行信息、以及待识别兴趣点a在时段1下的轨迹信息,进而可以根据待识别兴趣点a在时段1下的通行信息、以及待识别兴趣点a在时段1下的轨迹信息,确定出待识别兴趣点a在时段1下的相关性特征1,相关性特征1表征了待识别兴趣点a在时段1下的通行信息和轨迹信息之间的相关性、关联性。可以采用本实施例获取到待识别兴趣点a在时段2下的通行信息、以及待识别兴趣点a在时段2下的轨迹信息,进而可以根据待识别兴趣点a在时段2下的通行信息、以及待识别兴趣点a在时段2下的轨迹信息,确定出待识别兴趣点a在时段2下的相关性特征2,相关性特征2表征了待识别兴趣点a在时段2下的通行信息和轨迹信息之间的相关性关系、关联关系。依次类推,得到待识别兴趣点具有在历史时间段内的每一时段下的相关性特征。注意,这个例子中的通行信息、轨迹信息以及相关性特征,都是待识别兴趣点的历史的信息,而不是当前时段下的信息。
129.s403、获取待识别兴趣点的特征图像;其中,特征图像用于指示兴趣点的特征。
130.示例性地,可以基于待识别兴趣点的特征图像与待识别兴趣点的相关性特征,去得到待识别兴趣点在当前时段下的通行信息。其中,待识别兴趣点的特征图像可以指示出兴趣点的特征。从而加入更多的特征,去得到待识别兴趣点在当前时段下的通行信息。
131.首先,需要获取到待识别兴趣点的特征图像。特征图像是基于待识别兴趣点的兴趣点信息所生成的。其中,兴趣点信息包括以下信息中的一种或多种:兴趣点的具体位置、兴趣点对应的路网情况、兴趣点对应的行驶轨迹、等等。从而,特征图像可以指示出待识别兴趣点的特征。
132.然后,可以将待识别兴趣点的特征图像、待识别兴趣点的相关性特征、以及待识别兴趣点的初始信息进行处理,得到待识别兴趣点在当前时段下的通行信息。
133.从而,加入更多的特征,去对得到待识别兴趣点在当前时段下的通行信息。可以更加准确的识别待识别兴趣点在当前时段下的通行信息。
134.一个示例中,步骤s403包括以下步骤:
135.步骤s403的第一步骤、获取待识别兴趣点的兴趣点信息;其中,兴趣点信息中包括至少一种特征信息。
136.步骤s403的第二步骤、若至少一种特征信息包括路网信息和轨迹数据信息;其中,路网信息为兴趣点所处位置的路网信息;轨迹数据信息为以兴趣点为关键位置的轨迹数据信息。则基于路网信息对轨迹数据信息进行偏差修复处理,得到修复后的轨迹数据信息。
137.步骤s403的第三步骤、基于数据源对待识别兴趣点的兴趣点信息中的特征信息,进行数据融合,得到待识别兴趣点的特征图像。
138.一个示例中,至少一种特征信息包括以下信息中的一种或多种:位置信息、地图信息、路网信息、轨迹数据信息、面状区域信息。
139.其中,位置信息为兴趣点的位置信息;地图信息为兴趣点所处位置的地图信息;路网信息为兴趣点所处位置的路网信息;轨迹数据信息为以兴趣点为关键位置的轨迹数据信息;面状区域信息为兴趣点的面状区域信息。
140.示例性地,在实现步骤s403的时候,可以采用以下过程进行实现。
141.首先,需要获取到待识别兴趣点的特征图像。特征图像是基于待识别兴趣点的兴趣点信息所生成的;特征图像可以指示出待识别兴趣点的特征。那么就需要获取到待识别兴趣点的兴趣点信息,以可以根据待识别兴趣点的兴趣点信息,去生成待识别兴趣点的特征图像。
142.待识别兴趣点的兴趣点信息中包括至少一种特征信息。特征信息为位置信息、地图信息、路网信息、轨迹数据信息、面状区域信息中的任意一种。
143.位置信息,指的是,兴趣点的位置信息;位置信息可以是兴趣点所在区域、道路、路口的具体位置,或者,位置信息可以是兴趣点的经纬度位置。
144.地图信息,指的是,兴趣点所处位置的地图信息;地图信息包括了以及与兴趣点匹配的地图详细内容。
145.路网信息,指的是,兴趣点所处位置的路网信息;路网信息可以从路网系统中获取的。
146.轨迹数据信息,指的是,以兴趣点为关键位置的轨迹数据信息、关键位置,指的是,兴趣点为轨迹上终点;或者,兴趣点为轨迹上重要途经点。轨迹数据信息可以为用户的行驶轨迹,或者,轨迹数据信息可以为车辆的行驶轨迹。
147.面状区域信息,指的是,兴趣点的面状区域信息。面状区域信息以下的一种或多种:信息面(area of interest,简称aoi)面状区域信息、bud(building,简称bud)面状区域信息。其中“信息面”也可以称为兴趣面。
148.上述过程可以得到多种特征信息,使得待识别兴趣点具有特征完备性;进而将待识别兴趣点的兴趣点信息中的至少一种特征信息,融合到待识别兴趣点的相关性特征、以及待识别兴趣点的初始信息中,可以准确的得到待识别兴趣点在当前时段下的通行信息。
149.举例来说,图5是根据本公开提供的特征信息的示意图一,如图5所示,针对待识别兴趣点poi1,可以获取到待识别兴趣点poi1的bud面状区域信息的特征图501、待识别兴趣点poi1的aoi面状区域信息的特征图502、待识别兴趣点poi1的兴趣点当前信息的特征图503、待识别兴趣点poi1的路网信息的特征图504、待识别兴趣点poi1的轨迹绑路link的特征图505、待识别兴趣点poi1的轨迹数据信息的特征图506。其中,轨迹绑路link,指的是,根据路网信息对轨迹数据信息进行偏差修复处理,所得到的修复后的轨迹数据信息。兴趣点当前信息,指的是,兴趣点的位置信息、兴趣点的名字、等等。每一特征信息的特征图的像素参数可以为60*60;每一特征信息的特征图所覆盖的物理世界的尺寸为80米*80米。针对待识别兴趣点poi1,采用本实施例的方式,对待识别兴趣点poi1的上述特征信息进行融合之后,得到待识别兴趣点poi1的特征图像507。
150.然后,在得到待识别兴趣点的兴趣点信息之后,若待识别兴趣点的兴趣点信息中包括路网信息和轨迹数据信息,则可以对轨迹数据信息进行数据修复。路网信息可以表征出待识别兴趣点所位于的位置的真实、准确的道路状况。但是轨迹数据信息是从用户或车辆的行驶过程中所获取到的,在用户或车辆的行驶过程中会出现行驶偏差的情况,进而轨迹数据信息可能是不准确的,或者,轨迹数据信息中可能会包括多余的信息。
151.从而,可以根据路网信息对轨迹数据信息进行偏差修复处理。一个示例中,可以基于隐马尔可夫模型(hidden markov model,简称hmm),根据路网信息对轨迹数据信息进行处理;从而基于路网信息与轨迹数据信息之间的固有偏差进行修复,使得轨迹数据信息可
以贴近于路网信息,然后输出修复后的轨迹数据信息。从而基于路网信息对轨迹数据信息进行偏差修复处理,避免轨迹数据信息的偏移给特征图像带来噪声。
152.接着,需要对待识别兴趣点的兴趣点信息中的特征信息进行数据融合,得到待识别兴趣点的特征图像。可以采用基于数据源的方式对待识别兴趣点的兴趣点信息中的特征信息进行数据融合,而不是采用图像的rgb(red green blue)方式去对特征信息进行数据融合。
153.基于数据源的方式对待识别兴趣点的兴趣点信息中的特征信息进行数据融合,可以使得特征信息进行相对独立的融合,一种特征信息不会对另一种特征信息造成信息干扰,使得所得到待识别兴趣点的特征图像中的信息具有数据无损表达的特性,即,克服了基于rgb方式融合特征信息时出现的数据损失的问题;所得到待识别兴趣点的特征图像中的信息是准确的、信息没有被干扰。
154.基于待识别兴趣点的兴趣点信息中的特征信息,去生成待识别兴趣点的特征图像;进而待识别兴趣点的特征图像可以指示出待识别兴趣点的特征。
155.s404、对待识别兴趣点的特征图像、待识别兴趣点的相关性特征、以及待识别兴趣点在当前时段下的轨迹信息进行处理,得到待识别兴趣点在当前时段下的通行信息。
156.一个示例中,步骤s404包括:基于识别模型对待识别兴趣点的特征图像、待识别兴趣点的相关性特征、以及待识别兴趣点在当前时段下的轨迹信息进行处理,得到待识别兴趣点在当前时段下的通行信息。
157.示例性地,上述过程得到了待识别兴趣点在历史时间段内的每一时段下的相关性特征、待识别兴趣点在当前时段下的轨迹信息,进而可以基于待识别兴趣点在历史时间段内的每一时段下的相关性特征,对待识别兴趣点在当前时段下的轨迹信息进行处理,以得到待识别兴趣点在当前时段下的通行信息。
158.并且在处理过程中,可以加入待识别兴趣点的特征图像;从而基于待识别兴趣点在历史时间段内的每一时段下的相关性特征、待识别兴趣点的特征图像,对待识别兴趣点在当前时段下的轨迹信息进行处理,以得到待识别兴趣点在当前时段下的通行信息。
159.一个示例中,可以基于一个训练好的识别模型,根据待识别兴趣点在历史时间段内的每一时段下的相关性特征、待识别兴趣点的特征图像,对待识别兴趣点在当前时段下的轨迹信息进行处理,以得到待识别兴趣点在当前时段下的通行信息。
160.基于识别模型的方式,可以自动的、准确的得到待识别兴趣点在当前时段下的通行信息。其中,识别模型可以采用本公开提供的“应用于兴趣点的信息识别的模型训练方法”得到。
161.一个示例中,步骤s404可以采用以下步骤进行实现:
162.步骤s404的第一步骤、将待识别兴趣点的特征图像、待识别兴趣点的相关性特征、以及待识别兴趣点在当前时段下的轨迹信息输入至识别模型中的第一全连接层中进行特征融合,得到待识别兴趣点的融合特征。
163.步骤s404的第二步骤、将待识别兴趣点的融合特征,输入至识别模型中的第二全连接层中进行预测处理,得到待识别兴趣点在当前时段下的通行信息。
164.示例性地,步骤s404可以采用如下方式实现。
165.可以待识别兴趣点的特征图像、待识别兴趣点的相关性特征、以及待识别兴趣点
在当前时段下的轨迹信息,输入至识别模型中;基于识别模型预测出待识别兴趣点在当前时段下的通行信息。识别模型中包括两个全连接层(fully connected layer,简称fc),两个全连接层分别为第一全连接层和第二全连接层。
166.将待识别兴趣点的特征图像、待识别兴趣点在历史时间段内的每一时段的相关性特征、以及待识别兴趣点在当前时段下的轨迹信息,输入至识别模型中的第一全连接层中;基于第一全连接层对待识别兴趣点的特征图像、待识别兴趣点在历史时间段内的每一时段的相关性特征、以及待识别兴趣点在当前时段下的轨迹信息进行特征融合,得到该待识别兴趣点的融合特征。
167.例如,可以基于第一全连接层对待识别兴趣点的特征图像与待识别兴趣点在当前时段下的轨迹信息先进行特征融合,得到中间信息,进而丰富待识别兴趣点在当前时段下的轨迹信息中的信息。然后,将中间信息、待识别兴趣点在历史时间段内的每一时段的相关性特征进行特征融合和比较分析,以确定与中间信息相关的相关性特征。进而,得到待识别兴趣点的融合特征,可知,待识别兴趣点的融合特征为所得到的与中间信息相关的相关性特征。
168.或者,例如,基于第一全连接层直接对待识别兴趣点的特征图像、待识别兴趣点在历史时间段内的每一时段的相关性特征、以及待识别兴趣点在当前时段下的轨迹信息进行融合,得到待识别兴趣点的融合特征。
169.然后,所得到的待识别兴趣点的融合特征会输入到识别模型中的第二全连接层中;基于第二全连接层对待识别兴趣点的融合特征进行通行信息的预测,得到待识别兴趣点在当前时段下的通行信息。
170.若是基于第一全连接层输出的待识别兴趣点的融合特征,为与中间信息相关的相关性特征,则待识别兴趣点的融合特征可以指示出轨迹信息与通行信息之间的关联性、相关性;从而,基于第二全连接层对待识别兴趣点的融合特征、以及待识别兴趣点在当前时段下的轨迹信息进行处理之后,就可以输出待识别兴趣点在当前时段下的通行信息。
171.若是基于第一全连接层输出的待识别兴趣点的融合特征,是对待识别兴趣点的特征图像、待识别兴趣点在历史时间段内的每一时段的相关性特征、以及待识别兴趣点在当前时段下的轨迹信息进行融合所得到的,则待识别兴趣点的融合特征可以指示出轨迹信息与通行信息之间的关联性、相关性,并且,待识别兴趣点的融合特征包括了待识别兴趣点在当前时段下的轨迹信息;然后,就可以基于第二全连接层在进一步对待识别兴趣点的融合特征进行处理,就可以直接输出待识别兴趣点在当前时段下的通行信息。
172.基于多个全连接层对待识别兴趣点的特征图像、待识别兴趣点在历史时间段内的每一时段的相关性特征、以及待识别兴趣点在当前时段下的轨迹信息进行融合、预测处理;从而可以更好的整合待训练兴趣点的特征图像与待识别兴趣点在当前时段下的轨迹信息,并且可以更好的得到待识别兴趣点在当前时段下的相关性特征。基于多个全连接层,可以完成待识别兴趣点的特征图像、待识别兴趣点在历史时间段内的每一时段的相关性特征、以及待识别兴趣点在当前时段下的轨迹信息,这些特征的非线性处理。
173.本实施例,在上述实施例的基础上,基于智能问答方式获取用户语音,提取用户语音中的待识别兴趣点在历史时间段内的每一时段下的通行信息;并获取待识别兴趣点在历史时间段内的每一时段下的轨迹信息;进而得到每一待识别兴趣点。通过智能问答方式可
以快速的获取到待识别兴趣点在历史时间段内的每一时段下的通行信息,降低了时间成本和人工成本;有利于加快本实施例的识别过程。并且,可以对所获取的用户语音进行语音纠正,进而得到待识别兴趣点在历史时间段内的每一时段下的正确的通行信息。基于待识别兴趣点在历史时间段内的每一时段下的通行信息和轨迹信息,确定待识别兴趣点在历史时间段内的每一时段下的相关性特征;相关性特征表征同一兴趣点在同一时段下的通行信息与轨迹信息之间的相关性。基于待识别兴趣点在历史时间段内的每一时段下的的相关性特征、待识别兴趣点的特征图像去进行当前时段的通行信息的预测;从而加入更多的特征,去预测待识别兴趣点在当前时段下的通行信息的预测,提高识别精度和准确性。并且,基于待识别兴趣点的特征图像、待识别兴趣点的相关性特征、以及待识别兴趣点在当前时段下的轨迹信息,准确的、自动的确定待识别兴趣点在当前时段下的通行信息。
174.图6是根据本公开第三实施例的示意图,如图6所示,本实施例提供的兴趣点的信息识别方法,包括:
175.s601、获取待识别兴趣点的初始信息;其中,初始信息中包括待识别兴趣点在当前时段下的轨迹信息,轨迹信息表征以兴趣点为关键位置的轨迹。
176.一个示例中,初始信息中还包括待识别兴趣点在历史时间段内的每一时段下的通行信息、以及待识别兴趣点在历史时间段内的每一时段下的轨迹信息;待识别兴趣点具有在历史时间段内的每一时段下的相关性特征。历史时间段中包括至少一个时段。
177.一个示例中,通行信息,包括以下的一种或多种:可通行通道口、可通行通道口的朝向、兴趣点的位置、兴趣点的开放时间。
178.示例性地,本实施例以执行主体可以是服务器、或者终端设备、或者电子设备、或者自动驾驶车辆、或者自动驾驶车辆上的控制器、或者远程设备、或者兴趣点的信息识别装置或设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为电子设备进行说明。
179.本步骤参见步骤s401,不再赘述。
180.s602、获取待识别兴趣点的相关性特征;其中,相关性特征表征同一兴趣点在同一时段下的通行信息与轨迹信息之间的相关性;通行信息为可指示出兴趣点的通行性的信息。
181.一个示例中,待识别兴趣点具有在历史时间段内的每一时段下的相关性特征;其中,历史时间段中包括至少一个时段。
182.示例性地,本步骤参见步骤s402,不再赘述。
183.s603、获取待识别兴趣点的特征图像;其中,特征图像用于指示兴趣点的特征。
184.示例性地,本步骤参见步骤s403,不再赘述。
185.s604、将待识别兴趣点的特征图像,输入至识别模型中的至少一个卷积神经网络单元中进行处理,得到待识别兴趣点的处理后的特征图像。
186.一个示例中,至少一个卷积神经网络单元包括q个第一卷积神经网络子单元和m-q个第二卷积神经网络子单元,第一卷积神经网络子单元的结构不同于第二卷积神经网络子单元的结构,q为大于1的正整数,m为大于1的正整数,m大于q。步骤s604包括以下步骤:
187.步骤s604的第一步骤。重复以下步骤,直至达到第一预设条件:将待识别兴趣点的特征图像,输入至识别模型中的第q个第一卷积神经网络子单元中进行处理,得到待识别兴
趣点的第一特征图;确定待识别兴趣点的第一特征图为待识别兴趣点的新的特征图像,并确定q的取值为q 1;其中,q的初始值为1,q为大于等于1、小于等于q的正整数;达到第一预设条件时所得到的新的特征图像,为待识别兴趣点的中间特征。
188.步骤s604的第二步骤。重复以下步骤,直至达到第二预设条件:将待识别兴趣点的中间特征,输入至识别模型中的第k个第二卷积神经网络子单元中进行处理,得到待识别兴趣点的第二特征图;确定待识别兴趣点的第二特征图为新的中间特征,并确定k的取值为k 1;其中,k的初始值为1,k为大于等于1、小于等于m-q的正整数。
189.其中,达到第二预设条件时所得到的中间特征,为待识别兴趣点的处理后的特征图像。
190.示例性地,在获取到待识别兴趣点的特征图像之后,需要基于识别模型对特征图像进行处理。
191.图7是根据本公开提供的识别模型的结构示意图,如图7所示,识别模型700中包括输入层701、至少一个卷积神经网络单元702、长短期记忆网络(long short-term memory,简称lstm)单元703、第一全连接层704、第二全连接层705、以及输出层706。
192.针对待识别兴趣点,通过输入层701向至少一个卷积神经网络单元702输入待识别兴趣点的特征图像。通过至少一个卷积神经网络单元702对待识别兴趣点的特征图像进行处理,得到待识别兴趣点的处理后的特征图像,进而完成对特征图像的特征提取、特征压缩等过程。所得到的待识别兴趣点的处理后的特征图像,可以更好的与待识别兴趣点的相关性特征进行结合。
193.针对待识别兴趣点,基于lstm单元703对待识别兴趣点在每一时段下的通行信息和轨迹信息进行处理,得到待识别兴趣点在每一时段下的相关性特征。
194.举例来说,历史时间段包括3个时段,分别为时段1、时段2、时段3。针对待识别兴趣点poi a,基于待识别兴趣点poi a在历史时间段内的时段1下的通行信息和轨迹信息,得到待识别兴趣点poi a在历史时间段内的时段1下的相关性特征;基于待识别兴趣点poi a在历史时间段内的时段2下的通行信息和轨迹信息,得到待识别兴趣点poi a在历史时间段内的时段2下的相关性特征。进而基于lstm单元703,得到待识别兴趣点poi a在历史时间段内的每一时段下的相关性特征。
195.针对待识别兴趣点,将待识别兴趣点在历史时间段内的每一时段下的相关性特征、待识别兴趣点的处理后的特征图像、以及待识别兴趣点在当前时段下的轨迹信息,输入至第一全连接层704、第二全连接层705依次进行处理;通过输出层706,可以输出待识别兴趣点在当前时段下的通行信息。
196.一个示例中,可以采用如下方式实现步骤s604的技术方案。
197.识别模型中包括至少一个卷积神经网络单元;至少一个卷积神经网络单元的个数为m个,m为大于1的正整数。并且,m个卷积神经网络单元包括q个第一卷积神经网络子单元和m-q个第二卷积神经网络子单元,q为大于1的正整数,q小于m。第一卷积神经网络子单元的结构不同于第二卷积神经网络子单元的结构,进而基于不同结构的卷积神经网络单元对待识别兴趣点的特征图像进行处理。
198.在获取到待识别兴趣点的特征图像之后,将待识别兴趣点的特征图像,输入至第1个第一卷积神经网络子单元中,基于第1个第一卷积神经网络子单元对待识别兴趣点的特
征图像进行处理,得到待识别兴趣点的第一特征图;然后,将当前的第一特征图,作为待识别兴趣点的新的特征图像。在将待识别兴趣点的新的特征图像,输入至第2个第一卷积神经网络子单元中,基于第2个第一卷积神经网络子单元对待识别兴趣点的新的特征图像进行处理,得到待识别兴趣点的新的第一特征图;然后,将当前的第一特征图,作为待识别兴趣点的新的特征图像。以此类推,将待识别兴趣点的新的特征图像,输入至第q个第一卷积神经网络子单元中,基于第q个第一卷积神经网络子单元对待识别兴趣点的新的特征图像进行处理,得到待识别兴趣点的新的第一特征图;然后,将当前的第一特征图,作为待识别兴趣点的新的特征图像,且确定q的取值加1。q为大于等于1、小于等于q的正整数。依次类推,直至达到第一预设条件。
199.其中,第一预设条件可以为“确定q的取值等于q”。或者,第一预设条件可以为接收到第一停止指令,该第一停止指令用于指示停止生成待识别兴趣点的第一特征图。
200.将达到第一预设条件时所得到的特征图像,作为待识别兴趣点的中间特征。
201.然后,在获取到待识别兴趣点的中间特征之后,将待识别兴趣点的中间特征,输入至第1个第二卷积神经网络子单元中,基于第1个第二卷积神经网络子单元对待识别兴趣点的特征图像进行处理,得到待识别兴趣点的第二特征图;然后,将当前的第二特征图,作为待识别兴趣点的新的中间特征。将待识别兴趣点的新的中间特征,输入至第2个第二卷积神经网络子单元中,基于第2个第二卷积神经网络子单元对待识别兴趣点的新的特征图像进行处理,得到待识别兴趣点的新的第二特征图;然后,将当前的第二特征图,作为待识别兴趣点的新的中间特征。以此类推,将待识别兴趣点的新的中间特征,输入至第k个第二卷积神经网络子单元中,基于第k个第二卷积神经网络子单元对待识别兴趣点的新的特征图像进行处理,得到待识别兴趣点的新的第二特征图;然后,将当前的第二特征图,作为待识别兴趣点的新的中间特征,且确定k的取值加1。k为大于等于1、小于等于m-q的正整数。依次类推,直至达到第二预设条件。
202.其中,第二预设条件可以为“确定k的取值等于m-q”。或者,第二预设条件可以为接收到第二停止指令,该第二停止指令用于指示停止生成待识别兴趣点的第二特征图。
203.将达到第二预设条件时所得到的中间特征,作为待识别兴趣点的处理后的特征图像。
204.从而,进而基于不同结构的卷积神经网络单元对待识别兴趣点的特征图像进行处理。例如,第一卷积神经网络子单元的结构层,少于第二卷积神经网络子单元的结构层;或者,第二卷积神经网络子单元的结构层,少于第一卷积神经网络子单元的结构层;从而减少识别过程的计算复杂度,加快识别过程。
205.一个示例中,第q个第一卷积神经网络子单元中包括第一卷积层、第一激活层和池化层。步骤s604的第一步骤中的“将待识别兴趣点的特征图像,输入至识别模型中的第q个第一卷积神经网络子单元中进行处理,得到待识别兴趣点的第一特征图”,包括以下过程:将待识别兴趣点的特征图像,输入至第一卷积层中进行卷积处理,得到第一卷积特征;其中,第一卷积特征表征待识别兴趣点的特征图像的卷积特征;将第一卷积特征,输入至第一激活层中进行修正处理,得到修正后的第一卷积特征;将修正后的第一卷积特征,输入至池化层中进行特征压缩处理,待识别兴趣点的第一特征图;其中,待识别兴趣点的第一特征图表征待识别兴趣点的特征图像。
206.第k个第二卷积神经网络子单元中包括第二卷积层和第二激活层。步骤s604的第二步骤中的“将待识别兴趣点的中间特征,输入至识别模型中的第k个第二卷积神经网络子单元中进行处理,得到待识别兴趣点的第二特征图”,包括以下过程:将待识别兴趣点的中间特征,输入至第二卷积层中进行卷积处理,得到第二卷积特征;其中,第二卷积特征表征待识别兴趣点的中间特征的卷积特征;将第二卷积特征,输入至第二激活层中进行修正处理,得到待识别兴趣点的第二特征图。
207.示例性地,可以采用如下方式实现步骤s604的技术方案。
208.识别模型中包括至少一个卷积神经网络单元;至少一个卷积神经网络单元的个数为m个,m为大于1的正整数。并且,m个卷积神经网络单元包括q个第一卷积神经网络子单元和m-q个第二卷积神经网络子单元,q为大于1的正整数,q小于m。
209.其中,每一第一卷积神经网络子单元中包括第一卷积层、第一激活层和池化层。但是每一第二卷积神经网络子单元中只包括第二卷积层和第二激活层。可知,第二卷积神经网络子单元不需要设置池化层。
210.在获取到待识别兴趣点的特征图像之后,将待识别兴趣点的特征图像,输入至第1个第一卷积神经网络子单元中。基于第1个第一卷积神经网络子单元的第一卷积层,对待识别兴趣点的特征图像进行卷积计算处理,得到第一卷积特征,可知,第一卷积特征为待识别兴趣点的特征图像的卷积特征。然后,基于第1个第一卷积神经网络子单元的第一激活层,对第一卷积特征进行修正处理,以对第一卷积特征中的多余特征进行剔除;还可以进行归一化处理等等,进而得到修正后的第一卷积特征。然后,基于第1个第一卷积神经网络子单元的池化层,对修正后的第一卷积特征进行特征压缩,进而降低修正后的第一卷积特征的维度,例如,修正后的第一卷积特征的维度为100*100,通过池化层将修正后的第一卷积特征的维度降低为50*50。就可以得到待识别兴趣点的第一特征图。将当前的第一特征图,作为待识别兴趣点的新的特征图像。
211.将待识别兴趣点的新的特征图像,输入至第2个第一卷积神经网络子单元中。基于第2个第一卷积神经网络子单元的第一卷积层,对待识别兴趣点的新的特征图像进行卷积计算处理,得到第一卷积特征,可知,第一卷积特征为待识别兴趣点的特征图像的新的卷积特征。然后,基于第2个第一卷积神经网络子单元的第一激活层,对第一卷积特征进行修正处理,以对第一卷积特征中的多余特征进行剔除;还可以进行归一化处理等等,进而得到修正后的第一卷积特征。然后,基于第2个第一卷积神经网络子单元的池化层,对修正后的第一卷积特征进行特征压缩,进而降低修正后的第一卷积特征的维度,例如,修正后的第一卷积特征的维度为100*100,通过池化层将修正后的第一卷积特征的维度降低为50*50。就可以得到待识别兴趣点的第一特征图。将当前的第一特征图,作为待识别兴趣点的新的特征图像。
212.以此类推,将待识别兴趣点的新的特征图像,输入至第q个第一卷积神经网络子单元中。基于第q个第一卷积神经网络子单元的第一卷积层,对待识别兴趣点的新的特征图像进行卷积计算处理,得到第一卷积特征,可知,第一卷积特征为待识别兴趣点的特征图像的新的卷积特征。然后,基于第q个第一卷积神经网络子单元的第一激活层,对第一卷积特征进行修正处理,以对第一卷积特征中的多余特征进行剔除;还可以进行归一化处理等等,进而得到修正后的第一卷积特征。然后,基于第q个第一卷积神经网络子单元的池化层,对修
正后的第一卷积特征进行特征压缩,进而降低修正后的第一卷积特征的维度,例如,修正后的第一卷积特征的维度为100*100,通过池化层将修正后的第一卷积特征的维度降低为50*50。就可以得到待识别兴趣点的第一特征图。将当前的第一特征图,作为待识别兴趣点的新的特征图像。依次类推,直至达到第一预设条件。
213.其中,第一预设条件可以为“确定q的取值等于q”。或者,第一预设条件可以为接收到第一停止指令,该第一停止指令用于指示停止生成待识别兴趣点的第一特征图。例如,q的取值可以为3。
214.将达到第一预设条件时所得到的特征图像,作为待识别兴趣点的中间特征。从而,基于第一卷积神经网络子单元对待识别兴趣点的特征图像,进行特征图像的特征提取、特征压缩等过程。所得到的待识别兴趣点的处理后的特征图像,可以更好的与待识别兴趣点的相关性特征进行结合。
215.上述每一池化层为最大池化(maxpooling层),进而是基于maxpooling层提取边缘特征,而不是提取非纹理特征。
216.然后,在获取到待识别兴趣点的中间特征之后,将待识别兴趣点的中间特征,输入至第1个第二卷积神经网络子单元中。基于第1个第二卷积神经网络子单元的第二卷积层,对待识别兴趣点的中间特征进行卷积计算处理,得到第二卷积特征,可知,第二卷积特征为待识别兴趣点的中间特征的卷积特征。然后,基于第1个第二卷积神经网络子单元的第二激活层,对第二卷积特征进行修正处理,以对第二卷积特征中的多余特征进行剔除;还可以进行归一化处理等等,进而得到修正后的第二卷积特征,确定修正后的第二卷积特征,为待识别兴趣点的第二特征图。然后,将当前的第二特征图,作为待识别兴趣点的新的中间特征。
217.将待识别兴趣点的新的中间特征,输入至第2个第二卷积神经网络子单元中。基于第2个第二卷积神经网络子单元的第二卷积层,对待识别兴趣点的中间特征进行卷积计算处理,得到第二卷积特征,可知,第二卷积特征为待识别兴趣点的中间特征的卷积特征。然后,基于第2个第二卷积神经网络子单元的第二激活层,对第二卷积特征进行修正处理,以对第二卷积特征中的多余特征进行剔除;还可以进行归一化处理等等,进而得到修正后的第二卷积特征,确定修正后的第二卷积特征,为待识别兴趣点的第二特征图。然后,将当前的第二特征图,作为待识别兴趣点的新的中间特征。
218.以此类推,将待识别兴趣点的新的中间特征,输入至第k个第二卷积神经网络子单元中。基于第k个第二卷积神经网络子单元的第二卷积层,对待识别兴趣点的中间特征进行卷积计算处理,得到第二卷积特征,可知,第二卷积特征为待识别兴趣点的中间特征的卷积特征。然后,基于第k个第二卷积神经网络子单元的第二激活层,对第二卷积特征进行修正处理,以对第二卷积特征中的多余特征进行剔除;还可以进行归一化处理等等,进而得到修正后的第二卷积特征,确定修正后的第二卷积特征,为待识别兴趣点的第二特征图。然后,将当前的第二特征图,作为待识别兴趣点的新的中间特征。依次类推,直至达到第二预设条件。
219.其中,第二预设条件可以为“确定k的取值等于m-q”。或者,第二预设条件可以为接收到第二停止指令,该第二停止指令用于指示停止生成待识别兴趣点的第二特征图。例如,m的取值可以为5,q的取值可以为3,则m-q为2。
220.将达到第二预设条件时所得到的中间特征,作为待识别兴趣点的处理后的特征图
像。
221.上述过程中,池化层的作用是对特征进行特征压缩;每一第一卷积神经网络子单元中包括池化层,但是每一第二卷积神经网络子单元中不包括池化层。从而可以避免过早进入强特征的非线性组合阶段,避免特征丢失。
222.上述过程中,每一第一卷积神经网络子单元中的卷积核(kernel)的个数小于预设个数,每一第二卷积神经网络子单元中的卷积核的个数小于预设个数,进而降低识别模型的计算复杂度,加快识别过程。
223.并且,识别模型的训练过程是基于神经网络中的dropout机制进行实现的。
224.s605、基于识别模型对待识别兴趣点的特征图像、待识别兴趣点的相关性特征、以及待识别兴趣点在当前时段下的轨迹信息进行处理,得到待识别兴趣点在当前时段下的通行信息。
225.示例性地,本步骤参见步骤s404,不再赘述。但是本步骤中,“待识别兴趣点的特征图像”为步骤s604所输出的“待识别兴趣点的处理后的特征图像”。
226.s606、根据待识别兴趣点在当前时段下的通行信息,生成导航路径;根据导航路径,控制自动驾驶车辆进行行驶。
227.示例性地,在得到待识别兴趣点在当前时段下的通行信息之后,可以根据预先设置的起点、以及待识别兴趣点在当前时段下的通行信息,通过卢生成算法,生成导航路径。并且显示所生成的导航路径。
228.然后,基于导航路径,控制自动驾驶车辆进行自动行驶过程。从而可以基于准确的当前的通行信息,完成自动、准确的导航。进而准确的将用户或车辆导航至兴趣点处,使得用户或车辆可以及时进入兴趣点中。
229.本实施例中,在上述实施例的基础上,可以对待识别兴趣点的特征图像进行处理,基于识别模型中的至少一个卷积神经网络单元对待识别兴趣点的特征图像进行处理,得到待识别兴趣点的处理后的特征图像。进而完成对特征图像的特征提取、特征压缩等过程。所得到的待识别兴趣点的处理后的特征图像,可以更好的与待识别兴趣点的相关性特征进行结合。并且,在处理的过程中,至少一个卷积神经网络单元中的部分卷积神经网络单元具有池化层、部分卷积神经网络单元不具有池化层,从而可以避免过早进入强特征的非线性组合阶段,避免特征丢失。
230.图8是根据本公开第四实施例的示意图,如图8所示,本实施例提供的应用于兴趣点的信息识别的模型训练方法,包括:
231.s801、获取待训练兴趣点集合;其中,待训练兴趣点集合中包括多个待训练兴趣点,待训练兴趣点具有通行信息和轨迹信息,通行信息为可指示出兴趣点的通行性的信息,轨迹信息表征以兴趣点为关键位置的轨迹。
232.示例性地,本实施例以执行主体可以是服务器、或者终端设备、或者电子设备、或者自动驾驶车辆、或者自动驾驶车辆上的控制器、或者远程设备、或者应用于兴趣点的信息识别的模型训练装置或设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为电子设备进行说明。
233.获取待训练兴趣点集合,待训练兴趣点集合中包括多个待训练兴趣点。可以从其他设备中获取待训练兴趣点集合,或者从本地获取待训练兴趣点集合。
234.本实施例中需要基于待训练兴趣点的通行信息和轨迹信息,对初始模型进行训练。从而所获取的每一待训练兴趣点需要有通行信息和轨迹信息。
235.通行信息,指的是,可以指示出兴趣点的通行性的信息。通行信息,包括以下的一种或多种:兴趣点的可通行通道口、兴趣点的可通行通道口的朝向、兴趣点的位置、兴趣点的开放时间、等等。
236.例如,对于一个兴趣点a,兴趣点的可通行通道口,指的是,兴趣点a的通行信息为兴趣点的a口是否开放。a口为兴趣点a的入口或者出口。
237.再例如,对于一个兴趣点a,兴趣点的可通行通道口的朝向,指的是,兴趣点a的通行信息为兴趣点的入口的朝向,或者,兴趣点a的通行信息为兴趣点的出口的朝向。
238.再例如,对于一个兴趣点a,兴趣点的位置,指的是,兴趣点a的通行信息为兴趣点的入口的具体位置;兴趣点a的通行信息为兴趣点的出口的具体位置。
239.再例如,对于一个兴趣点a,兴趣点的开放时间,指的是,兴趣点a的通行信息为兴趣点是时刻1至时刻2期间是开放的。
240.轨迹信息,指的是,以兴趣点为关键位置的轨迹。轨迹可以为用户的行驶轨迹;或者,轨迹可以为车辆的行驶轨迹。关键位置,指的是,兴趣点为轨迹上终点;或者,兴趣点为轨迹上重要途经点。
241.例如,对于一条轨迹g,轨迹g以兴趣点a为终点。或者,对于一条轨迹g,轨迹g中的一个重要途经点为兴趣点a。
242.s802、根据待训练兴趣点的通行信息和轨迹信息,确定待训练兴趣点的相关性特征;其中,相关性特征表征同一兴趣点在同一时段下的通行信息与轨迹信息之间的相关性。
243.示例性地,每一待训练兴趣点具有通行信息和轨迹信息,进而针对每一待训练兴趣点,对待训练兴趣点的通行信息与轨迹信息进行分析处理,确定出每一兴趣点在同一时段内下该兴趣点的通行信息与兴趣点的轨迹信息之间的相关性信息,进而得到每一兴趣点在每一同一时段下的相关性特征。相关性特征指示出了待训练兴趣点在同一时段下的通行信息与轨迹信息之间的相关性关系、关联关系。
244.上述“时段”指的是一个时间段;例如,一个“时段”为p个小时,或者,一个“时段”为p天,p为大于等于1的正整数。
245.并且,上述“同一时段”,指的是,针对一个时段来说,该时段是一个时刻与另一个时刻所构成的时长;若针对两个时段来说,若其中一个时段的时长等于另一个时段的时长,并且,其中一个时段对应的前后两个时刻,分别与另一个时段对应的前后两个时刻相同,则这两个时段是同一时段。例如,1月1日的13:00时刻至14:00时刻,构成了时段1;1月2日的13:00时刻至14:00时刻,构成了时段2;时段1与时段2的时长相同,并且,时段1是13:00时刻至14:00时刻,时段2也是13:00时刻至14:00时刻,则时段1和时段2可以认为是同一时段。
246.或者,上述“同一时段”,指的是,针对一个时段来说,该时段是一个时刻与另一个时刻所构成的时长;若针对两个时段来说,其中一个时段所在的日期,不同于另一个时段所在的日期,则这两个时段不是同一个时段;此时,没有任意两个时段是相同的,每一时段均是不同的。例如,1月1日的13:00时刻至14:00时刻,构成了时段1;1月2日的13:00时刻至14:00时刻,构成了时段2;虽然时段1与时段2的时长相同,时段1是13:00时刻至14:00时刻,时段2也是13:00时刻至14:00时刻,但是时段1是1月1日下的一个时段,时段2是1月2日下的一
个时段,时段1与时段2不能认为是同一时段,时段1与时段2分别是两个不同的独立的时段。
247.举例来说,待训练兴趣点集合中包括待训练兴趣点a。针对待训练兴趣点a,待训练兴趣点a具有通行信息和轨迹信息;通行信息和轨迹信息是待训练兴趣点a在同一时段a下的信息。针对待训练兴趣点a在同一时段a下的通行信息和轨迹信息进行分析,得到一个相关性特征,该相关性特征为待训练兴趣点a在同一时段a下的通行信息和轨迹信息之间的相关性信息;该相关性特征指示出了待训练兴趣点a在同一时段a下的通行信息与轨迹信息之间的相关性关系、关联关系。
248.s803、对待训练兴趣点的相关性特征进行训练处理,得到识别模型;其中,识别模型用于识别待识别兴趣点的通行信息。
249.示例性地,在得到待训练兴趣点的相关性特征之后,依据待训练兴趣点的相关性特征对初始模型进行模型训练,进而可以得到识别模型。
250.所得到的识别模型可以用于识别待识别兴趣点的通行信息;将待识别兴趣点在当前时段下的轨迹信息,输入至识别模型中;进而,基于识别模型对待识别兴趣点在当前时段下的轨迹信息进行处理,由于识别模型可以确定出待识别兴趣点在同一时段下的通行信息与轨迹信息之间的相关性,进而可以基于识别模型确定出待识别兴趣点在当前时段下的通行信息与轨迹信息之间的相关性,从而输出待识别兴趣点在当前时段下的通行信息。
251.一个示例中,在训练时,可以获取到待训练兴趣点集合,待训练兴趣点集合中包括多个待训练兴趣点。然后,针对一个待训练兴趣点,提取该待训练兴趣点的相关性特征,并基于该训练兴趣点的相关性特征对初始模型进行训练,进而基于该训练兴趣点的相关性特征更新初始模型的参数;然后,针对下一个待训练兴趣点,提取该待训练兴趣点的相关性特征,并基于该训练兴趣点的相关性特征对初始模型进行训练,进而基于该训练兴趣点的相关性特征更新初始模型的参数;以此类推,直至对所有的待训练兴趣点处理完毕。进而,得到识别模型。
252.另一个示例中,在训练时,可以获取到待训练兴趣点集合,待训练兴趣点集合中包括多个待训练兴趣点。然后,针对每一个待训练兴趣点,提取每一待训练兴趣点的相关性特征。然后,针对一个待训练兴趣点,基于该训练兴趣点的相关性特征对初始模型进行训练,进而基于该训练兴趣点的相关性特征更新初始模型的参数;然后,针对下一个待训练兴趣点,基于该训练兴趣点的相关性特征对初始模型进行训练,进而基于该训练兴趣点的相关性特征更新初始模型的参数;以此类推,直至对所有的待训练兴趣点处理完毕。进而,得到识别模型。
253.本实施例中,通过获取多个待训练兴趣点,待训练兴趣点具有通行信息和轨迹信息,通行信息为可指示出兴趣点的通行性的信息,轨迹信息表征以兴趣点为关键位置的轨迹;基于待训练兴趣点的通行信息和轨迹信息,确定待训练兴趣点的相关性特征,相关性特征可以指示出同一兴趣点在同一时段下的通行信息与轨迹信息之间的相关性关系、关联关系;从而基于待训练兴趣点的相关性特征对初始模型进行训练,得到识别模型。上述过程可以基于待训练兴趣点的通行信息与轨迹信息之间的相关性关系、关联关系,完成模型的训练,使得模型可以学习到兴趣点的通行信息与轨迹信息之间的相关性关系、关联关系,所生成的识别模型可以自动的确定出待识别兴趣点的通行信息;可以得到准确、快速的确定出待识别兴趣点的通行信息的识别模型。进而,不需要采集车或人工去获取待识别兴趣点的
通行信息,可以准确、快速的确定出待识别兴趣点的通行信息;减少了时间成本和人工成本,并且提高了效率。并且,针对待识别兴趣点,只需要待识别兴趣点的位于当前时段下一条轨迹信息,就可以确定出待识别兴趣点在当前时段下的通行信息,不需要多条轨迹信息去得到当前时段下的通行信息;可以及时的确定出待识别兴趣点在当前时段下的通行信息。
254.为使读者更深刻地理解本公开的实现原理,现结合以下图9-图12对图8所示的实施例进行进一步细化。
255.图9是根据本公开第五实施例的示意图,如图9所示,本实施例提供的应用于兴趣点的信息识别的模型训练方法,包括:
256.s901、基于智能问答方式获取用户语音;其中,用户语音的内容中包括待训练兴趣点的通行信息。通行信息为可指示出兴趣点的通行性的信息。
257.一个示例中,步骤s901包括以下过程:获取用户意图,并根据用户意图、以及待训练兴趣点所对应的预设问题文本,生成问题语音。向用户发送问题语音,并接收用户反馈的用户语音。
258.一个示例中,通行信息,包括以下的一种或多种:可通行通道口、可通行通道口的朝向、兴趣点的位置、兴趣点的开放时间。
259.示例性地,本实施例以执行主体可以是服务器、或者终端设备、或者电子设备、或者自动驾驶车辆、或者自动驾驶车辆上的控制器、或者远程设备、或者应用于兴趣点的信息识别的模型训练装置或设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为电子设备进行说明。
260.首先需要获取到待训练兴趣点集合,待训练兴趣点集合中包括多个待训练兴趣点;每一待训练兴趣点需要有通行信息和轨迹信息。
261.通行信息,指的是,可以指示出兴趣点的通行性的信息。通行信息,包括以下的一种或多种:兴趣点的可通行通道口、兴趣点的可通行通道口的朝向、兴趣点的位置、兴趣点的开放时间、等等。
262.本实施例所要确定的待训练兴趣点在每一时段的通行信息,可以包括多种信息。进而可以训练出用于识别多种通行信息的识别模型。
263.轨迹信息,指的是,以兴趣点为关键位置的轨迹。轨迹可以为用户的行驶轨迹;或者,轨迹可以为车辆的行驶轨迹。关键位置,指的是,兴趣点为轨迹上终点;或者,兴趣点为轨迹上重要途经点。
264.在本实施例中,对于待训练兴趣点集合中待训练兴趣点,可以基于智能问答的方式获取到每一待训练兴趣点的通行信息。
265.对于待训练兴趣点在每一时段的真实的通行信息,若之前没有获取到,或者由于待训练兴趣点所在的位置较为边缘化,难以通过多条轨迹确定该待训练兴趣点的通行信息,可以通过智能问答方式,基于语音交互去获取到待训练兴趣点的通行信息。
266.在基于智能问答的方式获取每一待训练兴趣点的通行信息的时候,由于预先设置了多个文本,每一文本包括针对于待训练兴趣点的提问的文本信息。基于从文本到语音(text to speech,简称tts)模型,从预设的文本中提取文本;基于tts模型,根据提取的文本生成问题语音。
267.向用户发出所生成的问题语音。例如,向用户拨打电话,然后发出问题语音。
268.从而用户可以回复所发出的智能的问题语音,进而可以获取到用户发出的用户语音,用户语音的内容中具有待训练兴趣点的通行信息。
269.举例来说,基于tts模型,将文本转换为拟人化的问题语音。基于虚拟数字人通过电话向用户发出问题语音。问题语音,例如是“门前是否能停车”、“附近是否有停车场”、“景区在节假日是否有调度”、“你们店铺是否朝向a路”、等等。用户可以基于问题语音发出回复的语音。进而可以获取到用户的用户语音。用户语音,例如是“门前可以停车”、“附近没有停车场”、“景区在节假日有调度”、“店铺朝向a路”、等等。
270.一个示例中,在步骤s901的时候,可以基于以下方式进行实现。由于预先设置了多个预设问题文本,每一预设问题文本包括针对于待训练兴趣点的提问的文本信息。基于tts模型,从预设的文本中提取预设问题文本;基于tts模型,根据提取的预设问题文本生成问题语音。
271.在与用户进行智能问答交互的过程中,为了实现与用户之间的流畅对话,并且为了有效降低用户挂断电话的概率和比例,可以获取用户意图。用户可以首次发出语音,或者用户在接收到第一次的问题语音之后发出语音。然后,基于用户发出的语音,采用意图识别方式识别出用户意图。
272.然后,基于用户意图再生成新的问题语音;此时,需要针对当前的待训练兴趣点所要去获取的通行信息,确定出与当前的待训练兴趣点、用户意图均对应为预设问题文本,例如,依据待训练兴趣点、用户意图、预设问题文本三者的对应关系,确定出与当前的待训练兴趣点、用户意图均对应为预设问题文本;从而,基于所确定的预设问题文本,生成新的问题语音。或者,需要针对当前的待训练兴趣点所要去获取的通行信息,确定出与当前的待训练兴趣点对应为预设问题文本,例如,依据待训练兴趣点与预设问题文本三者的对应关系,确定出与当前的待训练兴趣点对应为预设问题文本;并且需要基于当前的用户意图、与当前的待训练兴趣点对应为预设问题文本,综合的去生成完整的、顺畅的问题语音,从而得到新的问题语音。
273.通过电话发出新的问题语音。由于用户会基于新的问题语音发出反馈的语音,进而可以获取到用户发出的用户语音。
274.通过上述智能语音交互过程,可以基于用户意图向用户发出问题语音,以向用户询问待训练兴趣点的通行信息。可以实现与用户之间的流畅对话,并且为了有效降低用户挂断电话的概率和比例;从而可以有效的、准确的、快速的确定出待训练兴趣点的通行信息。
275.举例来说,基于预设问题文本,生成一个问题语音“请问是a地吗?”;a地是一个待训练兴趣点。基于智能数字人,通过电话向用户发出所生成的问题语音。获取到用户的用户语音“是的,你是哪位?”。此时,需要判断用户意图,以生成合适的新的问题语音,以降低用户挂断电话的概率和比例。可以根据用户语音“是的,你是哪位?”,提取出用户意图为“用户对当前通话内容有疑问”;进而基于用户意图和预设问题文本,生成新的问题语音“我是智能客服b,目前在进行店铺的a口是否开放通行呢?”,然后基于智能数字人,通过电话向用户发出所生成的新的问题语音。在用户发出新的用户语音“a口是开放通行的”。新的用户语音“a口是开放通行的”,可以提取出待训练兴趣点的通行信息“a口在目前是开放通行的”。
276.s902、根据用户语音,确定与用户语音对应的通行信息。
277.一个示例中,步骤s902包括以下步骤:
278.步骤s902的第一步骤、确定用户语音与预设的候选语音集合中的候选语音之间的相似度,得到候选语音的相似度信息,其中,预设的候选语音集合中包括至少一个候选语音。
279.步骤s902的第二步骤、确定相似度信息所表征数值最高的候选语音,为纠正语音。
280.步骤s902的第三步骤、确定纠正语音中的通行信息,为与用户语音对应的通行信息。
281.一个示例中,步骤s902的第一步骤,包括以下过程:提取用户语音的第一音频信息,并提取候选语音的第二音频信息;确定第一音频信息与第二音频信息之间的相似度,得到候选语音的相似度信息。
282.示例性地,由于用户语音的内容中包括待训练兴趣点的通行信息,进而可以从用户语音中提取出待训练兴趣点的通行信息。
283.通过智能问答方式获取到包括有待训练兴趣点的通行信息的用户语音,进而从用户语音中提取出待训练兴趣点的通行信息。从而可以在短时间内获取到很多待训练兴趣点在每一时段的通行信息。不需要采集车或人工的方式去获取待训练兴趣点的通行信息。可以便于后续快速完成识别模型的训练。
284.一个示例中,在提取与用户语音对应的通行信息的时候,即,在提取用户语音中的通行信息的时候,由于用户的口音的影响,可能会出现所提取的通行信息不准确的现象,所提取的通行信息并不是用户语音真正所要表达的信息。从而需要针对口音进行用户语音的纠正。
285.预先设置有一个预设的候选语音集合,预设的候选语音集合中包括至少一个候选语音,候选语音可以为普通话发音的语音;候选语音的内容为通行信息。需要先提取出该预设的候选语音集合。
286.或者,预先设置有多个预设的候选语音集合,每一预设的候选语音集合中包括至少一个候选语音,候选语音的内容为通行信息;每一候选语音集合与每一地理区域对应;针对每一候选语音集合,该候选语音集合中的候选语音,为以与该候选语音集合对应的地理区域进行发音的语音。从而针对当前的用户语音,是预先知道该用户语音的用户所在的地理区域的;进而可以提取与该用户语音匹配的预设的候选语音集合。
287.举例来说,候选语音可以为以下信息:位置信息、朝向信息、是否可以停车、道路名字、入口是否开放、出口是否开放、兴趣点的名字、相邻兴趣点的名字、等等。
288.然后,计算用户语音与所提取的预设的候选语音集合中每一候选语音之间的相似度,得到每一候选语音的相似度信息。
289.一个示例中,在得到每一候选语音的相似度信息的过程中,若对用户语音进行语音识别和文本处理,得到与用户语音对应的文本;将与用户语音对应的文本、每一候选语音所对应的文本,两者进行相似度计算;这样的方式不准确的,因为若用户语音是具有地方性口音的,对用户语音进行语音识别和文本处理所得到的文本是不准确的。进而不能采用这样的方式去确定相似度信息。
290.本实施例中,在得到每一候选语音的相似度信息的过程中,可以基于音频去确定
用户语音与所提取的预设的候选语音集合中每一候选语音之间的相似度。
291.一种方式为:可以对用户语音进行音频分析处理,得到用户语音的第一音频信息;对每一候选语音进行音频分析处理,得到每一候选语音的第二音频信息。针对每一候选语音,计算用户语音的第一音频信息与该候选语音的第二音频信息,两者之间的相似度,得到该候选语音的相似度信息cos=(x1*x2)/(norm(x1)*norm(x2))。其中,x1为用户语音的第一音频信息,x2为候选语音的第二音频信息;norm()是一个函数,该函数的功能是一种可以在向量空间里对向量赋予长度和大小。
292.另一种方式为:可以对用户语音进行音频分析处理,得到用户语音的第一音频信息;对每一候选语音进行音频分析处理,得到每一候选语音的第二音频信息。针对每一候选语音,将用户语音的第一音频信息、以及该候选语音的第二音频信息,输入至预设的二分类模型中;进而基于预设的二分类模型对用户语音的第一音频信息、以及该候选语音的第二音频信息的音频相似度进行计算,得到该候选语音的相似度信息。
293.通过对用户语音的第一音频信息、以及每一候选语音的第二音频信息的音频相似度进行计算,可以准确的确定出每一候选语音的相似度信息。有利于后续准确的确定出与用户语音最相似的候选语音,进而准确的对用户语音进行纠正。
294.在得到用户语音与所提取的预设的候选语音集合中每一候选语音之间的相似度之后,确定相似度信息所表征数值最高的候选语音,为纠正语音;可知,由于候选语音的内容是具有通行信息的,并且,纠正语音是所提取的预设的候选语音集合中一个候选语音,从而纠正语音是具有通行信息的。
295.然后,就可以确定纠正语音中的通行信息,作为用户语音的通行信息。从而准确的提取出用户语音中的通行信息。
296.针对每一待训练兴趣点,基于智能问答方式所得到与待训练兴趣点对应的用户语音,都可以采用步骤s902去确定出用户语音中的通行信息,进而提取到待训练兴趣点的通行信息。
297.并且,针对每一待训练兴趣点在每一时段下,基于智能问答方式得到待训练兴趣点在每一时段下的用户语音。然后基于步骤s902,确定出待训练兴趣点在每一时段下的用户语音中的通行信息。
298.s903、获取用户语音对应的待训练兴趣点的轨迹信息,以得到待训练兴趣点集合中的待训练兴趣点。
299.其中,待训练兴趣点集合中包括多个待训练兴趣点,待训练兴趣点具有通行信息和轨迹信息,通行信息为可指示出兴趣点的通行性的信息,轨迹信息表征以兴趣点为关键位置的轨迹。
300.一个示例中,待训练兴趣点具有在预设时段集合内的每一时段下的通行信息、以及在预设时段集合内的每一时段下的轨迹信息;其中,预设时段集合中包括至少一个时段。
301.待训练兴趣点具有真实的通行信息,真实的通行信息为待训练兴趣点在预设时段集合内的最后一个时段的通行信息。
302.示例性地,可以从其他设备或者数据库中,获取待训练兴趣点的轨迹信息。
303.轨迹信息,指的是,以兴趣点为关键位置的轨迹。轨迹可以为用户的行驶轨迹;或者,轨迹可以为车辆的行驶轨迹。关键位置,指的是,兴趣点为轨迹上终点;或者,兴趣点为
轨迹上重要途经点。
304.由于针对每一待训练兴趣点,获取到了待训练兴趣点的通行信息和轨迹信息,进而就可以得到待训练兴趣点的各个信息了。多个待训练兴趣点构成一个待训练兴趣点集合。
305.一个示例中,由于需要对初始模型进行训练,以得到识别待识别兴趣点的通行信息的识别模型;需要获取到待训练兴趣点在每一时段下的通行信息和轨迹信息。各时段构成一个预设时段集合。可知,每一待训练兴趣点具有在预设时段集合内的每一时段下的通行信息、以及在预设时段集合内的每一时段下的轨迹信息。
306.可知,针对每一待训练兴趣点,待训练兴趣点在每一时段下的通行信息,是待训练兴趣点在每一时段下的真实的通行信息。并且,针对每一待训练兴趣点,待训练兴趣点在每一时段下的轨迹信息,是待训练兴趣点在每一时段下的真实的轨迹信息。
307.其中,待训练兴趣点集合中的每一待训练兴趣点在预设时段集合内的各时段下的通行信息,是具有正样本和负样本的;针对每一待训练兴趣点,可以为正样本、负样本设置不同的权重,进而针对同一待训练兴趣点在各时段下的信息是平衡的。例如,通行信息是待训练兴趣点的入口是否开放;则针对每一待训练兴趣点,该待训练兴趣点的在预设时段集合内的一个时段下的通行信息表征入口开放,这是正样本;该待训练兴趣点的在预设时段集合内的下一个时段下的通行信息表征入口不开放,这是负样本。
308.举例来说,待训练兴趣点集合中包括2个待训练兴趣点,分别为待训练兴趣点poi1、待训练兴趣点poi2。预设时段集合具有3个时段,分别为时段1、时段2、时段3。
309.待训练兴趣点poi1在时段1下的通行信息,表征poi1的入口在时段1内开放;并且,待训练兴趣点poi1在时段1下具有位于时段1内的轨迹信息。待训练兴趣点poi1在时段2下的通行信息,表征poi1的入口在时段2内不开放;并且,待训练兴趣点poi1在时段2下具有位于时段2内的轨迹信息。待训练兴趣点poi1在时段3下的通行信息,表征poi1的入口在时段3内开放;并且,待训练兴趣点poi1在时段3下具有位于时段3内的轨迹信息。
310.待训练兴趣点poi2在时段1下的通行信息,表征poi2的入口在时段1内不开放;并且,待训练兴趣点poi2在时段1下具有位于时段1内的轨迹信息。待训练兴趣点poi2在时段2下的通行信息,表征poi2的入口在时段2内开放;并且,待训练兴趣点poi2在时段2下具有位于时段2内的轨迹信息。待训练兴趣点poi2在时段3下的通行信息,表征poi2的入口在时段3内不开放;并且,待训练兴趣点poi2在时段3下具有位于时段3内的轨迹信息。
311.s904、根据待训练兴趣点的通行信息和轨迹信息,确定待训练兴趣点的相关性特征;其中,相关性特征表征同一兴趣点在同一时段下的通行信息与轨迹信息之间的相关性。
312.一个示例中,待训练兴趣点具有在预设时段集合内的每一时段下的相关性特征;其中,预设时段集合中包括至少一个时段。
313.示例性地,每一待训练兴趣点具有通行信息和轨迹信息,进而针对每一待训练兴趣点,对待训练兴趣点的通行信息与轨迹信息进行分析处理,确定出每一兴趣点在同一时段内下该兴趣点的通行信息与兴趣点的轨迹信息之间的相关性信息,进而得到每一兴趣点在每一同一时段下的相关性特征。相关性特征指示出了待训练兴趣点在同一时段下的通行信息与轨迹信息之间的相关性关系、关联关系。
314.上述“时段”指的是一个时间段;例如,一个“时段”为p个小时,或者,一个“时段”为
p天,p为大于等于1的正整数。对于“时段”的解释,可以参见步骤s802,不再赘述。
315.由于每一待训练兴趣点具有在预设时段集合内的每一时段下的通行信息、以及在预设时段集合内的每一时段下的轨迹信息。针对待训练兴趣点,可以根据待训练兴趣点在每一时段下的通行信息和轨迹信息,确定出待训练兴趣点在每一时段下的相关性特征。可知,待训练兴趣点具有在预设时段集合内的每一时段下的相关性特征。
316.举例来说,针对待训练兴趣点a,可以采用本实施例获取到待训练兴趣点a在时段1下的通行信息、以及待训练兴趣点a在时段1下的轨迹信息,进而可以根据待训练兴趣点a在时段1下的通行信息、以及待训练兴趣点a在时段1下的轨迹信息,确定出待训练兴趣点a在时段1下的相关性特征1,相关性特征1表征了待训练兴趣点a在时段1下的通行信息和轨迹信息之间的相关性、关联性。可以采用本实施例获取到待训练兴趣点a在时段2下的通行信息、以及待训练兴趣点a在时段2下的轨迹信息,进而可以根据待训练兴趣点a在时段2下的通行信息、以及待训练兴趣点a在时段2下的轨迹信息,确定出待训练兴趣点a在时段2下的相关性特征2,相关性特征2表征了待训练兴趣点a在时段2下的通行信息和轨迹信息之间的相关性关系、关联关系。依次类推,得到待训练兴趣点具有在预设时段集合内的每一时段下的相关性特征。
317.s905、将待训练兴趣点的相关性特征输入至初始模型中,得到待训练兴趣点的预测的通行信息;其中,预测的通行信息为待训练兴趣点在最后一个时段的通行信息。
318.一个示例中,步骤s905包括以下步骤:
319.步骤s905的第一步骤、获取待训练兴趣点的特征图像;其中,特征图像用于指示兴趣点的特征。
320.步骤s905的第二步骤、将待训练兴趣点的特征图像、以及待训练兴趣点的相关性特征输入至初始模型中,得到待训练兴趣点的预测的通行信息。
321.示例性地,待训练兴趣点的相关性特征输入至初始模型中,进而基于初始模型对待训练兴趣点的相关性特征进行处理,得到待训练兴趣点的预测的通行信息。
322.针对每一待训练兴趣点,根据步骤s904,得到待训练兴趣点具有在预设时段集合内的每一时段下的相关性特征。针对每一待训练兴趣点,就可以将待训练兴趣点在预设时段集合内的各时段下的相关性特征,输入到初始模型中进行处理,进而使得初始模型学习相关性特征,并且,基于初始模型输出待训练兴趣点在预设时段集合内的最后一个时段的通行信息,即,得到待训练兴趣点的预测的通行信息。
323.一个示例中,在实现步骤s905的时候,可以基于待训练兴趣点的特征图像与待训练兴趣点的相关性特征,对初始模型进行训练。其中,待训练兴趣点的特征图像可以指示出兴趣点的特征。从而加入更多的特征,去对初始模型进行训练。
324.首先,需要获取到待训练兴趣点的特征图像。特征图像是基于待训练兴趣点的兴趣点信息所生成的。其中,兴趣点信息包括以下信息中的一种或多种:兴趣点的具体位置、兴趣点对应的路网情况、兴趣点对应的行驶轨迹、等等。从而,特征图像可以指示出待训练兴趣点的特征。
325.然后,针对每一待训练兴趣点,可以将待训练兴趣点的特征图像、以及待训练兴趣点的相关性特征输入至初始模型中,去对初始模型进行训练,并且在训练过程中,对待训练兴趣点在预设时段集合内的最后一个时段的通行信息进行预测,得到待训练兴趣点的预测
的通行信息。
326.从而,加入更多的特征,去对初始模型进行训练,对初始模型进行精度更高的训练。所得到的识别模型的精度较好,并且,所得到的识别模型可以更加准确的识别待识别兴趣点的通行信息。
327.一个示例中,s905的第一步骤包括以下过程:
328.步骤一、获取待训练兴趣点的兴趣点信息;其中,兴趣点信息中包括至少一种特征信息。
329.步骤二、若至少一种特征信息包括路网信息和轨迹数据信息;其中,路网信息为兴趣点所处位置的路网信息;轨迹数据信息为以兴趣点为关键位置的轨迹数据信息。则基于路网信息对轨迹数据信息进行偏差修复处理,得到修复后的轨迹数据信息。
330.步骤三、基于数据源对待训练兴趣点的兴趣点信息中的特征信息,进行数据融合,得到待训练兴趣点的特征图像。
331.一个示例中,至少一种特征信息包括以下信息中的一种或多种:位置信息、地图信息、路网信息、轨迹数据信息、面状区域信息。
332.其中,位置信息为兴趣点的位置信息;地图信息为兴趣点所处位置的地图信息;路网信息为兴趣点所处位置的路网信息;轨迹数据信息为以兴趣点为关键位置的轨迹数据信息;面状区域信息为兴趣点的面状区域信息。
333.一个示例中,s905的第二步骤包括以下过程:将待训练兴趣点的特征图像、以及待训练兴趣点的相关性特征输入至初始模型中的第一全连接层中进行特征融合,得到待训练兴趣点的融合特征;将待训练兴趣点的融合特征,输入至初始模型中的第二全连接层中进行预测处理,得到待训练兴趣点的预测的通行信息。
334.示例性地,在实现步骤s905的时候,可以采用以下过程进行实现。
335.首先,需要获取到待训练兴趣点的特征图像。特征图像是基于待训练兴趣点的兴趣点信息所生成的;特征图像可以指示出待训练兴趣点的特征。那么就需要获取到待训练兴趣点的兴趣点信息,以可以根据待训练兴趣点的兴趣点信息,去生成待训练兴趣点的特征图像。
336.针对每一待训练兴趣点,待训练兴趣点的兴趣点信息中包括至少一种特征信息。特征信息为位置信息、地图信息、路网信息、轨迹数据信息、面状区域信息中的任意一种。
337.位置信息,指的是,兴趣点的位置信息;位置信息可以是兴趣点所在区域、道路、路口的具体位置,或者,位置信息可以是兴趣点的经纬度位置。
338.地图信息,指的是,兴趣点所处位置的地图信息;地图信息包括了以及与兴趣点匹配的地图详细内容。
339.路网信息,指的是,兴趣点所处位置的路网信息;路网信息可以从路网系统中获取的。
340.轨迹数据信息,指的是,以兴趣点为关键位置的轨迹数据信息、关键位置,指的是,兴趣点为轨迹上终点;或者,兴趣点为轨迹上重要途经点。轨迹数据信息可以为用户的行驶轨迹,或者,轨迹数据信息可以为车辆的行驶轨迹。
341.面状区域信息,指的是,兴趣点的面状区域信息。面状区域信息以下的一种或多种:信息面(area of interest,简称aoi)面状区域信息、bud(building,简称bud)面状区域
信息。其中“信息面”也可以称为兴趣面。
342.上述过程可以得到多种特征信息,使得待训练兴趣点具有特征完备性;进而将待训练兴趣点的兴趣点信息中的至少一种特征信息,融合到待训练兴趣点的相关性特征中,去训练模型。使得所得到的识别模型学习到兴趣点的更多的信息。
343.举例来说,图10是根据本公开提供的特征信息的示意图二,如图10所示,待训练兴趣点集合中包括3个待训练兴趣点,分别为待训练兴趣点poi1、待训练兴趣点poi2、待训练兴趣点poi3。针对待训练兴趣点poi1,可以获取到待训练兴趣点poi1的bud面状区域信息的特征图1001a、待训练兴趣点poi1的aoi面状区域信息的特征图1002a、待训练兴趣点poi1的兴趣点当前信息的特征图1003a、待训练兴趣点poi1的路网信息的特征图1004a、待训练兴趣点poi1的轨迹绑路link的特征图1005a、待训练兴趣点poi1的轨迹数据信息的特征图1006a。其中,轨迹绑路link,指的是,根据路网信息对轨迹数据信息进行偏差修复处理,所得到的修复后的轨迹数据信息。兴趣点当前信息,指的是,兴趣点的位置信息、兴趣点的名字、等等。每一特征信息的特征图的像素参数可以为60*60;每一特征信息的特征图所覆盖的物理世界的尺寸为80米*80米。
344.针对待训练兴趣点poi1,采用本实施例的方式,对待训练兴趣点poi1的上述特征信息进行融合之后,得到待训练兴趣点poi1的特征图像1007a。
345.针对待训练兴趣点poi2,可以获取到待训练兴趣点poi2的bud面状区域信息的特征图1001b、待训练兴趣点poi2的boi面状区域信息的特征图1002b、待训练兴趣点poi2的兴趣点当前信息的特征图1003b、待训练兴趣点poi2的路网信息的特征图1004b、待训练兴趣点poi2的轨迹绑路link的特征图1005b、待训练兴趣点poi2的轨迹数据信息的特征图1006b。
346.针对待训练兴趣点poi2,采用本实施例的方式,对待训练兴趣点poi2的上述特征信息进行融合之后,得到待训练兴趣点poi2的特征图像1007b。
347.针对待训练兴趣点poi3,可以获取到待训练兴趣点poi3的bud面状区域信息的特征图1001c、待训练兴趣点poi3的coi面状区域信息的特征图1002c、待训练兴趣点poi3的兴趣点当前信息的特征图1003c、待训练兴趣点poi3的路网信息的特征图1004c、待训练兴趣点poi3的轨迹绑路link的特征图1005c、待训练兴趣点poi3的轨迹数据信息的特征图1006c。
348.针对待训练兴趣点poi3,采用本实施例的方式,对待训练兴趣点poi3的上述特征信息进行融合之后,得到待训练兴趣点poi3的特征图像1007c。
349.并且基于上述待训练兴趣点poi1的特征图像1007a、待训练兴趣点poi2的特征图像1007b、以及待训练兴趣点poi3的特征图像1007c,可以融合为一个特征图1008。
350.然后,针对每一待训练兴趣点,在得到待训练兴趣点的兴趣点信息之后,若待训练兴趣点的兴趣点信息中包括路网信息和轨迹数据信息,则可以对轨迹数据信息进行数据修复。路网信息可以表征出待训练兴趣点所位于的位置的真实、准确的道路状况。但是轨迹数据信息是从用户或车辆的行驶过程中所获取到的,在用户或车辆的行驶过程中会出现行驶偏差的情况,进而轨迹数据信息可能是不准确的,或者,轨迹数据信息中可能会包括多余的信息。
351.从而,可以根据路网信息对轨迹数据信息进行偏差修复处理。一个示例中,可以基
于隐马尔可夫模型(hidden markov model,简称hmm),根据路网信息对轨迹数据信息进行处理;从而基于路网信息与轨迹数据信息之间的固有偏差进行修复,使得轨迹数据信息可以贴近于路网信息,然后输出修复后的轨迹数据信息。从而基于路网信息对轨迹数据信息进行偏差修复处理,避免轨迹数据信息的偏移给特征图像带来噪声。
352.接着,需要对待训练兴趣点的兴趣点信息中的特征信息进行数据融合,得到待训练兴趣点的特征图像。可以采用基于数据源的方式对待训练兴趣点的兴趣点信息中的特征信息进行数据融合,而不是采用图像的rgb(red green blue)方式去对特征信息进行数据融合。
353.针对每一待训练兴趣点,基于数据源的方式对待训练兴趣点的兴趣点信息中的特征信息进行数据融合,可以使得特征信息进行相对独立的融合,一种特征信息不会对另一种特征信息造成信息干扰,使得所得到待训练兴趣点的特征图像中的信息具有数据无损表达的特性,即,克服了基于rgb方式融合特征信息时出现的数据损失的问题;所得到待训练兴趣点的特征图像中的信息是准确的、信息没有被干扰。
354.针对每一待训练兴趣点,基于待训练兴趣点的兴趣点信息中的特征信息,去生成待训练兴趣点的特征图像;进而待训练兴趣点的特征图像可以指示出待训练兴趣点的特征。
355.然后,针对每一待训练兴趣点,可以将待训练兴趣点的特征图像、以及待训练兴趣点的相关性特征输入至初始模型中,去对初始模型进行训练。初始模型中包括两个全连接层(fully connected layer,简称fc),两个全连接层分别为第一全连接层和第二全连接层。
356.在训练过程中,针对每一待训练兴趣点,将待训练兴趣点的特征图像、以及待训练兴趣点在预设时段集合内的每一时段的相关性特征输入至初始模型中的第一全连接层中;基于第一全连接层对待训练兴趣点的特征图像、以及待训练兴趣点在预设时段集合内的每一时段的相关性特征进行特征融合,得到该待训练兴趣点的融合特征。
357.针对每一待训练兴趣点,所得到的待训练兴趣点的融合特征会输入到初始模型中的第二全连接层中;基于第二全连接层对待训练兴趣点的融合特征进行通行信息的预测。这里,是将待训练兴趣点在预设时段集合内的每一时段的相关性特征输入到了初始模型中进行处理,进而初始模型会学习相关性特征,学习通行信息与轨迹信息之间的关系。并且,基于初始模型对待训练兴趣点的融合特征进行通行信息的预测的时候,是对待训练兴趣点在预设时段集合内的最后一个时段的通行信息进行预测,得到待训练兴趣点的预测的通行信息。
358.基于多个全连接层对待训练兴趣点的特征图像、以及待训练兴趣点的相关性特征进行融合、预测处理;从而可以更好的整合待训练兴趣点的特征图像、以及待训练兴趣点的相关性特征。基于多个全连接层,可以完成待训练兴趣点的特征图像、以及待训练兴趣点的相关性特征,这些特征的非线性处理。
359.s906、根据待训练兴趣点的预测的通行信息、以及待训练兴趣点的真实的通行信息,对初始模型的参数进行调整,得到识别模型。其中,识别模型用于识别待识别兴趣点的通行信息。
360.示例性地,通过步骤s905可以输出待训练兴趣点的预测的通行信息,预测的通行
信息为待训练兴趣点在最后一个时段的通行信息。
361.由于针对每一待训练兴趣点,待训练兴趣点在每一时段下的通行信息,是待训练兴趣点在每一时段下的真实的通行信息。从而,待训练兴趣点具有真实的通行信息,真实的通行信息为待训练兴趣点在预设时段集合内的最后一个时段的通行信息。
362.就可以基于待训练兴趣点的预测的通行信息、以及待训练兴趣点的真实的通行信息,对初始模型的参数进行调整,进而去得到识别模型。
363.从而基于预测出的通行信息和真实的通行信息,对初始模型进行训练,使得初始模型可以学习到相关性特征,以对初始模型进行良好的训练;使得所得到的识别模型可以识别待识别兴趣点的相关性特征,以得到待识别兴趣点的通行信息。
364.一个示例中,在训练时,基于步骤s901-s903,获取到待训练兴趣点集合,待训练兴趣点集合中包括多个待训练兴趣点。然后,针对一个待训练兴趣点,基于步骤s904提取该待训练兴趣点的相关性特征,基于步骤s905-s906根据该训练兴趣点的相关性特征对初始模型进行训练,进而基于该训练兴趣点的相关性特征更新初始模型的参数;然后,针对下一个待训练兴趣点,基于步骤s904提取该待训练兴趣点的相关性特征,基于步骤s905-s906根据该训练兴趣点的相关性特征对初始模型进行训练,进而基于该训练兴趣点的相关性特征更新初始模型的参数;以此类推,直至对所有的待训练兴趣点处理完毕。进而,得到识别模型。
365.另一个示例中,在训练时,基于步骤s901-s903,可以获取到待训练兴趣点集合,待训练兴趣点集合中包括多个待训练兴趣点。然后,针对每一个待训练兴趣点,基于步骤s904提取每一待训练兴趣点的相关性特征。然后,针对一个待训练兴趣点,步骤s905-s906根据该训练兴趣点的相关性特征对初始模型进行训练,进而基于该训练兴趣点的相关性特征更新初始模型的参数;然后,针对下一个待训练兴趣点,步骤s905-s906根据该训练兴趣点的相关性特征对初始模型进行训练,进而基于该训练兴趣点的相关性特征更新初始模型的参数;以此类推,直至对所有的待训练兴趣点处理完毕。进而,得到识别模型。识别模型用于识别待识别兴趣点的通行信息。
366.本实施例,在上述实施例的基础上,基于智能问答方式获取用户语音,提取用户语音中的待训练兴趣点的通行信息;并获取待训练兴趣点的轨迹信息;进而得到每一待训练兴趣点。通过智能问答方式可以快速的获取到大量的待训练兴趣点的通行信息,降低了时间成本和人工成本;有利于加快本实施例的训练过程。并且,可以对所获取的用户语音进行语音纠正,进而得到正确的通行信息。基于待训练兴趣点的通行信息和轨迹信息,确定待训练兴趣点的相关性特征;相关性特征表征同一兴趣点在同一时段下的通行信息与轨迹信息之间的相关性。基于待训练兴趣点的相关性特征和特征图像,对初始模型进行训练;从而加入更多的特征,去对初始模型进行训练,对初始模型进行精度更高的训练。所得到的识别模型的精度较好,并且,所得到的识别模型可以更加准确的识别待识别兴趣点的通行信息。在训练过程中,得到待训练兴趣点的预测的通行信息;进而基于待训练兴趣点的预测的通行信息和待训练兴趣点的真实的通行信息,对初始模型的参数进行调整,得到识别模型。使得初始模型可以学习到相关性特征,以对初始模型进行良好的训练;使得所得到的识别模型可以识别待识别兴趣点的相关性特征,以得到待识别兴趣点的通行信息。
367.图11是根据本公开第六实施例的示意图,如图11所示,本实施例提供的应用于兴趣点的信息识别的模型训练方法,包括:
368.s1101、基于智能问答方式获取用户语音;其中,用户语音的内容中包括待训练兴趣点的通行信息。通行信息为可指示出兴趣点的通行性的信息。
369.示例性地,本实施例以执行主体可以是服务器、或者终端设备、或者电子设备、或者自动驾驶车辆、或者自动驾驶车辆上的控制器、或者远程设备、或者应用于兴趣点的信息识别的模型训练装置或设备、或者是其他可以执行本实施例方法的装置或设备。本实施例以执行主体为电子设备进行说明。
370.本步骤参见步骤s901,不再赘述。
371.s1102、根据用户语音,确定与用户语音对应的通行信息。
372.示例性地,本步骤参见步骤s902,不再赘述。
373.s1103、获取用户语音对应的待训练兴趣点的轨迹信息,以得到待训练兴趣点集合中的待训练兴趣点。
374.其中,待训练兴趣点集合中包括多个待训练兴趣点,待训练兴趣点具有通行信息和轨迹信息,通行信息为可指示出兴趣点的通行性的信息,轨迹信息表征以兴趣点为关键位置的轨迹。
375.示例性地,本步骤参见步骤s903,不再赘述。
376.s1104、根据待训练兴趣点的通行信息和轨迹信息,确定待训练兴趣点的相关性特征;其中,相关性特征表征同一兴趣点在同一时段下的通行信息与轨迹信息之间的相关性。
377.示例性地,本步骤参见步骤s904,不再赘述。
378.s1105、获取待训练兴趣点的特征图像;其中,特征图像用于指示兴趣点的特征。
379.示例性地,本步骤参见步骤s905的第一步骤,不再赘述。
380.s1106、将待训练兴趣点的特征图像,输入至初始模型中的至少一个卷积神经网络单元中进行处理,得到待训练兴趣点的处理后的特征图像。
381.一个示例中,至少一个卷积神经网络单元包括n个第一卷积神经网络子单元和m-n个第二卷积神经网络子单元,第一卷积神经网络子单元的结构不同于第二卷积神经网络子单元的结构,n为大于1的正整数,m为大于1的正整数,m大于n。步骤s1106包括以下步骤:
382.步骤s1106的第一步骤。重复以下步骤,直至达到第一预设条件:将待训练兴趣点的特征图像,输入至初始模型中的第i个第一卷积神经网络子单元中进行处理,得到待训练兴趣点的第一特征图;确定待训练兴趣点的第一特征图为待训练兴趣点的新的特征图像,并确定i的取值为i 1;其中,i的初始值为1,i为大于等于1、小于等于n的正整数;达到第一预设条件时所得到的新的特征图像,为待训练兴趣点的中间特征。
383.步骤s1106的第二步骤。重复以下步骤,直至达到第二预设条件:将待训练兴趣点的中间特征,输入至初始模型中的第j个第二卷积神经网络子单元中进行处理,得到待训练兴趣点的第二特征图;确定待训练兴趣点的第二特征图为新的中间特征,并确定j的取值为j 1;其中,j的初始值为1,j为大于等于1、小于等于m-n的正整数。
384.其中,达到第二预设条件时所得到的中间特征,为待训练兴趣点的处理后的特征图像。
385.示例性地,针对每一待训练兴趣点,在获取到待训练兴趣点的特征图像之后,需要基于初始模型对特征图像进行处理。
386.图12是根据本公开提供的初始模型的结构示意图,如图12所示,初始模型1200中
包括输入层1201、至少一个卷积神经网络单元1202、长短期记忆网络(long short-term memory,简称lstm)单元1203、第一全连接层1204、第二全连接层1205、以及输出层1206。
387.针对每一待训练兴趣点,通过输入层1201向至少一个卷积神经网络单元1202输入待训练兴趣点的特征图像。通过至少一个卷积神经网络单元1202对待训练兴趣点的特征图像进行处理,得到待训练兴趣点的处理后的特征图像,进而完成对特征图像的特征提取、特征压缩等过程。所得到的待训练兴趣点的处理后的特征图像,可以更好的与待训练兴趣点的相关性特征进行结合。
388.针对每一待训练兴趣点,基于lstm单元1203对待训练兴趣点在每一时段下的通行信息和轨迹信息进行处理,得到待训练兴趣点在每一时段下的相关性特征。
389.举例来说,预设时段集合包括3个时段,分别为时段1、时段2、时段3。针对待训练兴趣点poi1,基于待训练兴趣点poi1在时段1下的通行信息和轨迹信息,得到待训练兴趣点poi1在时段1下的相关性特征;基于待训练兴趣点poi1在时段2下的通行信息和轨迹信息,得到待训练兴趣点poi1在时段2下的相关性特征。进而基于lstm单元1203,得到待训练兴趣点poi1在每一时段的相关性特征。
390.针对每一待训练兴趣点,将待训练兴趣点在各时段下的相关性特征、以及待训练兴趣点的处理后的特征图像,输入至第一全连接层1204、第二全连接层1205依次进行处理;通过输出层1206,可以输出该待训练兴趣点的预测的通行信息。
391.一个示例中,可以采用如下方式实现步骤s1106的技术方案。
392.初始模型中包括至少一个卷积神经网络单元;至少一个卷积神经网络单元的个数为m个,m为大于1的正整数。并且,m个卷积神经网络单元包括n个第一卷积神经网络子单元和m-n个第二卷积神经网络子单元,n为大于1的正整数,n小于m。第一卷积神经网络子单元的结构不同于第二卷积神经网络子单元的结构,进而基于不同结构的卷积神经网络单元对待训练兴趣点的特征图像进行处理。
393.在针对每一待训练兴趣点,在获取到待训练兴趣点的特征图像之后,将待训练兴趣点的特征图像,输入至第1个第一卷积神经网络子单元中,基于第1个第一卷积神经网络子单元对待训练兴趣点的特征图像进行处理,得到待训练兴趣点的第一特征图;然后,将当前的第一特征图,作为待训练兴趣点的新的特征图像。在将待训练兴趣点的新的特征图像,输入至第2个第一卷积神经网络子单元中,基于第2个第一卷积神经网络子单元对待训练兴趣点的新的特征图像进行处理,得到待训练兴趣点的新的第一特征图;然后,将当前的第一特征图,作为待训练兴趣点的新的特征图像。以此类推,将待训练兴趣点的新的特征图像,输入至第i个第一卷积神经网络子单元中,基于第i个第一卷积神经网络子单元对待训练兴趣点的新的特征图像进行处理,得到待训练兴趣点的新的第一特征图;然后,将当前的第一特征图,作为待训练兴趣点的新的特征图像,且确定i的取值加1。i为大于等于1、小于等于n的正整数。依次类推,直至达到第一预设条件。
394.其中,第一预设条件可以为“确定i的取值等于n”。或者,第一预设条件可以为接收到第一停止指令,第一停止指令用于指示停止生成待训练兴趣点的第一特征图。
395.将达到第一预设条件时所得到的特征图像,作为待训练兴趣点的中间特征。
396.然后,在针对每一待训练兴趣点,在获取到待训练兴趣点的中间特征之后,将待训练兴趣点的中间特征,输入至第1个第二卷积神经网络子单元中,基于第1个第二卷积神经
网络子单元对待训练兴趣点的特征图像进行处理,得到待训练兴趣点的第二特征图;然后,将当前的第二特征图,作为待训练兴趣点的新的中间特征。将待训练兴趣点的新的中间特征,输入至第2个第二卷积神经网络子单元中,基于第2个第二卷积神经网络子单元对待训练兴趣点的新的特征图像进行处理,得到待训练兴趣点的新的第二特征图;然后,将当前的第二特征图,作为待训练兴趣点的新的中间特征。以此类推,将待训练兴趣点的新的中间特征,输入至第j个第二卷积神经网络子单元中,基于第j个第二卷积神经网络子单元对待训练兴趣点的新的特征图像进行处理,得到待训练兴趣点的新的第二特征图;然后,将当前的第二特征图,作为待训练兴趣点的新的中间特征,且确定j的取值加1。j为大于等于1、小于等于m-n的正整数。依次类推,直至达到第二预设条件。
397.其中,第二预设条件可以为“确定j的取值等于m-n”。或者,第二预设条件可以为接收到第二停止指令,第二停止指令用于指示停止生成待训练兴趣点的第二特征图。
398.将达到第二预设条件时所得到的中间特征,作为待训练兴趣点的处理后的特征图像。
399.从而,进而基于不同结构的卷积神经网络单元对待训练兴趣点的特征图像进行处理。例如,第一卷积神经网络子单元的结构层,少于第二卷积神经网络子单元的结构层;或者,第二卷积神经网络子单元的结构层,少于第一卷积神经网络子单元的结构层;从而减少训练过程的复杂度,加快训练过程。
400.一个示例中,第i个第一卷积神经网络子单元中包括第一卷积层、第一激活层和池化层。步骤s1106的第一步骤中的“将待训练兴趣点的特征图像,输入至初始模型中的第i个第一卷积神经网络子单元中进行处理,得到待训练兴趣点的第一特征图”,包括以下过程:将待训练兴趣点的特征图像,输入至第一卷积层中进行卷积处理,得到第一卷积特征;其中,第一卷积特征表征待训练兴趣点的特征图像的卷积特征;将第一卷积特征,输入至第一激活层中进行修正处理,得到修正后的第一卷积特征;将修正后的第一卷积特征,输入至池化层中进行特征压缩处理,待训练兴趣点的第一特征图;其中,待训练兴趣点的第一特征图表征待训练兴趣点的特征图像。
401.第j个第二卷积神经网络子单元中包括第二卷积层和第二激活层。步骤s1106的第二步骤中的“将待训练兴趣点的中间特征,输入至初始模型中的第j个第二卷积神经网络子单元中进行处理,得到待训练兴趣点的第二特征图”,包括以下过程:将待训练兴趣点的中间特征,输入至第二卷积层中进行卷积处理,得到第二卷积特征;其中,第二卷积特征表征待训练兴趣点的中间特征的卷积特征;将第二卷积特征,输入至第二激活层中进行修正处理,得到待训练兴趣点的第二特征图。
402.示例性地,可以采用如下方式实现步骤s1106的技术方案。
403.初始模型中包括至少一个卷积神经网络单元;至少一个卷积神经网络单元的个数为m个,m为大于1的正整数。并且,m个卷积神经网络单元包括n个第一卷积神经网络子单元和m-n个第二卷积神经网络子单元,n为大于1的正整数,n小于m。
404.其中,每一第一卷积神经网络子单元中包括第一卷积层、第一激活层和池化层。但是每一第二卷积神经网络子单元中只包括第二卷积层和第二激活层。可知,第二卷积神经网络子单元不需要设置池化层。
405.在针对每一待训练兴趣点,在获取到待训练兴趣点的特征图像之后,将待训练兴
趣点的特征图像,输入至第1个第一卷积神经网络子单元中。基于第1个第一卷积神经网络子单元的第一卷积层,对待训练兴趣点的特征图像进行卷积计算处理,得到第一卷积特征,可知,第一卷积特征为待训练兴趣点的特征图像的卷积特征。然后,基于第1个第一卷积神经网络子单元的第一激活层,对第一卷积特征进行修正处理,以对第一卷积特征中的多余特征进行剔除;还可以进行归一化处理等等,进而得到修正后的第一卷积特征。然后,基于第1个第一卷积神经网络子单元的池化层,对修正后的第一卷积特征进行特征压缩,进而降低修正后的第一卷积特征的维度,例如,修正后的第一卷积特征的维度为100*100,通过池化层将修正后的第一卷积特征的维度降低为50*50。就可以得到待训练兴趣点的第一特征图。将当前的第一特征图,作为待训练兴趣点的新的特征图像。
406.将待训练兴趣点的新的特征图像,输入至第2个第一卷积神经网络子单元中。基于第2个第一卷积神经网络子单元的第一卷积层,对待训练兴趣点的新的特征图像进行卷积计算处理,得到第一卷积特征,可知,第一卷积特征为待训练兴趣点的特征图像的新的卷积特征。然后,基于第2个第一卷积神经网络子单元的第一激活层,对第一卷积特征进行修正处理,以对第一卷积特征中的多余特征进行剔除;还可以进行归一化处理等等,进而得到修正后的第一卷积特征。然后,基于第2个第一卷积神经网络子单元的池化层,对修正后的第一卷积特征进行特征压缩,进而降低修正后的第一卷积特征的维度,例如,修正后的第一卷积特征的维度为100*100,通过池化层将修正后的第一卷积特征的维度降低为50*50。就可以得到待训练兴趣点的第一特征图。将当前的第一特征图,作为待训练兴趣点的新的特征图像。
407.以此类推,将待训练兴趣点的新的特征图像,输入至第i个第一卷积神经网络子单元中。基于第i个第一卷积神经网络子单元的第一卷积层,对待训练兴趣点的新的特征图像进行卷积计算处理,得到第一卷积特征,可知,第一卷积特征为待训练兴趣点的特征图像的新的卷积特征。然后,基于第i个第一卷积神经网络子单元的第一激活层,对第一卷积特征进行修正处理,以对第一卷积特征中的多余特征进行剔除;还可以进行归一化处理等等,进而得到修正后的第一卷积特征。然后,基于第i个第一卷积神经网络子单元的池化层,对修正后的第一卷积特征进行特征压缩,进而降低修正后的第一卷积特征的维度,例如,修正后的第一卷积特征的维度为100*100,通过池化层将修正后的第一卷积特征的维度降低为50*50。就可以得到待训练兴趣点的第一特征图。将当前的第一特征图,作为待训练兴趣点的新的特征图像。依次类推,直至达到第一预设条件。
408.其中,第一预设条件可以为“确定i的取值等于n”。或者,第一预设条件可以为接收到第一停止指令,第一停止指令用于指示停止生成待训练兴趣点的第一特征图。例如,n的取值可以为3。
409.将达到第一预设条件时所得到的特征图像,作为待训练兴趣点的中间特征。从而,基于第一卷积神经网络子单元对待训练兴趣点的特征图像,进行特征图像的特征提取、特征压缩等过程。所得到的待训练兴趣点的处理后的特征图像,可以更好的与待训练兴趣点的相关性特征进行结合。
410.上述每一池化层为最大池化(maxpooling层),进而是基于maxpooling层提取边缘特征,而不是提取非纹理特征。
411.然后,在针对每一待训练兴趣点,在获取到待训练兴趣点的中间特征之后,将待训
练兴趣点的中间特征,输入至第1个第二卷积神经网络子单元中。基于第1个第二卷积神经网络子单元的第二卷积层,对待训练兴趣点的中间特征进行卷积计算处理,得到第二卷积特征,可知,第二卷积特征为待训练兴趣点的中间特征的卷积特征。然后,基于第1个第二卷积神经网络子单元的第二激活层,对第二卷积特征进行修正处理,以对第二卷积特征中的多余特征进行剔除;还可以进行归一化处理等等,进而得到修正后的第二卷积特征,确定修正后的第二卷积特征,为待训练兴趣点的第二特征图。然后,将当前的第二特征图,作为待训练兴趣点的新的中间特征。
412.将待训练兴趣点的新的中间特征,输入至第2个第二卷积神经网络子单元中。基于第2个第二卷积神经网络子单元的第二卷积层,对待训练兴趣点的中间特征进行卷积计算处理,得到第二卷积特征,可知,第二卷积特征为待训练兴趣点的中间特征的卷积特征。然后,基于第2个第二卷积神经网络子单元的第二激活层,对第二卷积特征进行修正处理,以对第二卷积特征中的多余特征进行剔除;还可以进行归一化处理等等,进而得到修正后的第二卷积特征,确定修正后的第二卷积特征,为待训练兴趣点的第二特征图。然后,将当前的第二特征图,作为待训练兴趣点的新的中间特征。
413.以此类推,将待训练兴趣点的新的中间特征,输入至第j个第二卷积神经网络子单元中。基于第j个第二卷积神经网络子单元的第二卷积层,对待训练兴趣点的中间特征进行卷积计算处理,得到第二卷积特征,可知,第二卷积特征为待训练兴趣点的中间特征的卷积特征。然后,基于第j个第二卷积神经网络子单元的第二激活层,对第二卷积特征进行修正处理,以对第二卷积特征中的多余特征进行剔除;还可以进行归一化处理等等,进而得到修正后的第二卷积特征,确定修正后的第二卷积特征,为待训练兴趣点的第二特征图。然后,将当前的第二特征图,作为待训练兴趣点的新的中间特征。依次类推,直至达到第二预设条件。
414.其中,第二预设条件可以为“确定j的取值等于m-n”。或者,第二预设条件可以为接收到第二停止指令,第二停止指令用于指示停止生成待训练兴趣点的第二特征图。例如,m的取值可以为5,n的取值可以为3,则m-n为2。
415.将达到第二预设条件时所得到的中间特征,作为待训练兴趣点的处理后的特征图像。
416.上述过程中,池化层的作用是对特征进行特征压缩;每一第一卷积神经网络子单元中包括池化层,但是每一第二卷积神经网络子单元中不包括池化层。从而可以避免过早进入强特征的非线性组合阶段,避免特征丢失。
417.上述过程中,每一第一卷积神经网络子单元中的卷积核(kernel)的个数小于预设个数,每一第二卷积神经网络子单元中的卷积核的个数小于预设个数,进而降低模型的训练复杂度,加快训练过程。
418.并且,初始模型的训练过程是基于神经网络中的dropout机制进行实现的。
419.s1107、将待训练兴趣点的特征图像、以及待训练兴趣点的相关性特征输入至初始模型中,得到待训练兴趣点的预测的通行信息。
420.示例性地,本步骤参见步骤s905的第二步骤,不再赘述。但是本步骤中,“待训练兴趣点的特征图像”为步骤s1106所输出的“待训练兴趣点的处理后的特征图像”。
421.s1108、根据待训练兴趣点的预测的通行信息、以及待训练兴趣点的真实的通行信
息,对初始模型的参数进行调整,得到识别模型。其中,识别模型用于识别待识别兴趣点的通行信息。
422.示例性地,本步骤参见步骤s906的第二步骤,不再赘述。
423.本实施例中,在上述实施例的基础上,可以对待训练兴趣点的特征图像进行处理,基于初始模型中的至少一个卷积神经网络单元对待训练兴趣点的特征图像进行处理,得到待训练兴趣点的处理后的特征图像。进而完成对特征图像的特征提取、特征压缩等过程。所得到的待训练兴趣点的处理后的特征图像,可以更好的与待训练兴趣点的相关性特征进行结合。并且,在处理的过程中,至少一个卷积神经网络单元中的部分卷积神经网络单元具有池化层、部分卷积神经网络单元不具有池化层,从而可以避免过早进入强特征的非线性组合阶段,避免特征丢失。
424.图13是根据本公开第七实施例的示意图,如图13所示,本实施例提供的兴趣点的信息识别装置1300,包括:
425.第一获取单元1301,用于获取待识别兴趣点的初始信息;其中,初始信息中包括待识别兴趣点在当前时段下的轨迹信息,轨迹信息表征以兴趣点为关键位置的轨迹。
426.第二获取单元1302,用于获取待识别兴趣点的相关性特征;其中,相关性特征表征同一兴趣点在同一时段下的通行信息与轨迹信息之间的相关性;通行信息为可指示出兴趣点的通行性的信息。
427.确定单元1303,用于根据待识别兴趣点在当前时段下的轨迹信息、以及相关性特征,确定待识别兴趣点在当前时段下的通行信息。
428.本实施例的装置,可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
429.图14是根据本公开第八实施例的示意图,如图14所示,本实施例提供的兴趣点的信息识别装置1400,包括:
430.第一获取单元1401,用于获取待识别兴趣点的初始信息;其中,初始信息中包括待识别兴趣点在当前时段下的轨迹信息,轨迹信息表征以兴趣点为关键位置的轨迹。
431.第二获取单元1402,用于获取待识别兴趣点的相关性特征;其中,相关性特征表征同一兴趣点在同一时段下的通行信息与轨迹信息之间的相关性;通行信息为可指示出兴趣点的通行性的信息。
432.确定单元1403,用于根据待识别兴趣点在当前时段下的轨迹信息、以及相关性特征,确定待识别兴趣点在当前时段下的通行信息。
433.一个示例中,初始信息中还包括待识别兴趣点在历史时间段内的每一时段下的通行信息、以及待识别兴趣点在历史时间段内的每一时段下的轨迹信息;待识别兴趣点具有在历史时间段内的每一时段下的相关性特征;其中,历史时间段中包括至少一个时段。
434.一个示例中,确定单元1403,包括:
435.获取模块14031,用于获取待识别兴趣点的特征图像;其中,特征图像用于指示兴趣点的特征。
436.第一处理模块14032,用于对待识别兴趣点的特征图像、待识别兴趣点的相关性特征、以及待识别兴趣点在当前时段下的轨迹信息进行处理,得到待识别兴趣点在当前时段下的通行信息。
437.一个示例中,获取模块14031,包括:
438.获取子模块140311,用于获取待识别兴趣点的兴趣点信息;其中,兴趣点信息中包括至少一种特征信息。
439.第一融合子模块140312,用于基于数据源对待识别兴趣点的兴趣点信息中的特征信息,进行数据融合,得到待识别兴趣点的特征图像。
440.一个示例中,至少一种特征信息包括路网信息和轨迹数据信息;其中,路网信息为兴趣点所处位置的路网信息;轨迹数据信息为以兴趣点为关键位置的轨迹数据信息。
441.获取模块14031,还包括:
442.修复子模块140313,用于在第一融合子模块140312,基于数据源对待识别兴趣点的兴趣点信息中的特征信息,进行数据融合,得到待识别兴趣点的特征图像之前,基于路网信息对轨迹数据信息进行偏差修复处理,得到修复后的轨迹数据信息。
443.一个示例中,至少一种特征信息包括以下信息中的一种或多种:位置信息、地图信息、路网信息、轨迹数据信息、面状区域信息。
444.其中,位置信息为兴趣点的位置信息;地图信息为兴趣点所处位置的地图信息;路网信息为兴趣点所处位置的路网信息;轨迹数据信息为以兴趣点为关键位置的轨迹数据信息;面状区域信息为兴趣点的面状区域信息。
445.一个示例中,第一处理模块14032,具体用于:基于识别模型对待识别兴趣点的特征图像、待识别兴趣点的相关性特征、以及待识别兴趣点在当前时段下的轨迹信息进行处理,得到待识别兴趣点在当前时段下的通行信息。
446.一个示例中,确定单元1403,还包括:
447.第二处理模块14033,用于在第一处理模块14032基于识别模型对待识别兴趣点的特征图像、待识别兴趣点的相关性特征、以及待识别兴趣点在当前时段下的轨迹信息进行处理,得到待识别兴趣点在当前时段下的通行信息之前,将待识别兴趣点的特征图像,输入至识别模型中的至少一个卷积神经网络单元中进行处理,得到待识别兴趣点的处理后的特征图像。
448.一个示例中,至少一个卷积神经网络单元包括q个第一卷积神经网络子单元和m-q个第二卷积神经网络子单元,第一卷积神经网络子单元的结构不同于第二卷积神经网络子单元的结构,q为大于1的正整数,m为大于1的正整数,m大于q;第二处理模块14033,包括:
449.第一确定子模块140331,用于重复以下步骤,直至达到第一预设条件:将待识别兴趣点的特征图像,输入至识别模型中的第q个第一卷积神经网络子单元中进行处理,得到待识别兴趣点的第一特征图;确定待识别兴趣点的第一特征图为待识别兴趣点的新的特征图像,并确定q的取值为q 1;其中,q的初始值为1,q为大于等于1、小于等于q的正整数;达到第一预设条件时所得到的新的特征图像,为待识别兴趣点的中间特征。
450.第二确定子模块140332,用于重复以下步骤,直至达到第二预设条件:将待识别兴趣点的中间特征,输入至识别模型中的第k个第二卷积神经网络子单元中进行处理,得到待识别兴趣点的第二特征图;确定待识别兴趣点的第二特征图为新的中间特征,并确定k的取值为k 1;其中,k的初始值为1,k为大于等于1、小于等于m-q的正整数。
451.其中,达到第二预设条件时所得到的中间特征,为待识别兴趣点的处理后的特征图像。
452.一个示例中,第q个第一卷积神经网络子单元中包括第一卷积层、第一激活层和池化层;第一确定子模块140331在将待识别兴趣点的特征图像,输入至识别模型中的第q个第一卷积神经网络子单元中进行处理,得到待识别兴趣点的第一特征图时,具体用于:
453.将待识别兴趣点的特征图像,输入至第一卷积层中进行卷积处理,得到第一卷积特征;其中,第一卷积特征表征待识别兴趣点的特征图像的卷积特征;将第一卷积特征,输入至第一激活层中进行修正处理,得到修正后的第一卷积特征;将修正后的第一卷积特征,输入至池化层中进行特征压缩处理,待识别兴趣点的第一特征图;其中,待识别兴趣点的第一特征图表征待识别兴趣点的特征图像。
454.一个示例中,第k个第二卷积神经网络子单元中包括第二卷积层和第二激活层;第二确定子模块140332在将待识别兴趣点的中间特征,输入至识别模型中的第k个第二卷积神经网络子单元中进行处理,得到待识别兴趣点的第二特征图时,具体用于:
455.将待识别兴趣点的中间特征,输入至第二卷积层中进行卷积处理,得到第二卷积特征;其中,第二卷积特征表征待识别兴趣点的中间特征的卷积特征;将第二卷积特征,输入至第二激活层中进行修正处理,得到待识别兴趣点的第二特征图。
456.一个示例中,第一处理模块14032,包括:
457.第二融合子模块140321,用于将待识别兴趣点的特征图像、待识别兴趣点的相关性特征、以及待识别兴趣点在当前时段下的轨迹信息输入至识别模型中的第一全连接层中进行特征融合,得到待识别兴趣点的融合特征。
458.预测子模块140322,用于将待识别兴趣点的融合特征,输入至识别模型中的第二全连接层中进行预测处理,得到待识别兴趣点在当前时段下的通行信息。
459.一个示例中,待识别兴趣点在历史时间段内的每一时段下的通行信息,为基于每一用户语音所确定的;其中,用户语音的内容中包括待识别兴趣点在历史时间段内的时段下的通行信息;用户语音为基于智能问答方式所获取的。
460.一个示例中,待识别兴趣点在历史时间段内的每一时段下的通行信息,为每一纠正语音中的通行信息;其中,纠正语音为相似度信息所表征数值最高的候选语音;相似度信息为用户语音与预设的候选语音集合中的候选语音之间的相似度;预设的候选语音集合中包括至少一个候选语音。
461.一个示例中,相似度信息为第一音频信息与第二音频信息之间的相似度;其中,第一音频信息为用户语音的音频信息,第二音频信息为候选语音的音频信息。
462.一个示例中,通行信息,包括以下的一种或多种:可通行通道口、可通行通道口的朝向、兴趣点的位置、兴趣点的开放时间。
463.一个示例中,本实施例提供的装置,还包括:
464.导航单元1404,用于根据待识别兴趣点在当前时段下的通行信息,生成导航路径。
465.控制单元1405,用于根据导航路径,控制自动驾驶车辆进行行驶。
466.本实施例的装置,可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
467.图15是根据本公开第九实施例的示意图,如图15所示,本实施例提供的应用于兴趣点的信息识别的模型训练装置1500,包括:
468.第一获取单元1501,用于获取待训练兴趣点集合;其中,待训练兴趣点集合中包括
多个待训练兴趣点,待训练兴趣点具有通行信息和轨迹信息,通行信息为可指示出兴趣点的通行性的信息,轨迹信息表征以兴趣点为关键位置的轨迹。
469.确定单元1502,用于根据待训练兴趣点的通行信息和轨迹信息,确定待训练兴趣点的相关性特征;其中,相关性特征表征同一兴趣点在同一时段下的通行信息与轨迹信息之间的相关性。
470.训练单元1503,用于对待训练兴趣点的相关性特征进行训练处理,得到识别模型;其中,识别模型用于识别待识别兴趣点的通行信息。
471.本实施例的装置,可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
472.图16是根据本公开第十实施例的示意图,如图16所示,本实施例提供的应用于兴趣点的信息识别的模型训练装置1600,包括:
473.第一获取单元1601,用于获取待训练兴趣点集合;其中,待训练兴趣点集合中包括多个待训练兴趣点,待训练兴趣点具有通行信息和轨迹信息,通行信息为可指示出兴趣点的通行性的信息,轨迹信息表征以兴趣点为关键位置的轨迹。
474.确定单元1602,用于根据待训练兴趣点的通行信息和轨迹信息,确定待训练兴趣点的相关性特征;其中,相关性特征表征同一兴趣点在同一时段下的通行信息与轨迹信息之间的相关性。
475.训练单元1603,用于对待训练兴趣点的相关性特征进行训练处理,得到识别模型;其中,识别模型用于识别待识别兴趣点的通行信息。
476.一个示例中,待训练兴趣点具有在预设时段集合内的每一时段下的通行信息、以及在预设时段集合内的每一时段下的轨迹信息;待训练兴趣点具有在预设时段集合内的每一时段下的相关性特征;其中,预设时段集合中包括至少一个时段。
477.一个示例中,待训练兴趣点具有真实的通行信息,真实的通行信息为待训练兴趣点在预设时段集合内的最后一个时段的通行信息;训练单元1603,包括:
478.处理子单元16031,用于将待训练兴趣点的相关性特征输入至初始模型中,得到待训练兴趣点的预测的通行信息;其中,预测的通行信息为待训练兴趣点在最后一个时段的通行信息。
479.调节子单元16032,用于根据待训练兴趣点的预测的通行信息、以及待训练兴趣点的真实的通行信息,对初始模型的参数进行调整,得到识别模型。
480.一个示例中,处理子单元16031,包括:
481.获取模块160311,用于获取待训练兴趣点的特征图像;其中,特征图像用于指示兴趣点的特征。
482.第一处理模块160312,用于将待训练兴趣点的特征图像、以及待训练兴趣点的相关性特征输入至初始模型中,得到待训练兴趣点的预测的通行信息。
483.一个示例中,获取模块160311,包括:
484.获取子模块1603111,用于获取待训练兴趣点的兴趣点信息;其中,兴趣点信息中包括至少一种特征信息;
485.第一融合子模块1603112,用于基于数据源对待训练兴趣点的兴趣点信息中的特征信息,进行数据融合,得到待训练兴趣点的特征图像。
486.一个示例中,至少一种特征信息包括路网信息和轨迹数据信息;其中,路网信息为兴趣点所处位置的路网信息;轨迹数据信息为以兴趣点为关键位置的轨迹数据信息。
487.获取模块160311,还包括:
488.修复子模块1603113,用于在第一融合子模块1603112基于数据源对待训练兴趣点的兴趣点信息中的特征信息,进行数据融合,得到待训练兴趣点的特征图像之前,基于路网信息对轨迹数据信息进行偏差修复处理,得到修复后的轨迹数据信息。
489.一个示例中,至少一种特征信息包括以下信息中的一种或多种:位置信息、地图信息、路网信息、轨迹数据信息、面状区域信息。
490.其中,位置信息为兴趣点的位置信息;地图信息为兴趣点所处位置的地图信息;路网信息为兴趣点所处位置的路网信息;轨迹数据信息为以兴趣点为关键位置的轨迹数据信息;面状区域信息为兴趣点的面状区域信息。
491.一个示例中,处理子单元16031,还包括:
492.第二处理模块160313,用于在第一处理模块160312将待训练兴趣点的特征图像、以及待训练兴趣点的相关性特征输入至初始模型中,得到待训练兴趣点的预测的通行信息之前,将待训练兴趣点的特征图像,输入至初始模型中的至少一个卷积神经网络单元中进行处理,得到待训练兴趣点的处理后的特征图像。
493.一个示例中,至少一个卷积神经网络单元包括n个第一卷积神经网络子单元和m-n个第二卷积神经网络子单元,第一卷积神经网络子单元的结构不同于第二卷积神经网络子单元的结构,n为大于1的正整数,m为大于1的正整数,m大于n;第二处理模块160313,包括:
494.第一确定子模块1603131,用于重复以下步骤,直至达到第一预设条件:将待训练兴趣点的特征图像,输入至初始模型中的第i个第一卷积神经网络子单元中进行处理,得到待训练兴趣点的第一特征图;确定待训练兴趣点的第一特征图为待训练兴趣点的新的特征图像,并确定i的取值为i 1;其中,i的初始值为1,i为大于等于1、小于等于n的正整数;达到第一预设条件时所得到的新的特征图像,为待训练兴趣点的中间特征。
495.第二确定子模块1603132,用于重复以下步骤,直至达到第二预设条件:将待训练兴趣点的中间特征,输入至初始模型中的第j个第二卷积神经网络子单元中进行处理,得到待训练兴趣点的第二特征图;确定待训练兴趣点的第二特征图为新的中间特征,并确定j的取值为j 1;其中,j的初始值为1,j为大于等于1、小于等于m-n的正整数。
496.其中,达到第二预设条件时所得到的中间特征,为待训练兴趣点的处理后的特征图像。
497.一个示例中,第i个第一卷积神经网络子单元中包括第一卷积层、第一激活层和池化层;第一确定子模块1603131在将待训练兴趣点的特征图像,输入至初始模型中的第i个第一卷积神经网络子单元中进行处理,得到待训练兴趣点的第一特征图时,具体用于:
498.将待训练兴趣点的特征图像,输入至第一卷积层中进行卷积处理,得到第一卷积特征;其中,第一卷积特征表征待训练兴趣点的特征图像的卷积特征;将第一卷积特征,输入至第一激活层中进行修正处理,得到修正后的第一卷积特征;将修正后的第一卷积特征,输入至池化层中进行特征压缩处理,待训练兴趣点的第一特征图;其中,待训练兴趣点的第一特征图表征待训练兴趣点的特征图像。
499.一个示例中,第j个第二卷积神经网络子单元中包括第二卷积层和第二激活层;第
二确定子模块1603132在将待训练兴趣点的中间特征,输入至初始模型中的第j个第二卷积神经网络子单元中进行处理,得到待训练兴趣点的第二特征图时,具体用于:
500.将待训练兴趣点的中间特征,输入至第二卷积层中进行卷积处理,得到第二卷积特征;其中,第二卷积特征表征待训练兴趣点的中间特征的卷积特征;将第二卷积特征,输入至第二激活层中进行修正处理,得到待训练兴趣点的第二特征图。
501.一个示例中,第一处理模块160312,包括:
502.第二融合子模块1603121,用于将待训练兴趣点的特征图像、以及待训练兴趣点的相关性特征输入至初始模型中的第一全连接层中进行特征融合,得到待训练兴趣点的融合特征。
503.预测子模块1603122,用于将待训练兴趣点的融合特征,输入至初始模型中的第二全连接层中进行预测处理,得到待训练兴趣点的预测的通行信息。
504.一个示例中,第一获取单元1601,包括:
505.第一获取子单元16011,用于基于智能问答方式获取用户语音;其中,用户语音的内容中包括待训练兴趣点的通行信息;
506.确定子单元16012,用于根据用户语音,确定与用户语音对应的通行信息;
507.第二获取子单元16013,用于获取用户语音对应的待训练兴趣点的轨迹信息,以得到待训练兴趣点集合中的待训练兴趣点。
508.一个示例中,第一获取子单元16011,包括:
509.生成模块160111,用于获取用户意图,并根据用户意图、以及待训练兴趣点所对应的预设问题文本,生成问题语音。
510.发送模块160112,用于向用户发送问题语音。
511.接收模块160113,用于接收用户反馈的用户语音。
512.一个示例中,确定子单元16012,包括:
513.第一确定模块160121,用于确定用户语音与预设的候选语音集合中的候选语音之间的相似度,得到候选语音的相似度信息,其中,预设的候选语音集合中包括至少一个候选语音。
514.第二确定模块160122,用于确定相似度信息所表征数值最高的候选语音,为纠正语音。
515.第三确定模块160123,用于确定纠正语音中的通行信息,为与用户语音对应的通行信息。
516.一个示例中,第一确定模块160121,具体用于:
517.提取用户语音的第一音频信息,并提取候选语音的第二音频信息;确定第一音频信息与第二音频信息之间的相似度,得到候选语音的相似度信息。
518.一个示例中,通行信息,包括以下的一种或多种:可通行通道口、可通行通道口的朝向、兴趣点的位置、兴趣点的开放时间。
519.本实施例的装置,可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
520.图17是根据本公开第十一实施例的示意图,如图17所示,本实施例中的电子设备1700可以包括:处理器1701和存储器1702。
521.存储器1702,用于存储程序;存储器1702,可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:ram),如静态随机存取存储器(英文:static random-access memory,缩写:sram),双倍数据率同步动态随机存取存储器(英文:double data rate synchronous dynamic random access memory,缩写:ddr sdram)等;存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory)。存储器1702用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等,上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器1702中。并且上述的计算机程序、计算机指令、数据等可以被处理器1701调用。
522.上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器1702中。并且上述的计算机程序、计算机指据等可以被处理器1701调用。
523.处理器1701,用于执行存储器1702存储的计算机程序,以实现上述实施例涉及的方法中的各个步骤。
524.具体可以参见前面方法实施例中的相关描述。
525.处理器1701和存储器1702可以是独立结构,也可以是集成在一起的集成结构。当处理器1701和存储器1702是独立结构时,存储器1702、处理器1701可以通过总线1703耦合连接。
526.本实施例的电子设备可以执行上述方法中的技术方案,其具体实现过程和技术原理相同,此处不再赘述。
527.根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
528.根据本公开的实施例,本公开还提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行上述任一实施例提供的方案。
529.根据本公开的实施例,本公开还提供了一种计算机程序产品,计算机程序产品包括:计算机程序,计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从可读存储介质读取计算机程序,至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
530.图18示出了可以用来实施本公开的实施例的示例电子设备1800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
531.如图18所示,设备1800包括计算单元1801,其可以根据存储在只读存储器(rom)1802中的计算机程序或者从存储单元1808加载到随机访问存储器(ram)1803中的计算机程序,来执行各种适当的动作和处理。在ram 1803中,还可存储设备1800操作所需的各种程序和数据。计算单元1801、rom 1802以及ram 1803通过总线1804彼此相连。输入/输出(i/o)接口1805也连接至总线1804。
532.设备1800中的多个部件连接至i/o接口1805,包括:输入单元1806,例如键盘、鼠标
等;输出单元1807,例如各种类型的显示器、扬声器等;存储单元1808,例如磁盘、光盘等;以及通信单元1809,例如网卡、调制解调器、无线通信收发机等。通信单元1809允许设备1800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
533.计算单元1801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1801执行上文所描述的各个方法和处理,例如兴趣点的信息识别方法或者应用于兴趣点的信息识别的模型训练方法。例如,在一些实施例中,兴趣点的信息识别方法或者应用于兴趣点的信息识别的模型训练方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1808。在一些实施例中,计算机程序的部分或者全部可以经由rom 1802和/或通信单元1809而被载入和/或安装到设备1800上。当计算机程序加载到ram 1803并由计算单元1801执行时,可以执行上文描述的兴趣点的信息识别方法或者应用于兴趣点的信息识别的模型训练方法的一个或多个步骤。备选地,在其他实施例中,计算单元1801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行兴趣点的信息识别方法或者应用于兴趣点的信息识别的模型训练方法。
534.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
535.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
536.在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
537.为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视
器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
538.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。
539.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与vps服务("virtual private server",或简称"vps")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
540.根据本公开的实施例,本公开还提供了一种自动驾驶车辆,自动驾驶车辆中设置有上述实施例提供的电子设备。
541.应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
542.上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献