一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种车辆行驶场景中信息推送的方法以及相关装置与流程

2022-08-23 18:38:35 来源:中国专利 TAG:


1.本技术涉及计算机技术领域,尤其涉及一种车辆行驶场景中信息推送的方法以及相关装置。


背景技术:

2.随着互联网技术的迅速发展,越来越多的应用程序出现在人们的生活中,例如在用户驾驶时使用车载应用的过程中,可以进行地图信息的接收以及相关通讯信息的接收。
3.一般,对于不同应用所接收到的信息,在车辆行驶过程中按照接收信息的时序进行推送,为即时推送信息的过程。
4.但是,由于驾驶过程中需要用户将注意力集中在驾驶对象的操作上,即时推送信息的过程会使得用户无法留意到信息,造成信息遗漏,且容易分散用户的注意力,影响车辆行驶场景中信息推送的效率以及驾驶过程的安全性。


技术实现要素:

5.有鉴于此,本技术提供一种车辆行驶场景中信息推送的方法,可以有效提高车辆行驶场景中信息推送的效率以及驾驶过程的安全性。
6.本技术第一方面提供一种车辆行驶场景中信息推送的方法,可以应用于终端设备中包含车辆行驶场景中信息推送的功能的系统或程序中,具体包括:
7.接收车辆行驶场景中的待推送信息;
8.获取车载图像采集设备采集的行驶场景图像信息,所述行驶场景图像信息用于记录车辆在所述车辆行驶场景中对应的环境信息;
9.向服务器发送所述行驶场景图像信息,以使所述服务器对所述行驶场景图像信息进行识别得到场景类别识别信息;
10.接收所述服务器发送的所述场景类别识别信息,所述场景类别识别信息用于指示所述环境信息的类别;
11.若所述场景类别识别信息满足推送条件,则将所述待推送信息在所述车辆行驶场景中进行信息推送。
12.可选的,在本技术一些可能的实现方式中,所述获取车载图像采集设备采集的行驶场景图像信息,包括:
13.响应于目标指令向所述车载图像采集设备发送采集参数,以使得所述车载图像采集设备根据所述采集参数进行图像采集,以得到采集图像,所述采集参数适配于不同的所述行驶场景;
14.接收所述车载图像采集设备发送的采集图像,并对所述采集图像进行预处理,以确定所述采集图像中的驾驶对象元素;
15.确定所述驾驶对象元素对应的像素范围,以对所述像素范围进行裁剪得到裁剪图像;
16.基于所述行驶场景的场景特征对所述裁剪图像进行参数调节,以得到所述图像信息。
17.可选的,在本技术一些可能的实现方式中,所述向服务器发送所述行驶场景图像信息,以使所述服务器对所述行驶场景图像信息进行识别得到场景类别识别信息,包括:
18.实时获取网络资源信息;
19.基于所述网络资源信息与预设值的数值关系确定网络状态信息;
20.若所述网络状态信息满足预设条件,则向服务器发送所述行驶场景图像信息,以使所述服务器将所述行驶场景图像信息输入第一模型,并对所述行驶场景图像信息进行识别得到场景类别识别信息。
21.可选的,在本技术一些可能的实现方式中,所述向服务器发送所述行驶场景图像信息,以使所述服务器将所述行驶场景图像信息输入第一模型,并对所述行驶场景图像信息进行识别得到场景类别识别信息,包括:
22.向所述服务器发送所述行驶场景图像信息,以使所述服务器将所述图像信息输入第一模型,并得到场景分值序列,所述场景分值序列用于指示多个预设场景的归属概率;
23.接收所述服务器发送的所述行驶场景对应的场景类别,所述场景类别基于所述归属概率确定所述场景分值序列中的目标项确定。
24.可选的,在本技术一些可能的实现方式中,所述方法还包括:
25.若所述网络状态信息不满足预设条件,则调用第二模型对所述行驶场景图像信息进行局部特征提取,以得到特征元素,所述第二模型占用的计算资源小于所述第一模型;
26.基于所述特征元素进行识别,以得到特征类别;
27.根据所述特征类别对应的场景信息确定所述场景类别识别信息。
28.可选的,在本技术一些可能的实现方式中,所述若所述场景类别识别信息满足推送条件,则将所述待推送信息在所述车辆行驶场景中进行信息推送,包括:
29.若所述场景类别识别信息满足所述推送条件,则统计所述车辆在预设时长的行驶参数;
30.基于所述行驶参数对应的数值波动情况确定推送参数;
31.根据所述推送参数生成推送序列表,以基于所述推送序列表对所述待推送信息进行信息推送。
32.可选的,在本技术一些可能的实现方式中,所述若所述场景类别识别信息满足所述推送条件,则统计所述车辆在预设时间段内的行驶参数,包括:
33.获取预设时间段内所述第一模型输出的场景类别集合;
34.统计所述场景类别集合中的类别分布信息;
35.基于所述类别分布信息中的极值项确定为所述场景类别识别信息;
36.若所述场景类别识别信息满足推送条件,则统计所述车辆在预设时间段内的行驶参数。
37.可选的,在本技术一些可能的实现方式中,所述接收车辆行驶场景中的待推送信息,包括:
38.响应于在所述车辆中所述待推送信息的接收,获取所述待推送信息对应的信息类型;
39.若所述信息类型指示所述待推送信息为非即时信息,则将所述待推送信息输入推送池缓存;
40.所述若所述场景类别识别信息满足推送条件,则将所述待推送信息在所述车辆行驶场景中进行信息推送,包括:
41.若所述场景类别识别信息满足所述推送条件,则基于所述推送池进行信息推送。
42.可选的,在本技术一些可能的实现方式中,所述若所述场景类别满足所述推送条件,则基于所述推送池进行信息推送,包括:
43.若所述场景类别识别信息满足所述推送条件,则获取所述待推送信息对应的时序信息,所述时序信息基于所述待推送信息输入所述推送池的时序设定;
44.基于所述时序信息生成推送序列,以对所述待推送信息进行信息推送。
45.可选的,在本技术一些可能的实现方式中,所述基于所述时序信息生成推送序列,以对所述待推送信息进行信息推送,包括:
46.获取所述待推送信息对应的优先级信息,所述优先级信息基于所述待推送信息的类型设定;
47.基于所述优先级信息对应的推送等级对所述推送序列进行更新;
48.基于更新后的所述推送序列对所述待推送信息进行信息推送。
49.可选的,在本技术一些可能的实现方式中,所述方法还包括:
50.获取所述待推送信息对应的信息类型;
51.若所述信息类型指示所述待推送信息为即时推送信息,则立即对所述待推送信息进行信息推送。
52.可选的,在本技术一些可能的实现方式中,所述场景类别包括行驶环境类别和天气环境类别,满足所述推送条件的场景类别包括所述行驶环境类别指示所述车辆处于安全行驶的场景或所述天气环境类别指示不影响所述车辆行驶的天气场景。
53.本技术第二方面提供一种信息推送装置,包括:
54.接收单元,用于接收车辆行驶场景中的待推送信息;
55.所述接收单元,还用于获取车载图像采集设备采集的行驶场景图像信息,所述行驶场景图像信息用于记录车辆在所述车辆行驶场景中对应的环境信息;
56.发送单元,用于向服务器发送所述行驶场景图像信息,以使所述服务器对所述行驶场景图像信息进行识别得到场景类别识别信息;
57.所述接收单元,还用于接收所述服务器发送的所述场景类别识别信息,所述场景类别识别信息用于指示所述环境信息的类别;
58.推送单元,用于若所述场景类别识别信息满足推送条件,则将所述待推送信息在所述车辆行驶场景中进行信息推送。
59.可选的,在本技术一些可能的实现方式中,所述接收单元,具体用于响应于目标指令向所述车载图像采集设备发送采集参数,以使得所述车载图像采集设备根据所述采集参数进行图像采集,以得到采集图像,所述采集参数适配于不同的所述行驶场景;
60.所述接收单元,具体用于接收所述车载图像采集设备发送的采集图像,并对所述采集图像进行预处理,以确定所述采集图像中的驾驶对象元素;
61.所述接收单元,具体用于确定所述驾驶对象元素对应的像素范围,以对所述像素
范围进行裁剪得到裁剪图像;
62.所述接收单元,具体用于基于所述行驶场景的场景特征对所述裁剪图像进行参数调节,以得到所述图像信息。
63.可选的,在本技术一些可能的实现方式中,所述发送单元,具体用于实时获取网络资源信息;
64.所述发送单元,具体用于基于所述网络资源信息与预设值的数值关系确定网络状态信息;
65.所述发送单元,具体用于若所述网络状态信息满足预设条件,则向服务器发送所述行驶场景图像信息,以使所述服务器将所述行驶场景图像信息输入第一模型,并对所述行驶场景图像信息进行识别得到场景类别识别信息。
66.可选的,在本技术一些可能的实现方式中,所述发送单元,具体用于向所述服务器发送所述行驶场景图像信息,以使所述服务器将所述图像信息输入第一模型,并得到场景分值序列,所述场景分值序列用于指示多个预设场景的归属概率;
67.所述发送单元,具体用于接收所述服务器发送的所述行驶场景对应的场景类别,所述场景类别基于所述归属概率确定所述场景分值序列中的目标项确定。
68.可选的,在本技术一些可能的实现方式中,所述发送单元,具体用于若所述网络状态信息不满足预设条件,则调用第二模型对所述行驶场景图像信息进行局部特征提取,以得到特征元素,所述第二模型占用的计算资源小于所述第一模型;
69.所述发送单元,具体用于基于所述特征元素进行识别,以得到特征类别;
70.所述发送单元,具体用于根据所述特征类别对应的场景信息确定所述场景类别识别信息。
71.可选的,在本技术一些可能的实现方式中,所述推送单元,具体用于若所述场景类别识别信息满足所述推送条件,则统计所述车辆在预设时长的行驶参数;
72.所述推送单元,具体用于基于所述行驶参数对应的数值波动情况确定推送参数;
73.所述推送单元,具体用于根据所述推送参数生成推送序列表,以基于所述推送序列表对所述待推送信息进行信息推送。
74.可选的,在本技术一些可能的实现方式中,所述推送单元,具体用于获取预设时间段内所述第一模型输出的场景类别集合;
75.所述推送单元,具体用于统计所述场景类别集合中的类别分布信息;
76.所述推送单元,具体用于基于所述类别分布信息中的极值项确定为所述场景类别识别信息;
77.所述推送单元,具体用于若所述场景类别识别信息满足推送条件,则统计所述车辆在预设时间段内的行驶参数。
78.可选的,在本技术一些可能的实现方式中,所述推送单元,具体用于响应于在所述车辆中所述待推送信息的接收,获取所述待推送信息对应的信息类型;
79.所述推送单元,具体用于若所述信息类型指示所述待推送信息为非即时信息,则将所述待推送信息输入推送池缓存;
80.所述推送单元,具体用于若所述场景类别识别信息满足所述推送条件,则基于所述推送池进行信息推送。
81.可选的,在本技术一些可能的实现方式中,所述推送单元,具体用于若所述场景类别识别信息满足所述推送条件,则获取所述待推送信息对应的时序信息,所述时序信息基于所述待推送信息输入所述推送池的时序设定;
82.所述推送单元,具体用于基于所述时序信息生成推送序列,以对所述待推送信息进行信息推送。
83.可选的,在本技术一些可能的实现方式中,所述推送单元,具体用于获取所述待推送信息对应的优先级信息,所述优先级信息基于所述待推送信息的类型设定;
84.所述推送单元,具体用于基于所述优先级信息对应的推送等级对所述推送序列进行更新;
85.所述推送单元,具体用于基于更新后的所述推送序列对所述待推送信息进行信息推送。
86.可选的,在本技术一些可能的实现方式中,所述推送单元,具体用于获取所述待推送信息对应的信息类型;
87.所述推送单元,具体用于若所述信息类型指示所述待推送信息为即时推送信息,则立即对所述待推送信息进行信息推送。
88.本技术第三方面提供一种虚拟应用的信息推送方法,包括:
89.接收车辆行驶场景中的待推送信息;
90.获取车载图像采集设备采集的行驶场景图像信息;
91.将所述行驶场景图像信息输入预设模型,以对所述行驶场景图像信息进行识别得到场景类别识别信息;
92.若所述场景类别识别信息满足推送条件,则将所述待推送信息在所述车辆行驶场景中进行信息推送。
93.本技术第四方面提供一种虚拟应用的信息推送装置,包括:
94.接收单元,用于接收车辆行驶场景中的待推送信息;
95.所述接收单元,还用于获取车载图像采集设备采集的行驶场景图像信息;
96.输入单元,用于将所述行驶场景图像信息输入预设模型,以对所述行驶场景图像信息进行识别得到场景类别识别信息;
97.推送单元,用于若所述场景类别识别信息满足推送条件,则将所述待推送信息在所述车辆行驶场景中进行信息推送。
98.本技术第五方面提供一种计算机设备,包括:存储器、处理器以及总线系统;所述存储器用于存储程序代码;所述处理器用于根据所述程序代码中的指令执行上述第一方面或第一方面任一项所述的车辆行驶场景中信息推送的方法,或上述第二方面或第二方面任一项所述的虚拟应用的信息推送方法。
99.本技术第四方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面或第一方面任一项所述的车辆行驶场景中信息推送的方法,或上述第三方面或第三方面任一项所述的虚拟应用的信息推送方法。
100.根据本技术的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算
机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述第一方面或者第一方面的各种可选实现方式中提供的车辆行驶场景中信息推送的方法,或上述第三方面或第三方面任一项所述的虚拟应用的信息推送方法。
101.从以上技术方案可以看出,本技术实施例具有以下优点:
102.通过接收车辆行驶场景中的待推送信息;然后获取车载图像采集设备采集的行驶场景图像信息,该行驶场景图像信息用于记录车辆在车辆行驶场景中对应的环境信息;进一步的向服务器发送行驶场景图像信息,以使服务器对行驶场景图像信息进行识别得到场景类别识别信息;进而接收服务器发送的场景类别识别信息,场景类别识别信息用于指示环境信息的类别;若场景类别识别信息满足推送条件,则将待推送信息在车辆行驶场景中进行信息推送。从而实现基于行驶环境的智能信息推送的过程,由于采用预设模型对驾驶对象所处的场景进行识别,进而在合适的场景进行信息推送,保证了信息推送时用户可以进行准确的感知,使得信息推送的效率大大提升,且提高了驾驶过程中信息推送的安全性。
附图说明
103.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
104.图1为车辆行驶场景中信息推送的系统运行的网络架构图;
105.图2为本技术实施例提供的一种车辆行驶场景中信息推送的的流程架构图;
106.图3为本技术实施例提供的一种车辆行驶场景中信息推送的方法的流程图;
107.图4为本技术实施例提供的一种车辆行驶场景中信息推送的方法的场景示意图;
108.图5为本技术实施例提供的另一种车辆行驶场景中信息推送的方法的场景示意图;
109.图6为本技术实施例提供的另一种车辆行驶场景中信息推送的方法的场景示意图;
110.图7为本技术实施例提供的另一种车辆行驶场景中信息推送的方法的流程图;
111.图8为本技术实施例提供的另一种虚拟应用的信息推送方法的流程图;
112.图9为本技术实施例提供的另一种虚拟应用的信息推送方法的场景示意图;
113.图10为本技术实施例提供的另一种虚拟应用的信息推送方法的场景示意图;
114.图11为本技术实施例提供的一种信息推送装置的结构示意图;
115.图12为本技术实施例提供的一种虚拟应用的信息推送装置的结构示意图;
116.图13为本技术实施例提供的一种终端设备的结构示意图;
117.图14为本技术实施例提供的一种服务器的结构示意图。
具体实施方式
118.本技术实施例提供了一种车辆行驶场景中信息推送的方法以及相关装置,可以应用于终端设备中包含车辆行驶场景中信息推送的功能的系统或程序中,通过接收车辆行驶
场景中的待推送信息;然后获取车载图像采集设备采集的行驶场景图像信息,该行驶场景图像信息用于记录车辆在车辆行驶场景中对应的环境信息;进一步的向服务器发送行驶场景图像信息,以使服务器对行驶场景图像信息进行识别得到场景类别识别信息;进而接收服务器发送的场景类别识别信息,场景类别识别信息用于指示环境信息的类别;若场景类别识别信息满足推送条件,则将待推送信息在车辆行驶场景中进行信息推送。从而实现基于行驶环境的智能信息推送的过程,由于采用预设模型对驾驶对象所处的场景进行识别,进而在合适的场景进行信息推送,保证了信息推送时用户可以进行准确的感知,使得信息推送的效率大大提升,且提高了驾驶过程中信息推送的安全性。
119.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
120.首先,对本技术实施例中可能出现的一些名词进行解释。
121.车载视觉助手:指用于车辆场景中对行驶环境进行识别的应用程序,具体可以利用对行驶环境的识别结果控制车辆场景中的信息推送。
122.车外环境感知:指使用车载摄像头拍摄到的图像以深度学习的方式对当前车辆行驶环境进行图像采集,并基于采集的图像进行分类的过程。
123.车载摄像头:这里的车载摄像头包括位于车辆挡风玻璃正中靠上的行车记录仪摄像头或车身四周的360度全景摄像头等能够拍摄到车辆周围环境的摄像头。
124.应理解,本技术提供的车辆行驶场景中信息推送的方法可以应用于终端设备中包含车辆行驶场景中信息推送的功能的系统或程序中,例如车载视觉助手,具体的,车辆行驶场景中信息推送的系统可以运行于如图1所示的网络架构中,如图1所示,是车辆行驶场景中信息推送的系统运行的网络架构图,如图可知,车辆行驶场景中信息推送的系统可以提供与多个信息源的车辆行驶场景中信息推送的过程,即终端设备接收服务器下发的推送指令,并在驾驶对象中进行推送展示,且推送展示的过程由驾驶对象所处的场景确定;可以理解的是,图1中示出了多种终端设备,终端设备可以为计算机设备,在实际场景中可以有更多或更少种类的终端设备参与到车辆行驶场景中信息推送的的过程中,具体数量和种类因实际场景而定,此处不做限定,另外,图1中示出了一个服务器,但在实际场景中,也可以有多个服务器的参与,具体服务器数量因实际场景而定。
125.本实施例中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,终端以及服务器可以连接组成区块链网络,本技术在此不做限制。
126.可以理解的是,上述车辆行驶场景中信息推送的系统可以运行于个人移动终端,
例如:作为车载视觉助手这样的应用,也可以运行于服务器,还可以作为运行于第三方设备以提供车辆行驶场景中信息推送的,以得到信息源的车辆行驶场景中信息推送的处理结果;具体的车辆行驶场景中信息推送的系统可以是以一种程序的形式在上述设备中运行,也可以作为上述设备中的系统部件进行运行,还可以作为云端服务程序的一种,具体运作模式因实际场景而定,此处不做限定。
127.随着互联网技术的迅速发展,越来越多的应用程序出现在人们的生活中,例如在用户驾驶时使用车载应用的过程中,可以进行地图信息的接收以及相关通讯信息的接收。
128.一般,对于不同应用所接收到的信息,在车辆行驶过程中按照接收信息的时序进行推送,为即时推送信息的过程。
129.但是,由于驾驶过程中需要用户将注意力集中在驾驶对象的操作上,即时推送信息的过程会使得用户无法留意到信息,造成信息遗漏,且容易分散用户的注意力,影响车辆行驶场景中信息推送的效率以及驾驶过程的安全性。
130.为了解决上述问题,本技术提出了一种车辆行驶场景中信息推送的方法,该方法利用计算机视觉技术(computer vision,cv)解决,计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
131.同时,在计算机视觉技术的应用过程中使用到了机器学习(machine learning,ml),机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
132.具体的,该方法应用于图2所示的车辆行驶场景中信息推送的的流程框架中,如图2所示,为本技术实施例提供的一种车辆行驶场景中信息推送的的流程架构图,即在终端侧根据采集拍摄到的画面对车外环境进行识别,从而进行与服务器侧的信息交互与推送的过程,即从中选择出驾驶员驾驶负担较小的情形(如等待红绿灯时)将并不紧急的服务与消息集中发送给驾驶员。从而不仅可降低驾驶员分心于推送的同时,增大推送被触达的概率。
133.可以理解的是,本技术所提供的方法可以为一种程序的写入,以作为硬件系统中的一种处理逻辑,也可以作为一种信息推送装置,采用集成或外接的方式实现上述处理逻辑。作为一种实现方式,该信息推送装置通过接收车辆行驶场景中的待推送信息;然后获取车载图像采集设备采集的行驶场景图像信息,该行驶场景图像信息用于记录车辆在车辆行驶场景中对应的环境信息;进一步的向服务器发送行驶场景图像信息,以使服务器对行驶场景图像信息进行识别得到场景类别识别信息;进而接收服务器发送的场景类别识别信息,场景类别识别信息用于指示环境信息的类别;若场景类别识别信息满足推送条件,则将
待推送信息在车辆行驶场景中进行信息推送。从而实现基于行驶环境的智能信息推送的过程,由于采用预设模型对驾驶对象所处的场景进行识别,进而在合适的场景进行信息推送,保证了信息推送时用户可以进行准确的感知,使得信息推送的效率大大提升,且提高了驾驶过程中信息推送的安全性。
134.本技术实施例提供的方案涉及人工智能的计算机视觉技术,具体通过如下实施例进行说明:
135.结合上述流程架构,下面将对本技术中车辆行驶场景中信息推送的方法进行介绍,请参阅图3,图3为本技术实施例提供的一种车辆行驶场景中信息推送的方法的流程图,该推送方法可以是由终端设备执行的,本技术实施例至少包括以下步骤:
136.301、接收车辆行驶场景中的待推送信息。
137.本实施例中,待推送信息可以包括会话消息、应用消息、导航消息中的一种或多种;驾驶对象中接收到的待推送信息即驾驶对象中的终端设备接收到的信息的集合;该终端设备对应于目标用户,故待推送信息可以是收到的消息,如用户登录程序(视频网站、音乐应用、通讯应用等)的推送;或车载通信等im的短信;也可以是车辆自身产生的消息;还可以是导航信息,如车道偏离预警,前车启动提示,目的地停车场推荐等,具体的信息形式因实际场景而定。
138.可以理解的是,对于接收到的多个待推送信息,其中可能存在需要即时推送的信息,例如导航信息、安全提示等,故可以对其信息的类型进行判断,即首先获取待推送信息对应的信息类型;若信息类型指示待推送信息为即时推送信息,则立即对待推送信息进行信息推送,从而保证了对于驾驶过程的正常引导过程。
139.在一种可能的场景中,判断消息是否有必要立刻推送给用户,可以包括车道偏离预警、前车启动等消息等即时性强或较为重要的消息。而对于分类于无必要立刻推送的信息,如喜马拉雅会员活动,豆瓣最近上映的电影等并不即时不紧急但需要较长时间浏览有商业价值的消息,可以分类与并对齐推送,即统一在某一时刻推送。
140.可选的,对于立即推送的信息类型可以是用户设定的,即响应于权限设定信息确定预设推送类型,以作为即时推送信息;若信息类型指示待推送信息为预设推送类型,则立即对待推送信息进行信息推送,从而提高了信息推送的灵活性,便于用户的控制与使用。
141.302、获取车载图像采集设备采集的行驶场景图像信息。
142.本实施例中,行驶场景图像信息用于记录车辆在车辆行驶场景中对应的环境信息,即为实时记录车辆行驶过程中的环境信息;采集图像信息的过程可以是由车辆上的采集设备执行的,例如车载摄像头、行车记录仪等,如图4所示,图4为本技术实施例提供的一种车辆行驶场景中信息推送的方法的场景示意图;图中示出了用于信息交互的交互界面以及车载图像采集设备,例如行车记录仪,该行车记录仪搭载了车载摄像头,以进行车辆环境图像的采集。
143.可以理解的是,具体的硬件组成还可以是交互界面集成在记录仪中;或记录仪集成在交互界面中,例如移动终端,该移动终端可通过蓝牙、无线热点连接等方式与车载图像采集设备连接,具体的硬件组成因实际场景而定,此处不做限定。
144.具体的,对于图像信息的采集过程,需要保证信息的准确性,故可以响应于目标指令调用采集参数,该采集参数基于行驶场景设定,该目标指令可以是用户开启信息推送控
制的指令,也可以是采集设备开启的指令;然后根据采集参数进行图像采集,以得到采集图像;进而对采集图像进行预处理,以得到图像信息,从而可以得到清晰的场景图像,以保证图像识别过程的准确。
145.可选的,由于车辆上的采集设备可能采集到车辆本身的相关图像元素,对于该部分可以删除,以减小数据量。即首先对采集图像进行预处理,以确定采集图像中的驾驶对象元素;然后将驾驶对象元素进行裁剪,以得到裁剪图像;进而对裁剪图像进行参数调节,以得到图像信息。
146.在一种可能的场景中,对采集到的图像进行预处理的过程可以包括:如缩放采集到的图像,以使用更小的更适合车载的模型等;或者对采集到的图像进行裁剪,如裁掉发动机盖等和车外空气质量无关的区域等;亦或对采集到的图像进行增强,如增大对比度,进行直方图均衡化或归一化等操作,具体的预处理过程可以是上述一种或多种的组合,此处不做限定。
147.303、向服务器发送行驶场景图像信息,以使服务器对行驶场景图像信息进行识别得到场景类别识别信息。
148.本实施例中,服务器对行驶场景图像信息进行识别可以是基于固定特征进行的,例如标志牌、红绿灯等;也可以是将行驶场景图像信息输入第一模型进行识别的,该第一模型为图像识别模型,该模型的识别结果用于场景的分类,故也可以称为图像分类模型,具体的模型种类可以是vgg16、vgg19、inceptionv3、xception、mobilenet、alexnet、lenet、zf_net、resnet18、resnet34、resnet50、resnet_101、resnet_152等图像分类模型,具体的类型因实际场景而定。
149.可选的,对于识别的结果可以是不同场景的归属概率,即将图像信息输入预设模型,以得到场景分值序列,场景分值序列用于指示多个预设场景的归属概率;然后基于归属概率确定场景分值序列中的目标项,以对图像信息进行识别得到行驶场景对应的场景类别。例如停车场场景的归属概率为0.9,堵车场景的归属概率为0.8,则确定停车场场景为场景类别。
150.可选的,确定场景类别的过程还可以是二分类的过程,即输出的结果为适合信息推送或不适合信息推送。具体的,即首先基于归属概率确定场景分值序列中的目标项;然后确定目标项对应的推送类别,例如可以推送或不可用推送;进而根据推送类别确定行驶场景对应的场景类别,从而提高了推送判断的效率。
151.在一种可能的场景中,上述模型识别的过程即将图像输入一输出为离散量的分类模型,输出内容为拍摄内容所表示的细分场景,类似堵车,阴天,雨天,隧道,地下停车场等,也可以是一个二分结果,例如是否适合推送消息。
152.可选的,对于识别过程也可以是在终端执行的,例如在网络不稳定时;具体的,可以实时获取网络资源信息,例如移动终端的流量使用情况、网络延迟等;然后基于网络资源信息与预设值的数值关系确定网络状态信息,例如流量使用是否超过80%或网络延迟小于100ms等;若网络状态信息满足预设条件,则向服务器发送行驶场景图像信息,以使服务器将行驶场景图像信息输入第一模型,并对行驶场景图像信息进行识别得到场景类别识别信息。
153.对于在服务器识别的过程,即向服务器发送行驶场景图像信息,以使服务器将图
像信息输入第一模型,并得到场景分值序列,场景分值序列用于指示多个预设场景的归属概率;然后接收服务器发送的行驶场景对应的场景类别,该场景类别基于归属概率确定场景分值序列中的目标项确定。
154.在一种可能的场景中,第一模型可以为mobilenet v3结构,mobilenetv3基于automl构建,然后进行人工微调对搜索结果进行优化,搜索方法使用了platform-aware nas以及netadapt,分别用于全局搜索以及局部搜索,而人工微调则调整了网络前后几层的结构、bottleneck加入se模块以及提出计算高效的h-swish非线性激活。第一模型输出为离散量的多分类和二分类在模型结构上的区别仅限于最终的输出类别数量,即多分类可以把某一场景同时分为一类或多类,如雨天和雨天 堵车等,而二分类仅能输出是否是某个场景,具体的类别形式因实际场景而定。
155.对于终端搭载模型的场景,即若网络状态信息不满足预设条件,则调用第二模型对行驶场景图像信息进行局部特征提取,以得到特征元素,第二模型占用的计算资源小于第一模型,即第二模型为轻量级模型;然后基于特征元素进行识别,以得到特征类别,例如通过车道线的识别确定当前所处的道路类别,当车道线包含双实线时,指示车辆处于道路场景中,不适合信息推送;进而根据特征类别对应的场景信息确定场景类别识别信息。由于第二模型对行驶场景图像信息进行局部识别,例如车道线的识别、标志牌的识别等,从而减小了数据处理量,可以适配于车载设备的识别中,保证了网络状况不佳时的识别准确性。
156.可以理解的是,搭载于车端或移动端的轻量级模型,可以通过深度可分离卷积或通道随机混合操作(channel shuffle)进行计算,其中深度可分离卷积包括逐通道卷积(depthwise convolution)和逐点卷积(pointwise convolution)的过程;逐通道卷积的一个卷积核负责一个通道,一个通道只被一个卷积核卷积,该过程产生的特征图通道数和输入的通道数完全一样。从而使得轻量级模型在较小的计算量下实现更好的检测效果,在实际场景还可以通过模型剪枝、量化的操作,并结合arm汇编实现对终端侧硬件平台的加速。具体的,轻量级模型(第二模型)可以是车载车道线模型,具体采用mobilenet系列或shuffle net等作为前端,经简化的yolo或带跳跃连接的全卷积层作为后端,以达到轻量化的效果。
157.可选的,对于终端侧的识别过程可以是基于第二模型进行的,也可以是基于第一模型进行的;具体的,终端侧的模型可以是搭载于车载图像采集设备中,也可以搭载于移动终端中,具体的形式因具体场景而定。
158.304、接收服务器发送的场景类别识别信息。
159.本实施例中,场景类别识别信息用于指示环境信息的类别,具体可以包括行驶场景的环境信息对应的场景类型,或车辆行驶场景所在的气候类型,或车辆行驶场景对应的推送类型(例如是否推送)。
160.具体的,接收服务器发送的场景类别识别信息可以是即时进行的,即一旦服务器识别得到场景类别识别信息即进行发送,以使得终端接收;该接收服务器发送的场景类别识别信息也可以是间歇式进行的,由于车辆在每个场景中均存在一定的停留时间,为了节省信道资源,可以进行周期性的场景类别识别信息发送。
161.305、若场景类别识别信息满足推送条件,则将待推送信息在车辆行驶场景中进行信息推送。
162.本实施例中,场景类别识别信息满足推送条件即在该场景下驾驶员处于空闲状态或等待状态,即非驾驶状态的场景,在上述场景下进行信息推送,即不会影响正常的驾驶过程,也可以保证信息对于用户的触达率,提高了推送效率。
163.具体的,场景类别可以包括行驶环境类别和天气环境类别,满足推送条件的场景类别包括行驶环境类别指示驾驶对象处于安全行驶的场景;或停止行驶的场景;或天气环境类别指示不影响驾驶对象行驶的天气场景。
164.可选的,除了单一的场景判断外,还可以结合当前具体的行驶过程进行推送的判定,即当场景类别满足推送条件时,则统计车辆在预设时长的行驶参数,例如过去5分钟内的平均车速,以避免瞬时速度变化对于推送条件判断的影响;然后基于行驶参数对应的数值波动情况确定推送参数,即在波动平缓,且处于低数值的平均车速时进行推送;进而根据推送参数生成推送序列表,以基于推送序列表对待推送信息进行信息推送,通过推送序列表的设定,将推送信息的时机数值化,从而保证了推送时机的准确性。
165.在一种可能的场景中,模型输出地下停车场且车速为零时或模型输出堵车且一段时间内平均车速小于一定阈值等情况下为适合推送,模型输出隧道且车速较快时为不适合推送等。
166.具体的,如图5所示,图5为本技术实施例提供的另一种车辆行驶场景中信息推送的方法的场景示意图;图中示出了终端的导航界面,当用户点击开启推送控制a1后,即执行上述实施例的推送过程,并在导航界面上进行“当前场景是否推送信息的显示”,且用户可以在空闲时点击推送信息查看a2,进行推送信息列表的查看。
167.可以理解的是,基于上述实施例可以区分出了一些特别不适合推送的时机,即信息推送的执行过程可以是不在不适合推送的时候推送,剩余时间均可推送。
168.进一步的,为了保证场景类别识别的准确性,还可以进行多帧结果的统计,即首先获取预设时间段内第一模型输出的场景类别集合,该预设时间段可以是固定的一段时长,也可以是一定数量帧所对应的时长;然后统计场景类别集合中的类别分布信息,即不同帧所对应的类别集合;并基于类别分布信息中的极值项确定为场景类别识别信息,例如投票最多的帧所对应的场景类别;若场景类别识别信息满足推送条件,则统计车辆在预设时间段内的行驶参数,从而避免了瞬时场景的变化产生的识别结果的影响,增强了场景识别过程的鲁棒性。
169.在一种可能的场景中,可以对分类模型最近x帧输出投票,按照多数原则确定当前场景等,从而达到防止离群点干扰的目的,保证场景识别的准确性。
170.在另一中可能的场景中,对于多个应用接收待推送信息的场景,可以将待推送信息缓存在推送池中,即响应于驾驶对象中待推送信息的接收,获取待推送信息对应的信息类型;若信息类型指示待推送信息为非即时信息,则将待推送信息输入推送池缓存;进而当场景类别满足推送条件,则基于推送池进行信息推送。
171.具体的,若结果显示推送则从推送池中取出全部消息并下发给用户,下发顺序可以为输入推送池的时间顺序,也可以是消息的优先级顺序等。
172.对于时间顺序推送的过程,即若场景类别满足推送条件,则获取待推送信息对应的时序信息,时序信息基于待推送信息输入推送池的时序设定;然后基于时序信息进行信息推送。
173.对于优先级顺序推送的过程,即若场景类别满足推送条件,则获取待推送信息对应的优先级信息,优先级信息基于待推送信息的类型设定;基于优先级信息进行信息推送,从而保证了信息推送的还原程度,以及信息的触达率。
174.具体的,如图6所示,图6为本技术实施例提供的另一种车辆行驶场景中信息推送的方法的场景示意图;图中示出了在场景适合信息推送b1,终端界面中按照优先级(有@提示)进行消息的排序推送,具体的推送可以是语音读取,也可以是自动的界面展示,还可以是图像的自动放大等,此处不做限定。
175.可以理解的是,为了节省终端的后台资源,还可以检测推送池对应的信息容量;若信息容量达到预设值,则立即推送待推送信息,从而保证了终端设备的正常运行。
176.结合上述实施例可知,通过接收车辆行驶场景中的待推送信息;然后获取车载图像采集设备采集的行驶场景图像信息,该行驶场景图像信息用于记录车辆在车辆行驶场景中对应的环境信息;进一步的向服务器发送行驶场景图像信息,以使服务器对行驶场景图像信息进行识别得到场景类别识别信息;进而接收服务器发送的场景类别识别信息,场景类别识别信息用于指示环境信息的类别;若场景类别识别信息满足推送条件,则将待推送信息在车辆行驶场景中进行信息推送。从而实现基于行驶环境的智能信息推送的过程,由于采用预设模型对驾驶对象所处的场景进行识别,进而在合适的场景进行信息推送,保证了信息推送时用户可以进行准确的感知,使得信息推送的效率大大提升,且提高了驾驶过程中信息推送的安全性。
177.上述实施例介绍了终端中搭载车载视觉助手并结合服务器进行场景识别的过程,而在实际场景中,模型的识别过程也可以是在终端侧进行的,即可以是在移动终端,也可以是在车载终端。
178.在一种可能的场景中,车载设备(可以是移动终端或车载终端)无进行模型运算的条件,如cpu性能较弱等,此时如果车载设备可以使用某些硬件与网络后台的服务器进行通讯,则可将采集图片发送至服务器处理。
179.另外,若车载设备有进行模型运算的条件,但无硬件或无条件(如流量耗尽)与服务器进行通讯,则在车载设备上运行第一模型或第二模型。
180.对应的,若车载设备有运行模型的条件,也能够通过网络与服务器通讯。此时可根据预设规则动态决定模型运行设备。例如当流量充足延迟较小时,可尽量多的将图像上传到云端处理,并接收处理结果。当流量不足或对模型输出准确度要求不高(如车速很高可判定为高速行驶用户忙碌与推送消息的情况),可在车载设备上运行模型减少流量消耗。
181.可以理解的是,对于移动终端与车载终端之间可通过蓝牙、无线热点连接等方式判断手机在已知车载终端附近,并在移动终端或车载终端中展示图5所示的识别场景。
182.下面对车载图像采集设备与终端分别执行本技术的信息推送的场景进行说明,即车载图像采集设备对应于模型侧的图像采集与识别,而终端对应于推送侧的信息接收与推送,下面对该场景进行说明。请参阅图7,图7为本技术实施例提供的一种车辆行驶场景中信息推送的方法的流程图,本技术实施例至少包括以下步骤:
183.701、采集设备进行图像采集。
184.本实施例中,采集设备即车载图像采集设备,该设备以一定帧率采集车辆附近环境图像。这里要求图像采集设备需要能够拍摄到清晰度足够的路面上的的彩色图像,视角
不能过于倾斜向下或向上,同时具有尽量有较短的焦距,以获取更广范围的路面信息。
185.702、采集设备进行图像预处理。
186.本实施例中,对采集到的图像进行的预处理的过程可以包括:如缩放采集到的图像,以使用更小的更适合车载的模型等;或者对采集到的图像进行裁剪,如裁掉发动机盖等和车外空气质量无关的区域等;亦或对采集到的图像进行增强,如增大对比度,进行直方图均衡化或归一化等操作。
187.具体的,上述图像预处理的过程可以包括数字化、几何变换、归一化、平滑、复原和增强的步骤。
188.对于数字化的过程。由于一幅图像的灰度值是空间变量(位置的连续值)的连续函数,故可以在m
×
n点阵上对图像灰度采样并加以量化(归为2b个灰度等级之一),可以得到计算机能够处理的数字图像。为了使数字图像能重建原来的图像,对m、n和b值的大小就有一定的要求。在接收装置的空间和灰度分辨能力范围内,m、n和b的数值越大,重建图像的质量就越好。当取样周期等于或小于原始图像中最小细节周期的一半时,重建图像的频谱等于原始图像的频谱,因此重建图像与原始图像可以完全相同。由于m、n和b三者的乘积决定一幅图像在计算机中的存储量,因此在存储量一定的条件下需要根据图像的不同性质选择合适的m、n和b值,以获取最好的处理效果。
189.对于几何变换的过程。用于改正图像采集系统的系统误差和仪器位置的随机误差所进行的变换。对于卫星图像的系统误差,如地球自转、扫描镜速度和地图投影等因素所造成的畸变,可以用模型表示,并通过几何变换来消除。随机误差如飞行器姿态和高度变化引起的误差,难以用模型表示出来,所以一般是在系统误差被纠正后,通过把被观测的图和已知正确几何位置的图相比较,用图中一定数量的地面控制点解双变量多项式函数组而达到变换的目的。
190.对于归一化的过程。即使图像的某些特征在给定变换下具有不变性质的一种图像标准形式。图像的某些性质,例如物体的面积和周长,本来对于坐标旋转来说就具有不变的性质。在一般情况下,某些因素或变换对图像一些性质的影响可通过归一化处理得到消除或减弱,从而可以被选作测量图像的依据。例如对于光照不可控的遥感图片,灰度直方图的归一化对于图像分析是十分必要的。灰度归一化、几何归一化和变换归一化是获取图像不变性质的三种归一化方法。
191.对于平滑的过程。即一种消除图像中随机噪声的技术,对平滑技术的基本要求是在消去噪声的同时不使图像轮廓或线条变得模糊不清。常用的平滑方法有中值法、局部求平均法和k近邻平均法。局部区域大小可以是固定的,也可以是逐点随灰度值大小变化的。此外,有时应用空间频率域带通滤波方法。
192.对于复原的过程。即校正各种原因所造成的图像退化,使重建或估计得到的图像尽可能逼近于理想无退化的像场。在实际应用中常常发生图像退化现象。例如大气流的扰动,光学系统的像差,相机和物体的相对运动都会使遥感图像发生退化。基本的复原技术是把获取的退化图像g(x,y)看成是退化函数h(x,y)和理想图像f(x,y)的卷积。它们的傅里叶变换存在关系g(u,v=h(u,v)f(u,v)。根据退化机理确定退化函数后,就可从此关系式求出f(u,v),再用傅里叶反变换求出f(x,y)。通常把复原的过程称为反向滤波器。实际应用时,由于h(u,v)随离开uv平面原点的距离增加而迅速下降,为了避免高频范围内噪声的强化,
当u2 v2大于某一界限值w时,使m(u,v)等于1。w0的选择应使h(u,v)在u2 v2≤w范围内不会出现零点。图像复原的代数方法是以最小二乘法最佳准则为基础。寻求一估值弮,使优度准则函数值最小。这种方法比较简单,可推导出最小二乘法维纳滤波器。当不存在噪声时,维纳滤波器成为理想的反向滤波器。
193.对于增强的过程。即对图像中的信息有选择地加强和抑制,以改善图像的视觉效果,或将图像转变为更适合于机器处理的形式,以便于数据抽取或识别。例如一个图像增强系统可以通过高通滤波器来突出图像的轮廓线,从而使机器能够测量轮廓线的形状和周长。图像增强技术有多种方法,反差展宽、对数变换、密度分层和直方图均衡等都可用于改变图像灰调和突出细节。实际应用时往往要用不同的方法,反复进行试验才能达到满意的效果。
194.可以理解的是,对上述预处理的方式可以使用其中的一种或多种的组合,可以采用任意的次序执行,具体的次序以及类型因实际场景而定,此处不做限定。
195.703、采集设备进行模型计算。
196.本实施例中,模型计算的过程即将图像输入一输出为离散量的分类模型,输出内容为拍摄内容所表示的细分场景,类似堵车,阴天,雨天,隧道,地下停车场等,也可以仅仅只是一个二分结果(是否适合推送消息)。
197.具体的,对于模型训练的过程即将场景与对应的图像特征作为样本对进行预设模型的训练,还可以标记对应的推送结果以便于二分类过程的进行。
198.另外,对于模型训练的过程,由于车辆行驶过程中的图像之间存在一定的关联性,故在训练时可以进行训练数据增强。
199.具体的,即为了保证了训练数据的全面性,可以进行数据增强,即通过增加你数据集中相关数据的数据量,保证样本的分布够均匀。这是由于道路场景可能存在于不同的条件,比如在不同的方向、位置、缩放比例、亮度等。故通过额外合成的数据来训练目标识别模型来解决这些情况。
200.具体的数据增强过程可以采用线下增强(offline augmentation)。这种方式适用于较小的数据集(smaller dataset)。最终会增加一定的倍数的数据集,这个倍数等于转换的个数。比如翻转所有图片,数据集相当于乘以2。
201.另外,数据增强也可以采用线上增强(online augmentation)或在飞行中增强(augmentation on the fly)。这种方式更适用于较大的数据集(larger datasets),即避免无法承受爆炸性增加的规模。另外,会在输入模型之前进行小批量的转换,例如机器学习框架支持在线增强的,可以在gpu上加速。
202.704、采集设备进行辅助判断。
203.本实施例中,辅助判断的过程可以结合行驶参数进行,例如车速、档位、手刹状态等。
204.705、采集设备进行推送判断。
205.本实施例中,根据上述场景的识别以及行驶参数的综合判断,对于非驾驶场景可以进行信息推送。
206.706、终端设备获取消息。
207.本实施例中,终端设备获取的消息即多个应用发送的消息,可以是所有可能对驾
驶过程产生影响的消息的集合。
208.707、终端设备进行消息分类。
209.本实施例中,消息分类的过程即即时推送与非即时推送的判断,而即时推送的信息可以是导航信息或安全提示信息,具体的信息类型还可以因用户的设定的调整。
210.708、终端设备立即推送消息。
211.本实施例中,对于即时推送的消息即立即推送消息,保证驾驶过程的正常进行。
212.709、终端设备管理推送池。
213.本实施例中,将可以延后推送的消息存入推送池,即非即时消息。如果推送池中消息过多,或有消息的存储时间超过设定值,则立即推送多出或超时的消息。
214.710、进行推送消息。
215.本实施例中,推送消息可以是由终端或采集设备中的至少一个执行,例如终端设备的扬声器、采集设备(行车记录仪)的界面显示或采集设备的扬声器等。
216.通过上述实施例用户在驾驶负担较重时不会被时效性不强的消息所打扰,使用产品的体验更佳相关产品推送时用户更有机会注意并浏览推送内容,推送更加有效。
217.在一种可能的场景中,车载场景中每个虚拟应用的启动均会与采集设备进行关联,从而进行应用的交互,下面对该场景进行说明。请参阅图8,图8为本技术实施例提供的一种虚拟应用的信息推送方法的流程图,本技术实施例至少包括以下步骤:
218.801、响应于目标操作在驾驶对象中启动目标应用。
219.本实施例中,目标操作可以是车载导航上述启动操作,如图9所示,图9为本技术实施例提供的一种虚拟应用的信息推送方法的场景示意图;图中示出了车载导航上述启动按键c1,在点击启动按键c1后,即会进行场景信息的识别,并在交互界面中显示相关的识别结果。
220.另外,目标应用启动时,其中具有信息播放的虚拟元素的功能与后台场景识别的过程相关联,即播放权限被占用。即首先响应于目标操作启动目标应用对应的应用界面;然后将应用界面中用于信息播放的虚拟元素与驾驶对象中的采集设备进行关联,以启动目标应用。
221.具体的,如图10所示,图10为本技术实施例提供的另一种虚拟应用的信息推送方法的场景示意图;图中示出了语音推送d1,但是该语音推送d1的播放功能被车载视觉助手占用,需要在车载视觉助手中进行场景识别,进而得到推送判定后才会唤起播放功能。
222.802、接收目标应用生成的推送信息。
223.本实施例中,目标应用正常运行,只是信息播放的功能被车载视觉助手占用。
224.803、基于场景信息执行信息推送。
225.本实施例中,执行信息推送的过程如图3或图7所示的实施例,此处不做赘述。
226.本技术中使用深度学习技术对车载摄像头拍摄到的图片进行识别以分类当前车辆行驶环境的方法,对相关应用的权限进行了管理,以控制应用于用户的交互过程,在驾驶过程中驾驶员有余力处理驾驶外信息的环境下集中推送消息与服务,以达到减轻驾驶员负担,增加消息与服务推送效率的目的。
227.为了更好的实施本技术实施例的上述方案,下面还提供用于实施上述方案的相关装置。请参阅图11,图11为本技术实施例提供的一种信息推送装置的结构示意图,信息推送
装置1100包括:
228.接收单元1101,用于接收车辆行驶场景中的待推送信息;
229.所述接收单元1101,还用于获取车载图像采集设备采集的行驶场景图像信息,所述行驶场景图像信息用于记录车辆在所述车辆行驶场景中对应的环境信息;
230.发送单元1102,用于向服务器发送所述行驶场景图像信息,以使所述服务器对所述行驶场景图像信息进行识别得到场景类别识别信息;
231.所述接收单元1101,还用于接收所述服务器发送的所述场景类别识别信息,所述场景类别识别信息用于指示所述环境信息的类别;
232.推送单元1103,用于若所述场景类别识别信息满足推送条件,则将所述待推送信息在所述车辆行驶场景中进行信息推送。
233.可选的,在本技术一些可能的实现方式中,所述接收单元1101,具体用于响应于目标指令向所述车载图像采集设备发送采集参数,以使得所述车载图像采集设备根据所述采集参数进行图像采集,以得到采集图像,所述采集参数适配于不同的所述行驶场景;
234.所述接收单元1101,具体用于接收所述车载图像采集设备发送的采集图像,并对所述采集图像进行预处理,以确定所述采集图像中的驾驶对象元素;
235.所述接收单元1101,具体用于确定所述驾驶对象元素对应的像素范围,以对所述像素范围进行裁剪得到裁剪图像;
236.所述接收单元1101,具体用于基于所述行驶场景的场景特征对所述裁剪图像进行参数调节,以得到所述图像信息。
237.可选的,在本技术一些可能的实现方式中,所述发送单元1102,具体用于实时获取网络资源信息;
238.所述发送单元1102,具体用于基于所述网络资源信息与预设值的数值关系确定网络状态信息;
239.所述发送单元1102,具体用于若所述网络状态信息满足预设条件,则向服务器发送所述行驶场景图像信息,以使所述服务器将所述行驶场景图像信息输入第一模型,并对所述行驶场景图像信息进行识别得到场景类别识别信息。
240.可选的,在本技术一些可能的实现方式中,所述发送单元1102,具体用于向所述服务器发送所述行驶场景图像信息,以使所述服务器将所述图像信息输入第一模型,并得到场景分值序列,所述场景分值序列用于指示多个预设场景的归属概率;
241.所述发送单元1102,具体用于接收所述服务器发送的所述行驶场景对应的场景类别,所述场景类别基于所述归属概率确定所述场景分值序列中的目标项确定。
242.可选的,在本技术一些可能的实现方式中,所述发送单元1102,具体用于若所述网络状态信息不满足预设条件,则调用第二模型对所述行驶场景图像信息进行局部特征提取,以得到特征元素,所述第二模型占用的计算资源小于所述第一模型;
243.所述发送单元1102,具体用于基于所述特征元素进行识别,以得到特征类别;
244.所述发送单元1102,具体用于根据所述特征类别对应的场景信息确定所述场景类别识别信息。
245.可选的,在本技术一些可能的实现方式中,所述推送单元1103,具体用于若所述场景类别识别信息满足所述推送条件,则统计所述车辆在预设时长的行驶参数;
246.所述推送单元1103,具体用于基于所述行驶参数对应的数值波动情况确定推送参数;
247.所述推送单元1103,具体用于根据所述推送参数生成推送序列表,以基于所述推送序列表对所述待推送信息进行信息推送。
248.可选的,在本技术一些可能的实现方式中,所述推送单元1103,具体用于获取预设时间段内所述第一模型输出的场景类别集合;
249.所述推送单元1103,具体用于统计所述场景类别集合中的类别分布信息;
250.所述推送单元1103,具体用于基于所述类别分布信息中的极值项确定为所述场景类别识别信息;
251.所述推送单元1103,具体用于若所述场景类别识别信息满足推送条件,则统计所述车辆在预设时间段内的行驶参数。
252.可选的,在本技术一些可能的实现方式中,所述推送单元1103,具体用于响应于在所述车辆中所述待推送信息的接收,获取所述待推送信息对应的信息类型;
253.所述推送单元1103,具体用于若所述信息类型指示所述待推送信息为非即时信息,则将所述待推送信息输入推送池缓存;
254.所述推送单元1103,具体用于若所述场景类别识别信息满足所述推送条件,则基于所述推送池进行信息推送。
255.可选的,在本技术一些可能的实现方式中,所述推送单元1103,具体用于若所述场景类别识别信息满足所述推送条件,则获取所述待推送信息对应的时序信息,所述时序信息基于所述待推送信息输入所述推送池的时序设定;
256.所述推送单元1103,具体用于基于所述时序信息生成推送序列,以对所述待推送信息进行信息推送。
257.可选的,在本技术一些可能的实现方式中,所述推送单元1103,具体用于获取所述待推送信息对应的优先级信息,所述优先级信息基于所述待推送信息的类型设定;
258.所述推送单元1103,具体用于基于所述优先级信息对应的推送等级对所述推送序列进行更新;
259.所述推送单元1103,具体用于基于更新后的所述推送序列对所述待推送信息进行信息推送。
260.可选的,在本技术一些可能的实现方式中,所述推送单元1103,具体用于获取所述待推送信息对应的信息类型;
261.所述推送单元1103,具体用于若所述信息类型指示所述待推送信息为即时推送信息,则立即对所述待推送信息进行信息推送。
262.通过接收车辆行驶场景中的待推送信息;然后获取车载图像采集设备采集的行驶场景图像信息,该行驶场景图像信息用于记录车辆在车辆行驶场景中对应的环境信息;进一步的向服务器发送行驶场景图像信息,以使服务器对行驶场景图像信息进行识别得到场景类别识别信息;进而接收服务器发送的场景类别识别信息,场景类别识别信息用于指示环境信息的类别;若场景类别识别信息满足推送条件,则将待推送信息在车辆行驶场景中进行信息推送。从而实现基于行驶环境的智能信息推送的过程,由于采用预设模型对驾驶对象所处的场景进行识别,进而在合适的场景进行信息推送,保证了信息推送时用户可以
进行准确的感知,使得信息推送的效率大大提升,且提高了驾驶过程中信息推送的安全性。
263.本技术实施例还提供了一种虚拟应用的信息推送装置,请参阅图12,图12为本技术实施例提供的一种虚拟应用的信息推送装置的结构示意图,交互装置1200包括:
264.接收单元1201,用于接收车辆行驶场景中的待推送信息;
265.所述接收单元1201,还用于获取车载图像采集设备采集的行驶场景图像信息;
266.输入单元1202,用于将所述行驶场景图像信息输入预设模型,以对所述行驶场景图像信息进行识别得到场景类别识别信息;
267.推送单元1203,用于若所述场景类别识别信息满足推送条件,则将所述待推送信息在所述车辆行驶场景中进行信息推送。
268.本技术实施例还提供了一种终端设备,如图13所示,是本技术实施例提供的另一种终端设备的结构示意图,为了便于说明,仅示出了与本技术实施例相关的部分,具体技术细节未揭示的,请参照本技术实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(personal digital assistant,pda)、销售终端(point of sales,pos)、车载电脑等任意终端设备,以终端为手机为例:
269.图13示出的是与本技术实施例提供的终端相关的手机的部分结构的框图。参考图13,手机包括:射频(radio frequency,rf)电路1310、存储器1320、输入单元1330、显示单元1340、传感器1350、音频电路1360、无线保真(wireless fidelity,wifi)模块1370、处理器1380、以及电源1390等部件。本领域技术人员可以理解,图13中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
270.下面结合图13对手机的各个构成部件进行具体的介绍:
271.rf电路1310可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1380处理;另外,将设计上行的数据发送给基站。通常,rf电路1310包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noise amplifier,lna)、双工器等。此外,rf电路1310还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(global system of mobile communication,gsm)、通用分组无线服务(general packet radio service,gprs)、码分多址(code division multiple access,cdma)、宽带码分多址(wideband code division multiple access,wcdma)、长期演进(long term evolution,lte)、电子邮件、短消息服务(short messaging service,sms)等。
272.存储器1320可用于存储软件程序以及模块,处理器1380通过运行存储在存储器1320的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1320可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1320可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
273.输入单元1330可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1330可包括触控面板1331以及其他输入
设备1332。触控面板1331,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1331上或在触控面板1331附近的操作,以及在触控面板1331上一定范围内的隔空触控操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1331可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1380,并能接收处理器1380发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1331。除了触控面板1331,输入单元1330还可以包括其他输入设备1332。具体地,其他输入设备1332可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
274.显示单元1340可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1340可包括显示面板1341,可选的,可以采用液晶显示器(liquid crystal display,lcd)、有机发光二极管(organic light-emitting diode,oled)等形式来配置显示面板1341。进一步的,触控面板1331可覆盖显示面板1341,当触控面板1331检测到在其上或附近的触摸操作后,传送给处理器1380以确定触摸事件的类型,随后处理器1380根据触摸事件的类型在显示面板1341上提供相应的视觉输出。虽然在图13中,触控面板1331与显示面板1341是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板1331与显示面板1341集成而实现手机的输入和输出功能。
275.手机还可包括至少一种传感器1350,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1341的亮度,接近传感器可在手机移动到耳边时,关闭显示面板1341和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
276.音频电路1360、扬声器1361,传声器1362可提供用户与手机之间的音频接口。音频电路1360可将接收到的音频数据转换后的电信号,传输到扬声器1361,由扬声器1361转换为声音信号输出;另一方面,传声器1362将收集的声音信号转换为电信号,由音频电路1360接收后转换为音频数据,再将音频数据输出处理器1380处理后,经rf电路1310以发送给比如另一手机,或者将音频数据输出至存储器1320以便进一步处理。
277.wifi属于短距离无线传输技术,手机通过wifi模块1370可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图13示出了wifi模块1370,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
278.处理器1380是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1320内的软件程序和/或模块,以及调用存储在存储器1320内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器1380可包括一个或多个处理单元;可选的,处理器1380可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处
理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1380中。
279.手机还包括给各个部件供电的电源1390(比如电池),可选的,电源可以通过电源管理系统与处理器1380逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
280.尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
281.在本技术实施例中,该终端所包括的处理器1380还具有执行如上述页面处理方法的各个步骤的功能。
282.本技术实施例还提供了一种服务器,请参阅图14,图14是本技术实施例提供的一种服务器的结构示意图,该服务器1400可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,cpu)1422(例如,一个或一个以上处理器)和存储器1432,一个或一个以上存储应用程序1442或数据1444的存储介质1430(例如一个或一个以上海量存储设备)。其中,存储器1432和存储介质1430可以是短暂存储或持久存储。存储在存储介质1430的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1422可以设置为与存储介质1430通信,在服务器1400上执行存储介质1430中的一系列指令操作。
283.服务器1400还可以包括一个或一个以上电源1426,一个或一个以上有线或无线网络接口1450,一个或一个以上输入输出接口1458,和/或,一个或一个以上操作系统1441,例如windows servertm,mac os xtm,unixtm,linuxtm,freebsdtm等等。
284.上述实施例中由推送装置所执行的步骤可以基于该图14所示的服务器结构。
285.本技术实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有车辆行驶场景中信息推送的指令,当其在计算机上运行时,使得计算机执行如前述图3至图10所示实施例描述的方法中信息推送装置所执行的步骤。
286.本技术实施例中还提供一种包括车辆行驶场景中信息推送的指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如前述图3至图10所示实施例描述的方法中信息推送装置所执行的步骤。
287.本技术实施例还提供了一种车辆行驶场景中信息推送的系统,所述车辆行驶场景中信息推送的系统可以包含图11所描述实施例中的信息推送装置,或图12所描述实施例中的虚拟应用的信息推送装置,或图13所描述实施例中的终端设备,或者图14所描述的服务器。
288.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
289.在本技术所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
290.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个
网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
291.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
292.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,信息推送装置,或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
293.以上所述,以上实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献