一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

车辆影像显示方法、系统、电子设备及可读存储介质与流程

2023-02-10 17:14:52 来源:中国专利 TAG:


1.本技术涉及汽车技术领域,具体涉及一种车辆影像显示方法、系统、电子设备及计算机可读存储介质。


背景技术:

2.目前市面上常见的用于录制图片或视频的车载采集设备如行车记录仪有带显示屏和不带显示屏的两种类型。其中不带显示屏的车载采集设备,由于机身小巧,安装方便,隐蔽性好,不会遮挡视线,价格低廉等优点深受用户的喜爱。
3.但是由于车载采集设备的机身不带显示屏,所以如果用户想查看车载采集设备已录制的图片或视频时,需要专业运维人员登录后端服务器查找相关的图片或视频,再发送给用户。
4.而在实际使用中,比如在交通事故中对图片和视频的获取实时性要求较高,现有无屏车载采集设备的图片或视频查看方式存在较大的滞后性。


技术实现要素:

5.本技术提供一种车辆影像显示方法、系统、电子设备及计算机可读存储介质,旨在解决现有无屏车载采集设备的图片或视频查看方式存在较大的滞后性,无法满足实际场景中对图片或视频读取的高实时性要求问题。
6.第一方面,本技术提供一种车辆影像显示方法,所述方法应用于车辆影像显示系统,所述车辆影像显示系统包括车载采集设备和小程序端,所述方法包括:
7.通过所述车载采集设备的局域网,建立所述小程序端与所述车载采集设备的连接,其中,所述车载采集设备中存储有基于所述车载采集设备的采集程序采集的影像;
8.基于所述采集程序中微型服务器的http接口,向所述车载采集设备发送目标车辆的影像读取请求;
9.将所述目标车辆的目标影像发送至所述小程序端,其中,所述目标影像为所述车载采集设备基于所述影像读取请求反馈的目标车辆的影像;
10.在所述小程序端显示所述目标影像。
11.在本技术一种可能的实现方式中,所述方法还包括:
12.基于所述目标影像,识别所述目标车辆的车辆行为;
13.根据所述车辆行为,确定所述目标车辆是否违规。
14.在本技术一种可能的实现方式中,所述根据所述车辆行为,确定所述目标车辆是否违规,之后还包括:
15.当确定所述目标车辆违规时,通过所述车载采集设备输出所述目标车辆出现违规行为的告警信息;
16.或者,当确定所述目标车辆违规时,通过所述小程序端输出所述目标车辆出现违规行为的告警信息。
17.在本技术一种可能的实现方式中,所述车辆影像显示系统还包括车辆后台管理服务器,所述根据所述车辆行为,确定所述目标车辆是否违规,之后还包括:
18.当确定所述目标车辆违规时,获取所述目标车辆的违规信息,其中,所述目标车辆的违规信息包括所述目标影像、所述目标车辆的位置信息、所述目标车辆的违规行为、所述目标车辆的基本信息和所述目标车辆的驾驶员信息中的至少一者;
19.将所述目标车辆的违规信息存储至所述车辆后台管理服务器。
20.在本技术一种可能的实现方式中,所述方法还包括:
21.接收用户基于所述小程序端输入的待查询车辆的车辆信息;
22.基于所述车辆信息从所述车辆后台管理服务器查找所述待查询车辆的违规信息;
23.在所述小程序端显示所述待查询车辆的违规信息。
24.在本技术一种可能的实现方式中,所述基于所述目标影像,识别所述目标车辆的车辆行为,包括:
25.基于所述目标影像截取至少一帧图像;
26.通过预先训练好的车辆行为识别模型,基于所述至少一帧图像进行特征提取,得到所述目标影像的图像特征;并基于所述图像特征进行预测处理,得到所述目标车辆的车辆行为。
27.第二方面,本技术提供一种车辆影像显示系统,所述系统包括车载采集设备和小程序端;
28.所述车载采集设备,用于基于所述车载采集设备的采集程序采集目标车辆的目标影像;
29.所述小程序端,用于基于所述采集程序中微型服务器的http接口,向所述车载采集设备发送目标车辆的影像读取请求;
30.所述车载采集设备,还用于通过所述采集程序中微型服务器的http接口,根据所述影像读取请求反馈所述目标车辆的目标影像至所述小程序端;
31.所述小程序端,还用于显示所述目标影像。
32.在本技术一种可能的实现方式中,所述小程序端或车载采集设备还用于根据所述目标影像识别所述目标车辆的车辆行为,并基于所述车辆行为确定所述目标车辆是否违规;
33.当确定所述目标车辆违规时,所述小程序端或所述车载采集设备还用于输出所述目标车辆出现违规行为的告警信息。
34.在本技术一种可能的实现方式中,所述车辆影像显示系统还包括车辆后台管理服务器,当确定所述目标车辆违规时,所述车辆后台管理服务器还用于获取所述目标车辆的违规信息;所述车辆后台管理服务器还用于存储目标车辆的违规信息;其中,所述目标车辆的违规信息包括所述目标影像、所述目标车辆的位置信息、所述目标车辆的违规行为、所述目标车辆的基本信息和所述目标车辆的驾驶员信息中的至少一者。
35.在本技术一种可能的实现方式中,所述小程序端还用于接收用户输入的待查询车辆的车辆信息;所述车辆后台管理服务器还用于基于所述车辆信息查找所述待查询车辆的违规信息,并将待查询车辆的违规信息反馈至小程序端;所述小程序端还用于显示所述待查询车辆的违规信息。
36.在本技术一种可能的实现方式中,所述车载采集设备、所述小程序端或所述车辆后台管理服务器还用于基于所述目标影像截取至少一帧图像;通过预先训练好的车辆行为识别模型,基于所述至少一帧图像进行特征提取,得到所述目标影像的图像特征;并基于所述图像特征进行预测处理,得到所述目标车辆的车辆行为。
37.第三方面,本技术还提供一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时执行本技术提供的任一种车辆影像显示方法中的步骤。
38.第四方面,本技术还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行所述的车辆影像显示方法中的步骤。
39.本技术通过车辆影像显示系统中的小程序端可以基于车载采集设备的采集程序中微型服务器的http接口,向车载采集设备发送目标车辆的影像读取请求;车载采集设备通过采集程序中微型服务器的http接口将车载采集设备采集目标车辆的图像/视频以流文件的形式传输至小程序端,可以实现在小程序端实时显示车载采集设备采集的图像/视频,避免了现有无屏车载采集设备的图片或视频查看方式存在较大的滞后性,无法满足实际场景中对图片或视频读取的高实时性要求问题。使得无屏车载采集设备采集的车辆图像/视频文件可以实时显示,提高了对无屏车载采集设备所采集图片或视频的读取实时性。
附图说明
40.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
41.图1是本技术实施例所提供的车辆影像显示系统的一种场景示意图;
42.图2是本技术实施例中提供的车辆影像显示的一种场景示意图;
43.图3是本技术实施例所提供的车辆影像显示系统的另一种场景示意图;
44.图4是本技术实施例提供的车辆影像显示方法的一种流程示意图;
45.图5是本技术实施例中小程序端与车辆后台管理服务器的一种交互示意图;
46.图6是本技术实施例中提供的车辆影像显示装置的一个实施例结构示意图;
47.图7是本技术实施例中提供的电子设备的一个实施例结构示意图。
具体实施方式
48.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
49.在本技术实施例的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
50.为了使本领域任何技术人员能够实现和使用本技术,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本技术。在其它实例中,不会对公知的过程进行详细阐述,以避免不必要的细节使本技术实施例的描述变得晦涩。因此,本技术并非旨在限于所示的实施例,而是与符合本技术实施例所公开的原理和特征的最广范围相一致。
51.本技术实施例提供一种车辆影像显示方法、系统、电子设备及计算机可读存储介质。
52.下面先介绍本技术实施例中提供的车辆影像显示系统,参见图1,图1是本技术实施例所提供的车辆影像显示系统的一种场景示意图。该车辆影像显示系统100包括车载采集设备101和小程序端102,其中,车载采集设备101具有联网功能,车载采集设备101可以开启局域网,如wifi热点,小程序端102可以连接至车载采集设备101开启的局域网,从而建立车载采集设备101与小程序端102的通信连接。
53.车载采集设备101,用于基于车载采集设备101的采集程序采集目标车辆的目标影像。其中,车载采集设备101是带有摄像头的图像采集装置,比如行车记录仪,可以用于采集车辆在某些情况下如在行驶状态下的图像/视频。车载采集设备101是在采集程序的驱动下完成图像/视频的采集,并将所采集的图像/视频保存至车载采集设备101的存储卡如sdcard目录下。车载采集设备101可以是无屏的硬件采集设备、也可以是有屏的硬件采集设备。车载采集设备101可以采集目标车辆的图像,采集得到的多帧图像,可通过时间线组成视频;目标影像是指车载采集设备101采集得到的目标车辆在某些情况下如在行驶状态下的图像/视频。
54.微型服务器(nanohttpd)是一个轻量级的、为嵌入式设备应用设计的http服务器,其方便嵌入式设备(例如:android设备)中启动一个本地服务器,接收客户端本地部分请求。为了实现将车载采集设备101采集到的图像/视频传输至小程序端102,本技术实施例中,车载采集设备101的采集程序使用nanohttpd作为http服务器,将存储卡如sdcard目录下的图像/视频作为流文件对外提供服务。
55.小程序端102,用于基于采集程序中微型服务器的http接口,向所述车载采集设备101发送目标车辆的影像读取请求。其中,小程序端102是小程序的承载终端,比如手机、平板电脑、个人计算机(personal computer,pc)等等。小程序可以是任意app中承载的小程序,如微信小程序。影像读取请求是图像或视频的读取请求,而并非只是视频的读取请求。具体地,在车载采集设备101与小程序端102建立通信连接情况下,小程序端102基于小程序调用微型服务器的http接口请求图像/视频流。
56.车载采集设备101,还用于通过采集程序中微型服务器的http接口,根据影像读取请求反馈目标车辆的目标影像至小程序端102。具体地,车载采集设备101的采集程序将存储卡目录下的图像/视频作为流文件,当车载采集设备101接收到小程序端102(基于小程序调用微型服务器的http接口)发送的影像读取请求时,车载采集设备101的采集程序中微型服务器将存储卡目录下的图像/视频以流文件的方式传输至小程序端102。
57.小程序端102,还用于显示目标车辆的目标影像。小程序端102可以基于小程序接收车载采集设备101传输的图像/视频流文件,并可以在小程序端102进行显示。其中,小程序端102为带有显示单元的终端,以便显示车载采集设备101采集的图像/视频。
58.通过本技术实施例提供的车辆影像显示系统,小程序端102可以基于车载采集设备101的采集程序中微型服务器的http接口,向车载采集设备101发送目标车辆的影像读取请求;车载采集设备101通过采集程序中微型服务器的http接口将车载采集设备101采集目标车辆的图像/视频以流文件的形式传输至小程序端102,可以实现在小程序端102实时显示车载采集设备101采集的图像/视频,避免了现有无屏车载采集设备的图片或视频查看方式存在较大的滞后性,无法满足实际场景中对图片或视频读取的高实时性要求问题。
59.下面以一具体例子举例说明。如图2所示,图2是本技术实施例中提供的车辆影像显示的一种场景示意图。车载采集设备101为无屏硬件android采集设备,车载采集设备101在采集程序的驱动下完成图像/视频的采集,并将所采集的图像/视频保存至车载采集设备101的存储卡如sdcard目录下。采集程序使用nanohttpd作为http服务器,将图像/视频作为流文件对外提供服务。车载采集设备101可以开启wifi热点,小程序端102可以连接到车载采集设备101开启的wifi热点。小程序端102使用wifi局域网调用nanohttpd的http接口向车载采集设备101发送图像/视频的读取请求。车载采集设备101基于nanohttpd向小程序端102反馈图像/视频的流文件。从而小程序端102可以接收到车载采集设备101采集的图像/视频,从在小程序端102上通过小程序实时显示车载采集设备101采集的图像/视频,避免了现有无屏车载采集设备的图片或视频查看方式存在较大的滞后性,无法满足实际场景中对图片或视频读取的高实时性要求问题。
60.进一步地,在一些实施例中,小程序端102还可以用于根据目标影像识别目标车辆的车辆行为,并基于车辆行为确定目标车辆是否出现违规现象。当确定目标车辆出现违规现象时,小程序端102或者车载采集设备101还可以用于输出目标车辆出现违规行为的告警信息。以便于目标车辆的驾驶人员在接收到告警信息后,规范驾驶行为,从而提高目标车辆的驾驶安全。
61.进一步地,在一些实施例中,车载采集设备101也可以用于根据目标影像识别目标车辆的车辆行为,并基于车辆行为确定目标车辆是否出现违规现象。当确定目标车辆出现违规现象时,小程序端102或者车载采集设备101还可以用于输出目标车辆出现违规行为的告警信息。以便于目标车辆的驾驶人员在接收到告警信息后,规范驾驶行为,从而提高目标车辆的驾驶安全。
62.进一步地,车载采集设备101还可以采集目标车辆的位置信息,例如车载采集设备101可以集成gps(global positioning system,全球定位系统),通过gps实现对目标车辆进行定位,从而实现采集目标车辆的位置信息。
63.进一步地,参见图3,图3是本技术实施例所提供的车辆影像显示系统的另一种场景示意图,该车辆影像显示系统100还包括车辆后台管理服务器103。当确定所述目标车辆违规时,所述车辆后台管理服务器103还用于获取目标车辆的违规信息;车辆后台管理服务器103还用于存储目标车辆的违规信息;其中,目标车辆的违规信息包括目标影像、目标车辆的位置信息、目标车辆的违规行为、目标车辆的基本信息和目标车辆的驾驶员信息中的至少一者。
64.例如,该车辆后台管理服务器103用于存储车辆的违规图像/视频、违规车辆的车辆信息(如车牌号、车主信息、行驶轨迹等)、违规地点、违规行为分类等等。具体地,车载采集设备101或者小程序端102在根据目标影像识别目标车辆的车辆行为后,并在确定目标车
辆出现违规行为时,将目标影像传输至车辆后台管理服务器103。车载采集设备101还用于采集目标车辆的位置和/或行驶轨迹,并传输至车辆后台管理服务器103。此时,车辆后台管理服务器103可以将目标影像、目标车辆的车辆信息(包括目标车辆的车牌号、车主信息、行驶轨迹)、目标车辆的违规地点、目标车辆的违规行为等目标车辆的违规信息进行关联存储。以便于相关管理人员可以及时了解到车辆的违规情况,并及时处理车辆违规行为。
65.进一步地,小程序端102还用于接收用户输入的待查询车辆的车辆信息;车辆后台管理服务器103还用于基于车辆信息查找待查询车辆的违规信息,并将待查询车辆的违规信息反馈至小程序端102;小程序端102还用于显示待查询车辆的违规信息。
66.例如,小程序端102还用于在小程序的驱动下接收用户输入的待查询车辆的车辆信息,比如待查询车辆的车牌号、车主等信息。以便小程序端102可以基于待查询车辆的车辆信息向车辆后台管理服务器103发起查询请求,车辆后台管理服务器103还可以从已存储的车辆违规信息中查询到待查询车辆的违规信息。车辆后台管理服务器103,在查询到待查询车辆的违规信息之后,还可以将待查询车辆的违规信息反馈回小程序端102。在小程序端102还用于显示待查询车辆的违规信息,以便用户可以查看。
67.在本技术一种可能的实现方式中,车载采集设备101、小程序端102或车辆后台管理服务器103还用于基于所述目标影像截取至少一帧图像;通过预先训练好的车辆行为识别模型,基于至少一帧图像进行特征提取,得到目标影像的图像特征;并基于目标影像的图像特征进行预测处理,得到目标车辆的车辆行为。
68.可以理解的是,本技术实施例中,提供了车辆影像显示方法、系统、电子设备和计算机可读存储介质,对于各个主题会有不同的侧重说明,鉴于各个主题部分的内容会有相互重复,本技术实施例中对于某个主题没有重复说明的部分,可以参考其他主题部分的说明。例如,其中,“根据目标影像识别目标车辆的车辆行为”的实现方式在后文车辆影像显示方法的介绍中将详细说明,具体可以参照后文车辆影像显示方法部分的介绍,为了简化表述,在车辆影像显示系统的介绍部分不再赘述。
69.本技术实施例车辆影像显示方法的执行主体可以为本技术实施例提供的车辆影像显示系统,或者也可以为本技术实施例提供的车辆影像显示装置,或者还可以为集成了该车辆影像显示装置的服务器设备、物理主机或者用户设备(user equipment,ue)等不同类型的电子设备,其中,车辆影像显示装置可以采用硬件或者软件的方式实现,ue具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(personal digital assistant,pda)等终端设备。该电子设备可以采用单独运行的工作方式,或者也可以采用设备集群的工作方式。
70.下面,开始介绍本技术实施例提供的车辆影像显示方法,本技术实施例中以车辆影像显示系统作为执行主体,如图1所示,该车辆影像显示系统可以包括车载采集设备101和小程序端102;进一步地,如图3所示,该车辆影像显示系统还可以进一步包括车辆后台管理服务器103。
71.参照图4,图4是本技术实施例提供的车辆影像显示方法的一种流程示意图。需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。该车辆影像显示方法包括步骤401~404,其中:
72.401、通过所述车载采集设备的局域网,建立所述小程序端与所述车载采集设备的
连接。
73.其中,车载采集设备是带有摄像头的图像采集装置,比如行车记录仪等,可以用于采集车辆在某些情况下如在行驶状态下的图像/视频。
74.车载采集设备可以是无屏的硬件采集设备、也可以是有屏的硬件采集设备。车载采集设备可以采集目标车辆的图像,采集得到的多帧图像,可通过时间线组成视频。
75.本技术实施例中,车载采集设备具有联网功能,车载采集设备可以开启局域网,如wifi热点,以供其他设备与车载采集设备建立通信连接。
76.小程序端是小程序的承载终端,比如手机、平板电脑、个人计算机等等。小程序可以是任意app中承载的小程序,如微信小程序。
77.在一些实施例中,在步骤401之前还包括:开启车载采集设备的局域网络
78.在一些实施例中,步骤401中,可以通过小程序端主动向车载采集设备发起连接请求,并通过车载采集设备的局域网,建立小程序端与车载采集设备的通信连接。
79.在一些实施例中,步骤401中,可以通过车载采集设备主动向小程序端发起连接请求,并通过车载采集设备的局域网,建立小程序端与车载采集设备的通信连接。
80.402、基于所述采集程序中微型服务器的http接口,向所述车载采集设备发送目标车辆的影像读取请求。
81.其中,车载采集设备中存储有基于车载采集设备的采集程序采集的影像。本技术实施例中,车载采集设备采集的影像为车载采集设备采集的图像或视频。
82.其中,车载采集设备的采集程序为车载采集设备的驱动程序。车载采集设备是在采集程序的驱动下完成图像/视频的采集,并将所采集的图像/视频保存至车载采集设备的存储卡如sdcard目录下。
83.在一些实施例中,车载采集设备可以安装在目标车辆上,用于采集目标车辆的交通行为,比如,是否闯红灯、是否违规停车、是否违规掉头等。
84.在另一些实施例中,车载采集设备也可以安装在目标车辆外的其他车辆上,用于采集目标车辆的交通行为和目标车辆的车辆信息,以供后续基于目标车辆的车辆信息查询到目标车辆的交通行为。
85.微型服务器(nanohttpd)是一个轻量级的、为嵌入式设备应用设计的http服务器,其方便嵌入式设备(例如:android设备)中启动一个本地服务器,接收客户端本地部分请求。为了实现将车载采集设备采集到的图像/视频传输至小程序端,本技术实施例中,车载采集设备的采集程序使用nanohttpd作为http服务器,将存储卡如sdcard目录下的图像/视频作为流文件对外提供服务。
86.步骤402中,通过小程序端可以调用采集程序中微型服务器的http接口,向车载采集设备发送目标车辆的影像读取请求。以便车载采集设备在接收到小程序端发送的影像读取请求后,基于影像读取请求将车载采集设备实时拍摄得到的图像/视频反馈至小程序端;或者,基于影像读取请求将车载采集设备历史拍摄得到的图像/视频反馈至小程序端。
87.403、将所述目标车辆的目标影像发送至所述小程序端。
88.其中,目标影像为车载采集设备基于影像读取请求反馈的目标车辆的影像。目标影像具体可以是车载采集设备采集得到的目标车辆在某些情况下如在行驶状态下的图像/视频。
89.其中,目标影像可以是车载采集设备实时采集得到图像/视频,也可以是车载采集设备历史时间比如过去1h、1天、1周或1个月采集得到的图像/视频,具体可以根据实际业务场景需求而设置,此处对影像读取请求所对应的影像采集时间不做限制。
90.在一些实施例中,在车载采集设备接收到目标车辆的影像读取请求后,可以直接通过车载采集设备的采集程序中微型服务器的http接口,根据影像读取请求反馈目标车辆的目标影像至小程序端。
91.具体地,车载采集设备的采集程序将存储卡目录下的图像/视频作为流文件,当车载采集设备接收到小程序端(基于小程序调用微型服务器的http接口)发送的影像读取请求时,车载采集设备的采集程序中微型服务器将存储卡目录下的图像/视频以流文件的方式传输至小程序端。
92.404、在所述小程序端显示所述目标影像。
93.其中,小程序端上可以通过小程序如微信小程序显示目标车辆的目标影像,从而使得用户可以实时查看无屏采集设备所采集的目标车辆的图像/视频文件。
94.由以上内容可知,本技术实施例中通过车辆影像显示系统中的小程序端可以基于车载采集设备的采集程序中微型服务器的http接口,向车载采集设备发送目标车辆的影像读取请求;车载采集设备通过采集程序中微型服务器的http接口将车载采集设备采集目标车辆的图像/视频以流文件的形式传输至小程序端,可以实现在小程序端实时显示车载采集设备采集的图像/视频,避免了现有无屏车载采集设备的图片或视频查看方式存在较大的滞后性,无法满足实际场景中对图片或视频读取的高实时性要求问题。使得无屏车载采集设备采集的车辆图像/视频文件可以实时显示,提高了对无屏车载采集设备所采集图片或视频的读取实时性
95.由于道路纵横交错、数量繁多,难以全面地布局摄像头监控车辆的违规行为,并且布设大量的摄像头需要巨大的时间、人力、物力等成本,因此,现有交通监控中无法有效地对车辆的违规行为进行有效、全面地监控。为此,在一些实施例中,还会基于目标车辆上安装的车载采集设备监控目标车辆的交通行为。即该车辆影像显示方法还可以进一步包括:基于所述目标影像,识别所述目标车辆的车辆行为;根据所述车辆行为,确定所述目标车辆是否违规。
96.其中,车辆行为是指目标车辆的交通行为,包括是否闯红灯、是否违规停车、是否违规掉头、是否超速等。
97.在一些实施例中,可以通过车载采集设备,基于所述目标影像,识别所述目标车辆的车辆行为。
98.在一些实施例中,也可以通过小程序端,基于所述目标影像,识别所述目标车辆的车辆行为。
99.在一些实施例中,还可以将目标车辆的目标影像传输至车辆后台管理服务器,通过车辆后台管理服务器,基于所述目标影像,识别所述目标车辆的车辆行为。其中,可以直接通过车载采集设备将目标车辆的目标影像传输至车辆后台管理服务器;也可以先从车载采集设备将目标车辆的目标影像传输至小程序端,再通过小程序端将目标车辆的目标影像传输至车辆后台管理服务器。
100.其中,可以通过预先训练好的车辆行为识别模型实现“基于所述目标影像,识别所
述目标车辆的车辆行为”。此时,步骤“基于所述目标影像,识别所述目标车辆的车辆行为”具体可以包括如下步骤a1~步骤a2:
101.a1、基于所述目标影像截取至少一帧图像。
102.例如,为了检测目标车辆是否违规停车,可以基于目标影像截取一帧图像,以便后续基于该帧图像对目标车辆是否违规停车进行分类预测,确定目标车辆是否违规停车。
103.又如,为了检测目标车辆是否闯红灯,可以基于目标影像截取两帧图像,以便后续基于所截取的两帧图像对目标车辆是否闯红灯进行预测,确定目标车辆是否闯红灯。
104.a2、通过预先训练好的车辆行为识别模型中,基于所述至少一帧图像进行特征提取,得到所述目标影像的图像特征;并基于所述图像特征进行预测处理,得到所述目标车辆的车辆行为。
105.上述车辆行为识别模型可以通过如下步骤训练得到:
106.1、构建初步的车辆行为识别模型。
107.例如,可以采用模型参数为默认值的(可用于分类任务)开源网络(如yolov网络)作为初步的识别模型,初步的识别模型可以包括特征提取模块和预测模块。其中,特征提取模块可以是卷积神经网络结构,特征提取模块用于对样本图像进行特征提取得到样本图像的图像特征。预测模块可以是与特征提取模块连接的全连接层,预测模块用于基于样本图像的图像特征进行预测,预测样本图像分别是各个类别的车辆行为的概率,并输出概率最大的车辆行为类别作为样本图像的车辆行为预测类别。
108.2、获取训练数据集。
109.其中,训练数据集包含多个样本图像,样本图像可以是包含车辆违规行为的图像。训练数据集中每个样本进行了标注,标注信息包括车辆违规行为的类别。
110.3、以样本的标注信息作为监督,采用训练数据集对初步的车辆行为识别模型进行训练,直至初步的识别模型收敛时,得到训练后的车辆行为识别模型。此时,可将训练好的车辆行为识别模型应用于识别出目标影像中目标车辆的车辆行为。
111.其中,训练后的车辆行为识别模型可以充分学习车辆行为与图像特征之间关系,从而可以基于图像精确地识别出目标车辆的车辆行为。
112.其中,车辆行为识别模型的训练过程与现有的分类网络模型的训练过程类似,对于没有详细说明的训练过程,可以参照现有分类网络模型的训练方式,在此不再赘述。
113.具体地,在训练得到车辆行为识别模型之后,可以将对目标影像截取得到的至少一帧图像输入至车辆行为识别模型中,以使得车辆行为识别模型中的特征提取模块对至少一帧图像进行特征提取得到目标影像的图像特征;并使得车辆行为识别模型中的预测模块基于目标影像的图像特征进行预测,确定分别是各车辆行为类别的概率,并输出概率最大的车辆行为类别作为目标车辆的车辆行为。从而可以基于目标影像识别出目标车辆的车辆行为,为后续规范目标车辆的驾驶人员的交通行为提供了精准的数据依据。
114.进一步地,在确定目标车辆违规时,还可以输出目标车辆出现违规行为的告警信息,以便提醒目标车辆的驾驶人员及时规范交通行为,以减少交通事故的发生。
115.在一些实施例中,当确定所述目标车辆违规时,通过所述车载采集设备输出所述目标车辆出现违规行为的告警信息。以便于目标车辆的驾驶人员在接收到告警信息后,规范驾驶行为,从而提高目标车辆的驾驶安全。
116.例如,可以通过车载采集设备识别目标车辆的车辆行为,并在确定目标车辆违规时,通过车载采集设备输出目标车辆出现违规行为的告警信息。其中,告警信息的输出方式可以是通过车载采集设备进行语音播报、或亮起车载采集设备的指示灯,此处对告警信息的输出方式的具体形式不作限制。
117.又如,可以通过小程序端识别目标车辆的车辆行为,并在确定目标车辆违规时,通过小程序端向车载采集设备传输目标车辆的违规行为,并通过车载采集设备输出目标车辆出现违规行为的告警信息。
118.在一些实施例中,当确定所述目标车辆违规时,通过所述小程序端输出所述目标车辆出现违规行为的告警信息。以便于目标车辆的驾驶人员在接收到告警信息后,规范驾驶行为,从而提高目标车辆的驾驶安全。
119.例如,可以通过小程序端识别目标车辆的车辆行为,并在确定目标车辆违规时,通过小程序端输出目标车辆出现违规行为的告警信息。其中,告警信息的输出方式可以是通过小程序端在小程序上进行语音播报、或亮起小程序端的指示灯,此处对告警信息的输出方式的具体形式不作限制。
120.又如,可以通过车载采集设备识别目标车辆的车辆行为,并在确定目标车辆违规时,通过车载采集设备向小程序端传输目标车辆的违规行为,并通过小程序端输出目标车辆出现违规行为的告警信息。
121.由于告警信息主要是用于提示驾驶人员规范交通行为,但是,在某些情况下,由于个人缺乏主动意识,在没有惩罚情况下,难以规范驾驶人员的交通行为。为此,还可以在识别到目标车辆违规时,获取目标车辆的违规信息上传至司法管理部门的车辆后台管理服务器中,作为交通惩罚的依据。
122.为此,在一些实施例中,“根据所述车辆行为,确定所述目标车辆是否违规”步骤之后还包括:当确定所述目标车辆违规时,获取所述目标车辆的违规信息;将所述目标车辆的违规信息存储至所述车辆后台管理服务器。其中,目标车辆的违规信息包括目标影像、目标车辆的位置信息、目标车辆的违规行为、目标车辆的基本信息和目标车辆的驾驶员信息中的至少一者。
123.进一步地,车载采集设备还可以采集目标车辆的位置信息,例如车载采集设备可以集成gps系统,通过gps系统实现对目标车辆进行定位,从而实现采集目标车辆的位置信息。
124.在将目标车辆的违规信息存储至车辆后台管理服务器之后,可以作为交通违规惩罚的依据,向目标车辆的驾驶人员发送交通违规罚单,从而实现车辆的交通行为自行监控。
125.可见,通过将目标车辆的车载采集设备采集的影像信息识别目标车辆的车辆行为,以确定目标车辆是否出现违规;并在目标车辆出现违规时,将目标车辆的违规信息上传至车辆后台管理服务器,从而使得目标车辆的车辆行为得到有效监控,避免了现有的交通监控中无法有效地对车辆的违规行为进行有效、全面地监控的问题。
126.进一步地,用户还可以基于小程序查询车辆的违规信息,此时,该车辆影像显示方法还包括以下步骤b1~步骤b3:
127.b1、接收用户基于所述小程序端输入的待查询车辆的车辆信息。
128.其中,待查询车辆的车辆信息是待查询车辆的标识信息,比如,待查询车辆的车牌
号。
129.b2、基于待查询车辆的车辆信息从所述车辆后台管理服务器查找所述待查询车辆的违规信息。
130.其中,可以基于小程序端向车辆后台管理服务器发起查询请求,以便车辆后台管理服务器从已存储的车辆违规信息中查询到待查询车辆的违规信息。
131.b3、在所述小程序端显示所述待查询车辆的违规信息。
132.在车辆后台管理服务器查询到待查询车辆的违规信息之后,还可以通过车辆后台管理服务器反馈至小程序端,通过小程序端显示待查询车辆的违规信息。
133.如图5所示,例如,用户基于小程序端输入了待查询车辆的车牌号,小程序端向车辆后台管理服务器向发送待查询车辆的车牌号“x123”,以向车辆后台管理服务器发起待查询车辆的违规信息的查询请求。车辆后台管理服务器在接收到小程序端发起查询请求后,基于待查询车辆的车牌号“x123”,从已存储的车辆违规信息中查询到待查询车辆的违规信息(如违规信息包括:车辆违规停车、车牌号“x123”、违规地点“人民广场”),并将待查询车辆的违规信息反馈回小程序端,以使得小程序端上可以显示待查询车辆的违规信息,从而使得待查询车辆的驾驶人员可以及时得知其交通违规行为,进而规范交通行为。
134.为了更好实施本技术实施例中车辆影像显示方法,在车辆影像显示方法基础之上,本技术实施例中还提供一种车辆影像显示装置,如图6所示,为本技术实施例中车辆影像显示装置的一个实施例结构示意图,该车辆影像显示装置600可以集成于本技术实施例提供的车辆影像显示系统中的车载采集设备、小程序端、或者车辆后台管理服务器中,该车辆影像显示装置600包括:
135.连接单元601,用于通过所述车载采集设备的局域网,建立所述小程序端与所述车载采集设备的连接,其中,所述车载采集设备中存储有基于所述车载采集设备的采集程序采集的影像;
136.请求单元602,用于基于所述采集程序中微型服务器的http接口,向所述车载采集设备发送目标车辆的影像读取请求;
137.发送单元603,用于将所述目标车辆的目标影像发送至所述小程序端,其中,所述目标影像为所述车载采集设备基于所述影像读取请求反馈的目标车辆的影像;
138.显示单元604,用于在所述小程序端显示所述目标影像。
139.在一些实施例中,该车辆影像显示装置600还可以包括识别单元(图中未示出),识别单元具体用于:
140.基于所述目标影像,识别所述目标车辆的车辆行为;
141.根据所述车辆行为,确定所述目标车辆是否违规。
142.在一些实施例中,该车辆影像显示装置600还可以包括告警单元(图中未示出),在所述根据所述车辆行为,确定所述目标车辆是否违规步骤之后,告警单元具体用于:
143.当确定所述目标车辆违规时,通过所述车载采集设备输出所述目标车辆出现违规行为的告警信息;
144.或者,当确定所述目标车辆违规时,通过所述小程序端输出所述目标车辆出现违规行为的告警信息。
145.在一些实施例中,该车辆影像显示装置600还可以包括存储单元(图中未示出),所
述车辆影像显示系统还包括车辆后台管理服务器,存储单元具体用于:
146.当确定所述目标车辆违规时,获取所述目标车辆的违规信息,其中,所述目标车辆的违规信息包括所述目标影像、所述目标车辆的位置信息、所述目标车辆的违规行为、所述目标车辆的基本信息和所述目标车辆的驾驶员信息中的至少一者;
147.将所述目标车辆的违规信息存储至所述车辆后台管理服务器。
148.在一些实施例中,显示单元604具体用于:
149.接收用户基于所述小程序端输入的待查询车辆的车辆信息;
150.基于所述车辆信息从所述车辆后台管理服务器查找所述待查询车辆的违规信息;
151.在所述小程序端显示所述待查询车辆的违规信息。
152.在一些实施例中,识别单元具体用于:
153.基于所述目标影像截取至少一帧图像;
154.通过预先训练好的车辆行为识别模型,基于所述至少一帧图像进行特征提取,得到所述目标影像的图像特征;并基于所述图像特征进行预测处理,得到所述目标车辆的车辆行为。
155.具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
156.由于该车辆影像显示装置可以执行本技术如图1至图5对应任意实施例中车辆影像显示方法中的步骤,因此,可以实现本技术如图1至图5对应任意实施例中车辆影像显示方法所能实现的有益效果,详见前面的说明,在此不再赘述。
157.此外,为了更好实施本技术实施例中车辆影像显示方法,在车辆影像显示方法基础之上,本技术实施例还提供一种电子设备,参阅图7,图7示出了本技术实施例电子设备的一种结构示意图,具体的,本技术实施例提供的电子设备包括处理器701,处理器701用于执行存储器702中存储的计算机程序时实现如图1至图5对应任意实施例中车辆影像显示方法的各步骤;或者,处理器701用于执行存储器702中存储的计算机程序时实现如图6对应实施例中各单元的功能。
158.示例性的,计算机程序可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器702中,并由处理器701执行,以完成本技术实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在计算机装置中的执行过程。
159.电子设备可包括,但不仅限于处理器701、存储器702。本领域技术人员可以理解,示意仅仅是电子设备的示例,并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如电子备还可以包括输入输出设备、网络接入设备、总线等,处理器701、存储器702、输入输出设备以及网络接入设备等通过总线相连。
160.处理器701可以是中央处理单元(central processing unit,cpu),还可以是其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现成可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器
等,处理器是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分。
161.存储器702可用于存储计算机程序和/或模块,处理器701通过运行或执行存储在存储器702内的计算机程序和/或模块,以及调用存储在存储器702内的数据,实现计算机装置的各种功能。存储器702可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、视频数据等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(smart media card,smc),安全数字(secure digital,sd)卡,闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
162.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的车辆影像显示装置、电子设备及其相应单元的具体工作过程,可以参考如图1至图5对应任意实施例中车辆影像显示方法的说明,具体在此不再赘述。
163.本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
164.为此,本技术实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本技术如图1至图5对应任意实施例中车辆影像显示方法中的步骤,具体操作可参考如图1至图5对应任意实施例中车辆影像显示方法的说明,在此不再赘述。
165.其中,该计算机可读存储介质可以包括:只读存储器(rom,read only memory)、随机存取存储器(ram,random access memory)、磁盘或光盘等。
166.由于该计算机可读存储介质中所存储的指令,可以执行本技术如图1至图5对应任意实施例中车辆影像显示方法中的步骤,因此,可以实现本技术如图1至图5对应任意实施例中车辆影像显示方法所能实现的有益效果,详见前面的说明,在此不再赘述。
167.以上对本技术实施例所提供的一种车辆影像显示方法、系统、电子设备及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本技术的限制。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献