一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

处理交通视频的方法、装置以及系统与流程

2022-02-21 08:18:08 来源:中国专利 TAG:


1.本技术涉及交通技术领域,更具体地,涉及一种交通视频的处理方法、装置以及系统。


背景技术:

2.随着汽车的普及,因车辆增多而引发的问题(如交通堵塞,碰撞事故等),也越来越多,使得路况环境也更加复杂。车主期望能得到实时、准确、全面的路况信息(例如,关于前方拥堵、障碍、危险、事故路况、前方路口交通信号、交通引导标识等的信息)和更加贴心的交通服务(如,交通预警,车辆发生事故之后的救援等)。
3.现有的交通服务可依赖交通部门的管制引导、交通广播、用户主动上报的路况信息等人工手段来提供路况信息,也可以基于对历史交通数据的分析为用户提供实时的路况分析(如交通拥堵预测)。现有的基于对历史交通数据的分析提供路况分析的方法主要包括以下几种:依赖高德app用户的浮动车数据提供城市及高速路网的路况预测方法;二、融合高德数据和交警部门自有的路况数据(车流、车速和饱和度)来提供预测方法;三、基于高德数据和手机信令数据提供路况预测方法(例如,基于阿里云的大数据实时路况预测方案)。
4.然而,基于人工手段提供的路况信息时效性差,并且用户可能难以从中筛选到对自己有用的相关信息。基于对历史交通数据的分析的路况预测方法也存在一定问题,以基于阿里云的实时路况预测系统为例,高德数据的路网覆盖度不完整、不同路段的数据可信度不同、交通部门提供的数据的覆盖度有限定限制了预测准确率,此外,获取交管部门提供的交通数据需要专门的硬件投入,导致较高的成本。
5.智慧城市系统汇集了各种数据,其中,有90%左右的数据与图像、视频相关,例如,可以基于通过智能行车记录仪等采集设备获取的视频容易地获得驾驶行为、车辆轨迹、交通路况等信息,因此,要使这些数据在交通服务中发挥最大的效能,关键要处理好图像和视频数据。
6.获取交通视频的装置主要包括交管部门的监控设备和行车记录仪。行车记录仪弥补了交管部门的监控设备覆盖率不足的问题,如果基于行车记录仪为用户提供交通路况信息,由于其采集到的数据具有高可靠性和实时性,可以为用户提供更准确的交通路况信息,并且无需额外投入用于采集视频的硬件设备。
7.但是要将交通视频实时上传到云服务器以与其他车主共享存在如下问题:由于不同车辆采集的视频数据量很大,实时上传海量视频数据对于车联网的网速和带宽以及云服务器的性能和负载能力是一个巨大挑战;难以在云服务器端快速搜索和匹配某个视频片段;不合理地共享视频无法保证驾驶的安全性;可能会泄露车主或其它人的隐私;如果未被授权,则无法获取到相应的视频信息。
8.因此,如何提供一种能合理地处理交通监控装置获得视频数据以为用户提供期望的交通服务的方案成为当前亟需解决的问题。


技术实现要素:

9.本发明的目的在于提供一种处理交通视频的方法、装置以及系统,以至少解决上述相关技术中的问题,也可以不解决任何上述问题。
10.根据本公开示例性实施方式的一个方面,提供了一种处理交通视频的方法,所述方法包括:通过电子装置的至少一个相机获取交通视频;以及响应于检测到预定事件发生或者从外部装置接收到预设请求,由所述电子装置选择性地将以下项中的至少一个发送到外部装置:对所述交通视频进行压缩而获得的压缩的交通视频、从所述交通视频提取的特征信息以及对所述特征信息进行压缩而获得的压缩的特征信息。
11.可选地,所述发送步骤包括:响应于从所述外部装置接收到用于获取所述特征信息的请求,将所述特征信息或者所述压缩的特征信息发送到所述外部装置。
12.可选地,所述发送步骤还包括:在发送所述特征信息或者所述压缩的特征信息之前,输出询问是否允许获取所述特征信息的询问信息。
13.可选地,所述发送步骤包括:响应于检测到在所述电子装置侧发生预设异常事件,将所述压缩的交通视频或者所述压缩的交通视频和所述压缩的特征信息两者发送到所述外部装置,其中,预设异常事件包括碰撞事件。
14.可选地,所述发送步骤还包括:响应于从所述外部装置接收到用于获取所述交通视频的授权请求,将所述压缩的交通视频发送到所述外部装置。
15.可选地,所述发送步骤包括:响应于接收到将所述交通视频发送到所述外部装置的用户输入,根据所述用户输入将以下项中的至少一个发送到所述外部装置:所述特征信息、所述压缩的交通视频以及所述压缩的特征信息。
16.可选地,所述发送步骤包括:响应于所述交通视频为所述至少一个相机中的特定相机获取的交通视频和/或在特定时间获取的交通视频,将以下项中的至少一个发送到所述外部装置:所述压缩的交通视频、所述特征信息以及所述压缩的特征信息。
17.可选地,所述特征信息通过训练好的神经网络模型从所述交通视频的视频帧提取。
18.根据本公开的实施例的另一方面,提供一种处理交通视频的方法,所述方法包括:由第一电子装置向多个第二电子装置中至少一个第二电子装置发送获取交通视频的预设请求,其中,所述交通视频通过所述至少一个第二电子装置的相机获得;响应于从第一电子装置接收到所述预设请求或者检测到发生预定事件,由相应的第二电子装置将以下项中的至少一个发送到第一电子装置:对所述交通视频进行压缩而获得的压缩的交通视频、从所述交通视频提取的特征信息以及对所述特征信息进行压缩而获得的压缩的特征信息。
19.可选地,所述方法还包括:响应于从所述多个第二电子装置中的一个第二电子装置接收到所述一个第二电子装置主动发送的压缩的交通视频,由第一电子装置将所述压缩的交通视频发送到第三电子装置以播放所述压缩的交通视频。
20.可选地,所述方法还包括:由第一电子装置存储接收到的特征信息和/或压缩的特征信息;以及响应于接收到用于查询特征信息的指令,由第一电子装置基于所述指令从所存储的特征信息中搜索所查询的特征信息。
21.本发明实施例使得用户可以方便地获取准确的路况信息来规划出行路径。例如,用户可以躲避当前存在交通问题的路段,还能够躲避将会出现的拥堵、障碍、危险发生路
段;本技术可以降低由于信息滞后用户做出错误决策的可能性,给用户带来更好的交互式交通服务体验,同时也能够便于交管部门对事故进行监控,实时优化指挥交通。
22.根据本公开的实施例的另一方面,提供一种处理交通视频的电子装置,所述电子装置包括:至少一个相机,被配置为获取交通视频;发送单元;以及处理器,被配置为响应于检测到预定事件发生或者从外部装置接收到预设请求,控制所述发送单元选择性地将以下项中的至少一个发送到外部装置:对所述交通视频进行压缩而获得的压缩的交通视频、从所述交通视频提取的特征信息以及对所述特征信息进行压缩而获得的压缩的特征信息。
23.可选地,所述处理器被配置为:响应于从所述外部装置接收到用于获取所述特征信息的请求,控制所述发送单元将所述特征信息或者所述压缩的特征信息发送到所述外部装置。
24.可选地,所述电子装置还包括输出单元,其中,所述处理器被配置为在发送所述特征信息或者所述压缩的特征信息之前,控制所述输出单元输出询问是否允许获取所述特征信息的询问信息。
25.可选地,所述处理器被配置为:响应于检测到在所述电子装置侧发生预设异常事件,控制所述发送单元将所述压缩的交通视频或者所述压缩的交通视频和所述压缩的特征信息两者发送到所述外部装置,其中,预设异常事件包括碰撞事件。
26.可选地,所述处理器被配置为:响应于从所述外部装置接收到用于获取所述交通视频的授权请求,控制所述发送单元将所述压缩的交通视频发送到所述外部装置。
27.可选地,所述处理器被配置为:响应于接收到将所述交通视频发送到所述外部装置的用户输入,根据所述用户输入控制发送单元将以下项中的至少一个发送到所述外部装置:所述特征信息、所述压缩的交通视频以及所述压缩的特征信息。
28.可选地,所述处理器被配置为:响应于所述交通视频为所述至少一个相机中的特定相机获取的交通视频和/或在特定时间获取的交通视频,控制所述发送单元将以下项中的至少一个发送到所述外部装置:所述压缩的交通视频、所述特征信息以及所述压缩的特征信息。
29.可选地,所述特征信息通过训练好的神经网络模型从所述交通视频的视频帧提取。
30.根据本公开的另一方面,提供一种处理交通视频的系统,所述系统包括:
31.第一电子装置,被配置为向多个第二电子装置中的至少一个第二电子装置发送获取交通视频的预设请求,其中,所述交通视频通过所述至少一个第二电子装置的相机获得;所述多个第二电子装置,其中,每个第二电子装置被配置为响应于从第一电子装置接收到所述预设请求或者检测到在所述每个第二电子装置侧发生预定事件,将以下项中的至少一个发送到第一电子装置:对所述交通视频进行压缩而获得的压缩的交通视频、从所述交通视频提取的特征信息以及对所述特征信息进行压缩而获得的压缩的特征信息。
32.可选地,第一电子装置还被配置为:响应于从所述多个第二电子装置中的一个第二电子装置接收到所述一个第二电子装置主动发送的压缩的交通视频,将所述压缩的交通视频发送到第三电子装置以播放所述压缩的交通视频。
33.可选地,第一电子装置还被配置为:存储接收到的特征信息和/或压缩的特征信息;以及响应于接收到用于查询特征信息的指令,基于所述指令从所存储的特征信息中搜
索所查询的特征信息。
34.可选地,第一电子装置被配置为:响应于从第三电子装置接收到用于搜索特定目标的指令,将与所述指令相应的特征获取请求发送到所述至少一个第二电子装置,从所述至少一个第二电子装置接收与所述特征获取请求相应的特征信息,基于接收到的与所述特征获取请求相应的特征信息获取与特定目标相关的信息,将获取的与特定目标相关的信息发送到第三电子装置,所述至少一个第二电子装置中的每一个被配置为:响应于接收到所述特征获取请求,拍摄周围环境的交通视频,并从拍摄的交通视频中提取与特定目标相应的特征信息,将提取到的与所述特定目标相应的特征信息发送到第一电子装置。
35.可选地,第一电子装置被配置为:基于从所述至少一个第二电子装置接收到的所述特征信息和/或所述交通视频,通过训练好的神经网络模型确定存在交通异常状况的路段,向所述路段附近的第二电子装置发送交通异常预警信息。
36.可选地,第一电子装置被配置为:响应于从第三电子装置接收到用于查询特定路段的路况信息的查询请求,将获取所述特征信息的请求发送到在特定路段的第二电子装置,分别从在特定路段的第二电子装置接收从在特定路段的第二电子装置拍摄的交通视频提取的特征信息,基于接收到的特征信息分析特定路段的路况,将分析结果发送到第三电子装置。
37.根据本公开的另一方面,提供一种存储有计算机程序的计算机可读存储介质,其中,当所述计算机程序被处理器执行时实现如上所述的处理交通视频的方法。
38.根据本技术的公开的实施例,根据具体的场景信息选择性地上传不同形式的交通视频信息,可以减轻传输带宽的压力,并且使得用户能能够及时的得到自己期望的交通路况信息和交通服务。
附图说明
39.通过下面结合示例性地示出一例的附图进行的描述,本发明的上述和其他目的和特点将会变得更加清楚,其中:
40.图1示出了根据监控装置获取的交通路况信息提供交通服务的示例场景;
41.图2示出了根据本公开的实施例的处理交通视频的方法的流程图;
42.图3示出了视频拍摄终端将提取的视频的特征信息发送到云服务器的示例的示图;
43.图4是示出根据本公开的实施例的处理交通视频的方法的示例的示图;
44.图5是示出针对观看交通视频的请求的用户界面的示例的示图;
45.图6是示出根据本公开的实施例的处理交通视频的方法的流程图;
46.图7是示出根据本公开的实施例的通过云服务器处理交通视频的方法的示例的流程图。
47.图8是示出根据本公开的实施例的处理交通视频的电子装置400的结构的框图;
48.图9是示出根据本公开的实施例的处理交通视频的系统的结构的框图;
49.图10是示出根据本公开的实施例的处理交通视频的系统1000的结构的框图;
50.图11是示出根据本公开的实施例的处理交通视频的示例场景的示图;以及
51.图12是示出根据本公开的另一示例性实施例的处理交通视频的电子装置1200的
结构的框图。
具体实施方式
52.在下文中,参照附图对本公开的各种实施例进行描述,其中,相同的标号用于表示相同或相似的元件、特征和结构。然而,不旨在由本文所述的各种实施例将本公开限制于具体实施例,并且旨在于:本公开覆盖本公开的所有修改、等同物和/或替代物,只要它们在所附权利要求及其等同物的范围内。在以下说明书和权利要求书中使用的术语和词语不限于它们的词典含义,而是仅被用于使得能够清楚和一致地理解本公开。因此,对于本领域技术人员应显而易见的是:提供本公开的各种实施例的以下描述仅用于说明的目的,而不是为了限制由所附权利要求和它们的等同物限定的本公开的目的。
53.应理解,除非上下文另外明确指出,否则单数形式包括复数形式。本文使用的术语“包括”、“包含”和“具有”指示公开的功能、操作或元件的存在,但不排除其它功能、操作或元件。
54.例如,表述“a或b”、或“a和/或b中的至少一个”可指示a和b、a或者b。例如,表述“a或b”或“a和/或b中的至少一个”可指示(1)a、(2)b或(3)a和b两者。
55.在本公开的各种实施例中,意图是:当组件(例如,第一组件)被称为与另一组件(例如,第二组件)“耦接”或“连接”或者被“耦接”或者“连接”到另一组件(例如,第二组件)时,所述组件可被直接连接到所述另一组件,或者可通过另一组件(例如,第三组件)被连接。相比之下,当组件(例如,第一组件)被称为与另一组件(例如,第二组件)“直接耦接”或“直接连接”或者被直接耦接到或直接连接到另一组件(例如,第二组件)时,在所述组件和所述另一组件之间不存在另一组件(例如,第三组件)。
56.在描述本公开的各种实施例中使用的表述“被配置为”可以例如根据情况与诸如“适用于”、“具有

的能力”、“被设计为”、“适合于”、“被制造为”和“能够”的表述互换使用。术语“被配置为”可不一定指示按照硬件“被专门设计为”。相反,在一些情况下的表述“被配置为...的装置”可指示所述装置和另一装置或者部分“能够
…”
。例如,表述“被配置为执行a、b和c的处理器”可指示用于执行相应操作的专用处理器(例如,嵌入式处理器)或用于通过执行存储在存储器装置中的至少一个软件程序来执行相应的操作的通用处理器(例如,中央处理单元cpu或应用处理器(ap))。
57.本文使用的术语在于描述本公开的某些实施例,但并不旨在限制其它实施例的范围。除非本文另外指出,否则本文使用的所有术语(包括技术或科学术语)可具有与本领域技术人员通常理解的含义相同含义。通常,词典中定义的术语应被视为具有与相关领域中的上下文含义相同的含义,并且,除非本文明确地定义,否则不应被不同地理解或被理解为具有过于正式的含义。在任何情况下,本公开中定义的术语也不旨在被解释为排除本公开的实施例。
58.图1示出了根据监控装置获取的交通路况信息提供交通服务的示例场景。
59.参照图1,监控装置(例如,固定监控装置、移动监控装置(例如,行车记录仪))实施获取的路况信息经过网络上传至云服务器,云服务器可对接收到的路况信息进行分析,并基于分析的结果为用户提供相应的服务,例如,车辆检测、行人检测、危险路段告警、紧急救援、特定路段的交通状况。
60.作为示例,实时记录并上传的行车记录信息可包括车辆位置信息与所述车辆位置信息对应的路况信息、路况信息的获取时间等。路况信息可以为路况视频,路况视频或者路况图片具体可以行车记录仪的相机获取。
61.作为示例,云服务器可将接收到的视频发送给监控终端,监控终端可包括云存储模块和支持流媒体播放且具有视频解码器的播放模块。
62.作为示例,本发明中使用的传输网络可以为以下网络中的任意一种:增强移动宽带,用户体验传输速率为0.1~1gpbs,峰值速率为10gbps,流量密度为10tbps/km2;超可靠低时延通信网络,其端到端的时间延迟为ms(毫秒)级别,数据传输可靠性接近100%;海量机器类通信网络,通过该网络,每平方公里可连接100万个其他终端,流量密度为10^6tbps/km2。例如,利用5g技术的超可靠、低时延时的特点,可满足即时上传,以及并行传输上下行数据的要求。
63.根据本公开的实施例的处理交通视频的方法和装置可应用于上述场景,本领域技术人员应当理解,上述应用场景仅是示例,并不限制本公开所能应用的具体场景。
64.下面对根据本公开的实施例的处理交通视频的方法进行说明。
65.图2示出根据本公开的实施例的处理交通视频的方法的流程图。
66.参照图2,在步骤s201,通过电子装置的至少一个相机获取交通视频。
67.作为示例,电子装置可以是获取交通视频的任何电子装置,例如、固定交通监控装置、移动监控装置(例如,包括行车记录仪的车辆或者行车记录仪)、无人机、用于获取海上交通视频的船舶等。电子装置可以包括至少一个相机,利用所述至少一个相机实施拍摄电子装置附近的交通视频,并将拍摄的视频存储在电子装置或与电子装置连接的其他电子装置中。电子装置可以仅存储最近获取的视频或者在接收到预定指令后才存储视频。
68.以行车记录仪为例,行车记录仪可包括:相机,用于实时拍摄视频以记录车辆周围发生的情况;gps模块,用于获取相机拍摄视频的地理位置及行驶信息;移动通信模块,用于将特定相机拍摄的特定时间段的视频以及该时间段内gps模块记录的信息通过无线通讯网络上传至云服务平台;存储器,用于存储获取的视频数据;处理模块,与相机、gps模块、移动通信模块和存储器交互,可对视频执行编码、提取视频的特征信息并对特征信息进行编码;传感器模块,包括加速度计、重力传感器、温度传感器、湿度传感器、碰撞检测装置等,所述多个传感器可以被集成在一起或者可以是分开的;ai交互模块,用来接收用户查询指令,并向用户提供从云服务器接收到的内容信息,例如,从云服务器接收到的预警信息、与查询请求相应的查询结果。
69.作为示例,ai模块可包括语音处理模块,其通过自然语言处理技术把请求转化为可用于云服务器查询和匹配的特征标签,当云服务器得到分析结果返回给查询装置时,ai模块把查询到的结果转化为人类可以理解的自然语言形式,例如但不限于文字或语音播报。
70.视频由图像序列组成,图像序列里面包含了大量冗余数据,其中,冗余数据主要包括:关于空间冗余的数据、关于时间冗余关的数据以及关于编码冗余的数据。因此,为了能够提高数据的传输效率需要对获取的视频数据执行压缩处理。作为示例,电子装置可以将获取的视频进行压缩然后进行存储,还可以基于训练好的机器视觉模型来从视频提取特征信息,并将提取的特征信息或压缩后的特征信息进行存储。
71.作为示例,从视频提取的特征信息可以包括识别出的对象类别,例如,车牌号、行人、无人机,还可以包括指示是否拥堵的信息。基于机器视觉提取特征信息为现有技术,在此不做赘述。
72.作为示例,外部装置可以是服务器等其他电子装置。为了便于说明,下面以服务器为例对外部装置进行描述。
73.作为示例,服务器可包括:
74.第一接收单元,用于接收来自电子装置的针对路况信息的查询指令,接收到的查询指令可被用于智能分析和搜索;第二接收单元,用于接收不同电子装置(例如,行车记录仪)上传的从视频提取的特征信息,特征信息可被用于智能分析和搜索;第三接收单元,用于接收压缩的视频,压缩的视频可被解压以用于提供流媒体服务;处理单元,基于第二接收单元接收到的特征信息形成与视频内容相关的可扩展特征数据库。数据库的元素包含了用于智能视频分析和检索所需的紧凑描述符信息,基于特征数据库可快速完成特定目标的搜索和匹配,从而支持动作识别、场景识别、人物识别、分类等多样化任务;发送单元,用于发送响应于第一模块接收到的查询指令的分析结果;存储模块,用于存储上传的数据,处理过程和处理结果。
75.作为示例,云服务器可以包括特征解码器,以对接收到特征信息进行解码。此外云服务器还可以包括用于人脸识别、车辆识别、交通分析、视频搜索等任务的神经网络模块。
76.作为示例,云服务器可以借助其他装置来完成所需的计算的一部分或者全部,这样可以减小对服务器算力的要求。
77.在步骤s202,响应于检测到预定事件发生或者从外部装置接收到预设请求,由所述电子装置选择性地将以下项中的至少一个发送到外部装置:对所述交通视频进行压缩而获得的压缩的交通视频、从所述交通视频提取的特征信息以及对所述特征信息进行压缩而获得的压缩的特征信息。
78.作为示例,所述外部装置可以是服务器或其他电子装置。
79.由于大量视频获取装置获取到的视频为海量数据,因此,所有的视频无法被及时地将上传至服务器,并且服务器也难以针对海量视频数据进行及时的分析,另外很多视频并无应用价值,也没必要全部上传至服务器。因此,可以根据实际需要选择性地将以下项中的至少一个发送到外部装置:对所述交通视频进行压缩而获得的压缩的交通视频、从所述交通视频提取的特征信息以及对所述特征信息进行压缩而获得的压缩的特征信息。
80.具体地,压缩的交通视频是对视频的整个帧进行压缩而获得数据,其追求高保真率,是服务于人的视觉感知的;特征信息是从视频的每个针或者关键帧提取的最关键的特征信息,其是基于训练好的特征提取模型从图像帧获得数据,是服务于机器视觉的。
81.作为示例,提取视频的特征数据量可能很大,因此可将特征数据进行压缩,并对压缩的特征数据执行编码以生成发送到云服务器的特征数据流。
82.作为示例,交通视频的特征信息可通过训练好的神经网络模型从交通视频的视频帧提取。
83.作为示例,视频的特征提取和压缩可以采用压缩标准mpeg-7。mpeg-7包括:第13部分的cdvs和第15部分的cdva。此标准的主要目标是提供一套标准化的比特流语法实现图像搜索应用的上下文中的互操作性。cdvs是mpeg组织对图像检索的描述子格式、特征提取和
检索过程所制定的标准。具体地,检测图像的兴趣点,检测出的兴趣点称之为局部特征点。然后,对所有的局部特征点进行筛选,去除噪声点以保留重要的局部特征点。以这种方式,通过减小基于局部特征点的数量实现了数据的压缩。接下来,对保留的局部描述子(即局部特征点),进行两个方面的处理:局部描述子的压缩得到更紧凑的描述子;局部描述子的聚合得到全局描述子。局部描述子经过变换和标量量化,实现了数据量的压缩。而对它进行降维、聚合以及二值化处理之后,便可形成全局描述子。可见,通过对提取的特征点进行处理,最后形成了两部分的特征信息:局部描述子和全局描述子。对局部描述子的压缩,使得cdvs特征所占用的字节数相比原始兴趣点大大减少,从而特征匹配所用的时间也相应减少。同时,全局描述子,使得图像有不同层次的信息描述,从可提高检索的准确性。特征压缩和后续的感知是紧密相关的,优选地,任务的复杂程度不同,提取的视觉特征也不一样。优选地,根据智能分析任务的不同,简单的任务就会优先采取相关的策略,复杂的任务,它就把相关的信息往后传,或者使用更为通用的特征信息。
84.图3示出了视频拍摄终端将提取的视频的特征信息发送到云服务器的示例的示图。
85.参照图3,视频拍摄终端可从视频关键帧提取特征信息(描述符),具体地,可通过对关键视频帧执行边缘检测、图像分割来提取特征信息,以生成通用的特征。然后,视频拍摄终端将特征信息编码后发送到云服务器,云服务器将从视频拍摄终端接收到的特征信息进行解码并存储以用于检索匹配等任务。
86.作为示例,视频编码标准可以使用但不限于是h.264、avs、h.265、avs2、h.266以及avs3。可使用数字视网膜芯片对相应数据执行压缩。
87.作为示例,电子装置可以通过流媒体服务器与监控终端执行相关信息的交互,同时云服务器的分析结果也可以被发送到监控终端以便于监控终端提供更优的交通服务。
88.作为示例,可根据任务请求的具体情况,调整上传数据流的大小。当请求的特征集比较小时,可上传少量的特征,例如上传一些宏观的特征。此时,可以不压缩特征数据而直接将特征数据上传至云服务器。如果请求的特征集比较大,则将相应的特征数据进行压缩,然后上传至云服务器。
89.在云服务器端,对编码的特征数据执行解码并存储解码的特征数据,可以通过神经网络模型从存储的特征数据库中搜索相应的特征数据。
90.作为示例,也可以根据具体场景,直接上传全部的特征数据或者对全部特征数据执行压缩获得压缩的特征数据。
91.为了特征数据的一致性和标准化,提取的特征数据可以采用统一描述符,例如,不同设备或不同供应商的特征提取软件采用相同的特征提取模型。
92.作为示例,电子装置包括的编码器可对视频或提取的特征信息进行编码或者压缩编码。
93.作为示例,也可将编码器部署在边缘节点(例如,其他装置)来对视频或特征信息执行相应的编码。
94.优选地,视频编码器为支持视频编码、特征编码、模型编码的高性能芯片。
95.作为示例,电子装置可向云服务器发送查询电子装置的位置附近的交通状况的查询指令,云服务器可基于从各监控装置接收到的视频数据对所述电子装置附近的路况信息
进行分析,然后将结果反馈给所述电子装置。
96.作为示例,可响应于从所述外部装置接收到用于获取所述特征信息的请求,将所述特征信息或者所述压缩的特征信息发送到所述外部装置。
97.例如,为了查找特定车辆或者行人,交管部门可以通过服务器向获取交通视频的电子装置(例如,固定监控装置、移动监控装置)发送获取交通视频的特征信息普通查询请求。各交通监控装置响应于接收到的普通查询请求可将获取的视频的特征信息发送到服务器。如果服务器接收到的特征信息中包括与所述特定车辆或行人相应的特征信息,则通过对服务器接收到的特征信息进行检索,可以检索到所述特定信息,从而进一步采取相应的措施。本领域技术人员应当理解,服务器在接收到压缩的特征信息后,对压缩的特征信息进行解压并存储特征信息,以便于对特征信息的检索和查询。
98.作为示例,电子装置可响应于接收到普通查询请求,提取交通视频的特征信息,提取的特征信息可以是最近获取的交通视频的特征信息。
99.作为示例,电子装置也可以在获取到交通视频后立即提取交通视频的特征信息,而不是接收到普通查询请求才提取特征信息。
100.作为示例,电子装置可在接收到获取特征信息的请求之后,在发送所述特征信息或者所述压缩的特征信息之前,输出询问是否允许获取所述特征信息的询问信息。
101.由于电子装置获取的交通视频可能涉及个人隐私或者敏感内容,因此,需要电子装置的用户许可,通过输出询问信息,可以询问用户是否允许上传交通视频的特征信息。
102.作为示例,可以以视觉或听觉形式输出询问信息。用户可对输出的询问信息进行响应,以确定是否上传请求的特征信息。
103.作为示例,可响应于检测到在所述电子装置侧发生预设异常事件,将所述压缩的交通视频或者所述压缩的交通视频和所述压缩的特征信息两者发送到所述外部装置,其中,预设异常事件包括碰撞事件。
104.例如,在车辆行驶过程中,可能发生用户需要救援的各种情况,当发生预设异常事件时,可以自动地将特征信息和/或交通视频发送到服务器。
105.作为示例,可通过惯性测试单元、温度、湿度传感器、碰撞检测模块等检测异常事件,如碰撞、坠落、燃烧等事件。
106.服务器可对接收到的特征信息和/或交通视频进行分析。例如,如果通过分析确定车辆存在事故或者相应的路段拥堵,可以及时进行救援或者预警。服务器可以基于训练好的分析模型进行对特征信息和/或交通视频的分析以输出分析结果。例如,如果电子装置检测到碰撞事件,则可以自动将碰撞前后的视频发送到云服务器以及时获得救援。例如,云服务器可以接收到的视频片段进行分析,并将视频片段实时传回监控中心,以提醒人工干预或便于提供后续服务,此外,云服务器将针对所述事故的预警信息推送给对应该路段的车主,提醒规避。
107.作为示例,响应于从所述外部装置接收到用于获取所述交通视频的授权请求,将所述压缩的交通视频发送到所述外部装置。
108.例如,用户可以提前确定可以获取用户使用的电子装置(以下称为电子装置a)的交通视频或特征信息的外部装置或其他用户。例如,用户可对例如自己的亲属、公安部门等提前进行授权。例如,当亲属查询电子装置的交通视频信息时,可以自动允许查询。例如,如
果用户的亲属被预先授权,则当用户期望查询第一电子装置获取的视频时,用户的亲属可将查询指令发送到云服务器,云服务器基于查询指令检索与第一电子装置对应的视频信息,并将检索到的视频信息发送给亲属的电子装置(可称为电子装置b)。
109.作为示例,如果服务器中不存在电子装置a的交通视频,则可以将请求电子装置a的交通视频的指令发送给电子装置a。由于所述查询请求已被预先授权,因此,电子装置a响应于接收到所述授权请求,自动将电子装置a的交通视频发送到服务器,并经由服务器发送给电子装置b。
110.图4是示出根据本公开的实施例的处理交通视频的方法的示例的示图。
111.参照图,在步骤401,检测视频观看请求。
112.在步骤402,确定检测到的请求是否具有权限。
113.在步骤403,响应于检测到的请求无权限,拒绝所述请求。
114.在步骤404,响应于检测到的请求具有权限,将视频流发送到请求终端以与请求终端共享电子装置(例如,行车记录仪)拍摄的交通视频。图5是示出针对观看交通视频的请求的用户界面的示例的示图。
115.参照图5,响应于从外部电子装置a接收到获取交通视频的请求,可以显示询问是否允许外部电子装置获取交通视频的界面,用户通过界面可以授权获取拒绝外部装置获取电子装置拍摄的交通视频。
116.作为示例,所述发送步骤可包括:响应于所述交通视频为所述至少一个相机中的特定相机获取的交通视频和/或在特定时间获取的交通视频,将以下项中的至少一个发送到所述外部装置:所述压缩的交通视频、所述特征信息以及所述压缩的特征信息。
117.由于电子装置可包括多个相机,每个相机获取的交通视频的范围不一样,并且考虑到个人隐私,可以仅允许自动发送特定相机/或特定时间获取的交通视频信息。
118.作为示例,可以基于用户的输入发送以下项中的至少一个发送到所述外部装置:所述压缩的交通视频、所述特征信息以及所述压缩的特征信息。例如,电子装置的用户期望发送哪种信息,则通过相应的用户输入来发送相应的信息。
119.作为示例,用户的查询请求可以包括时间信息,例如,查询时间信息指示用户查询哪个时间段的特征信息或者交通视频。
120.作为示例,用户主动上传交通视频可能遇到了异常情况,因此,如果服务器接收到用户主动上传的交通视频,则将接收到的交通视频发送到另一电子装置(例如,可视化监控终端)进行及时的查看。例如,可视化监控终端对接收到的交通视频执行解码以显示相应的视频图像。具体地,可视化监控终端通过将视频流中的压缩数据,还原为rgb、yuv等色彩空间的原数据。经过对这些原数据的渲染,把高保真、高质量的图像序列呈现给监控终端的用户,以便人工干预和提供后续响应服务。另外,可根据该可视化终端用户的需要,判断是否需要复用与该视频数据相应的特征数据流。如果需要,则可以将相应的查询指令发送到云服务器,云服务器基于所述指令执行分析,并将分析结果(例如,路况信息)发送给可视化监控终端。如果该可视化监控终端是交通监控中心等交通安全保障机关,则可把获取的实时路况信息以预警提醒的形式推送给利益相关的其他终端用户,例如,推送给同一路段的用户、导航路线规划经过所述路段的用户、订阅用户等。
121.根据本公开的实施例,差异化的压缩传输方式解决了大量行车记录仪产生海量的
视频数据的上传压力,且降低了云服务器的负载压力,也使对海量、异构的视频源数据的分析成为可能,通过使数据结构化、标准化,在分析和预测中有更好的泛化能力。后期维护中方便对智能分析模型的重用和通过对目标模型的优化,提高分析的效率和准确率。另外,视频中涉及身份认证问题、授权问题和隐私问题,差异化的数据压缩处理方法不仅解决了的敏感数据的隐私问题,也可以在紧急情况下,给车主带来更好的安全体验。
122.根据本公开的实施例,提供了一种处理交通视频的方法,所述方法包括:
123.由第一电子装置向多个第二电子装置中至少一个第二电子装置发送获取交通视频的预设请求,其中,所述交通视频通过所述至少一个第二电子装置的相机获得;响应于从第一电子装置接收到所述预设请求或者检测到发生预定事件,由相应的第二电子装置将以下项中的至少一个发送到第一电子装置:对所述交通视频进行压缩而获得的压缩的交通视频、从所述交通视频提取的特征信息以及对所述特征信息进行压缩而获得的压缩的特征信息。
124.作为示例,第一电子装置可以是云服务器,第二电子装置可以是能够拍摄交通视频的各种电子装置。在上文中已经对电子装置根据具体场景选择性发送相关视频信息的技术方案进行了详细描述,在此不再赘述。
125.作为示例,所述方法还包括:响应于从所述多个第二电子装置中的一个第二电子装置接收到所述一个第二电子装置主动发送的压缩的交通视频,有第一电子装置将所述压缩的交通视频发送到第三电子装置以播放所述压缩的交通视频。
126.例如,视频拍摄装置主动上传交通视频可能意味着该装置的用户遇到了紧急情况。因此,当服务器接收到主动上传的视频后,可将视频发送到可以观看接收到的视频的电子装置(例如,可视化监控终端),以使得通过该电子装置播放的视频及时发现视频中反映的问题。
127.作为示例,还包括:由第一电子装置存储接收到的特征信息和/或压缩的特征信息;以及响应于接收到用于查询特征信息的指令,由第一电子装置基于所述指令从所存储的特征信息中搜索所查询的特征信息。
128.由于从各视频监控装置接收到的特征数据可反应不同位置、不同时间段的交通状况信息,因此,可以基于服务器存储的接收到的特征数据来执行相应的搜索和分析。例如,当服务器接收到外部装置发送的用于查询特征信息的指令时,其可以基于所述指令在存储的特征数据库中执行搜索,当搜索到对应的特征数据时,可以对与该数据关联的监控装置或者视频执行进一步的处理。
129.图6是示出根据本公开的实施例的处理交通视频的方法的流程图。
130.参照图6,在步骤601,检测从外部电子装置(例如,云服务器)接收到的针对电子装置(例如,行车记录仪或者路旁监控相机)获取的交通视频的获取请求,其中,该请求可以是用于获取以下项中的至少一个的请求:交通视频、交通视频的特定特征信息以及交通视频的通用特征信息。
131.在步骤602,确定请求的类型。
132.在步骤603,响应于所述请求为获取交通视频的请求,生成视频编码流,并在步骤606将视频编码流发送到云服务器。
133.在步骤605,响应于所述请求为获取特定特征信息的请求,从交通视频中提取特定
特征信息,并在步骤606将提取的特定特征信息发送到云服务器。作为示例,特定特征信息可以是车牌号码、特定人的人脸图像等。
134.在步骤607,响应于所述请求为获取通用特征信息的请求,从交通视频中提取通用特征信息,并在步骤608,将提取的通用特征信息发送到云服务器。
135.图7是示出根据本公开的实施例的通过云服务器处理交通视频的方法的示例的流程图。
136.在步骤701,接收包括交通视频流和特征流的复合流。
137.在步骤702,将接收到的视频发送到人工监控终端以通过人工监控终解码并端播放所述视频。
138.在步骤703,对特征流进行解码并存储解码的特征。本领域技术人员应当理解,步骤702和703的执行是顺序不被限制,例如,可以同时执行两个步骤或者先执行步骤703。
139.在步骤704,响应于接收到查询请求,基于存储的特征信息,通过训练好的神经网络来获取的与查询请求响应的信息,例如,查询请求为特定路段的路况是否拥堵,则云服务器可以基于存储的特征信息通过训练好的神经网络得到分析结果,并将分析结果发送给查询终端。例如,存储的特征信息可用于视觉应用、路径规划和交通预测等。
140.作为示例,云服务器可以从各种交通视频获取装置接收特征信息(例如,位置信息、行为动作类型、目标数量、对象类型等),并存储接收到的特征信息。
141.当从外部装置接收到查询请求时,可以基于存储的特征信息输出分析结果,并将结果反馈给查询终端。例如,查询终端可以接收用户的语音“火车站附近现在堵车吗”,查询终端将与语音相应的查询指令发送到云服务器,云服务器通过训练好的神经网络模型基于存储的特征信息即可确定火车站附近的交通状况,并将分析结果发送给查询终端。作为示例,查询终端可以是ar眼镜,其还可以为云服务器提供交通视频。以上参照图1至图7对根据本公开的实施例的处理交通视频的方法进行了说明,下面参照图8至图12对根据本公开的实施例的处理交通视频的电子装置和系统进行描述。
142.图8是示出根据本公开的实施例的处理交通视频的电子装置400的结构的框图。
143.参照图8,电子装置800可包括:至少一个相机801、发送单元802、处理器803。本领域技术人员应当理解,电子装置800还可以另外地包括其他组件,并且电子装置包括的组件可被合并或者拆分,在合并或者拆分前后能够实现相同的功能。例如,电子装置801可以是行车记录仪等交通视频获取装置。
144.作为示例,至少一个相机801被配置为获取交通视频。
145.处理器803可被配置为响应于检测到预定事件发生或者从外部装置接收到预设请求,控制所述发送单元802选择性地将以下项中的至少一个发送到外部装置:对所述交通视频进行压缩而获得的压缩的交通视频、从所述交通视频提取的特征信息以及对所述特征信息进行压缩而获得的压缩的特征信息。作为示例,外部电子装置可以是云服务器或其他电子装置。
146.作为示例,交通视频的特征信息可通过训练好的神经网络模型从交通视频的视频帧提取。
147.作为示例,处理器803可被配置为:响应于从所述外部装置接收到用于获取所述特征信息的请求,控制所述发送单元802将所述特征信息或者所述压缩的特征信息发送到所
述外部装置。
148.作为示例,电子装置800还可包括输出单元(未示出)。
149.作为示例,所述处理器803可被配置为在发送所述特征信息或者所述压缩的特征信息之前,控制所述输出单元输出询问是否允许获取所述特征信息的询问信息。
150.作为示例,所述处理器803可被配置为:响应于检测到在所述电子装置侧发生预设异常事件,控制所述发送单元802将所述压缩的交通视频或者所述压缩的交通视频和所述压缩的特征信息两者发送到所述外部装置,其中,预设异常事件包括碰撞事件。
151.作为示例,所述处理器803可被配置为:响应于从所述外部装置接收到用于获取所述交通视频的授权请求,控制所述发送单元802将所述压缩的交通视频发送到所述外部装置。
152.作为示例,所述处理器803被配置为:响应于接收到将所述交通视频发送到所述外部装置的用户输入,根据所述用户输入控制发送单元802将以下项中的至少一个发送到所述外部装置:所述特征信息、所述压缩的交通视频以及所述压缩的特征信息。
153.作为示例,所述处理器803可被配置为:响应于所述交通视频为所述至少一个相机中的特定相机获取的交通视频和/或在特定时间获取的交通视频,控制所述发送单元将以下项中的至少一个发送到所述外部装置:所述压缩的交通视频、所述特征信息以及所述压缩的特征信息。
154.作为示例,所述特征信息从所述交通视频的关键帧提取。
155.图9是示出根据本公开的实施例的处理交通视频的系统的结构的框图。
156.参照图,系统900可包括电子终端910和云服务器920。
157.电子终端910可包括相机911、场景识别模块912、ai模块913、处理器914、特征编码器915、视频编码器916、存储器917以及通信单元918,其中,处理器914可以控制电子终端910的整体操作。本领域技术人员应当理解电子终端还可以包括其他组件,并且电子终端包括的组件可被合并或者拆分。
158.云服务器920可包括通信单元921、视频解码器922、特征解码器923以及神经网络分析模块。本领域技术人员应当理解云服务器还可以包括其他组件,并且云服务器包括的组件可被合并或者拆分。
159.具体地,场景识别模块912可以基于传感器(例如,位置传感器、温度传感器、加速度传感器、湿度传感器、碰撞传感器等)的感测信息判断是否产生异常时间。响应于产生异常事件,电子终端910可以通过通信单元918将相机911拍摄的视频和/或视频的特征信息发送到云服务器,云服务器可通过通信单元921接收视频和/或特征信息,并通过特征解码器和/或视频解码器对接收到的信息进行解码,神经网络分析模块可对接收到的信息执行分析或从所述信息中搜索特定信息。
160.作为示例,场景识别模块可以基于相机911拍摄的视频确定是否存在异常场景。基于拍摄的视频确定是否存在异常场景可以通过训练好的神经网络模型来执行。例如,如果视频中的车辆较多且移动缓慢,则可将该场景判断为异常场景,并将交通视频或交通视频的特征信息发送到云服务器。
161.ai模块可分析从云服务器920接收到的获取请求,并判断所述请求是获取特定特征还是通用特征。响应于确定适用于获取特定特征的请求,特征编码器可从相机911拍摄的
交通视频中提取特定特征,并将提取的特定特征发送到云服务器;响应于所述请求时用于获取通用特征的请求,特征编码器从交通视频中提取通用特征,并将提取的通用特征发送到云服务器。作为示例,电子终端可将交通视频与提取的特征信息一起发送到云服务器。作为示例,可将与交通视频相关的其他信息(视频拍摄时间和地点)发送到云服务器。
162.作为示例,用户可通过ai服务器识别用户输入的语音。例如,用户可发出上传特征信息和/或交通视频的语音,ai服务器识别该语音。电子终端910可基于识别的语音将特征信息和/或交通视频发送到云服务器。
163.作为示例,当从云服务器接收到信息时,ai模块可将获取信息输出为视觉或者听觉信息。
164.作为示例,电子终端910可见服务器发送查询交通路况信息的请求。响应于接收到所述请求,云服务器920可基于接收到的特征信息和/交通视频执行相应的分析,并将分析结果发送到电子终端920。上面已经对云服务器执行搜索和/或分析的方法进行了描述,故在此不做赘述。图10是示出根据本公开的实施例的处理交通视频的系统1000的结构的框图。
165.参照图10,系统1000可包括:第一电子装置1001和多个第二电子装置1002。本领域技术人员应当理解,系统1000还可以另外地包括其他组件。
166.作为示例,第一电子装置1001可以从视频拍摄装置获取与视频相关的信息云服务器或其他电子装置,第二电子装置可以是拍摄交通视频的电子装置。
167.作为示例,第一电子装置1001可被配置为向多个第二电子装置中的至少一个第二电子装置发送获取交通视频的预设请求,其中,所述交通视频通过所述至少一个第二电子装置的相机获得;
168.作为示例,多个第二电子装置1002中的每个第二电子装置可被配置为响应于从第一电子装置接收到所述预设请求或者检测到在所述每个第二电子装置侧发生预定事件,将以下项中的至少一个发送到第一电子装置:对所述交通视频进行压缩而获得的压缩的交通视频、从所述交通视频提取的特征信息以及对所述特征信息进行压缩而获得的压缩的特征信息。
169.作为示例,第一电子装置1001还被配置为:响应于从所述多个第二电子装置1002中的一个第二电子装置接收到所述一个第二电子装置主动发送的压缩的交通视频,将所述压缩的交通视频发送到第三电子装置以播放所述压缩的交通视频。
170.作为示例,第一电子装置1001还被配置为:存储接收到的特征信息和/或压缩的特征信息;以及响应于接收到用于查询特征信息的指令,基于所述指令从所存储的特征信息中搜索所查询的特征信息。
171.根据本公开的示例,对于获取的交通视频包括的大量的针对正常场景(例如,交通顺畅)的低价值密度视频和少量的针对异常场景(例如,交通拥堵、碰撞事件)的高价值密度视频,其过滤掉价值密度低,可能带有敏感信息的视频,只上传异常场景中的视频至服务器,即对视频中的帧进行压缩编码并发送到云服务器以保证高保真率。针对正常的场景的视频,提取正常该场景的视频的特征信息,对特征信息进行编码或对特征信息进行压缩编码,然后将编码的特征信息上传至云服务器,其中,特征信息为基于机器视觉对视频中的图像帧进行模式识别、场景识别和/或分类而获得特征信息,特征信息可以通过将视频中的图
像帧(例如,关键帧)输入训练好的机器模型来获得,其中,上传至云服务器的特征信息可用于检索和匹配。本发明针对不同场景的交通视频进行差异化处理降低了对带宽、云服务器处理能力的压力,并且能够为用户提供更好的交通服务。
172.作为示例,第一电子装置1001被配置为:响应于从第三电子装置接收到用于搜索特定目标的指令,将与所述指令相应的特征获取请求发送到所述至少一个第二电子装置,从所述至少一个第二电子装置接收与所述特征获取请求相应的特征信息,基于接收到的与所述特征获取请求相应的特征信息获取与特定目标相关的信息,将获取的与特定目标相关的信息发送到第三电子装置,所述至少一个第二电子装置1002中的每一个被配置为:响应于接收到所述特征获取请求,拍摄周围环境的交通视频,并从拍摄的交通视频中提取与特定目标相应的特征信息,将提取到的与所述特定目标相应的特征信息发送到第一电子装置。例如,第三电子装置查询特定车辆,则可将车牌号码或车辆图片发送到第一电子装置1001,第一电子装置将特征获取请求发送到所述至少一个第二电子装置1002。第二电子装置在接收到查询请求后拍摄周围环境的视频并从拍摄的视频中提取与特定车辆相应的特征信息(例如提取特定车辆的车票号或者图片),并将提取的特征信发送到第一电子装置1001,第一电子装置基于接收到的特征信息,将关于所述特定车辆的信息(例如,所述车辆的实时位置、在特定位置出现的时间等)发送到第三电子装置。本领域技术人员应当理解,特定目标不限于车辆,并且可以是人、飞行器、宠物等。
173.作为示例,第一电子装置1001被配置为:基于从所述至少一个第二电子装置1002接收到的所述特征信息和/或所述交通视频,通过训练好的神经网络模型确定存在交通异常状况的路段,向所述路段附近的第二电子装置发送交通异常预警信息。例如,云服务器可以基于从行车记录仪实时接收到的特征和/或视频信息,通过训练好的神经网络模型分析路况以确定存在交通路况异常(例如,拥堵、交通事故等)的路段,并向所述路段附近的车辆发送预警信息。
174.作为示例,第一电子装置1001被配置为:响应于从第三电子装置接收到用于查询特定路段的路况信息的查询请求,将获取所述特征信息的请求发送到在特定路段的第二电子装置,分别从在特定路段的第二电子装置接收从在特定路段的第二电子装置拍摄的交通视频提取的特征信息,基于接收到的特征信息分析特定路段的路况,将分析结果发送到第三电子装置。例如,用户可以通过行车记录仪向云服器发送查询特定路段的路况信息的请求;云服务器在接收到该请求后,向所述特定路段的车辆(或行车记录仪)发送获取交通视频和/或交通视频的特征信息的请求;处于特定路段的车辆拍摄周围的交通视频,并将交通视频和/或交通视频的特征信息发送到云服务器;云服务器基于接收到的交通视频和/或交通视频的特征信息,通过训练好的神经网络模型分析出路况信息,并将路况信息发送到查询车辆。
175.图11是示出根据本公开的实施例的处理交通视频的示例场景的示图。
176.参照图11,多个视频拍摄装置(例如,固定监控装置或移动监控装置等)可拍摄周围的交通视频。本领域技术人员应当理解,视频拍摄装置必须具有全局统一的时间和空间id,以便于视频的同步、定位和标记。
177.每个监控装置可以根据具体场景经由网络向云服务器选择性的发送拍摄的监控视频、从监控视频提取的特征信息、压缩的监控视频、压缩的特征信息中的至少一个。上文
中所述的选择性发送以上信息中的至少一个的方法适用于每个视频拍摄装置。例如,每个视频拍摄装置可将编码的特征流、编码的视频流、或者包括编码的特征流、编码的视频流的复合流发送到云服务器。
178.作为示例,响应于从云服务器接收到用于获取通用特征信息的请求时,视频拍摄装置可从拍摄的视频中提取通用特征信息,并将通用特征信息发送到云服务器,或者将压缩的通用特征信息发送到云服务器。
179.作为示例,通用特征的类型可被预先确定。
180.作为示例,通用特征信息可以通过训练好的神经网络模型来提取,例如,通用特征可以包括车牌号码、行人数量、车辆数量、拥堵程度信息、对象类别等。
181.作为示例,响应于从云服务器接收到用于获取特定特征信息的请求时,视频拍摄装置可从拍摄的视频中提取特定特征信息,并将特定特征信息发送到云服务器,或者将压缩的特定特征信息发送到云服务器。例如,特定特征信可以是车牌号码或者车辆数量。
182.作为示例,提取特征信息或对信息进行压缩编码的操作可由边缘服务器执行,以减小视频拍摄装置的负载。
183.作为示例,云服务器可基于接收到的特征信息进行机器分析和识别。具体地,云服务器可基于接收到的查询信息执行相应的分析和/或检索,并将分析和/或检索的结果发送到相应装置。例如,服务器可将接收到的视频发送到另一电子装置(例如,可视化终端)以便于及时查看上传的视频,或者响应于从其他装置接收到查询命令,基于所述命令从接收到的信息(包括视频信息和/或特征信息)中检索与所述命令相应的信息,和/或基于所述命令和所述接收到的信息执行分析,并将检索和/或分析结果发送到所述其他装置。
184.作为示例,例如由图中的车辆(或车辆包括的行车记录仪)向云服务器发送用于查询特定位置的交通路况信息的请求,云服务器对所述信息进行分析以将获取特征信息和/交通视频的请求发送到与所述特定位置相应的监控拍摄装置,与所述特定位置相应的监控拍摄装置将该监控拍摄装置获取的交通视频的特性信息和/或获取的交通视频发送到云服务器,云服务器基于接收到的信息分析所述特定位置的交通路况信息,并将分析结果发送给所述车辆(或车辆中的行车记录仪),其中与所述特定位置相应的监控装置拍摄的视频可以是接收到所述获取特征信息和/交通视频的请求之前拍摄的视频、在接收到所述获取特征信息和/交通视频的请求前后所拍摄的视频或者在接收到所述获取特征信息和/交通视频的请求之后拍摄的交通视频。本领域技术人员应当理解,所述车辆仅是示例,可以是其他发送查询请求的电子装置,例如,图中的左侧的监控拍摄装置或其他执行查询请求的电子装置。
185.作为示例,云服务器可以直接将接收到的所述监控拍摄装置获取的交通视频的特性信息和/或获取的交通视频发送到所述车辆(或车辆中的行车记录仪)。
186.作为示例,云服务器还可以将检索和/或分析结果发送到除所述其他装置以外的电子装置。例如,当所述结果指示特定位置存在危险或者事故时,可将预警信息发送到与所述特定位置相关的车辆。
187.作为示例,多个视频监控装置也可以将特征信息、视频信息、或者特征信息和视频信息两者直接发送到另一装置,而无需经由服务器发送到所述另一装置。
188.作为示例,云服务器进行搜索和/分析可以基于训练好的机器模型来执行。
189.作为示例,当云服务器从电子装置接收到用于查询特定特征信息的请求时,云服务器可以从存储在服务器中的特征信息中查询与所述特定特征信息相应的信息。作为示例,例如,云服务器中存储有多个行车记录仪上传的交通视频的特征信息,其中,特征信息包括从视频帧中识别出的车辆的车牌号码,则当某一电子装置向云服务器发送查询具有特定车牌号的车辆时,云服务器可以从存储的特征信息车牌号中查询到所述特定特车牌号,从而将关于查询结果的信息发送到所述某一电子装置,例如,云服务器可将拍摄到具有所述特定车牌号码的位置、时间和/或所述车辆的图像或者视频发送给所述某一电子装置。本领域技术人员应当理解,查询车牌号码仅是示例,其他特征信息也可被查询。
190.作为示例,由云服务器执行的分析或搜索可通过边缘服务器(即从服务器)来执行,以降低对云服务器的计算能力的要求。
191.图12是示出根据本公开的另一示例性实施例的处理交通视频的电子装置1200的结构的框图。该电子装置可以任何拍摄交通视屏并能够根据具体场景选择性上传与交通视频相关的信息的电子装置。
192.通常,电子装置1200包括有:处理器1201和存储器1202。
193.处理器1201可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1001可以采用dsp(digital signal processing,数字信号处理)、fpga(field programmable gate array,现场可编程门阵列)、pla(programmable logic array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(central processing unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1201可以在集成有gpu(graphics processing unit,图像处理器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1201还可以包括ai(artificial intelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。
194.存储器1202可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1202中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1201所执行以实现本公开的训练回声消除模型和/或消除回声延迟的方法。
195.在一些实施例中,电子装置1200还可选包括有:外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地,外围设备包括:射频电路1204、触摸显示屏1205、摄像头1206、音频电路1207、定位组件1208和电源1209。
196.外围设备接口1203可被用于将i/o(input/output,输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在一些实施例中,处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上;在一些其他实施例中,处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
197.射频电路1204用于接收和发射rf(radio frequency,射频)信号,也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1204将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1204包括:天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1204可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity,无线保真)网络。在一些实施例中,射频电路1204还可以包括nfc(near field communication,近距离无线通信)有关的电路,本公开对此不加以限定。
198.显示屏1205用于显示ui(user interface,用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1205是触摸显示屏时,显示屏1205还具有采集在显示屏1205的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。此时,显示屏1205还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1205可以为一个,设置在电子装置1200的前面板;在另一些实施例中,显示屏1205可以为至少两个,分别设置在终端1000的不同表面或呈折叠设计;在再一些实施例中,显示屏1205可以是柔性显示屏,设置在终端1000的弯曲表面上或折叠面上。甚至,显示屏1205还可以设置成非矩形的不规则图形,也即异形屏。显示屏1205可以采用lcd(liquid crystal display,液晶显示屏)、oled(organic light-emitting diode,有机发光二极管)等材质制备。
199.摄像头组件1206用于采集图像或视频。可选地,摄像头组件1206包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1206还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
200.音频电路1207可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1201进行处理,或者输入至射频电路1204以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1200的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1207还可以包括耳机插孔。
201.定位组件1208用于定位电子装置1200的当前地理位置,以实现导航或lbs(location based service,基于位置的服务)。定位组件1208可以是基于美国的gps(global positioning system,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
202.电源1209用于为电子装置1200中的各个组件进行供电。电源1209可以是交流电、直流电、一次性电池或可充电电池。当电源1209包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
203.在一些实施例中,电子装置1200还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于:加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
204.加速度传感器611可以检测以终端1200建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器1201可以根据加速度传感器611采集的重力加速度信号,控制触摸显示屏1205以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
205.陀螺仪传感器612可以检测终端1200的机体方向及转动角度,陀螺仪传感器612可以与加速度传感器611协同采集用户对终端1200的3d动作。处理器1201根据陀螺仪传感器612采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
206.压力传感器613可以设置在终端1200的侧边框和/或触摸显示屏1205的下层。当压力传感器613设置在终端1200的侧边框时,可以检测用户对终端1200的握持信号,由处理器1201根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在触摸显示屏1205的下层时,由处理器1201根据用户对触摸显示屏1205的压力操作,实现对ui上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
207.指纹传感器614用于采集用户的指纹,由处理器1201根据指纹传感器614采集到的指纹识别用户的身份,或者,由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1201授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置电子装置1200的正面、背面或侧面。当电子装置1200上设置有物理按键或厂商logo时,指纹传感器614可以与物理按键或厂商logo集成在一起。
208.光学传感器615用于采集环境光强度。在一个实施例中,处理器1201可以根据光学传感器615采集的环境光强度,控制触摸显示屏1205的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1205的显示亮度;当环境光强度较低时,调低触摸显示屏1205的显示亮度。在另一个实施例中,处理器1201还可以根据光学传感器615采集的环境光强度,动态调整摄像头组件1206的拍摄参数。
209.接近传感器616,也称距离传感器,通常设置在电子装置1200的前面板。接近传感器616用于采集用户与电子装置1200的正面之间的距离。在一个实施例中,当接近传感器616检测到用户与终端1200的正面之间的距离逐渐变小时,由处理器1201控制触摸显示屏1205从亮屏状态切换为息屏状态;当接近传感器616检测到用户与电子装置1200的正面之间的距离逐渐变大时,由处理器1201控制触摸显示屏1205从息屏状态切换为亮屏状态。
210.本领域技术人员可以理解,图6中示出的结构并不构成对电子装置1200的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
211.根据本公开的实施例,还可提供一种存储指令的计算机可读存储介质,其中,当指令被至少一个处理器运行时,促使至少一个处理器执行根据本公开的处理交通视频的方法。这里的计算机可读存储介质的示例包括:只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd-rom、cd-r、cd r、cd-rw、cd rw、dvd-rom、dvd-r、dvd r、dvd-rw、dvd rw、dvd-ram、bd-rom、bd-r、bd-r lth、bd-re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态硬盘(ssd)、卡式存储器(诸如,多媒体卡、安全数字(sd)卡或极速数字(xd)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置,所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行,此外,在一个示例中,计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上,使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
212.根据本公开的实施例中,还可提供一种计算机程序产品,该计算机程序产品中的指令可由计算机设备的处理器执行以处理交通视频的方法。
213.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献