轨道交通视频分析控制盒、系统和方法与流程

1.本发明涉及轨道交通相关技术领域，尤其涉及一种轨道交通视频分析控制盒、系统和方法。


背景技术：

2.轨道视频监控系统主要部署在车站、停车场、车辆段，将本线路的视频图像传输至地铁控制中心进行监控，已成为保障轨道交通行车组织安全，维护车站乘车秩序和乘客安全的重要手段。
3.现有应用的轨道交通视频监控系统属于中心集中处理式架构，通过集中计算资源对监控对象进行分析处理，存在以下问题。在系统架构方面，海量视频数据均传输至计算中心处理，致使终端数据分析与响应产生时延性，可能会因系统反馈不及时而导致工作人员处置延迟。


技术实现要素：

4.本发明实施例提供一种轨道交通视频分析控制盒、系统和方法，用以解决海量视频数据均传输至计算中心处理，致使终端数据分析与响应产生时延性，可能会因系统反馈不及时而导致工作人员处置延迟的问题。
5.第一方面，本发明实施例提供一种轨道交通视频分析控制盒，包括：壳体、智能核心板和智能载板；
6.所述壳体是设置有第一通信接口；
7.所述智能核心板和所述智能载板设置在所述壳体内部；
8.所述智能核心板连接所述第一通信接口，获取视频信息和音频信息，基于所述视频信息和音频信息，进行安防场景智能识别，得到识别结果，并通过所述第一通信接口向中心服务器发送所述识别结果；其中，所述识别结果为需要进行报警的场景；
9.所述智能载板连接所述智能核心板，用于对所述轨道交通视频分析控制盒进行保护，并获取识别结果和智能核心板的运行状态，基于所述识别结果和运行状态，进行告警。
10.优选地，所述智能核心板包括：音视频信息解码模块、中央处理器和图形处理器；
11.所述中央处理器分别连接所述音视频信息解码模块和所述图形处理器；
12.所述音视频信息解码模块用于获取所述视频信息和音频信息，并对所述所述视频信息和音频信息进行解码，得到原始码流；
13.所述中央处理器，用于对所述原始码流进行处理，得到视频信息和音频信息的高阶张量数据；
14.所述图形处理器，用于将所述高阶张量数据输入预设的神经网络模型，得到初步输出低阶张量；
15.所述中央处理器，用于对所述初步输出低阶张量进行聚类，得到基于时间戳的图像分类特征和音频分类特征；基于时间戳融合图像分类特征和音频分类特征，基于预设规
则进行识别，得到识别结果；所述图像分类特征包括：视频乘客异常行为特征、车站异常环境特征、异常光线亮度特征和大客流特征；所述音频分类特征包括：声音异常音调特征、异常音色特征、异常响度特征、响度变化率特征和延迟时间特征；
16.优选地，所述智能载板包括：微控制单元、无线通讯模块和保护装置；
17.所述微控制单元与所述智能核心板通信连接，用于获取所述智能核心板的运行状态和过温状态，并基于所述运行状态和过温状态控制预设的风扇、报警单元；
18.所述无线通讯模块用于将所述智能核心板的识别结果发送至移动站务终端
19.所述保护装置包括：过流保险装置、引脚静电保护装置、双向电压电平转换器。
20.优选地，报警单元包括指示灯和发声单元。
21.优选地，所述智能核心板和智能载板通过usb通信模块和/或uart通信模块进行通信连接。
22.第二方面，本发明实施例提供一种轨道交通视频分析控制系统，包括：中心服务器、多组轨道视频监控系统；各组轨道视频监控系统包括：轨道视频监控装置、交换机和如本发明实施例提供的轨道交通视频分析控制盒；
23.所述轨道视频监控装置，用于获取音频信息和视频信息，并发送至交换机；
24.所述交换机将所述音频信息和视频信息发送至所述轨道交通视频分析控制盒；
25.所述轨道交通视频分析控制盒，对所述音频信息和视频信息进行识别得到识别结果，并将所述识别结果发送至所述交换机；
26.所述交换机将所述识别结果发送至所述中心服务器。
27.优选地，所述轨道交通视频分析控制盒还用于，基于所述识别结果，向所述受控终端发送第一控制指令，以控制所述受控终端进行信息播报和事件处理。
28.所述受控终端包括：站台门、自动扶梯、垂直电梯、闸机、广播设备和显示屏。
29.优选地，还包括：移动站务终端；
30.所述轨道交通视频分析控制盒还用于向所述移动站务终端发送识别结果。
31.优选地，所述轨道视频监控系统还包括：人工控制台；
32.所述人工控制台，用于供员工输入的控制指令，以控制所述轨道交通受控终端
33.所述轨道交通视频分析控制盒还用于向所述移动站务终端发送识别结果。
34.优选地，所述轨道交通视频分析控制盒还用于获取员工反馈的人工标识；
35.所述轨道交通视频分析控制盒，用于当所述人工标识为用于表征所述识别结果为突发事件的标识时，向所述受控终端发送第二控制指令，以控制所述受控终端进行信息播报和事件处理；当所述人工标识为用于表征所述识别结果错误的标识时，则记录错误的识别结果；
36.其中，所述错误的识别结果和对应的人工标识用于对所述轨道交通视频分析控制盒内进行安防场景智能识别的模块进行重新训练。
37.第三方面，本发明实施例提供一种轨道交通视频分析控制方法，应用于如本发明实施例提供的轨道交通视频分析控制系统的轨道交通视频分析控制盒中，所述轨道交通视频分析控制方法包括：
38.获取视频信息和音频信息；
39.基于所述视频信息和音频信息，进行安防场景智能识别，得到识别结果；
40.通过第一通信接口向所述中心服务器发送所述识别结果；其中，所述识别结果为需要进行报警的场景；
41.通过无线通讯模块向移动站务终端发送所述识别结果；其中，所述识别结果为需要进行报警和应急处置的场景。
42.可选的，还包括：
43.基于所述识别结果，向轨道交通视频分析控制系统中的受控终端发送控制指令，以控制所述受控终端进行信息播报和事件处理；
44.其中，所述受控终端包括：站台门、自动扶梯、垂直电梯、闸机、广播设备和显示屏；
45.向预设的移动站务终端发送识别结果。
46.本发明实施例提供的轨道交通视频分析控制盒中，所述智能核心板连接所述第一通信接口，获取视频信息和音频信息，基于所述视频信息和音频信息，进行安防场景智能识别，得到识别结果，并通过所述第一通信接口向中心服务器发送所述识别结果；其中，所述识别结果为需要进行报警的场景；所述智能载板连接所述智能核心板，用于对所述轨道交通视频分析控制盒进行保护，并获取识别结果和智能核心板的运行状态，基于所述识别结果和运行状态，进行告警。如此，轨道交通视频分析控制盒可以直接在获取视频之后，直接进行安防场景智能识别，得到识别结果，避免向中心服务器发送视频信息和音频信息，减少数据传输的量，减少终端数据分析与响应产生时延性，避免因系统反馈不及时而导致工作人员处置延迟。
附图说明
47.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
48.图1为本发明实施例提供的轨道交通视频分析控制盒的结构示意图；
49.图2为本发明实施例提供的轨道交通视频分析控制系统的结构示意图；
50.图3为本发明实施例提供的轨道交通视频分析控制系统的车站视频分析边缘计算流程图；
51.图4为本发明实施例提供的轨道交通视频分析控制方法的流程示意图；
52.图5为本发明另一实施例提供的轨道交通视频分析控制方法的流程示意图。
53.附图标记：
54.1：智能核心板；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
11：音视频信息解码模块；
ꢀꢀꢀ
12：中央处理器；
55.13：图形处理器；
ꢀꢀꢀꢀꢀꢀꢀꢀ
2：智能载板；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
21：微控制单元；
56.22：无线通讯模块；
ꢀꢀꢀꢀꢀꢀ
23：保护装置；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
3：中心服务器；
57.4：轨道视频监控系统；
ꢀꢀꢀ
5：轨道视频监控装置；
ꢀꢀꢀꢀꢀꢀ
6：交换机；
58.7：轨道交通视频分析控制盒。
具体实施方式
59.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例
中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
60.轨道视频监控系统主要部署在车站、停车场、车辆段，将本线路的视频图像传输至地铁控制中心进行监控，已成为保障轨道交通行车组织安全，维护车站乘车秩序和乘客安全的重要手段。但是因轨道视频监控系统受本身架构和新技术应用不足所限，在进一步智能化升级优化时出现了一些问题，甚至对支撑轨道交通安全保障方面产生了一定程度的制约。
61.现有应用的轨道交通视频监控系统属于中心集中处理式架构，通过集中计算资源对监控对象进行分析处理，存在以下问题。第一方面，在系统架构方面，海量视频数据均传输至计算中心处理，致使终端数据分析与响应产生时延性，当出现高风险级别如打架斗殴、拥挤踩踏、跌落轨道等事件时，可能会因系统反馈不及时而导致工作人员处置延迟。第二方面，在系统功能方面，传统的轨道交通视频监控系统由于前端摄像设备主要是采集和传输视频图像数据，边缘端设备智能分析能力较弱，一般不具备行为检测、大件物品遗留检测、站台乘降人数统计分析等功能，车站只能通过系统中心分析反馈和工作人员实现车站安全巡检，存在安全运营管理效率较低、管理不及时、灵活性差的问题。针对这一问题，本发明实施例提供了一种轨道交通视频分析控制盒。图1为本发明实施例提供的轨道交通视频分析控制盒的结构示意图，如图1所示，所述轨道交通视频分析控制盒，包括：壳体、智能核心板1和智能载板2；
62.所述壳体是设置有第一通信接口；所述智能核心板1和所述智能载板2设置在所述壳体内部；所述智能核心板1连接所述第一通信接口，获取视频信息和音频信息，基于所述视频信息和音频信息，进行安防场景智能识别，得到识别结果，并通过所述第一通信接口向预设的中心服务器发送所述识别结果；其中，所述识别结果为需要进行报警的场景；
63.所述智能载板2连接所述智能核心板1，用于对所述轨道交通视频分析控制盒进行保护，并获取识别结果和智能核心板1的运行状态，基于所述识别结果和运行状态，进行告警。
64.具体使用过程中，轨道交通视频分析控制盒通过第一通信接口连接交换机；通过第一通信接口获取轨道视频监控系统采集的视频信息和音频信息，直接对视频信息和音频信息进行安防场景智能识别，得到识别结果，之后通过交换机将识别结果发送至中心服务器，如此，轨道交通视频分析控制盒可以直接在获取视频之后，直接进行安防场景智能识别，得到识别结果，避免向中心服务器发送视频信息和音频信息，减少数据传输的量，减少终端数据分析与响应产生时延性，避免因系统反馈不及时而导致工作人员处置延迟。
65.其中，所述智能核心板1包括：音视频信息解码模块11、中央处理器12和图形处理器13；
66.所述中央处理器，用于对所述原始码流进行处理，得到视频信息和音频信息的高阶张量数据；
67.所述图形处理器，用于将所述高阶张量数据输入预设的神经网络模型，得到初步输出低阶张量；
68.所述中央处理器，用于对所述初步输出低阶张量进行聚类，得到基于时间戳的图
m4处理器stm32f303cbt6系列作为开发平台，通过usb、uart与智能核心板进行通信，通过dma-uart模块接收智能核心板的指令，包括系统运行状态、过温状态等，mcu根据这些状态控制风扇、指示灯的颜色和声音报警，通过无线通讯模块(wtm)可将控制盒信息、视频场景报警信息发至移动站务终端；jwis中，tps25200drvr电子保险，实现usb的过流保护；sp3012-06utg是esd保护装置，保护每个引脚不被静电损坏；txb0108pwr具有自动方向感应和 /-15kv esd保护的8位双向电压电平转换器，实现jwic与jwis之间的电平统一，保证了稳定可靠的通信。
79.图2为本发明实施例提供的轨道交通视频分析控制系统的结构示意图；参照他2，一种轨道交通视频分析控制系统，包括：中心服务器3、多组轨道视频监控系统4；各组轨道视频监控系统4包括：轨道视频监控装置5、交换机6和如本发明实施例提供的轨道交通视频分析控制盒7；
80.所述轨道视频监控装置5，用于获取音频信息和视频信息，并发送至交换机6；所述交换机6将所述音频信息和视频信息发送至所述轨道交通视频分析控制盒7；所述轨道交通视频分析控制盒7，对所述音频信息和视频信息进行识别得到识别结果，并将所述识别结果发送至所述交换机6；所述交换机6将所述识别结果发送至所述中心服务器。
81.如此设置，通过在边缘端视频分析，避免了将大量视频数据传输至车站服务器进行集中分析，在靠近设备端即可实现视频分析，并可通过有线、无线多种方式进行信息传输，提高了轨道交通视频监控场景分析的实时性、智能性。通过在边缘端视频分析，降低了轨道交通视频监控系统使用视频分析服务器的建设及维护成本。通过在边缘端实现各类场景的智能视频分析，且通过视频和音频的特征融合，有助于提升轨道交通的安全保障能力、提高车站运营管理效率。
82.具体的，所述轨道交通视频分析控制盒7还用于，基于所述识别结果，向所述受控终端发送第一控制指令，以控制所述受控终端进行信息播报和事件处理。
83.所述受控终端包括：站台门、自动扶梯、垂直电梯、闸机、广播设备和显示屏。
84.轨道交通视频分析控制系统，还包括：移动站务终端；
85.所述轨道交通视频分析控制盒7还用于向所述移动站务终端发送识别结果。
86.如此设置，可以使得相关工作人员及时获取轨道交通的状态，以便于及时进行处理。
87.所述轨道视频监控系统4还包括：人工控制台；所述人工控制台，用于供员工输入的控制指令，以控制所述轨道交通受控终端；所述轨道交通视频分析控制盒7还用于向所述移动站务终端发送识别结果。
88.需要说明的是，在实际使用中，系统可能存在误判，此时需要人工干预，本发明实施例提供的方案中，可以员工可以基于人工控制台对系统进行控制。
89.进一步的，所述轨道交通视频分析控制盒7还用于获取员工反馈的人工标识；所述轨道交通视频分析控制盒7，用于当所述人工标识为用于表征所述识别结果为突发事件的标识时，向所述受控终端发送第二控制指令，以控制所述受控终端进行信息播报和事件处理；当所述人工标识为用于表征所述识别结果错误的标识时，则记录错误的识别结果；
90.其中，所述错误的识别结果和对应的人工标识用于对所述轨道交通视频分析控制盒7内进行安防场景智能识别的模块进行重新训练。
91.需要说明的是，人工标识可以是通过人工控制获取的，也可以是基于移动站务终端获取的。
92.综上所述，本发明实施例提供一种轨道交通视频分析控制盒7和系统，其中轨道交通视频分析控制盒7为基于nvidia carmel arm的高性能、低成本、低功耗微处理器的轨道交通安防智能控制盒，该控制盒子硬件由jwic(智能核心板1)和jwis(智能载板2)组成。在jwic中集成并运行各类视频ai分析算法，可根据场景定义异常事件，在边缘端快速实现对各类视频场景进行解析处理。jwis中与jwic通信，实现设备本身状态监测、数据无线传输、声光报警外设等功能。基于边缘计算的轨道交通安防智能控制盒可代替传统视频分析服务器，有效提升轨道道交通视频监控的实时性和智能性。
93.本发明实施例提供的轨道交通视频分析控制系统的具体工作流程如图3所示：步骤101、车站摄像头采集视频流和音频流后通过交换机传输至基于边缘计算的轨道交通视频分析控制盒。步骤102、视频流和音频流通过jwic网口(gbe)被传递到处cpu中，通过内部dma发送到音视频信息解码模块(audio&videodecoder)进行解码，得到原始码流。步骤103、原始码流经过cpu进行预处理，包括resize，crop、归一化、标准化等过程，得到适合深度神经网络输入的张量数据，音频码流经过cpu进行预处理包括mfcc、mel等得到音频特征。步骤104、张量数据输入到gpu中，数据经过gpu预加载的如目标检测、异常音频检测、等的神经网络模型，得到初步输出张量。步骤105、初步输出张量再次被传送回cpu，对初步输出张量进行张量聚类得到基于时间戳的图像分类结果，同时基于时间戳加入音频特征对图像进行融合，并基于管理办法、车站定制要求，对识别场景分级、分类。步骤106、对图像分级、分类结果进行数据打包，封装成http数据流后，基于轨道交通专用无线b-trunc/5g发送到移动站务终端，或can/rs485发送到中心服务器端进行报警信息确认，同时设备本身发出声光报警。步骤107、若报警信息准确，则进一步构建关于报警场景处置流程及联动的知识图谱。根据车站场景风险级别，一方面通过移动端站务app、服务器终端将报警信息通过pis系统、广播对异常事件进行发布，其中根据视频分析结果选择距离事件场景位置最近的pis屏、站台门、或者广播设备进行信息发布；如火灾、恐怖袭击、水灾等严重风险事件，通过联动事件相关设备如站台门、自动扶梯与垂直电梯、闸机、视频等实现设备应急协同联动控制；另一方面同时采取车站人工干预和处置。步骤108、若报警信息不准确，则人工标注，并将该场景作为“知识库”存储，供gpu神经网络模型继续训练优化。
94.本发明实施例还提供一种轨道交通视频分析控制方法，应用于轨道交通视频分析控制盒，所述轨道交通视频分析控制盒设置与轨道视频监控装置一一对应设置，参照图4，所述轨道交通视频分析控制方法包括：
95.步骤201，获取视频信息和音频信息；
96.步骤202，基于所述视频信息和音频信息，进行安防场景智能识别，得到识别结果；
97.步骤203，通过第一通信接口向所述中心服务器发送所述识别结果；其中，所述识别结果为需要进行报警的场景；
98.可选的，所述轨道交通视频分析控制方法还包括：
99.步骤204，通过无线通讯模块向移动站务终端发送所述识别结果；其中，所述识别结果为需要进行报警和应急处置的场景。
100.其中，所述受控终端包括：站台门、自动扶梯、垂直电梯、闸机、广播设备和显示屏；
101.步骤205，向预设的移动站务终端发送识别结果。
102.本发明实施例提供的方法的具体实施过程与本发明实施例提供的轨道交通视频分析控制盒和轨道交通视频分析控制系统的相关说明，在此不在进行一一赘述。
103.图5为本发明另一实施例提供的轨道交通视频分析控制方法的流程示意图。参照图5，本发明实施例提供的轨道交通视频分析控制方法具体包括：多个摄像头(摄像头1至摄像头n)采集视频；轨道交通视频分析控制盒获取视频；
104.步骤301，audio&videodecoder进行解码；
105.步骤302，cpu对视频和音频流进行预处理、张量化；
106.步骤303，gpu通过预加载的神经网络对视频特征和音频特征训练、初步分类；
107.其中，步骤302和步骤303协同执行。
108.步骤304，cpu对视频和音频张量化数据聚类；
109.步骤305，cpu基于同一时间戳对视频特征和音频特征融合；
110.步骤306，cpu对车站监控场景基于管理办法、车站要求、风险等级等分级分类；
111.步骤307，通过设备本身发出声光报警；
112.步骤308，报警状态输出至移动端站务app等供确认；
113.其中，步骤308可以通过城市轨道交通专用无线b-trunc/5g进行。
114.步骤309，报警状态输出至监控服务器终端等供确认；
115.其中，步骤309可以通过有线rs485/can进行。
116.步骤310，若报警信息不准确，则人工标注，并将该场景作为“知识库”存储，供gpu神经网络模型继续训练优化；
117.步骤311，进一步根据场景风险等级，建关于报警场景处置流程及联动的知识图谱；
118.步骤312，一方面通过移动端站务app、服务器终端将报警信息通过pis系统、广播对异常事件进行发布，其中根据视频分析风险等级，可选择距离事件位置最近的pis屏、站台门、或者广播设备进行文本、图像、声音、视频等形式的信息发布；
119.步骤313，如火灾、恐怖袭击、水灾等严重风险事件，通过联动事件相关设备如站台门、自动扶梯与垂直电梯、闸机、视频等实现设备应急协同联动控制；
120.步骤314，另一方面同时采取车站人工干预和处置。
121.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
122.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
123.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。