一种海量视频监控点位出图状态检测方法及系统与流程

1.本发明涉及视频监控技术领域，尤其涉及一种基于深度学习的海量视频监控点位出图状态检测方法及系统。


背景技术：

2.随着智慧城市以及智能监控信息系统的广泛使用，很多地区接入视频监控点位数量逐年增加，规模不断扩大，各行业公共视频监控系统正处于小规模分散部署、局部联网到大规模集成联网共享的高速发展阶段。
3.目前各主要行业视频监控点位数量已达到十万数量级以上，面对点位数量如此庞大的视频监控系统，传统视频监控故障检测方法存在如下问题：（1）采用并发视频抽帧的逐点检测方式进行故障诊断，会造成巡检周期长，检测结果时效性差的问题，而且无法做到实时的进行检测，导致检测结果时效性差，同时，该方法资源占用多，影响本级和下级视频监控平台视频调阅性能，易造成视频卡顿和平台稳定性下降。
4.（2）基于国标心跳状态的检测方式，对于复杂拓扑结构的视频监控系统，检测准确性低，无法对检测数据进行有效的编码，造成数据处理混乱，而且对于拓扑结构的视频监控网络，更容易造成上报数据准确率低，参考意义有限。


技术实现要素：

5.为了克服上述现有技术中的不足，本发明提供一种基于深度学习的海量视频监控点位出图状态检测方法，方法资源占用低且快速准确，可以有效解决检测结果时效性、准确性和系统稳定性差的问题。
6.海量视频监控点位出图状态检测方法包括：s1、构建数据采集机制，获取本级视频监控装置中摄像机点位特征数据；s2、对摄像机点位特征数据进行预处理；s3、构建基于深度学习的海量视频监控点位出图状态预测网络模型；s4、对预测网络模型进行训练；按预设比例划分为训练集和测试集，将训练集输入到出图状态预测网络进行训练，通过梯度反向传播进行训练，采用小批量梯度下降方式迭代优化目标函数，满足一定条件后停止训练；使用测试集对模型进行评价，优化训练参数，最终获得训练完成的出图状态预测模型；s5、使用出图状态预测模型对摄像机出图状态进行预测、分级及检测。
7.进一步需要说明的是， s1还包括：s11、在后台系统或数据表格中获取视频监控系统国标基础字段数据；s12、从全量视频监控点位中随机抽取预设数量的点位进行基于直播流协议的视频流抽帧抽取，记录成功抽帧的监控点位编码和抽帧时间；统计并存储视频监控点位历史成功出图次数和最近出图时间对应的两个字段数据；s13、在全量点位中随机抽
取10%以上的点位，循环反复进行视频流抽帧检测，获得并记录点位id和抽帧检测结果。此外该过程结束后，根据本次抽样检测结果计算全量点位总体出图率的点估计值和在95%置信水平下的置信区间。
8.进一步需要说明的是，s11中字段数据包括：国标id、组织编码、摄像机类型、录像存储位置、经纬度坐标、点位创建时间、点位更新时间以及心跳状态。
9.进一步需要说明的是，s12中24小时循环随机抽取预设数量的点位进行基于直播流协议的视频流抽帧检测；将抽帧时间划分成预设个时间段，对每段时间的抽帧结果进行统计，获得点位历史成功出图次数和最近出图时间。
10.进一步需要说明的是，s2还包括：s21、对分类变量进行编码；s22、对数值变量进行预处理；s23、采用z-score对所有特征数据进行标准化。
11.进一步需要说明的是，s21的编码方式包括：经纬度编码：添加经纬度字段，通过缺失值过滤和空间分析，将经纬度坐标缺失和与行政区划不一致的点位编码为0，其余编码为1；组织编码：将点位组织编码进行字符串排序，并进行整数编码，如此编码可体现视频监控点位所属组织的邻近关系；其他分类变量编码：摄像机类型、存储位置、心跳状态、抽帧检测结果均采用整数编码；心跳状态在编码前设置为更新一次，以保证数据准确性。
12.进一步需要说明的是，s22的预处理方式包括：设置点位创建时长：当前时间与点位创建时间的差值，单位为小时；设置点位更新时差：点位更新时间与创建时间的差值，单位为小时；设置点位最近出图时差：当前时间与步骤12）所述最近出图时间的差值，单位为小时。
13.进一步需要说明的是，s3还包括：构建前馈神经网络，模型预测的目标数据为是否出图；输出层采用sigmoid激活函数；隐层采用relu激活函数；损失函数采用二值交叉熵。
14.进一步需要说明的是，s5还包括：s51、将预处理后的全量视频监控点位数据输入至出图状态预测模型中，进行前向的计算，得到出图概率的预测值；s52、将全量点位按出图概率的预测值降序排序，按比率截取点位，该比率为s13所计算的全量点位总体出图率的点估计值，而后将截取的点位预测为可出图点位，其余预测为不可出图点位；s53、将全量点位按出图概率的预测值降序排序，按比率截取点位，该比率的下界和上界分别为s13所计算的置信区间的左右端点，对截取的点位再进行视频抽帧检测，并对
预测结果进行修正；s54、输出点位编码和预测出图结果。
15.本发明还提供一种海量视频监控点位出图状态检测系统，系统包括：数据采集模块、数据预处理模块、预测网络构建模块、模型训练模块以及状态检测模块；数据采集模块，用于获取本级视频监控装置中摄像机点位特征数据；数据预处理模块，用于对摄像机点位特征数据进行预处理；预测网络构建模块，用于构建基于深度学习的海量视频监控点位出图状态预测网络模型；模型训练模块，用于对预测网络模型进行训练；按预设比例划分为训练集和测试集，将训练集输入到出图状态预测网络进行训练，通过梯度反向传播进行训练，采用小批量梯度下降方式迭代优化目标函数，满足一定条件后停止训练；使用测试集对模型进行评价，优化训练参数，最终获得训练完成的出图状态预测模型；状态检测模块，用于使用出图状态预测模型对摄像机点位特征数据进行预测、分级及检测。
16.从以上技术方案可以看出，本发明具有以下优点：本发明提供的海量视频监控点位出图状态检测方法可以检测大规模联网视频监控系统，方法将深度学习技术与传统检测技术相结合，可有效解决现有视频监控故障检测方法巡检周期长、时效性差、准确性差、占用资源多的问题，从而显著提升视频监控系统故障检测质量效率和运维水平，使视频监控系统更好地服务于使用者和管理者。
17.本发明根据点位出图概率预测值和总体出图率的点估计值，将全量视频监控点预测为可出图点位和不可出图点位，提高了检测效率，保证巡检时效性。可以对置信区间内的低可信度预测点位再进行视频抽帧检测，进一步对预测结果进行修正，可以提升视频监控点的检测准确性，能够及时排查出故障，提升运维水平。
附图说明
18.为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为海量视频监控点位出图状态检测方法流程图；图2为海量视频监控点位出图状态检测方法实施例流程图；图3为前馈神经网络结构图；图4为roc曲线图。
具体实施方式
20.如图1所示，本发明提供一种海量视频监控点位出图状态检测方法中所提供的图示仅以示意方式说明本发明的基本构想，本发明的目的在于通过对视频监控系统国标基础数据、历史出图状态、在线抽检结果数据进行特征提取，并构建神经网络进行模型训练，实现对海量视频监控点位出图状态的预测和分级，而后根据分级结果制定检测策略，再采用传统检测方式进行精细化检测，从而提高大规模联网视频监控系统监控点位出图状态检测
的质量效率，同时降低资源占用。
21.本发明提供的海量视频监控点位出图状态检测方法可以基于人工智能技术对关联的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用装置。
22.如图1示出了本发明的海量视频监控点位出图状态检测方法的较佳实施例的流程图。海量视频监控点位出图状态检测方法应用于一个或者多个终端机中，所述终端机是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
23.终端机可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(personal digital assistant， pda)、交互式网络电视(internet protocol television，iptv)等。
24.终端机还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(cloud computing)的由大量主机或网络服务器构成的云。
25.终端机可以通过与摄像机基于网络通信连接，所使用的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(virtual private network，vpn)等。
26.下面将结合图1至3来详细阐述本发明的海量视频监控点位出图状态检测方法，方法包括：s1、构建数据采集机制，获取本级视频监控装置中摄像机点位特征数据；本发明提供的实施例中，s1还包括：s11、在后台系统或数据表格中获取视频监控系统国标基础字段数据，字段数据包括：国标id、组织编码、摄像机类型、录像存储位置、经纬度坐标、点位创建时间、点位更新时间以及心跳状态；s12、获取视频监控点位历史成功出图次数和最近出图时间对应的两个字段数据；从全量视频监控点位中随机抽取预设数量的点位进行基于直播流协议的视频流抽帧抽取，记录成功抽帧的监控点位编码和抽帧时间；其中，抽取的方式可以是24小时循环机抽取预设数量的点位，进行基于直播流协议的视频流抽帧抽取；将抽帧时间划分成预设个时间段，对每段时间的抽帧结果进行统计，获得点位历史成功出图次数和最近出图时间。
27.直播流协议可以采用rtsp、rtmp、hls、或厂商私有协议等。
28.s13、在全量点位中随机抽取10%以上的点位，循环反复进行视频流抽帧检测，获得并记录点位id和抽帧检测结果。抽帧检测结果为成功或失败。该过程完全结束后，根据本次抽样检测结果计算全量点位总体出图率的点估计值和在95%置信水平下的置信区间。
29.s2、对摄像机点位特征数据进行预处理；本步骤还包括：s21、对分类变量进行编码；
分类变量编码包括：经纬度编码：添加经纬度字段，通过缺失值过滤和空间分析，将经纬度坐标缺失和与行政区划不一致的点位编码为0，其余编码为1；组织编码：将点位组织编码进行字符串排序，并进行整数编码，如此编码可体现视频监控点位所属组织的邻近关系；其他分类变量编码：摄像机类型、存储位置、心跳状态、抽帧检测结果均采用整数编码；心跳状态在编码前设置为更新一次。
30.s22、对数值变量进行预处理；预处理方式包括：设置点位创建时长：当前时间与点位创建时间的差值，单位为小时；设置点位更新时差：点位更新时间与创建时间的差值，单位为小时；设置点位最近出图时差：当前时间与步骤12）所述最近出图时间的差值，单位为小时。
31.s23、采用z-score对所有特征数据进行标准化。
32.s3、构建基于深度学习的海量视频监控点位出图状态预测网络模型；本发明中，构建前馈神经网络（feedforward neural network，fnn），模型预测的目标数据为“是否出图”，是一个二元分类问题，输出层采用sigmoid激活函数；隐层采用relu激活函数；损失函数（loss function）采用二值交叉熵（binary cross entropy）。
33.s4、对预测网络模型进行训练；按预设比例划分为训练集和测试集，将训练集输入到出图状态预测网络进行训练，通过梯度反向传播进行训练，采用小批量梯度下降方式迭代优化目标函数，满足一定条件后停止训练；使用测试集对模型进行评价，不断优化训练参数（时期、批量大小、迭代次数等），最终保存模型，获得训练好的出图状态预测模型。
34.s5、使用出图状态预测模型对摄像机点位出图状态进行预测、分级及检测。
35.本发明提供的实施方式中，步骤s5还包括：s51、将预处理后的全量视频监控点位数据输入至出图状态预测模型中，进行前向的计算，得到出图概率的预测值；s52、将全量点位按出图概率的预测值降序排序，按比率截取点位，该比率为s13所计算的总体出图率点估计值，而后将截取的点位预测为可出图点位，其余预测为不可出图点位；s53、将全量点位按出图概率的预测值降序排序，按比率截取点位，该比率的下界和上界分别为s13所计算的置信区间的左右端点，对截取的点位再进行视频抽帧检测，并对预测结果进行修正；s54、输出点位编码和预测出图结果。
36.本发明提供的海量视频监控点位出图状态检测方法可以检测大规模联网视频监控系统，方法将深度学习技术与传统检测技术相结合，可有效解决现有视频监控故障检测方法巡检周期长、时效性差、准确性差、占用资源多的问题，从而显著提升视频监控系统故障检测质量效率和运维水平，使视频监控系统更好地服务于使用者和管理者。
37.进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例中的具体实施过程，提供了另一种海量视频监控点位出图状态检测方法，相关技术中，例如可以采用机器学习方法、深度学习方法等实现检测方法，不同方法适用的范围不同。深度学习是机器学习的子集，不排除还有除深度学习以外的训练模型，可以达到近似效果。例如机器学习中的支持向量机（svm）方法。
38.具体来讲，本发明的实施例针对某20万路点位视频监控平台，使用本发明方法启动点位出图状态检测，过程如图2所示，包括以下步骤：s101、数据采集：获取本级视频监控系统摄像机点位特征数据，包括：11）国标基础数据采集：调用平台api接口，获取20万条视频监控摄像机国标（gb/t28181-2016）基础数据，字段包括：国标id、组织编码、摄像机类型、录像存储位置、经纬度坐标、点位创建时间、点位更新时间、心跳状态；12）历史出图状态采集；流程如图3所示，每次从20万视频监控点位中随机抽取10个点位进行基于rtsp协议的视频流抽帧，记录成功抽帧的监控点位国标id和抽帧时间；上述过程全时段24小时循环运行；13）在线抽检：在步骤12）运行7天后，从20万视频监控点位中随机抽样2万个（10%），进行视频流抽帧巡检，循环4次，并记录点位id和抽帧检测结果，抽帧检测结果为1表示成功，0表示失败，4次中某点位成功次数≥1，则记为“1”。在2万点位中，抽帧检测结果为1的占比为48.16%，则全量点位总体出图率的点估计值为48.16%，95%置信区间为[47.81%,48.71%]。
[0039]
s102、数据预处理：对步骤1）所述特征数据进行预处理，包括：21）分类变量编码，包括：经纬度编码：添加“经纬度”字段，通过缺失值过滤和空间分析，将经纬度坐标缺失和与行政区划不一致的点位编码为0，其余编码为1；组织编码：将点位组织编码进行字符串排序，并进行整数编码，如此编码可体现视频监控点位所属组织的邻近关系；摄像机类型编码：按国标（gb/t28181-2016）进行整数编码；存储位置：整数编码，0-无存储、1-设备存储、2-中心存储、3-中心和设备存储；心跳状态：整数编码，0-无心跳、1-有心跳；抽帧检测结果：整数编码，0-抽帧失败、1-抽帧成功。
[0040]
22）数值变量预处理点位创建时长：计算当前时间与点位创建时间的差值，单位为小时；点位更新时差：计算点位更新时间与创建时间的差值，单位为小时；点位最近出图时差：对步骤12）的抽帧结果进行统计，获得点位历史成功出图次数和最近出图时间，计算当前时间与最近出图时间的差值，单位为小时。
[0041]
23）采用z-score对所有特征数据进行标准化。
[0042]
s103、构建基于深度学习的海量视频监控点位出图状态预测网络。
[0043]
31）构建前馈神经网络（fnn），网络结构如图3所示，配置输入层神经元数量为9，输入数据字段分别为组织编码、摄像机类型、存储位置、心跳状态、是否有经纬度、点位创建时长、点位更新时差、点位历史成功出图次数、点位最近出图时差；
32）设置3个隐层，每层神经元个数10，激活函数为relu；33）设置输出层，目标数据为“抽帧检测结果”，神经元个数为2，激活函数为sigmoid，损失函数为二值交叉熵（binary cross entropy）。
[0044]
s104、模型训练和测试；实施过程采用tensorflow深度学习框架。实验分为训练阶段和测试阶段。将步骤13）所述2万点位作为训练集和测试集，划分训练集和测试集比例3:1，将训练集输入到出图状态预测网络进行训练，通过梯度反向传播进行训练，选择adam进行梯度算法优化，采用小批量梯度下降方式迭代优化目标函数，时期（epochs）设置为200次，每批80个点位；使用测试集对模型进行评价，如图4所示，不断优化训练参数（时期、批量大小等），最终保存模型，获得训练好的出图状态预测模型。
[0045]
s105、预测、分级和精细化检测；51）将预处理后的全量视频监控点位数据输入至出图状态预测模型，进行前向的计算，即可得到出图概率的预测值；52）将全量点位按出图概率的预测值降序排序，截取前48.16%的点位，并将这部分点位的出图状态预测为可出图，其余预测为不可出图；53）将全量点位按出图概率的预测值降序排序，自前向后截取[47.81%,48.71%]的点位，对截取的点位再进行视频抽帧检测，并对预测结果进行修正，进一步提高预测结果的精度；54）输出点位编码、预测出图结果。
[0046]
本发明提供的这种基于深度学习的海量视频监控点位出图状态检测方法，用于检测大规模联网视频监控系统，该方法将深度学习技术与传统检测技术相结合，可有效解决现有视频监控故障检测方法巡检周期长、时效性差、准确性差、占用资源多的问题，从而显著提升视频监控系统故障检测质量效率和运维水平，使视频监控系统更好地服务于使用者和管理者。
[0047]
基于上述方法本发明还提供一种海量视频监控点位出图状态检测系统，系统包括：数据采集模块、数据预处理模块、预测网络构建模块、模型训练模块以及状态检测模块；数据采集模块，用于获取本级视频监控装置中摄像机点位特征数据；数据预处理模块，用于对摄像机点位特征数据进行预处理；预测网络构建模块，用于构建基于深度学习的海量视频监控点位出图状态预测网络模型；模型训练模块，用于对预测网络模型进行训练；按预设比例划分为训练集和测试集，将训练集输入到出图状态预测网络进行训练，通过梯度反向传播进行训练，采用小批量梯度下降方式迭代优化目标函数，满足一定条件后停止训练；使用测试集对模型进行评价，优化训练参数，最终获得训练完成的出图状态预测模型；状态检测模块，用于使用出图状态预测模型对摄像机点位特征数据进行预测、分级及检测。
[0048]
本发明提供的海量视频监控点位出图状态检测系统将深度学习中前馈神经网络方法应用于大规模联网视频监控系统摄像机设备检测；系统从视频监控国标基础数据和历史检测数据中分析提取了与出图状态有显著关联性的特征，用于模型训练。相关特征主要
包括：摄像机类型、录像存储位置、有无经纬度、心跳状态、组织编码、点位创建时长、点位更新时差、历史出图次数、历史最近出图时间。
[0049]
本发明提供的海量视频监控点位出图状态检测系统构建前馈神经网络（feedforward neural network，fnn），将出图状态检测问题转化为一个二元分类问题，输出层采用sigmoid激活函数；隐层采用relu激活函数；损失函数（loss function）采用二值交叉熵（binary cross entropy）。将预处理后的全量视频监控点位数据输入至出图状态预测模型中，进行前向的计算，得到出图概率的预测值；之后根据点位出图概率预测值和总体出图率的点估计值，将全量视频监控点预测为可出图点位和不可出图点位；对置信区间内的低可信度预测点位再进行视频抽帧检测，进一步对预测结果进行修正；输出点位编码和预测出图结果。从而显著提升视频监控系统故障检测质量效率和运维水平，使视频监控系统更好地服务于使用者和管理者。
[0050]
本发明提供的海量视频监控点位出图状态检测系统中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0051]
本发明提供的海量视频监控点位出图状态检测系统中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，或其它的形式连接。
[0052]
本发明提供的海量视频监控点位出图状态检测方法是结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0053]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。