基于人工智能的危险区域监控视频压缩存储方法和系统与流程

1.本发明涉及人工智能和视频压缩领域，具体涉及一种基于人工智能的危险区域监控视频压缩存储方法和系统。


背景技术：

2.大型化工企业，其生产环境存在诸多生产或存储设备，例如用于化学药品的化学反应的反应设备、用于储存危化品的存储设备，以及为化学反应提供高温高压的设备，这些设备在运行时难免会出现故障或异常，从而发生危险事故，严重时造成大规模的人员伤亡，因此，整个生产区域都是一个危险区域。参与生产的工作人员需要对设备进行操作、巡视、检修等，人员是维护区域安全、及时发现和处理危险的重要参与者，人员的一举一动都关乎企业生产的安全。企业为了获知人员在生产区域的活动轨迹和行为，需要在生产区域内安装摄像机，获取监控视频图像，这些视频图像可用于人员轨迹风险、工作状态的评估、安全风险的预警，从而确保企业及时掌握生产过程中的各个细节，确保生产的安全进行。在生产过程中会产生大量的监控视频，这些监控视频占据大量的存贮空间。现有技术中虽然有很多视频数据的压缩方法，但是一方面现有技术中没有针对视频数据中的特定特征或者信息进行压缩的方法，尤其是没有针对关注人员安全的领域的压缩方法；另一方面压缩比率较低，使得压缩后的数据仍然含有很多无用的信息。


技术实现要素：

3.为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的危险区域监控视频压缩存储方法和系统，在现有通用的视频压缩方法的基础上进行进一步压缩，保留设备中重要的人员信息和人员轨迹信息，剔除不重要的背景信息。所采用的技术方案具体如下：第一方面，本发明的一个实施例提供了一种基于人工智能的危险区域监控视频压缩存储方法：将危险区域的监控视频图像序列堆叠后输入至压缩网络，得到监控视频信息的特征图作为压缩数据，所述压缩网络的损失包括：利用监控视频图像序列每张图像中人员与危险区域内设备的最小距离对该图像的权重掩膜进行修正得到第一修正权重掩膜，利用第一修正权重掩膜对监控视频图像序列与解压缩后的图像序列对应的每张图像的像素值差异进行修正，并对修正值求和得到第一损失；获取监控视频图像序列与解压缩后的图像序列对应的每张图像的人员位置信息差异和任意两个人员的距离差异；针对任意两个人员的距离差异：根据监控视频图像中两个人员对应的与危险区域内设备的最小距离得到第二权重，利用第二权重对所述两个人员的距离差异进行修正得到修正损失；对人员位置信息差异和修正损失求和得到第二损失；第一损失与第二损失求和得到压缩网络的损失。
4.优选的，所述压缩网络的损失还包括：利用危险区域的监控视频图像序列的权重掩膜对监控视频图像序列与解压缩后的图像序列对应的每张图像的像素值差异进行修正，
并对修正值求和得到第三损失。
5.优选的，所述压缩网络的损失为第一损失、第二损失、第三损失之和。
6.优选的，所述压缩网络包括初步压缩子网络，将危险区域的监控视频图像序列输入至初步压缩网络，在初步压缩网络损失函数的监督下，输出更加关注危险区域内人员信息的每张图像的单通道特征图。
7.优选的，所述初步压缩网络的损失包括：利用危险区域的监控视频图像序列的权重掩膜对监控视频图像序列与解压缩后的图像序列对应的每张图像的像素值差异进行修正得到所述初步压缩网络的损失。
8.优选的，所述压缩网络还包括第一编码器：将所述单通道特征图堆叠在一起形成多通道的特征图，将所述多通道特征图输入到第一编码器中，输出监控视频信息的特征图。
9.第二方面，本发明的另一个实施例提供了一种基于人工智能的危险区域监控视频压缩存储系统：压缩网络模块，用于对危险区域的监控视频图像序列堆叠后的输入进行分析，得到监控视频信息的特征图作为压缩数据；所述压缩网络模块的损失包括：利用监控视频图像序列每张图像中人员与危险区域内设备的最小距离对该图像的权重掩膜进行修正得到第一修正权重掩膜，利用第一修正权重掩膜对监控视频图像序列与解压缩后的图像序列对应的每张图像的像素值差异进行修正，并对修正值求和得到第一损失；获取监控视频图像序列与解压缩后的图像序列对应的每张图像的人员位置信息差异和任意两个人员的距离差异；针对任意两个人员的距离差异：根据监控视频图像中两个人员对应的与危险区域内设备的最小距离得到第二权重，利用第二权重对所述两个人员的距离差异进行修正得到修正损失；对人员位置信息差异和修正损失求和得到第二损失；第一损失与第二损失求和得到压缩网络模块的损失。
10.优选的，所述压缩网络模块的损失还包括：利用危险区域的监控视频图像序列的权重掩膜对监控视频图像序列与解压缩后的图像序列对应的每张图像的像素值差异进行修正，并对修正值求和得到第三损失。
11.优选的，所述压缩网络模块的损失为第一损失、第二损失、第三损失之和。
12.优选的，所述压缩网络模块包括初步压缩子网络模块，将危险区域的监控视频图像序列输入至初步压缩子网络模块，在初步压缩子网络模块损失函数的监督下，输出更加关注危险区域内人员信息的每张图像的单通道特征图。
13.本发明具有如下有益效果：通过设计压缩网络和解压缩网络以及损失函数实现对监控视频数据的压缩和解压缩，相较于现有的视频图像压缩方法，本发明主要关注视频中人员的特征信息，大大增加了视频压缩比例，除此之外，本发明通过分析人员和设备的位置信息构造损失函数，使得压缩结果关注距离设备远的人员的轨迹信息并关注距离设备近的人员的自身特征信息，不仅进一步大大增加了视频压缩比例，还能精确的还原人员的相关信息，使得解压缩后的视频能够分析人员在危险区域的活动轨迹以及在设备附近时的行为、衣着、身份、工作状态等人员自身信息；在提高压缩程度的同时极大地保留了有用的信息，不仅节省了存贮空间，还有助于企业监控危险区域的人员的活动轨迹以及工作行为和状态的分析，确保企业及时掌握生产过程中的各个细节，确保生产的安全进行。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
15.图1为本发明的实施例所提供的一种基于人工智能的危险区域监控视频压缩存储方法流程图；图2为本发明的实施例所提供的一种基于人工智能的危险区域监控视频压缩存储方法的初步压缩流程图。
具体实施方式
16.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的危险区域监控视频压缩存储方法和系统，其具体实施方式、结构、特征及其功效，详细说明如下。
17.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
18.为解决对危险区域的监控视频图像压缩存储问题以及对危险区域的监控视频图像压缩存储时人员重要信息丢失的问题，本发明在压缩网络中加入视频图像序列中的人员的特征信息，大大增加了视频压缩比例，同时，本发明通过分析人员和设备的位置信息构造损失函数，使得压缩结果关注距离设备远的人员的轨迹信息并关注距离设备近的人员的自身特征信息，不仅进一步大大增加了视频压缩比例，还能精确地保留人员的相关信息，使得解压缩后的视频能够分析人员在危险区域的活动轨迹以及在设备附近时的行为、衣着、身份、工作状态等人员自身信息。下面结合附图具体的说明本发明所提供的一种基于人工智能的危险区域监控视频压缩存储方法和系统的具体方案。
19.具体实施例1：本实施例提供一种基于人工智能的危险区域监控视频压缩存储方法。
20.本发明所针对的具体场景为：对存在数据库中的已经有一定时间的历史视频数据进行压缩。并且只关注视频中人员的轨迹和人员在设备附近的行为和工作状态，不关注具体的生产场景。由于设备的运行参数等数据不会表征在监控视频上，因此不用关注设备运行数据等视频图像信息。化工企业生产区域内安装摄像机，相机视角俯视斜向下，实施采集生产区域内的人员视频数据，本发明认为相机采集的视频图像的大小为2048
×
2048。
21.请参阅图1，其示出了本发明一个实施例提供的基于人工智能的危险区域监控视频压缩存储方法流程图。基于人工智能的危险区域监控视频压缩存储方法包括：将危险区域的监控视频图像序列堆叠后输入至压缩网络，得到监控视频信息的特征图作为压缩数据，所述压缩网络的损失包括：利用监控视频图像序列每张图像中人员与危险区域内设备的最小距离对该图像的权重掩膜进行修正得到第一修正权重掩膜，利用第一修正权重掩膜对监控视频图像序列与解压缩后的图像序列对应的每张图像的像素值差异进行修正，并对修正值求和得到第一损失；获取监控视频图像序列与解压缩后的图像序列对应的每张图像的人员位置信息差异和任意两个人员的距离差异；针对任意两个人员的
距离差异：根据监控视频图像中两个人员对应的与危险区域内设备的最小距离得到第二权重，利用第二权重对所述两个人员的距离差异进行修正得到修正损失；对人员位置信息差异和修正损失求和得到第二损失；第一损失与第二损失求和得到压缩网络的损失。
22.具体实施步骤如下：首先，获取危险区域的监控视频序列，并获取危险区域的监控视频序列每帧图像上的所有人员注意力分布图cam，以及每个人员单独的注意力分布图。获取步骤如下：（1）获取存储在数据库中的历史监控视频数据，视频上每帧图像包含的信息有人员、设备、背景等信息，将监控视频中的每帧图像转化为灰度图，一方面节省存储空间，减小计算量，另一方面便于本发明后续叙述。
23.（2）获取监控视频序列中的一帧图像，将图像输入dnn网络中，获取该dnn网络输出的cam图。本发明将该cam图作为每帧图像上的人员注意力分布图。每帧图像上的人员注意力分布图是一张单通道的灰度图cam，cam灰度值大的位置表示在该位置具有重要的人员特征信息分布，对视频图像压缩时就越需要关注该位置的信息；对于灰度值小，甚至为0的位置，表明在该位置没有重要的人员特征信息分布，那么在视频图像压缩时就不关注该位置的信息。
24.（3）由于监控视频序列中的一帧图像上可能包含多个人员，因此一张图像对应的cam图包含的是多个人员的人员注意力分布，后续本发明需要获取每个人员的注意力分布图，因此需要从所有人员注意力分布图cam上分离出每个人员的注意力分布图，具体方法是：将该帧图像输入mask
‑
rcnn语义分割网络中获得每个人员语义区域，然后根据每个人员的语义区域分割出每个人员的注意力分布图。
25.至此，获得危险区域的监控视频序列中每帧图像的所有人员注意力分布图cam，以及每个人员单独的注意力分布图。
26.其次，训练一个初步压缩网络模型：使用初步压缩子网络提取危险区域的监控视频图像序列中每张图像的单通道特征图：将危险区域的监控视频图像序列输入至初步压缩子网络，在初步压缩子网络损失函数的监督下，输出更加关注危险区域内人员信息的每张图像的单通道特征图。其中，初步压缩子网络的损失包括：利用危险区域的监控视频图像序列的权重掩膜对监控视频图像序列与初步解压缩后的图像序列对应的每张图像的像素值差异进行修正得到所述初步压缩子网络的损失。
27.优选地，本发明所述的危险区域的监控视频图像序列的权重掩膜使用人员注意力分布图cam。
28.具体地，获取危险区域的监控视频序列上连续k帧图像，设k帧图像分别为。将图像分别输入至初步压缩网络编码器，在初步压缩网络损失函数的监督下输出k帧单通道特征图。
29.优选地，本发明k=7。
30.特别地，所述初步压缩子网络的输出结果在初步压缩子网络损失函数的监督下输出k张更加关注危险区域内人员信息的单通道特征图。具体的初步压缩子网络损失函数为：
其中，表示是图像中的一个像素位置，表示图像在位置处的像素值；表示图像在位置处的像素值，其中，为初步解压缩后对应的图像；表示图像上获得的人员注意力分布图，为图像在位置处的像素值；为了防止出现为0的元素，令，其中，为程序赋值符号。越小表示输入原图像和初步解压缩后的图像对应像素的像素值越接近，人员注意力度大的位置像素接近的程度更大，使得收敛后得到的单通道特征图初步解压缩后的图像尽可能的能够还原出人员的信息。
31.引入人员注意力分布图cam的目的和有益效果是将压缩为后，使得包含更多和更充分的人员特征，而不是使包含过多的设备或背景信息，使得的数据量可以尽可能的变小，同时保证初步解压缩为后，能够清晰准确的还原人员信息。上述网络的训练方法常规，数据集无需打标签，本发明不再赘述训练过程。
32.至此，训练出一个初步压缩网络模型。
33.最后，将危险区域的监控视频图像序列堆叠后输入至压缩网络，得到监控视频信息的特征图作为压缩数据。
34.具体地，将所述单通道特征图堆叠在一起形成多通道的特征图，将所述多通道特征图输入到第一编码器中，在压缩网络损失函数的监督下，输出监控视频信息的特征图。
35.特别地，压缩网络对危险区域的监控视频的压缩过程为：（1）获取监控视频上连续k帧图像，经过训练好的初步压缩子网络输出k帧单通道特征图；（2）将k帧单通道特征图堆叠在一起形成一个k通道的特征图fm。
36.（3）将特征图fm输入到第一编码器中，输出一个特征图f,f是单通道的图像，和的大小相同。将f输入至第一解码器中，输出一个k通道的图像,这些通道分别记为。
37.上述由获得f的过程称为视频序列的压缩过程，用到的网络称为压缩网络，f就是压缩结果。由f获得的过程就是解压缩过程，用到的网络称为解压缩网络，就是解压缩结果。
38.所述压缩网络的损失包括：利用监控视频图像序列每张图像中人员与危险区域内设备的最小距离对该图像的权重掩膜进行修正得到第一修正权重掩膜，利用第一修正权重掩膜对监控视频图像序列与解压缩后的图像序列对应的每张图像的像素值差异进行修正，
并对修正值求和得到第一损失；获取监控视频图像序列与解压缩后的图像序列对应的每张图像的人员位置信息差异和任意两个人员的距离差异；针对任意两个人员的距离差异：根据监控视频图像中两个人员对应的与危险区域内设备的最小距离得到第二权重，利用第二权重对所述两个人员的距离差异进行修正得到修正损失；对人员位置信息差异和修正损失求和得到第二损失。所述压缩网络的损失为第一损失、第二损失之和。
39.此外，为了提高本发明解压缩数据的还原效果，压缩网络的损失还包括：利用危险区域的监控视频图像序列的权重掩膜对监控视频图像序列与解压缩后的图像序列对应的每张图像的像素值差异进行修正，并对修正值求和得到第三损失。所述压缩网络的损失为第一损失、第二损失、第三损失之和。
40.本发明期望当人员靠近设备是能够保存人员的精确信息，远离设备时不需要过多关注人员的详细信息只需要关注人员轨迹信息或位置信息即可。为了判断人员和设备的位置关系，需要从输入图像中获得人员和设备的位置，一旦人员和设备的位置特征从输入图像中获取，那么必定在中也会包含设备位置信息，但是从中获取设备信息时，往往需要依赖设备整体的信息，例如形状、大小、纹理等信息，这些信息也会存储或者或包含在，进而使得设备相当大一部分信息包含在特征图f中。本发明并不关注设备的太多信息，不希望特征图f中包含过多设备信息，希望特征图f能存储更多的人员信息，依次来提升视频压缩的程度和解压缩的能力。为了解决特征图f中包含过多设备信息的问题，本发明只需要将设备的位置信息作为网络的输入，具体做法是：在视频压缩之前获取每帧图像上每个设备的位置，对于一个相机而言，该相机是固定视角的，设备的位置又是固定的，因此认为设备在图像中的位置是固定的，各个设备在图像中的位置信息可由人为标注出来或者根据关键点检测网络获得设备位置信息，总之，本发明认为监控视频中各个设备的位置在任意时刻都是固定且已知的，为了方便叙述，本发明也不再叙述将各设备的位置信息输入网络的过程，只关注人员信息的处理。
41.具体地，压缩网络的损失为：，其中，称为第一损失， 称为第二损失，称为第三损失。在损失函数的监督下，当达到收敛效果时，所述压缩网络训练完毕。
42.其中，项为：其中，表示人员n在图像上的人员注意力度分布图，表示该图像上的一个像素值；表示对的缩放变化或者伽马矫正，即第一修正权重掩膜，是一个缩放因子，表示第n个人员与其在图像上相距最近设备的距离，该因子较大时保证的值趋近于零，即人员距离设备较远时将人员注意力度分布图上较小的像素值变得更小，使得不过多关注距离设备较远的人员的细节信息。
43.为：其中，,表示图像上的人员构成的集合，就是集合中任意两个不同的人员。表示人员n在图像和在图像上的位置之间的距离，本发明期望这个距离越小越好，这样能够保证解压缩后的图像上的人员依然能够通过关键点检测网络，获得人员位置。表示人员在图像上的距离与人员在图像上的距离的差值。表示取每张图像中人员距各自最近设备距离的最大值，即第二权重；表示引入更多的关注或者更强的约束使得距离设备远的人员的位置能够和其他人员具有准确的相对关系，使得位置定位更准确。总之，越小，就越能保证距离设备远的人员具有准确的轨迹或者位置。
44.为：其中，表示是图像中的一个像素位置；表示图像在位置处的像素值；表示图像在位置处的像素值。就表示图像上获得的人员注意力分布图；表示图像在位置处的像素值;为了防止出现为0的元素，令。其中，为程序赋值符号。越小表示输入原图像和解压缩后的图像对应像素的像素值越接近，人员注意力度大的位置处像素接近的程度更大，使得收敛后使得压缩后的图像能尽可能的能够还原出人员的信息。
45.至此，获得危险区域的监控视频序列的压缩网络、解压缩网络以及压缩存储的特征图f。本发明每k帧图像进行此压缩存储步骤，即k帧监控视频图像数据压缩为一个特征图f，将f进行存储，大大减少存储量。本发明视频大小为2048
×
2048，f的大小设置为128
×
128。
46.具体实施例2：
本实施例提供一种基于人工智能的危险区域监控视频压缩存储系统。
47.本发明所针对的具体场景为：对存在数据库中的已经有一定时间的历史视频数据进行压缩。并且只关注视频中人员的轨迹和人员在设备附近的行为和工作状态，不关注具体的生产场景。由于设备的运行参数等数据不会表征在监控视频上，因此不用关注设备运行数据等视频图像信息。化工企业生产区域内安装摄像机，相机视角俯视斜向下，实施采集生产区域内的人员视频数据，本发明认为相机采集的视频图像的大小为2048
×
2048。
48.将危险区域的监控视频图像序列堆叠后输入至压缩网络模块，得到监控视频信息的特征图作为压缩数据，所述压缩网络模块的损失包括：利用监控视频图像序列每张图像中人员与危险区域内设备的最小距离对该图像的权重掩膜进行修正得到第一修正权重掩膜，利用第一修正权重掩膜对监控视频图像序列与解压缩后的图像序列对应的每张图像的像素值差异进行修正，并对修正值求和得到第一损失；获取监控视频图像序列与解压缩后的图像序列对应的每张图像的人员位置信息差异和任意两个人员的距离差异；针对任意两个人员的距离差异：根据监控视频图像中两个人员对应的与危险区域内设备的最小距离得到第二权重，利用第二权重对所述两个人员的距离差异进行修正得到修正损失；对人员位置信息差异和修正损失求和得到第二损失；利用危险区域的监控视频图像序列的权重掩膜对监控视频图像序列与解压缩后的图像序列对应的每张图像的像素值差异进行修正，并对修正值求和得到第三损失。
49.第一损失、第二损失、第三损失求和得到压缩网络模块的损失。
50.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
51.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
52.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。