一种视频监控系统视频数据的传输控制系统及方法与流程

1.本发明涉及监控系统数据传输技术领域，具体涉及一种视频监控系统视频数据的传输控制系统及方法。


背景技术：

2.随着网络信息技术的不断革新,硬件制造工艺的不断突破,基于安防监控技术研发的视频监控系统也在不断的升级，从以模拟设备为主的闭路系统,即模拟视频监控系统，向全数字监控、远程网络视频监控系统的发展。视频监控系统一般选用h.264标准作为用于传输的视频格式按照此标准压缩的视频流压缩比较高,而且会随着信道情况的变化自动调整编码码率,非常适合用于intenet远程传输,但是如果带宽频繁变化或过于狭窄,依然会出现丢包现象,且监控系统运作的核心就是实现在任何网络状况下实时获取远程监控视频,所以解决好视频传输问题是设计监控系统的重要工作。保证监控视频码流安全、完整、及时传输是实现远程监控最为重要的一环,但是,由于网络传输环境的动态变化,极易出现拥塞情况,造成码流丢帧时延,严重影响视频质量和完整传输,因此如何解决在信道频繁变化下,实现监控视频优质传输成为远程监控系统设计的核心问题。视频码流的实时传输是困扰远程监控系统正常工作的首要问题，如果采用专用网络,可以保证高质量高效率地传输码流,但是成本会非常昂贵，如果采用公网传输实时视频,就必须解决在低带宽下的传输问题。现有的视频传输方法主要有以下3种:
3.1)利用tcp协议
4.tcp协议为传输过程提供了可靠、可控的连接,它通过发送方与接收方的三次信息/握手,保证传输数据都能被完整、无缺损的接收，但是采用tcp协议的最大缺点就是它的控制机制和连接方法太复杂,占用了系统宝贵资源,有可能造成时延,更重要的是,如果tcp检测到网络拥塞,tcp的发送方会将发送的速率降低一半,若tcp不断检测到网络拥塞,则tcp的发送方会不停地降低发送速率,直到停止发送数据,所以基于tcp协议构建的传输系统普遍出现传输实时性较差的情况。
5.2)利用udp协议
6.udp协议的不同之处在于,它提供的是一种无连接传输,由于没有任何连接状态的判断,它的传输效率较高,而且udp数据包具有较强的网络穿透能力,可以用于网络环境相对复杂的场合进行网络通信，但是,正是由于它不提供连接状态的判定,无法得到接收方发回的信息反馈,很难察觉在传输工作中是否发生了丢包现象,无法提供传输完整性和安全性控制。
7.3)封装数据包
8.封装数据包是一种效率较高的传输方式,系统可以根据传输环境的变化,调整数据包体积的大小,灵活的控制传输吞吐量，但此种方法必须配备高效、完善的差错检测方案,为了保证数据传输的完整性,接收方必须对所接收到的数据包进行差错重排、丢包判断等工作,如果差错检测工作的效率低下,那么就可能出现时延。
9.综上所述,鉴于网络环境的不确定性,若没有对信道通信质量的预先判断,只采用单一的传输方法很难实现码流的实时传输,视频质量也无法得到保证。中国专利：上行蜂窝视频通信中自适应的传输方法及系统(cn101222296b)中公开了视频自适应传输的系统，但是其不是适用监控系统的视频传输，监控系统的视频传输多且大，若是丢失视频数据，则影响系统的安全以及后期取证。


技术实现要素：

10.为了解决上述问题，本发明提供了一种视频监控系统视频数据的传输控制系统及方法，用于提高视频的传输质量，具体技术方案如下：
11.一种视频监控系统视频数据的传输控制系统，包括发送端传输控制单元、接收端传输控制单元、视频编码单元、视频解码单元；所述发送端传输控制单元与视频编码单元连接；所述接收端传输控制单元与视频解码单元连接；发送端传输控制单元还包括发送缓存模块、发送速率控制模块、码率控制模块、带宽检测模块和无线收发模块，
12.所述接收端传输控制单元包括无线或有线收发模块、接收缓存模块和信道检测模块；
13.还包括监控摄像机、背景库、背景识别模块、图像处理模块、图像库、图像合成模块、查询输出模块；所述监控摄像机、背景库连接、背景识别模块、图像处理模块、视频编码单元依次连接；所述图像库与视频解码单元、视频合成模块连接；所述图像合成模块分别与背景库、背景识别模块、查询输出模块连接；
14.所述监控摄像机用于采集各个监控区域的背景图像以及监控视频，并将采集的背景图像提前存入背景库以及将采集的监控视频输入背景识别模块；
15.所述背景识别模块用于提取监控摄像机传输来的监控视频中的背景图像，并将提取的背景图像部分与背景库中预先存储的各个监控区域的背景图像进行匹配，并将识别结果输入至视频合成模块和图像处理模块；
16.所述图像处理模块用于根据背景识别模块的识别结果提取监控视频中的活动视频部分，并将提取的视频部分输入至视频编码单元进行编码；
17.所述视频编码单元用于对图像处理模块提取的活动视频部分进行编码，并将编码后的视频流输入至发送缓存模块；
18.所述发送缓存模块用于接收视频编码单元发送的活动视频部分的比特流并缓存；
19.所述带宽检测模块用于通过无线收发模块接收来自接收端的包丢率反馈信息，并根据这些信息统计得到当前的可用信道带宽，进而设定发送速率和信源目标码率，并将设定的发送速率输入至发送速率控制模块，将设定的信源目标码率输入至码率控制模块；
20.所述发送速率控制模块用于根据带宽检测模块检测到的信道带宽，按带宽检测模块给出的发送速率将发送缓存模块中的比特流送入无线收发模块，通过无线收发模块将该比特流发送出去，经传输网络传送到接收端；
21.所述码率控制模块用于根据带宽检测模块给定的信源目标码率，通过针对发送缓存模块管理，计算得到视频编码单元的目标编码码率，并将该目标编码码率传送给视频编码单元，所述视频编码单元以此视频编码码率为依据进行编码，得到与信道带宽相适应的编码码率；
22.所述无线或有线收发模块用于接收无线收发模块传送过来的比特流并送入接收缓存模块，再送入视频解码单元；
23.所述信道检测模块对接收缓存模块中的比特流进行解析，根据包头序号的连续性，统计丢包情况，并根据实时传输控制协议产生反馈实时传输控制协议包传输给无线或有线收发模块，通过无线或有线收发模块和传输网络发送至宽带检测模块；
24.所述视频解码单元用于对接收缓存模块中缓存的活动部分视频进行解码存储在图像库；
25.所述视频合成模块用于根据背景识别模块的识别结果与图像库中存储的解码后的活动部分视频进行匹配，合成相应监控区域的监控视频，并将符合查询条件的相应区域的监控视频通过查询输出模块进行输出。
26.优选地，所述查询输出模块用于输入查询条件，所述视频合成模块根据查询输出模块输入的查询条件进行合成符合查询条件的监控视频，并按照相似度的大小降序排列反馈给用户。
27.优选地，所述图像处理模块提取活动视频的方法为：采用三个运动参数同时检测,分别为：(1)前后帧图象对应象素绝对差值的平均值；
28.(2)前后帧图象对应象素绝对差值在垂直方向的平均值；
29.(3)前后帧图象对应象素绝对差值在水平方向的平均值。
30.优选地，还包括视频数据库，所述视频数据库与图像合成模块连接，用于存储合成后的监控视频，存储结构分为两部分:一是记录的常规数据及视频图象数据的指针,二是视频图象的多媒体数据，帧用双链表进行构造,帧索引与帧视频数据是一个可以变长的记录,每个记录用一个单链表存储。
31.优选地，所述背景识别模块采用神经网络模型对背景图像进行识别。
32.优选地，所述背景识别模块采用计算提取的背景图像与背景库中预存的各个背景图像的相似度来得到识别结果，计算得到的相似度最大，则提取的背景图像与计算得到该最大相似度的背景库中对应背景图像则为匹配的背景图像。
33.优选地，采用欧氏距离判断提取的背景图像与背景库中预存的各个背景图像的相似度。
34.优选地，若是带宽检测模块接收到接收方反馈的丢包率超出设定阈值，则将监控视频封装自定义rtp数据包，并将数据发送给接收方；
35.若丢包率没有超出设定阈值时，则自适应调整编码速率。
36.优选地，合成后的监控视频经过视频合成模块压缩后再存入视频数据库。
37.一种视频监控系统视频数据的传输控制方法，包括以下步骤：
38.(1)所述监控摄像机采集各个监控区域的背景图像以及监控视频，并将采集的背景图像提前存入背景库以及将采集的监控视频输入背景识别模块；
39.(2)背景识别模块提取监控摄像机传输来的监控视频中的背景图像，并将提取的背景图像部分与背景库中预先存储的各个监控区域的背景图像进行匹配，并将识别结果输入至视频合成模块和图像处理模块；
40.(3)图像处理模块根据背景识别模块的识别结果提取监控视频中的活动视频部分，并将提取的视频部分输入至视频编码单元进行编码；
41.(4)视频编码单元对图像处理模块提取的活动视频部分进行编码，并将编码后的视频流输入至发送缓存模块；
42.(5)发送缓存模块接收视频编码单元发送的活动视频部分的比特流并缓存；
43.(6)带宽检测模块通过无线收发模块接收来自接收端的包丢率反馈信息，并根据这些信息统计得到当前的可用信道带宽，进而设定发送速率和信源目标码率，并将设定的发送速率输入至发送速率控制模块，将设定的信源目标码率输入至码率控制模块；
44.(7)发送速率控制模块根据带宽检测模块检测到的信道带宽，按带宽检测模块给出的发送速率将发送缓存模块中的比特流送入无线收发模块，通过无线收发模块将该比特流发送出去，经传输网络传送到接收端；
45.(8)码率控制模块根据带宽检测模块给定的信源目标码率，通过针对发送缓存模块管理，计算得到视频编码单元的目标编码码率，并将该目标编码码率传送给视频编码单元，所述视频编码单元以此视频编码码率为依据进行编码，得到与信道带宽相适应的编码码率；
46.(9)无线或有线收发模块接收无线收发模块传送过来的比特流并送入接收缓存模块，再送入视频解码单元；
47.(10)信道检测模块对接收缓存模块中的比特流进行解析，根据包头序号的连续性，统计丢包情况，并根据实时传输控制协议产生反馈实时传输控制协议包传输给无线或有线收发模块，通过无线或有线收发模块和传输网络发送至宽带检测模块；
48.(11)视频解码单元对接收缓存模块中缓存的活动部分视频进行解码存储在图像库；
49.(12)视频合成模块根据背景识别模块的识别结果与图像库中存储的解码后的活动部分视频进行匹配，合成相应监控区域的监控视频，并将符合查询条件的相应区域的监控视频通过查询输出模块进行输出。
50.本发明的有益效果为：在工作中,发现监控系统视频图象具有这样的特点:1)、监控系统的视频图象变化小,帧相关性极大,整个视频图象可分为两个区域。背景区:监控系统的摄象头一般安装在固定地点,能够观察到事故多发的地方。运动物体区:运动部分占比例较小，有时很长时间变化很小或没有变化。2)、不考虑视、音同步问题。
51.相对于现有技术，本发明预先将监控系统的背景图像和活动视频部分进行分开，预先对背景图像进行识别，在传输时只传输活动视频部分，大大较少了所需传输的视频数据数量，减少了信道堵塞的可能，提高了监控视频传输的可靠性和安全性，而且设置自适应的码率传输系统，形成闭环反馈的控制系统，进一步提高了监控视频传输的可靠性和安全性，大大减小了监控视频数据包丢失的可能性。如此，实现变电站的无人值守,从而为推动电力网的管理逐步向自动化、综合化、集中化、智能化方向发展提供有力的技术保障。
52.把监控视频信息存入数据库中,首先必须解决数据压缩问题，视频监控系统需要解决的关键是庞大数据量的采集、存储和传输，因此如果不进行数据压缩,则现有网络根本无法处理视频数据，当前,为不同传输码速率应用而设计的编码方案己存在很多,但现有技术并没有充分利用工业视频图像特点,同时没有考虑被监视景物的视觉特点,因而压缩比不高,这也是压缩编码方法压缩能力提高困难的原因之一。因此本发明的视频编码单元采用压缩编码，并且在视频数据库中也对合成后的监控视频采用压缩存储，如此减少了视频
数据占用网络资源以及存储空间，提高了便利性。
53.本发明将视频图像通过视频通讯接口录入,用图象处理模块提取运动部分,也就是与背景库不一样的部分,经压缩后,存入运动视频库或者图象库，可减少数据量,提高了压缩比。
附图说明
54.图1为本发明的系统原理示意图。
具体实施方式
55.为了更好的理解本发明，下面结合附图和具体实施例对本发明作进一步说明：
56.如图1所示，一种视频监控系统视频数据的传输控制系统，包括发送端传输控制单元、接收端传输控制单元、视频编码单元、视频解码单元；所述发送端传输控制单元与视频编码单元连接；所述接收端传输控制单元与视频解码单元连接；发送端传输控制单元还包括发送缓存模块、发送速率控制模块、码率控制模块、带宽检测模块和无线收发模块，所述接收端传输控制单元包括无线或有线收发模块、接收缓存模块和信道检测模块；
57.还包括监控摄像机、背景库、背景识别模块、图像处理模块、图像库、图像合成模块、查询输出模块；所述监控摄像机、背景库连接、背景识别模块、图像处理模块、视频编码单元依次连接；所述图像库与视频解码单元、视频合成模块连接；所述图像合成模块分别与背景库、背景识别模块、查询输出模块连接；
58.所述监控摄像机用于采集各个监控区域的背景图像以及监控视频，并将采集的背景图像提前存入背景库以及将采集的监控视频输入背景识别模块；
59.所述背景识别模块用于提取监控摄像机传输来的监控视频中的背景图像，并将提取的背景图像部分与背景库中预先存储的各个监控区域的背景图像进行匹配，并将识别结果输入至视频合成模块和图像处理模块；
60.所述图像处理模块用于根据背景识别模块的识别结果提取监控视频中的活动视频部分，并将提取的视频部分输入至视频编码单元进行编码；
61.所述视频编码单元用于对图像处理模块提取的活动视频部分进行编码，并将编码后的视频流输入至发送缓存模块；
62.所述发送缓存模块用于接收视频编码单元发送的活动视频部分的比特流并缓存；
63.所述带宽检测模块用于通过无线收发模块接收来自接收端的包丢率反馈信息，并根据这些信息统计得到当前的可用信道带宽，进而设定发送速率和信源目标码率，并将设定的发送速率输入至发送速率控制模块，将设定的信源目标码率输入至码率控制模块；
64.所述发送速率控制模块用于根据带宽检测模块检测到的信道带宽，按带宽检测模块给出的发送速率将发送缓存模块中的比特流送入无线收发模块，通过无线收发模块将该比特流发送出去，经传输网络传送到接收端；
65.所述码率控制模块用于根据带宽检测模块给定的信源目标码率，通过针对发送缓存模块管理，计算得到视频编码单元的目标编码码率，并将该目标编码码率传送给视频编码单元，所述视频编码单元以此视频编码码率为依据进行编码，得到与信道带宽相适应的编码码率；
66.所述无线或有线收发模块用于接收无线收发模块传送过来的比特流并送入接收缓存模块，再送入视频解码单元；
67.所述信道检测模块对接收缓存模块中的比特流进行解析，根据包头序号的连续性，统计丢包情况，并根据实时传输控制协议产生反馈实时传输控制协议包传输给无线或有线收发模块，通过无线或有线收发模块和传输网络发送至宽带检测模块；
68.所述视频解码单元用于对接收缓存模块中缓存的活动部分视频进行解码存储在图像库；
69.所述视频合成模块用于根据背景识别模块的识别结果与图像库中存储的解码后的活动部分视频进行匹配，合成相应监控区域的监控视频，并将符合查询条件的相应区域的监控视频通过查询输出模块进行输出。
70.查询输出模块用于输入查询条件，所述视频合成模块根据查询输出模块输入的查询条件进行合成符合查询条件的监控视频，并按照相似度的大小降序排列反馈给用户。
71.图像处理模块提取活动视频的方法为：采用三个运动参数同时检测,分别为：
72.(1)前后帧图象对应象素绝对差值的平均值；
73.(2)前后帧图象对应象素绝对差值在垂直方向的平均值；
74.运动物体出现时,垂直方向的平均值会在物体位置垂直方向出现一个峰值区，当物体沿垂直方向运动时,峰值区间便会随之移动变化，当场景出现闪电或开灯等光线变化情况时,会出现较大的一个平均值,但峰值区间变化不明显，可以检测物体在垂直方向上运动的情况。
75.(3)前后帧图象对应象素绝对差值在水平方向的平均值。
76.水平方向的平均值反映前后帧图象在水平方向上灰度值的变化，实验说明,在没有运动物体时,水平方向的平均值的值也会很小,通常情况下不超过3，但如果出现运动物体,就会出现峰值区,并且峰值区随物体运动而不断变化。运动物体出现后,水平方向的平均值会在物体水平方向运动时,峰值区间随之移动，当场景中出现闪电或开灯等光线变化时,会出现较大的平均值,但峰值区间不明显，所以,通过检测峰值,可检测运动物体运动的大致情况。
77.通过运动参数的分析,如果出现运动物体,则像素会有一个比较大的值,同时在水平或垂直上会出现峰值区间,区间同时随着物体运动而变化，此时,如果场景中出现如闪电或开灯等情况时,也不会出现峰值区间，所以,同时利用三个参数进行检测,能够避免非运动物体造成的干扰。
78.本发明包括视频数据库，所述视频数据库与图像合成模块连接，用于存储合成后的监控视频，存储结构分为两部分:一是记录的常规数据及视频图象数据的指针,二是视频图象的多媒体数据，帧用双链表进行构造,帧索引与帧视频数据是一个可以变长的记录,每个记录用一个单链表存储。常规数据量小,可用定长技术处理,按照定长的字段、块、记录三级存储单元存放,方便数据存储，但是视频数据量大,压缩后数据量参差不齐,所以不能用定长的字段、块、记录三级存储单元组织存储,存储结构比较复杂。因此本发明的帧用双链表进行构造,帧索引与帧视频数据是一个可以变长的记录,每个记录用一个单链表存储，结构简单易实现，可操作性强。
79.作为优选地一个实施例，背景识别模块采用神经网络模型对背景图像进行识别。
80.作为优选地一个实施例，背景识别模块采用计算提取的背景图像与背景库中预存的各个背景图像的相似度来得到识别结果，计算得到的相似度最大，则提取的背景图像与计算得到该最大相似度的背景库中对应背景图像则为匹配的背景图像。
81.作为优选地一个实施例，采用欧氏距离判断提取的背景图像与背景库中预存的各个背景图像的相似度。
82.作为优选地一个实施例，若是带宽检测模块接收到接收方反馈的丢包率超出设定阈值，则将监控视频封装自定义rtp数据包，并将数据发送给接收方；
83.若丢包率没有超出设定阈值时，则自适应调整编码速率。
84.作为优选地一个实施例，合成后的监控视频经过视频合成模块压缩后再存入视频数据库。
85.一种视频监控系统视频数据的传输控制方法，包括以下步骤：
86.(1)所述监控摄像机采集各个监控区域的背景图像以及监控视频，并将采集的背景图像提前存入背景库以及将采集的监控视频输入背景识别模块；
87.(2)背景识别模块提取监控摄像机传输来的监控视频中的背景图像，并将提取的背景图像部分与背景库中预先存储的各个监控区域的背景图像进行匹配，并将识别结果输入至视频合成模块和图像处理模块；
88.(3)图像处理模块根据背景识别模块的识别结果提取监控视频中的活动视频部分，并将提取的视频部分输入至视频编码单元进行编码；
89.(4)视频编码单元对图像处理模块提取的活动视频部分进行编码，并将编码后的视频流输入至发送缓存模块；
90.(5)发送缓存模块接收视频编码单元发送的活动视频部分的比特流并缓存；
91.(6)带宽检测模块通过无线收发模块接收来自接收端的包丢率反馈信息，并根据这些信息统计得到当前的可用信道带宽，进而设定发送速率和信源目标码率，并将设定的发送速率输入至发送速率控制模块，将设定的信源目标码率输入至码率控制模块；
92.(7)发送速率控制模块根据带宽检测模块检测到的信道带宽，按带宽检测模块给出的发送速率将发送缓存模块中的比特流送入无线收发模块，通过无线收发模块将该比特流发送出去，经传输网络传送到接收端；
93.(8)码率控制模块根据带宽检测模块给定的信源目标码率，通过针对发送缓存模块管理，计算得到视频编码单元的目标编码码率，并将该目标编码码率传送给视频编码单元，所述视频编码单元以此视频编码码率为依据进行编码，得到与信道带宽相适应的编码码率；
94.(9)无线或有线收发模块接收无线收发模块传送过来的比特流并送入接收缓存模块，再送入视频解码单元；
95.(10)信道检测模块对接收缓存模块中的比特流进行解析，根据包头序号的连续性，统计丢包情况，并根据实时传输控制协议产生反馈实时传输控制协议包传输给无线或有线收发模块，通过无线或有线收发模块和传输网络发送至宽带检测模块；
96.(11)视频解码单元对接收缓存模块中缓存的活动部分视频进行解码存储在图像库；
97.(12)视频合成模块根据背景识别模块的识别结果与图像库中存储的解码后的活
动部分视频进行匹配，合成相应监控区域的监控视频，并将符合查询条件的相应区域的监控视频通过查询输出模块进行输出。
98.本发明不局限于以上所述的具体实施方式，以上所述仅为本发明的较佳实施案例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。