一种基于场景识别的音视频采集自适应控制及监控系统的制作方法

本发明涉及视频监控与自适应编码，具体涉及一种基于场景识别的音视频采集自适应控制及监控系统。

背景技术：

1、监控系统在安防、交通、园区管理等领域的广泛应用，使得大规模视频数据的实时采集、编码与传输成为核心技术环节。在典型的监控部署场景中，摄像头和麦克风持续采集音视频流，经编码器压缩后通过网络传输至监控中心或云存储平台。编码器通常采用混合视频编码框架，其核心参数包括量化参数、帧率、分辨率和图像组结构，这些参数直接决定了输出码流的质量和码率大小。

2、现有的监控编码系统普遍采用固定参数配置或仅基于简单统计量的自适应调节方式。在固定参数配置方案中，无论监控场景的内容如何变化，编码器均以预设的量化参数、帧率和分辨率进行编码。这种方式的缺陷在于，当场景处于长时间的静态状态时，大量码率被浪费在重复编码无变化的背景区域上；而当场景中出现人员闯入、聚集或异常运动时，固定参数又无法提供足够的编码精度以清晰记录关键细节，导致事后取证困难。此外，在图像组结构方面，现有系统通常以固定间隔插入帧内预测关键帧，这种固定间隔策略与实际场景变化时刻无关，可能在场景切换瞬间仍编码帧间预测帧，导致切换后数帧图像出现块效应或模糊，直至下一个预定关键帧到达才恢复清晰度。

3、部分改进方案尝试利用运动矢量统计或像素亮度变化检测来触发自适应调节。例如，根据运动矢量的平均幅值调整量化参数，或在亮度直方图变化超过阈值时强制插入关键帧。然而，这类基于底层像素或运动统计的方法缺乏对场景语义的深层理解，无法区分真正的场景变化与由光照波动、树叶晃动、摄像头抖动等引起的伪变化，容易导致误触发和参数震荡。在音频方面，现有监控系统的音频采集和编码通常采用固定采样率和码率配置，无法根据声学环境的差异进行相应调节，例如在安静环境中浪费音频带宽，在嘈杂环境中又因码率不足导致语音可懂度下降。

4、进一步地，现有技术中虽有引入场景分类辅助编码控制的研究，但这些方法通常仅输出粗粒度的场景类型标签，缺乏像素级的语义分割信息，无法指导编码器在编码单元粒度上进行差异化的质量分配。同时，这些方案未将视频和音频的联合场景变化检测纳入关键帧触发决策中，也未建立场景标签与音频编码参数之间的动态映射关系，导致系统在多场景复杂监控环境中的整体自适应程度不足。

技术实现思路

1、鉴于以上现有技术的缺点，本发明的目的在于提供一种基于场景识别的音视频采集自适应控制及监控系统，用于解决现有监控系统无法根据场景语义自适应调整音视频采集与编码参数，导致码率浪费或关键信息丢失的问题。本发明通过双流网络对监控视频帧进行场景语义分割和分类，生成场景语义分割图和场景标签；同时执行音频突变与视频场景切换的联合判决，形成关键帧触发信号；编码参数决策模块依据场景语义分割图计算各编码单元的重要性分数，并映射为量化参数偏移图，依据场景标签生成帧率控制信号和音频编码配置信号；音视频编码模块根据上述信号调整量化参数、帧率和音频配置，并在检出关键帧触发信号时编码关键帧，使编码策略与场景内容动态匹配。

2、本发明提供一种基于场景识别的音视频采集自适应控制及监控系统，包括：

3、音视频采集模块，实时采集监控场景的视频、音频帧序列信号，将视频帧序列信号传输至场景分析模块和联合触发模块，音频帧序列信号传输至联合触发模块；

4、场景分析模块，接收视频帧序列信号，通过双流网络进行场景语义分割和分类，形成场景语义分割图信号和场景标签信号，传输至编码参数决策模块；

5、联合触发模块，接收视频、音频帧序列信号，执行音频突变与视频场景切换联合判决，形成关键帧触发信号并传输至音视频编码模块；

6、编码参数决策模块，接收场景语义分割图和场景标签信号，依据语义重要性映射生成视频、音频编码参数信号（视频含量化参数偏移图和帧率控制信号），传输至音视频编码模块；

7、音视频编码模块，接收各类信号，依视频编码参数调整量化参数和帧率，依音频编码参数调整音频配置，检出关键帧触发信号时编码关键帧，输出编码音视频码流。

8、在本发明的一个实施例中，所述场景分析模块中的双流网络由空间流支路和时序流支路构成，所述空间流支路采用残差网络骨干对输入的单帧视频帧序列信号提取空间语义特征图，所述时序流支路对连续视频帧序列信号计算稠密光流场并通过三维卷积层提取时序运动特征图，所述空间语义特征图与时序运动特征图在通道维度进行拼接后，输入空洞空间金字塔池化模块生成多尺度上下文融合特征，所述多尺度上下文融合特征经第一分类器输出场景语义分割图信号，该场景语义分割图信号为每个像素点分配场景类别标记，同时所述多尺度上下文融合特征经第二分类器输出场景标签信号，所述场景标签信号包含粗粒度场景类型和细粒度活动类别，所述粗粒度场景类型为室内场景或室外场景，所述细粒度活动类别为静态无人、正常办公、人员聚集或异常追逐。

9、在本发明的一个实施例中，所述场景分析模块对视频帧序列信号采用时间交错处理策略，所述场景分析模块每间隔预设数量视频帧执行一次完整的双流网络推理，所述预设数量为大于一的整数，对于相邻两次完整推理之间的中间视频帧，所述场景分析模块根据最近两次完整推理输出的场景语义分割图信号进行线性插值，生成中间视频帧对应的场景语义分割图信号，同时保持最近一次完整推理输出的场景标签信号不变，直至下一次完整推理更新场景标签信号，所述线性插值的计算公式为将前后两个场景语义分割图中对应像素的类别置信度向量按照中间帧的时间戳比例进行加权求和。

10、在本发明的一个实施例中，所述联合触发模块包括音频突变检测单元、视频场景切换检测单元和联合判决单元，所述音频突变检测单元接收音频帧序列信号，逐帧提取梅尔频率倒谱系数特征，并计算相邻音频帧的梅尔频率倒谱系数特征向量之间的余弦距离，当所述余弦距离超过预设音频突变阈值时，所述音频突变检测单元生成音频突变事件标记信号并传输至联合判决单元；所述视频场景切换检测单元接收视频帧序列信号，将每帧视频帧转换为缩略图并提取颜色直方图特征，计算相邻视频帧颜色直方图之间的卡方距离，同时维护一个滑动窗口记录最近若干帧的卡方距离序列，所述视频场景切换检测单元根据该序列计算卡方距离的均值和标准差，并以均值加上三倍标准差作为自适应视频切换阈值，当当前视频帧的卡方距离超过所述自适应视频切换阈值时，生成视频场景切换事件标记信号并传输至联合判决单元，所述自适应视频切换阈值的计算公式如下：

11、

12、其中，为自适应视频切换阈值，为滑动窗口内卡方距离均值，为滑动窗口内卡方距离标准差，n为滑动窗口帧数，为第i帧卡方距离，为当前视频帧率，为最大视频帧率。

13、在本发明的一个实施例中，所述联合判决单元接收所述音频突变事件标记信号和视频场景切换事件标记信号，并执行联合判决逻辑以形成所述关键帧触发信号，所述联合判决逻辑的定义为：将音频突变事件标记信号和视频场景切换事件标记信号分别赋予预设音频权重系数和预设视频权重系数后进行加权求和得到联合变化得分，当所述联合变化得分大于或等于预设触发阈值时，联合判决单元生成有效关键帧触发信号，所述预设视频权重系数大于预设音频权重系数且二者之和为一，所述音视频编码模块在检出所述有效关键帧触发信号时，对当前编码帧强制编码为帧内预测关键帧并重置图像组计数器，所述联合变化得分的计算公式如下：

14、

15、其中，为音视频联合变化得分，为音频权重系数，为音频突变事件标记信号，为视频权重系数，为视频场景切换事件标记信号，e为自然常数，为自适应视频切换阈值。

16、在本发明的一个实施例中，所述编码参数决策模块接收场景分析模块传输的场景语义分割图信号和场景标签信号，并依据场景语义分割图信号执行编码树单元级别的量化参数偏移计算，所述量化参数偏移计算的具体过程为：对当前视频帧中的每个编码树单元，计算该编码树单元内前景物体像素数占总像素数的前景像素占比，并计算该编码树单元内运动矢量幅值的归一化值，所述运动矢量幅值的归一化值由运动矢量幅值除以当前帧所有编码树单元中运动矢量幅值的最大值得到，将所述前景像素占比和运动矢量幅值归一化值分别乘以预设前景权重和预设运动权重后求和，得到该编码树单元的场景重要性分数，所述场景重要性分数的计算公式如下：

17、

18、其中，为编码树单元场景重要性分数，为前景权重，为前景像素占比，为运动权重，为运动矢量幅值归一化值，为音视频联合变化得分。

19、在本发明的一个实施例中，所述编码参数决策模块根据每个编码树单元的场景重要性分数，在预设的量化参数偏移范围内线性映射出各编码树单元的量化参数偏移量，所述场景重要性分数越高的编码树单元对应的量化参数偏移量为负值以获得更精细的量化，场景重要性分数越低的编码树单元对应的量化参数偏移量为正值以进行更粗糙的量化，所述编码参数决策模块将当前帧的基础量化参数与各编码树单元的量化参数偏移量相加得到各编码树单元的最终量化参数，所述基础量化参数由目标码率通过码率与拉格朗日乘子模型确定，所述编码参数决策模块将包含各编码树单元最终量化参数的量化参数偏移图信号作为所述视频编码参数信号的一部分传输至音视频编码模块。

20、在本发明的一个实施例中，所述编码参数决策模块还接收所述场景分析模块传输的场景标签信号，并根据所述场景标签信号生成帧率控制信号和分辨率控制信号，当场景标签信号指示为静态无人场景并持续超过预设静止时间阈值时，所述编码参数决策模块生成帧率递减控制信号，将采集帧率从基础帧率逐步降低至最小帧率，当场景标签信号由静态无人场景切换为其他活动场景时，所述编码参数决策模块即时生成帧率恢复控制信号将采集帧率恢复至基础帧率；当场景标签信号指示的场景中前景像素占比连续低于第一预设占比阈值时，所述编码参数决策模块生成分辨率下调控制信号将输出分辨率降低一档，当前景像素占比恢复至高于第二预设占比阈值并持续超过预设持续时间阈值时，生成分辨率恢复控制信号将输出分辨率升高一档，所述帧率控制信号和分辨率控制信号均作为所述视频编码参数信号的一部分传输至音视频编码模块。

21、在本发明的一个实施例中，所述编码参数决策模块根据所述场景标签信号生成音频编码参数信号，所述编码参数决策模块内部维护一个场景类型与音频编码配置的对应关系表，所述对应关系表中，静态无人场景对应第一音频码率、第一采样率和关闭降噪处理的配置，正常办公场景对应第二音频码率、第二采样率和轻度降噪处理的配置，人员聚集场景对应第三音频码率、第三采样率和中度降噪处理的配置，异常追逐场景对应第四音频码率、第四采样率和关闭降噪处理的配置，所述第一音频码率低于第二音频码率，第二音频码率低于第三音频码率，第三音频码率低于第四音频码率，所述编码参数决策模块根据当前接收的场景标签信号查询所述对应关系表确定目标音频编码参数信号并传输至音视频编码模块，当音频编码参数信号发生切换时，所述编码参数决策模块生成平滑过渡信号控制音视频编码模块在预设过渡时间窗口内将当前音频编码参数从原值线性差值渐变至目标值。

22、在本发明的一个实施例中，所述系统还包括传输与反馈模块，所述传输与反馈模块连接所述音视频编码模块的输出端，接收所述编码后的音视频码流并通过通信网络将所述码流发送至接收端，同时所述传输与反馈模块实时监测通信网络的传输状态，所述传输状态至少包含可用带宽、丢包率和往返时延三个网络状态参量，所述传输与反馈模块将所述网络状态参量组成网络状态向量信号，并将该网络状态向量信号通过反馈回路传输至所述编码参数决策模块，所述编码参数决策模块接收所述网络状态向量信号后，依据所述可用带宽和丢包率调整所述视频编码参数中的基础量化参数，当可用带宽降低或丢包率升高时，所述编码参数决策模块增大基础量化参数以降低输出码率，当可用带宽恢复或丢包率降低时，减小基础量化参数以提升编码质量。

23、本发明提供的一种基于场景识别的音视频采集自适应控制及监控系统，通过双流网络对监控视频帧进行场景语义分割和分类，生成场景语义分割图和场景标签；同时执行音频突变与视频场景切换的联合判决，形成关键帧触发信号；编码参数决策模块依据场景语义分割图计算各编码单元的重要性分数，并映射为量化参数偏移图，依据场景标签生成帧率控制信号和音频编码配置信号；音视频编码模块根据上述信号调整量化参数、帧率和音频配置，并在检出关键帧触发信号时编码关键帧，使编码策略与场景内容动态匹配。