盲人无障碍电影音频处理方法、装置及存储介质与流程

技术特征：
1.一种基于外挂ad音轨的盲人无障碍电影音频处理方法，其特征在于，包括：获取正片的媒体数据流和外挂ad音轨的媒体数据流；基于正片的媒体数据流解析分离得到正片视频帧队列q
videoes
、正片音频帧队列q
audioes
，并基于外挂ad音轨的媒体数据流解析分离得到ad轨音频帧队列q
audioes
，并完成正片视频帧队列q
videoes
、正片音频帧队列q
audioes
和ad轨音频帧队列q
audioes
的时间轴同步；基于正片音频帧队列q
audioes
提取正片处理段pcm数据帧序列，并基于ad轨音频帧队列q
audioes
提取ad轨处理段pcm数据帧序列；对ad轨处理段pcm数据帧序列进行语音活动检测，得到每一帧的语音活动状态，其中，所述语音活动状态为活动或不活动；对正片处理段pcm数据帧序列的每一帧计算音量，得到正片音量序列，并对该正片音量序列种的元素逐个计算移动平均值，得到正片平均音量序列；对ad轨处理段pcm数据帧序列中语音活动状态为不活动的帧修改为静音值，并对剩余帧逐个计算移动平均值，得到ad轨平均音量序列；基于语音活动检测结果逐帧调节正片平均音量序列和ad轨平均音量序列；基于处理得到的正片平均音量序列和ad轨平均音量序列生成待播放的音频。2.根据权利要求1所述的一种基于外挂ad音轨的盲人无障碍电影音频处理方法，其特征在于，所述基于语音活动检测结果逐帧调节正片平均音量序列和ad轨平均音量序列，具体包括：初始调节值生成步骤：逐帧确定正片平均音量序列和ad轨平均音量序列中每帧音量的相对调节幅度，得到正片相对调节值序列和ad轨相对调节值序列；音量调节步骤：根据正片相对调节值序列和ad轨相对调节值序列调节正片平均音量序列和ad轨平均音量序列。3.根据权利要求2所述的一种基于外挂ad音轨的盲人无障碍电影音频处理方法，其特征在于，所述正片相对调节值序列和ad轨相对调节值序列中任一帧的调节值的确定过程如下：当该帧的语音活动状态为不活动时，正片相对调节值和ad轨相对调节值均为0；当该帧的语音活动状态为活动时，则计算该帧的正片平均音量和ad轨平均音量的差值：若该帧的正片平均音量和ad轨平均音量的差值小于-10，则正片相对调节值和ad轨相对调节值均为0；若该帧的正片平均音量和ad轨平均音量的差值小于在-10到0之间，ad轨相对调节值为0，正片相对调节值为d
movie
＝l
ad
'(t)-l
movie
'(t)-10，其中，d
movie
为正片相对调节值，l
ad
'(t)为ad轨平均音量，l
movie
'(t)为正片平均音量；若该帧的正片平均音量和ad轨平均音量的差值小于在0到10之间，则正片相对调节值为-10，ad轨相对调节值为d
ad
(t)＝l
movie
'(t)-l
ad
'(t)-10；若该帧的正片平均音量和ad轨平均音量的差值大于10，则正片相对调节值为-10，ad轨相对调节值为10。4.根据权利要求2所述的一种基于外挂ad音轨的盲人无障碍电影音频处理方法，其特征在于，所述基于语音活动检测结果逐帧调节正片平均音量序列和ad轨平均音量序列，还
包括：调节值优化步骤：对由初始调节值生成步骤得到的正片相对调节值序列和ad轨相对调节值序列进行平滑处理；所述音量调节步骤中具体为使用调节值优化步骤得到的结果进行音量调节。5.根据权利要求4所述的一种基于外挂ad音轨的盲人无障碍电影音频处理方法，其特征在于，所述平滑处理处理的过程具体为：征在于，所述平滑处理处理的过程具体为：其中：d
movie
为平滑处理前的正片相对调节值，d
movie’为平滑处理后的正片相对调节值，d
ad
为平滑处理前的ad轨相对调节值，d
ad’为平滑处理后的ad轨相对调节值，n为步长，i为正片相对调节值的序号。6.根据权利要求4所述的一种基于外挂ad音轨的盲人无障碍电影音频处理方法，其特征在于，所述步长由淡入淡出窗口长度确定。7.根据权利要求1所述的一种基于外挂ad音轨的盲人无障碍电影音频处理方法，其特征在于，所述正片处理段pcm数据帧序列和ad轨处理段pcm数据帧序列共提取有多个。8.根据权利要求7所述的一种基于外挂ad音轨的盲人无障碍电影音频处理方法，其特征在于，所有pcm数据帧序列和ad轨处理段pcm数据帧序列的长度相等。9.一种基于外挂ad音轨的盲人无障碍电影音频处理装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的方法。

技术总结
本发明涉及一种盲人无障碍电影音频处理方法、装置及存储介质，其中方法包括：分离得到正片视频帧队列Q


技术研发人员：沈德荣 佘奕龙 潘磊 邱志飞 魏祯
受保护的技术使用者：百视通网络电视技术发展有限责任公司
技术研发日：2022.11.07
技术公布日：2023/2/3