移动声卡内录与视频拍摄同步合成方法与流程

摘要: 本发明涉及音视频处理,具体为移动声卡内录与视频拍摄同步合成方法。背景技术:1、随着短视频、网络直播、音乐视频拍摄以及移动内容创作的快速发展,用户越来越频繁地使用...
移动声卡内录与视频拍摄同步合成方法与流程

本发明涉及音视频处理,具体为移动声卡内录与视频拍摄同步合成方法。

背景技术:

1、随着短视频、网络直播、音乐视频拍摄以及移动内容创作的快速发展,用户越来越频繁地使用智能手机或平板电脑等移动终端进行视频拍摄与乐器演奏记录。在常规的视频拍摄流程中,最基础的音频录制方式是直接依赖移动终端的内置麦克风。然而,内置麦克风在采集距离、环境噪声抑制、动态范围处理、音色还原以及音源分离能力等方面存在物理与技术局限,难以满足专业级的高质量声音采集需求。

2、为了提升视频原声的音质,现有的解决方案通常引入外置移动声卡设备。一种常见方式是通过通用串行总线(如usb-c)将移动声卡与移动终端进行物理连接,将声卡采集的音频信号实时输入至移动终端内部。这种有线连接方式虽然在一定程度上保障了音质,但在手持拍摄、运动跟拍、搭载手机云台以及户外移动等拍摄场景下,线缆严重限制了移动终端的活动空间与操作便利性。同时,有线实时传输容易受到移动终端操作系统兼容性、底层音频焦点冲突以及链路延迟的影响,存在录音中断或音画错位的风险。

3、针对有线连接的物理束缚问题,目前业内引入了配套的无线音频接收器(如wireless audio receiver或universal wireless audio receiver)接入移动终端,用于接收移动声卡端输出的人声与伴奏混合音频。该方案虽然提升了拍摄时的空间自由度,但其本质依然属于实时传输录制。音频信号在经过无线音频链路的空口传输以及移动终端操作系统的底层录音路径时,不可避免地会遭遇重采样、动态范围压缩或信道干扰损耗。此外,该方式通常只能向移动终端传输混合后的立体声数据,丧失了在声卡端独立采集的人声、伴奏、鼓点或乐器等原始分轨信息,导致后期无法进行深度的分轨编辑与混音处理,其实际录音规格仍不属于高质量目标音频。

4、综上所述,现有的移动端音视频采集技术在拍摄操作的无线便利性与高质量多轨音频的获取之间存在技术矛盾。内置麦克风与无线音频接收器所获取的音频受限于传输链路,更适合作为参考音频;而真正的高质量多源音频需要外置移动声卡设备在本地存储介质中独立执行高规格内录。

5、因此,本领域亟需一种能够在保持移动终端无线灵活拍摄的同时,实现外置设备独立内录,并在拍摄结束后自动完成源文件关联导入、高精度时钟对齐以及视音频流同步替换、混合或叠加的合成处理方案。

技术实现思路

1、针对现有技术的不足,本发明提供了移动声卡内录与视频拍摄同步合成方法,解决了移动端视频拍摄时无法兼顾无线的操作便利性与声卡端高质量多源内录的技术矛盾,以及设备端本地内录且不依赖移动终端实时录音链路后音视频文件难以自动精准对齐与合成的问题。

2、为实现以上目的,本发明通过以下技术方案予以实现:移动声卡内录与视频拍摄同步合成方法,包括以下步骤:

3、移动终端响应于拍摄触发指令,创建拍摄会话并生成会话标识,通过控制链路将所述会话标识发送至外置移动声卡设备;

4、所述移动终端采集绑定有所述会话标识的视频数据及参考音频,同时所述外置移动声卡设备采集目标音频数据,并在拍摄结束时保存为元数据中携带所述会话标识的录音文件;

5、所述移动终端依据所述会话标识对所述外置移动声卡设备内的各个录音文件进行匹配,匹配成功后传输对应的所述录音文件至所述移动终端;

6、所述移动终端提取所述参考音频的声学特征以及所述录音文件的声学特征并执行对比,计算得出初始时间偏移量,基于所述初始时间偏移量对所述录音文件执行延迟补偿,并对所述录音文件执行时钟漂移校正处理,得到完成对齐处理的录音文件;

7、所述移动终端利用所述完成对齐处理的录音文件替换、混合或叠加所述视频数据中的原始音频或参考音频并重新封装,输出目标音视频合成文件。

8、优选的,所述创建拍摄会话并生成会话标识,包括:

9、获取所述移动终端响应所述拍摄触发指令时的系统时间、设备标识、应用实例标识、伪随机序列、递增计数值或其任意组合;

10、将所述系统时间、设备标识、应用实例标识、伪随机序列、递增计数值或其任意组合进行拼接,并利用单向散列算法或唯一标识生成算法生成全局唯一的所述会话标识。

11、优选的,所述移动终端依据所述会话标识对所述外置移动声卡设备内的各个录音文件进行匹配,包括:

12、提取所述视频数据绑定的所述会话标识,与所述外置移动声卡设备内部的各个录音文件元数据中携带的会话标识进行精确字符串比对,若比对结果相同则直接判定匹配成功;

13、若会话标识匹配失败,则启动降级候选匹配机制,分别计算所述视频数据的创建时间与对应录音文件的创建时间的绝对差值,以及对比所述视频数据时长与对应录音文件时长的时长差值;

14、在所述时间绝对差值与所述时长差值均小于预设的时间阈值时,将对应的所述录音文件列为候选文件;

15、提取所述参考音频的声学特征与所述候选文件的音频片段生成的目标声学特征进行相似度计算,得到相似度指标,若所述相似度指标大于预设的相似度阈值,则判定匹配成功。

16、优选的,所述提取所述参考音频的声学特征与所述候选文件的音频片段生成的目标声学特征进行相似度计算,包括:

17、分别提取所述参考音频与所述候选文件的声学特征,所述声学特征包括波形包络、短时能量、频谱特征、梅尔频率倒谱系数、节拍特征、音频指纹或其任意组合;

18、利用余弦相似度计算函数、互相关算法、音频指纹匹配算法或其任意组合评估两组所述声学特征的一致性,得出所述相似度指标。

19、优选的,所述计算得出初始时间偏移量,基于所述初始时间偏移量对所述录音文件执行延迟补偿,包括:

20、基于音频特征比对、参考音频与录音文件的波形相关性、控制链路时间戳、预设链路延迟参数或其任意组合,确定时间差或时间偏移量;

21、读取控制链路底层通信协议中的录制指令发送时间、确认应答时间、设备响应时间或预设链路延迟参数,获取指令传输延迟时间;

22、将所述时间差或时间偏移量减去所述指令传输延迟时间,得到用于延迟补偿的所述初始时间偏移量。

23、优选的,所述对所述录音文件执行时钟漂移校正处理,包括:

24、截取所述参考音频与所述录音文件末端的特征片段再次执行互相关算法,计算得出末端时间偏移量;

25、结合所述末端时间偏移量、所述初始时间偏移量以及所述视频数据的总时长,计算得出时钟漂移率;

26、在所述时钟漂移率的绝对值大于预设的漂移阈值时,根据所述时钟漂移率与预设的重采样阈值的比对结果选择对应的校正算法对所述录音文件执行漂移校正;

27、其中,若所述时钟漂移率小于或等于所述重采样阈值,利用重采样算法微调所述录音文件的采样频率;

28、若所述时钟漂移率大于所述重采样阈值,调用时间拉伸算法,通过波形相似叠加机制在时域上拉伸或压缩所述录音文件的物理长度。

29、优选的,所述移动终端利用所述完成对齐处理的录音文件替换、混合或叠加所述视频数据中的原始音频或参考音频并重新封装,包括:

30、在所述完成对齐处理的录音文件为多轨文件或分轨编组文件时,读取文件元数据中记录的轨道角色信息,并对多条音频轨道执行时域线性加权叠加,得到叠加后音频信号;

31、提取所述叠加后音频信号的全局最大峰值,并根据所述全局最大峰值对所述叠加后音频信号执行动态范围压缩或峰值归一化处理,将混合后的音频信号峰值限制在预设的安全阈值以内;

32、将经过所述动态范围压缩或峰值归一化处理后的音频信号映射至所述视频数据包含的视频画面帧数据流的全局时间轴上,与所述视频画面帧数据流进行音视频交织复用处理生成所述目标音视频合成文件。

33、优选的,在所述匹配成功后传输对应的所述录音文件至所述移动终端之后,还包括:

34、所述移动终端对接收到的所述录音文件的数据负载执行循环冗余校验计算,生成接收端校验值;

35、将所述接收端校验值与所述录音文件元数据中携带的源端校验值进行对比,若所述接收端校验值与所述源端校验值不相同,所述移动终端保留所述外置移动声卡设备内的源文件,并向所述外置移动声卡设备重新发送文件传输请求。

36、优选的,在所述移动终端提取所述参考音频的声学特征以及所述录音文件的声学特征之前,还包括:

37、对所述参考音频与所述录音文件执行预处理,所述预处理操作包括降采样处理、单声道转换与带通滤波;

38、其中,所述降采样处理将音频数据的采样率统一降低至预设值;

39、所述单声道转换将多轨或立体声音频合并为单通道数据;

40、所述带通滤波用于滤除低于预设低频阈值的频段与高于预设高频阈值的频段。

41、优选的,所述通过控制链路将所述会话标识发送至外置移动声卡设备,包括:

42、所述移动终端将生成的所述会话标识封装为控制通信数据包,经由确立的所述控制链路发送至所述外置移动声卡设备;

43、所述外置移动声卡设备解析所述控制通信数据包,提取所述会话标识并暂存于设备的本地缓存中,在所述拍摄结束时将所述会话标识直接写入生成的所述录音文件的文件头或元数据内。

44、本发明提供了移动声卡内录与视频拍摄同步合成方法。具备以下有益效果:

45、1、本发明通过采用设备端本地内录且不依赖移动终端实时录音链路的采集机制,由移动终端负责视频与参考音频的记录,外置移动声卡设备独立执行目标音频的本地内录,解除了移动终端与外置声卡之间依赖线缆连接的限制,提高了拍摄时的移动自由度,同时,外置声卡直接本地记录多源信号,避免了音频数据经过无线音频链路传输或移动终端系统录音路径时产生的数据压缩与音质损耗,保证了音频文件的质量。

46、2、本发明通过在拍摄前下发会话标识建立两端设备的数据关联,并结合声学特征对比与补偿算法完成后期音视频整合,系统提取参考音频与内录音频的声学特征进行计算,得出初始时间偏移量以进行链路延迟补偿,并针对长视频录制引入时钟漂移校正机制,在无物理同步线的条件下解决了设备间时钟偏差导致的声画错位问题,实现了文件的自动对齐,减少了后期手动对齐的操作步骤。

47、3、本发明通过引入基于时间阈值与音频指纹的降级匹配机制以及循环冗余数据校验逻辑,在录制中出现通信断开或文件传输异常等工况时,移动终端仍能准确关联源文件并完成断点重试与数据验证,提高了系统的容错能力,同时,本发明在文件混合阶段支持立体声主干与分轨编组等格式导出,既满足了移动端快速封装成片的需求,也为后期的多轨编辑提供了数据支持。