音频数据处理方法、装置、设备以及可读存储介质与流程
本技术涉及计算机,具体涉及一种音频数据处理方法、装置、设备以及可读存储介质。
背景技术:
1、信息技术的发展推动了音频行业的发展,单声道音频已经无法满足使用对象的听觉效果需求,因而,音频业务行业推出了双声道音频数据。具体的,通过调整左、右声道的音频数据,以形成不同双声道的音频数据,从而达到空间立体音效,满足对象的空间立体音效的需求。因此,左、右声道的音频数据的调整,对空间立体音效的形成尤为重要。
2、相关技术通过空间音频能力,在虚拟空间中模拟构建出目标对象对应的本地虚拟对象以及其他虚拟对象,并根据其他虚拟对象在虚拟空间中的坐标位置,调整耳机的左、右声道的音频音量大小,比如,当其他虚拟对象位于本地虚拟对象的左边时,目标对象的左边耳机的声音会更强烈一些,当其他虚拟对象位于本地虚拟对象的右边时,目标对象的右边耳机的声音会更强烈一些,如此,可形成空间立体感音效。
3、然而,在相关技术中,当目标对象仅佩戴单侧耳机时,由于左、右声道的音频数据不同,可能会出现佩戴的耳机仅播放部分音频或者完全没有播放音频声音的现象,导致对象无法准确的听到音频声音,导致音频播放效果差甚至失败,严重影响了对象的体验。
技术实现思路
1、本技术提供一种音频数据处理方法、装置、设备以及可读存储介质,能够根据对象的耳机佩戴方式自动且灵活的调整声道音频数据,使得对象在单耳佩戴模式下能够清楚听到音频声音,提升了音频数据处理的效率,并提高目标对象体验。
2、为解决上述技术问题,本技术提供以下技术方案:
3、本技术实施例提供一种音频数据处理方法,包括:
4、获取待播放的音频数据,所述音频数据包含多个音频帧对,每个音频帧对包含左声道音频帧和右声道音频帧;
5、识别目标对象针对音频播放设备的佩戴模式,所述音频播放设备包括左音频播放设备和右音频播放设备;
6、当所述佩戴模式为单耳佩戴模式时,确定每个音频帧对中所述左声道音频帧与所述右声道音频帧之间的声道音量差;
7、基于每个音频帧对的声道音量差确定所述音频数据的声道差累计值,并根据所述声道差累计值确定所述音频数据的左右声道相似状态;
8、根据所述左右声道相似状态和所述音频数据,生成子音频播放设备的目标音频数据,并通过所述子音频播放设备播放所述目标音频数据,所述子音频播放设备为左音频播放设备或右音频播放设备。
9、相应的,本技术实施例提供一种音频数据处理装置,包括:
10、获取单元,用于获取待播放的音频数据,所述音频数据包含多个音频帧对,每个音频帧对包含左声道音频帧和右声道音频帧;
11、识别单元,用于识别目标对象针对音频播放设备的佩戴模式,所述音频播放设备包括左音频播放设备和右音频播放设备;
12、第一确定单元,用于当所述佩戴模式为单耳佩戴模式时,确定每个音频帧对中所述左声道音频帧与所述右声道音频帧之间的声道音量差;
13、第二确定单元,用于基于每个音频帧对的声道音量差确定所述音频数据的声道差累计值,并根据所述声道差累计值确定所述音频数据的左右声道相似状态;
14、生成单元,用于根据所述左右声道相似状态和所述音频数据,生成子音频播放设备的目标音频数据,并通过所述子音频播放设备播放所述目标音频数据,所述子音频播放设备为左音频播放设备或右音频播放设备。
15、在一些实施方式中,所述生成单元,还用于:
16、当根据所述声道相似状态确定所述音频数据中左声道音频数据与右声道音频数据一致时,根据子音频播放设备的声道属性,将所述音频数据中的所述左声道音频数据或所述右声道音频数据确定为所述子音频播放设备的目标音频数据;
17、当根据所述声道相似状态确定所述音频数据中左声道音频数据与右声道音频数据不一致时,根据子音频播放设备的声道属性、以及所述左声道音频数据和所述右声道音频数据的音频内容状态,生成所述子音频播放设备的目标音频数据。
18、在一些实施方式中,所述生成单元,还用于:
19、当检测到子音频播放设备对应的声道音频数据的音频内容状态为静音音频状态时,基于所述子音频播放设备的声道属性,将未佩戴的目标子音频播放设备的声道音频数据确定为所述子音频播放设备的目标音频数据;
20、当检测到所述左声道音频数据和所述右声道音频数据的音频内容状态都为有效音频状态时,将所述左声道音频数据和所述右声道音频数据融合得到目标融合音频数据,并根据所述子音频播放设备的声道属性、以及所述目标融合音频数据生成所述子音频播放设备的目标音频数据。
21、在一些实施方式中,所述生成单元,还用于:
22、确定所述子音频播放设备对应的第一声道属性,以及所述目标子音频播放设备的第二声道属性;
23、获取所述第一声道属性对应的第一音量融合权重,以及所述第二声道属性对应的第二音量融合权重,所述第一音量融合权重大于所述第二音量融合权重;
24、按照所述第一音量融合权重和所述第二音量融合权重,将所述左声道音频数据和所述右声道音频数据进行融合,得到融合后的目标融合音频数据。
25、在一些实施方式中,所述音频数据处理装置还包括调整单元,用于:
26、根据所述目标子音频播放设备的声道属性,将所述目标子音频播放设备的声道音频数据替换为静音数据。
27、在一些实施方式中,所述音频数据处理装置还包括音量处理单元,用于:
28、根据所述目标音频数据,确定所述子音频播放设备的业务类型状态;
29、当所述业务类型状态为语音通话状态时,将所述目标音频数据的音量进行增强,得到增强处理后的目标音频数据。
30、在一些实施方式中,所述音量处理单元,还用于:
31、确定所述目标对象所在位置的环境场所信息;
32、当识别到所述环境场所信息为运动场信息时,对所述目标音频数据进行增益处理,得到增益处理后的目标音频数据。
33、在一些实施方式中,所述音量处理单元,用于:
34、获取所述目标对象周边的目标环境声音数据,并识别所述目标环境声音数据对应的目标环境音量值;
35、识别所述目标音频数据对应的目标音量值;
36、当所述目标环境音量值大于预设环境音量阈值时,根据所述目标环境音量值从预设播放音频音量值表查询对应的目标参考音量值,其中,所述预设播放音频音量值表包含多个环境音量值以及每个环境音量值关联的参考音量值;
37、当所述目标音量值小于所述目标参考音量值时,按照所述目标参考音量值调大所述目标音频数据的音量,得到调大音量后的目标音频数据。
38、在一些实施方式中,所述音量处理单元,还用于:
39、获取所述目标对象的目标耳部生理数据;
40、根据所述目标耳部生理数据,从预设健康音量表中匹配对应的目标健康音量值,其中,所述预设健康音量表中多个健康音量值以及每个健康音量值对应的耳部生理数据;
41、根据所述目标健康音量值调整所述目标音频数据的音量,得到调整后的目标音频数据。
42、在一些实施方式中,所述第一确定单元,还用于:
43、针对每个音频帧对,将所述左声道音频帧转化为目标比特深度的左声道音量系数序列,以及将所述右声道音频帧转化为所述目标比特深度的右声道音量系数序列;
44、将所述左声道音量系数序列中最大的左声道音量系数确定为所述左声道音频帧的左声道音量值,以及将所述右声道音量系数序列中最大的右声道音量系数确定为所述右声道音频帧的右声道音量值;
45、根据所述左声道音量值与所述右声道音量值之差,确定对应的所述音频帧对的声道音量差。
46、在一些实施方式中,所述第一确定单元,还用于:
47、当所述声道差累计值大于或等于预设声道差阈值时,确定所述音频数据的左右声道相似状态为左声道音频数据与右声道音频数据不一致;
48、当所述声道差累计值小于预设声道差阈值时,确定所述音频数据的左右声道相似状态为左声道音频数据与右声道音频数据一致。
49、在一些实施方式中,所述识别单元,还用于:
50、获取待识别图像;
51、当根据所述待识别图像中的像素特征值确定包含所述目标对象的人脸特征时,确定所述待识别图像中所述人脸特征对应的人脸图像窗口;
52、通过像素特征对比方式从所述人脸图像窗口中识别所述目标对象针对音频播放设备的佩戴模式。
53、在一些实施方式中,所述识别单元,还用于:
54、通过像素特征对比方式,从所述人脸图像窗口确定两个耳部像素窗口;
55、获取每个所述耳部像素窗口内的像素特征值总和;
56、基于每个所述耳部像素窗口内的像素特征值总和,确定所述目标对象针对音频播放设备的佩戴模式。
57、在一些实施方式中,所述识别单元,还用于:
58、获取待识别图像;
59、当检测到所述待识别图像中包含目标对象的人脸特征时,从所述待识别图像中选定所述目标对象的脸部图像区域;
60、当检测到所述脸部图像区域内包含音频播放设备时,确定所述左音频播放设备与所述脸部图像区域内的左耳区域之间的第一位置贴合度,以及所述右音频播放设备与所述脸部图像区域内的右耳区域之间的第二位置贴合度;
61、根据所述第一位置贴合度和所述第二位置贴合度,识别所述目标对象针对音频播放设备的佩戴模式。
62、在一些实施方式中,所述音频数据处理装置还包括双声道播放单元,用于:
63、当所述佩戴模式为双耳佩戴模式时,将所述音频数据的左声道音频数据和右声道音频数据分别作为所述左音频播放设备和所述右音频播放设备的目标音频数据进行播放。
64、此外,本技术实施例还提供一种计算机设备,包括存储器、处理器以及存储在存储器中并可以在处理器上运行的计算机程序,处理器执行计算机程序时实现上述音频数据处理方法。
65、此外,本技术实施例还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序适于处理器进行加载,以执行上述音频数据处理方法。
66、此外,本技术实施例还提供一种计算机程序产品,计算机程序产品包括计算机程序,计算机程序可存储在存储介质中。计算机设备的处理器从存储介质读取计算机程序,并执行计算机程序,使得实现上述音频数据处理方法。
67、本技术实施例中,通过获取待播放的音频数据,音频数据包含多个音频帧对,每个音频帧对包含左声道音频帧和右声道音频帧;识别目标对象针对音频播放设备的佩戴模式,音频播放设备包括左音频播放设备和右音频播放设备;当佩戴模式为单耳佩戴模式时,确定每个音频帧对中左声道音频帧与右声道音频帧之间的声道音量差;基于每个音频帧对的声道音量差确定音频数据的声道差累计值,并根据声道差累计值确定音频数据的左右声道相似状态;根据左右声道相似状态和音频数据,生成子音频播放设备的目标音频数据,并通过子音频播放设备播放目标音频数据,子音频播放设备为左音频播放设备或右音频播放设备。
68、以此,在获取到待播放的音频数据后,先识别目标对象对音频播放设备的佩戴模式,该音频播放设备包括左音频播放设备和右音频播放设备,在识别到佩戴模式为单耳佩戴,即目标对象仅佩戴单个子音频播放设备时,计算音频数据中每个音频帧对的左声道音频帧与右声道音频帧之间的声道音量差,然后,根据每个音频帧对的声道音量差来统计音频数据的声道差累计值,进而,根据声道差累计值来判断音频数据的声道相似状态,即确定左声道音频数据和右声道音频数据是否一致,最后,根据声道相似状态和音频数据来确定单耳佩戴模式下的子音频播放设备的目标音频数据,以便在子音频播放设备进行播放;因此,在播放音频数据时,可考虑目标对象的耳机佩戴方式,并在目标对象仅佩戴单个耳机情况时,通过识别音频数据的左右声道音频数据是否一致,以及子音频播放设备处于的耳机方位状态,来自动生成子音频播放设备的目标音频数据,如此,实现自动且灵活的调整声道音频数据,使得目标对象在单耳佩戴模式下能够清楚听到音频声音,提升了音频数据处理的效率,并提高目标对象体验。
69、本技术的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本技术而了解。本技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com