视频编码方法、装置、介质、电子设备及程序产品与流程
本申请属于多媒体,具体涉及一种视频编码方法、视频编码装置、计算机可读介质、电子设备以及计算机程序产品。
背景技术:
1、随着信息技术的飞速发展,视频在人们生活和工作的各个领域扮演着越来越重要的角色。无论是在线视频流媒体、视频会议,还是视频监控等场景,都对视频的存储和传输提出了极高的要求。
2、现有的视频编解码技术在实现视频压缩方面取得了一定的成果,能够在一定程度上减少视频数据的存储空间和传输带宽需求。然而,这些技术在对具有一定时长的视频进行压缩编码时,从头至尾都会采用完全相同的编码规则,忽视了视频内容的差异性对于编码结果的影响,因而导致编码效率低下的问题。
技术实现思路
1、本申请提供一种视频编码方法、视频编码装置、计算机可读介质、电子设备以及计算机程序产品,目的在于提高视频编码效率。
2、本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
3、根据本申请实施例的一个方面,提供一种视频编码方法,所述方法包括:获取待编码的视频帧;从所述视频帧中选取第一图像区域,所述第一图像区域是包含前景图像的区域;从所述视频帧中选取第二图像区域,所述第二图像区域是在指定特征类型上具有特征显著性的区域;将所述第一图像区域与所述第二图像区域融合,得到感兴趣区域;对所述感兴趣区域和所述视频帧中的非感兴趣区域进行差异化编码。
4、根据本申请实施例的一个方面,提供一种视频编码装置,所述装置包括:
5、获取模块,被配置为获取待编码的视频帧;
6、第一选取模块,被配置为从所述视频帧中选取第一图像区域,所述第一图像区域是包含前景图像的区域;
7、第二选取模块,被配置为从所述视频帧中选取第二图像区域,所述第二图像区域是在指定特征类型上具有特征显著性的区域;
8、融合模块,被配置为将所述第一图像区域与所述第二图像区域融合,得到感兴趣区域;
9、编码模块,被配置为对所述感兴趣区域和所述视频帧中的非感兴趣区域进行差异化编码。
10、在本申请的一些实施例中,基于以上技术方案,所述第一选取模块包括:
11、语义识别模块,被配置为对所述视频帧中包含的图像内容进行语义识别,得到所述图像内容的语义类型;
12、前景选定模块,被配置为根据所述语义类型,将对应于前景图像的图像内容选定为第一图像区域。
13、在本申请的一些实施例中,基于以上技术方案,所述前景选定模块进一步被配置为:获取与所述语义类型相对应的比例阈值,所述比例阈值与所述语义类型属于前景图像的置信度呈负相关关系;若具有所述语义类型的图像内容在所述视频帧中的区域占比大于所述比例阈值,则将所述图像内容选定为第一图像区域。
14、在本申请的一些实施例中,基于以上技术方案,所述指定特征类型包括图像内容的位置特征,所述位置特征包括所述图像内容在所述视频帧中的分布位置;所述第二选取模块进一步被配置为:根据所述图像内容在所述视频帧中的分布位置,获取所述图像内容的位置中心度,所述位置中心度用于表示所述图像内容的分布位置与所述视频帧的中心位置的接近程度;若所述图像内容的位置中心度大于预设的中心度阈值,则将所述图像内容选定为第二图像区域。
15、在本申请的一些实施例中,基于以上技术方案,所述指定特征类型包括图像内容的任务特征,所述任务特征包括所述图像内容用于实现的场景任务;所述第二选取模块进一步被配置为:获取与所述视频帧相对应的场景任务;检测所述图像内容的任务贡献度,所述任务贡献度用于表示所述图像内容对于实现所述场景任务的贡献程度;若所述图像内容的任务贡献度大于预设的贡献度阈值,则将所述图像内容选定为第二图像区域。
16、在本申请的一些实施例中,基于以上技术方案,所述指定特征类型包括图像内容的色彩特征;所述第二选取模块进一步被配置为:根据所述图像内容的色彩特征,确定所述图像内容的色彩强度;若所述图像内容的色彩强度大于预设的强度阈值,则将所述图像内容选定为第二图像区域。
17、在本申请的一些实施例中,基于以上技术方案,所述融合模块进一步被配置为:将所述第一图像区域与所述第二图像区域取并集,得到融合后的感兴趣区域。
18、在本申请的一些实施例中,基于以上技术方案,所述融合模块进一步被配置为:若所述视频帧为关键帧,则将所述第一图像区域与所述第二图像区域取并集,得到融合后的感兴趣区域;若所述视频帧为非关键帧,则将所述第一图像区域与所述第二图像区域取交集,得到融合后的感兴趣区域。
19、在本申请的一些实施例中,基于以上技术方案,对所述感兴趣区域和所述视频帧中的非感兴趣区域进行差异化编码的结果包括:所述感兴趣区域的码率大于所述非感兴趣区域的码率。
20、在本申请的一些实施例中,基于以上技术方案,所述编码模块进一步被配置为:以预设的第一码率作为最低码率,对所述感兴趣区域进行编码处理;以预设的第二码率作为最高码率,对所述视频帧中的非感兴趣区域进行编码处理,所述第二码率小于所述第一码率。
21、在本申请的一些实施例中,基于以上技术方案,所述视频帧中的非感兴趣区域包括与所述感兴趣区域相邻的过渡区域;所述编码模块进一步被配置为:以预设的第一码率作为最低码率,对所述感兴趣区域进行编码处理;以所述第一码率作为最高码率,并以预设的第二码率作为最低码率,对所述过渡区域进行编码处理,所述第二码率小于所述第一码率;以所述第二码率作为最高码率,对所述非感兴趣区域中的非过渡区域进行编码处理。
22、根据本申请实施例的一个方面,提供一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如以上技术方案中的视频编码方法。
23、根据本申请实施例的一个方面,提供一种电子设备,该电子设备包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器被配置为执行所述可执行指令来实现如以上技术方案中的视频编码方法。
24、根据本申请实施例的一个方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如以上技术方案中的视频编码方法。
25、在本申请实施例提供的技术方案中,首先获取待编码的视频帧,然后从视频帧中分别选取代表前景图像的区域和具有特征显著性的区域,将二者融合得到感兴趣区域之后,对感兴趣区域和视频帧中的非感兴趣区域进行差异化编码,本申请实施例从前景图像和特征显著性两个维度来对视频帧进行区域划分,并对感兴趣区域和非感兴趣区域进行差异化编码,实现了在压缩编码过程中基于视频内容的差异性来灵活使用不同的编码规则,因而能够提高提高视频编码效率和编码质量。
26、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
1.一种视频编码方法,其特征在于,所述方法包括:
2.根据权利要求1所述的视频编码方法,其特征在于,所述从所述视频帧中选取第一图像区域,包括:
3.根据权利要求2所述的视频编码方法,其特征在于,所述根据所述语义类型,将对应于前景图像的图像内容选定为第一图像区域,包括:
4.根据权利要求1所述的视频编码方法,其特征在于,所述指定特征类型包括图像内容的位置特征,所述位置特征包括所述图像内容在所述视频帧中的分布位置;所述从所述视频帧中选取第二图像区域,包括:
5.根据权利要求1所述的视频编码方法,其特征在于,所述指定特征类型包括图像内容的任务特征,所述任务特征包括所述图像内容用于实现的场景任务;所述从所述视频帧中选取第二图像区域,包括:
6.根据权利要求1所述的视频编码方法,其特征在于,所述指定特征类型包括图像内容的色彩特征;所述从所述视频帧中选取第二图像区域,包括:
7.根据权利要求1所述的视频编码方法,其特征在于,所述将所述第一图像区域与所述第二图像区域融合,得到感兴趣区域,包括:
8.根据权利要求1所述的视频编码方法,其特征在于,所述将所述第一图像区域与所述第二图像区域融合,得到感兴趣区域,包括:
9.根据权利要求1所述的视频编码方法,其特征在于,对所述感兴趣区域和所述视频帧中的非感兴趣区域进行差异化编码的结果包括:所述感兴趣区域的码率大于所述非感兴趣区域的码率。
10.根据权利要求1至9中任意一项所述的视频编码方法,其特征在于,所述对所述感兴趣区域和所述视频帧中的非感兴趣区域进行差异化编码,包括:
11.根据权利要求1至9中任意一项所述的视频编码方法,其特征在于,所述视频帧中的非感兴趣区域包括与所述感兴趣区域相邻的过渡区域;所述对所述感兴趣区域和所述视频帧中的非感兴趣区域进行差异化编码,包括:
12.一种视频编码装置,其特征在于,所述装置包括:
13.一种计算机可读介质,其特征在于,所述计算机可读介质上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至11中任意一项所述的视频编码方法。
14.一种电子设备,其特征在于,包括:
15.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任意一项所述的视频编码方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com