一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种信息处理方法、装置、计算机设备及存储介质与流程

2022-02-19 13:10:50 来源:中国专利 TAG:


1.本公开涉及计算机技术领域,具体而言,涉及一种信息处理方法、装置、计算机设备及存储介质。


背景技术:

2.在深度学习领域,面向视频的训练与推理有广泛的应用场景,用户端需要获取大量的视频数据作为训练数据或推理标的。但是在一些情况下,由于无法直接获得源视频文件,因此需要通过视频采集的方式获取视频数据。
3.相关技术中,在获取进行视频采集时,一般是以固定的采集帧率获取视频数据。然而由于无法得知源视频文件的帧率,因此以固定的采集帧率采集视频数据可能会出现重复采集和漏帧的情况。


技术实现要素:

4.本公开实施例至少提供一种信息处理方法、装置、计算机设备及存储介质。
5.第一方面,本公开实施例提供了一种信息处理方法,包括:
6.在视频帧的采集过程中,获取已采集的目标视频中的多帧视频帧,其中,所述已采集的目标视频为按照当前采集帧率采集的视频;
7.确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度;
8.基于所述相似度,对所述当前采集帧率进行调整,并按照新的当前目标采集帧率继续采集视频。
9.本公开实施例提供的信息处理方法,通过获取已采集的目标视频中的多帧视频帧,并确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度,然后基于所述相似度,可以对所述当前采集帧率进行调整,这样能够基于所述相似度,将所述当前采集帧率调整到与所述目标视频的原视频相匹配的帧率,进而可以避免重复采集或丢帧情况的发生。
10.一种可能的实施方式中,所述确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度,包括:
11.逐像素对比所述两帧相邻的视频帧,确定第一对比结果;
12.基于所述第一对比结果确定所述两帧相邻的视频帧之间的相似度。
13.通过逐像素对比两帧相邻的视频帧,可以精确的确定两帧视频帧之间的相似度。
14.一种可能的实施方式中,所述第一对比结果包括相同的像素点个数之和;
15.所述基于第一对比结果确定所述两帧相邻的视频帧之间的相似度,包括:
16.基于所述第一对比结果包括的相同的像素点个数之和,以及所述视频帧对应的像素个数,确定所述相似度。
17.一种可能的实施方式中,所述确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度,包括:
18.对所述两帧相邻的视频帧中的任一视频帧进行像素采样,确定第一目标像素点;
19.基于所述第一目标像素点的位置信息,确定所述两帧相邻的视频帧中除所述任一视频帧外的另一视频帧在所述位置信息上对应的第二目标像素点;
20.对比所述第一目标像素点和所述第二目标像素点,并基于第二对比结果确定所述两帧相邻的视频帧之间的相似度。
21.通过对视频帧进行像素采样,并基于像素采样的第一像素点以及对应的第二目标像素点确定所述相似度,可以提高相似度计算的效率。
22.一种可能的实施方式中,所述确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度,包括:
23.确定所述两帧相邻的视频帧对应的采样位置信息;
24.分别确定所述两帧相邻的视频帧在所述采样位置信息对应的目标像素点;
25.对比所述两帧相邻的视频帧在所述采样位置信息对应的目标像素点,确定第三对比结果;
26.基于所述第三对比结果确定所述两帧相邻的视频帧之间的相似度。
27.一种可能的实施方式中,所述确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度,包括:
28.分别确定所述两帧相邻的视频帧分别对应的特征向量;
29.计算所述两帧相邻的视频帧分别对应的特征向量之间的相似度,并将计算出的相似度作为所述多帧视频帧中每两帧相邻的视频帧之间的相似度。
30.通过计算视频帧的特征向量之间的相似度,可以避免进行多个像素对比的过程,进而可以在提高相似度计算速度的同时,提高相似度计算精度。
31.一种可能的实施方式中,所述在视频帧的采集过程中,获取已采集的目标视频中的多帧视频帧,包括:
32.在最近一次调整采集帧率后的第一预设时长后,获取最近一次调整采集帧率后采集的目标视频;
33.获取所述目标视频中的多帧视频帧。
34.通过这种方式,可以判断调整后的采集帧率是否与所述目标视频的源视频匹配。
35.一种可能的实施方式中,所述基于所述相似度,对所述当前采集帧率进行调整,包括:
36.当所述相似度满足预设条件时,按照预设调整幅度,减小所述当前采集帧率,将减小后的采集帧率作为当前采集帧率,并返回执行获取多帧视频帧的步骤。
37.一种可能的实施方式中,所述基于所述相似度,对所述当前采集帧率进行调整,包括:
38.确定与所述相似度对应的调整规则,并按照所述调整规则调整所述当前采集帧率。
39.一种可能的实施方式中,所述方法还包括:
40.在按照新的当前目标采集帧率采集第二预设时长的目标视频之后,调整采集帧率至首次调整前的大小,并重新执行调整帧率的步骤。
41.通过这种方式,可以在所述目标视频对应的源视频为浮动帧率的视频的情况下,避免重复采集或丢帧情况的发生。
42.第二方面,本公开实施例还提供一种信息处理装置,包括:
43.获取模块,用于在视频帧的采集过程中,获取已采集的目标视频中的多帧视频帧,其中,所述已采集的目标视频为按照当前采集帧率采集的视频;
44.确定模块,用于确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度;
45.调整模块,用于基于所述相似度,对所述当前采集帧率进行调整,并按照新的当前目标采集帧率继续采集视频。
46.一种可能的实施方式中,所述确定模块,在确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度时,用于:
47.逐像素对比所述两帧相邻的视频帧,确定第一对比结果;
48.基于所述第一对比结果确定所述两帧相邻的视频帧之间的相似度。
49.一种可能的实施方式中,所述第一对比结果包括相同的像素点个数之和;
50.所述确定模块,在所述基于第一对比结果确定所述两帧相邻的视频帧之间的相似度时,用于:
51.基于所述第一对比结果包括的相同的像素点个数之和,以及所述视频帧对应的像素个数,确定所述相似度。
52.一种可能的实施方式中,所述确定模块,在确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度时,用于:
53.对所述两帧相邻的视频帧中的任一视频帧进行像素采样,确定第一目标像素点;
54.基于所述第一目标像素点的位置信息,确定所述两帧相邻的视频帧中除所述任一视频帧外的另一视频帧在所述位置信息上对应的第二目标像素点;
55.对比所述第一目标像素点和所述第二目标像素点,并基于第二对比结果确定所述两帧相邻的视频帧之间的相似度。
56.一种可能的实施方式中,所述确定模块,在确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度时,用于:
57.确定所述两帧相邻的视频帧对应的采样位置信息;
58.分别确定所述两帧相邻的视频帧在所述采样位置信息对应的目标像素点;
59.对比所述两帧相邻的视频帧在所述采样位置信息对应的目标像素点,确定第三对比结果;
60.基于所述第三对比结果确定所述两帧相邻的视频帧之间的相似度。
61.一种可能的实施方式中,所述确定模块,在确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度时,用于:
62.分别确定所述两帧相邻的视频帧分别对应的特征向量;
63.计算所述两帧相邻的视频帧分别对应的特征向量之间的相似度,并将计算出的相似度作为所述多帧视频帧中每两帧相邻的视频帧之间的相似度。
64.一种可能的实施方式中,所述获取模块,在视频帧的采集过程中,获取已采集的目标视频中的多帧视频帧时,用于:
65.在最近一次调整采集帧率后的第一预设时长后,获取最近一次调整采集帧率后采集的目标视频;
66.获取所述目标视频中的多帧视频帧。
67.一种可能的实施方式中,所述调整模块,在基于所述相似度,对所述当前采集帧率进行调整时,用于:
68.当所述相似度满足预设条件时,按照预设调整幅度,减小所述当前采集帧率,将减小后的采集帧率作为当前采集帧率,并返回执行获取多帧视频帧的步骤。
69.一种可能的实施方式中,所述调整模块,在基于所述相似度,对所述当前采集帧率进行调整时,用于:
70.确定与所述相似度对应的调整规则,并按照所述调整规则调整所述当前采集帧率。
71.一种可能的实施方式中,所述调整模块,还用于:
72.在按照新的当前目标采集帧率采集第二预设时长的目标视频之后,调整采集帧率至首次调整前的大小,并重新执行调整帧率的步骤。
73.第三方面,本公开实施例还提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
74.第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
75.关于上述信息处理装置、计算机设备、及计算机可读存储介质的效果描述参见上述信息处理方法的说明,这里不再赘述。
76.为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
77.为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
78.图1示出了本公开实施例所提供的一种信息处理方法的流程图;
79.图2示出了本公开实施例所提供的一种信息处理装置的架构示意图;
80.图3示出了本公开实施例所提供的一种计算机设备的结构示意图。
具体实施方式
81.为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实
施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
82.在深度学习领域,面向视频的训练与推理有广泛的应用场景,用户端需要获取大量的视频数据作为训练数据或推理标的。但是在一些情况下,由于无法直接获得源视频文件,因此需要通过视频采集的方式获取视频数据。
83.相关技术中,在获取进行视频采集时,一般是以固定的采集帧率获取视频数据。然而由于无法得知源视频文件的帧率,因此以固定的采集帧率采集视频数据可能会出现重复采集和漏帧的情况。
84.基于上述研究,本公开提供了一种信息处理方法、装置、计算机设备及存储介质,通过获取已采集的目标视频中的多帧视频帧,并确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度,然后基于所述相似度,可以对所述当前采集帧率进行调整,这样能够基于所述相似度,将所述当前采集帧率调整到与所述目标视频的原视频相匹配的帧率,进而可以避免重复采集或丢帧情况的发生。
85.针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
86.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
87.为便于对本实施例进行理解,首先对本公开实施例所公开的一种数据处理方法进行详细介绍,本公开实施例所提供的数据展示方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(user equipment,ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(personal digital assistant,pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该信息处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
88.参见图1所示,为本公开实施例提供的信息处理方法的流程图,所述方法包括步骤101~步骤103,其中:
89.步骤101、在视频帧的采集过程中,获取已采集的目标视频中的多帧视频帧,其中,所述已采集的目标视频为按照当前采集帧率采集的视频。
90.步骤102、确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度。
91.步骤103、基于所述相似度,对所述当前采集帧率进行调整,并按照新的当前目标采集帧率继续采集视频。
92.以下是对上述步骤的详细说明。
93.针对步骤101、
94.一种可能的实施方式中,可以使用视频采集卡对所述目标视频进行采集。其中,所述视频采集卡可以将所述目标视频的模拟信号转变成数字信号(即0和1),并将这些数字信息存储在电脑硬盘上。基于采集芯片,完成所述模数转换过程。
95.所述帧率是指视频格式每秒钟播放的静态画面数量。所述目标视频为按照初始采集帧率采集的视频,所述目标视频每秒钟所包含的视频帧的数量为所述初始采集帧率。
96.一种可能的实施方式中,在初次对所述目标视频进行采集时,所述当前采集帧率为初始采集帧率,在基于初始采集帧率采集目标视频时,所述初始采集帧率一般选取高于一定帧率(如24帧)的数值,所述一定帧率可以包括电影帧率、电视帧率,然后在目标视频的采集过程中逐步降低采集帧率,直至达到与所述目标视频的源视频相匹配的帧率;若所述初始采集帧率设置较低,则可能会出现所述初始采集帧率低于所述目标视频的源视频的帧率的情况,从而可能会导致丢帧现象的发生。
97.在一种可能的实施方式中,所述在视频帧的采集过程中,获取已采集的目标视频中的多帧视频帧,可以是在最近一次调整所述当前采集帧率后的第一预设时长后,获取最近一次调整所述当前采集帧率后采集的目标视频,然后获取所述目标视频中的多帧视频帧。示例性的,所述第一预设时长为5秒,最近一次调整视频帧率的时刻为第30秒,则在第35秒时,获取第30秒到第35秒采集的目标视频。
98.这里需要说明的是,所述最近一次调整视频帧率的时刻为相对所述目标视频的源视频播放的时刻,或相对采集所述源视频的时刻。
99.一种可能的实施方式中,所述获取所述目标视频中的多帧视频帧,可以理解为获取预设个数相邻的多帧视频帧,示例性的,每n帧相邻的视频帧为一组,获取的多帧视频帧包括多组视频帧,每两组视频帧之间可以不相邻,n为大于等于2的正整数。或者,在另外一种可能的实施方式中,所述获取的目标视频中的多帧视频帧,为所述目标视频中所有的视频帧。
100.需要说明的是,获取的所述目标视频中的视频帧越多,在步骤102中计算相似度时越精确,在基于所述相似度调整当前帧率时也就越精确,但是获取的目标视频中的视频帧越多,计算速度越慢。
101.针对步骤102、
102.一种可能的实施方式中,在确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度时,可以通过以下方法中的任意一种:
103.方法一、
104.逐像素对比所述两帧相邻的视频帧,确定第一对比结果,然后基于所述第一对比结果确定所述两帧相邻的视频帧之间的相似度。
105.具体的,所述逐像素对比可以理解为位置相同或像素坐标相同的像素点之间的对比。一种可能的实施方式中,可以对位置相同或像素坐标相同的像素点进行异或运算,如果参与异或运算的两个像素点相同则所述异或运算的结果为1,如果参与异或运算的两个像素点不同则异或运算的结果为0,将所有异或运算的结果相加即可得到所述第一对比结果。
106.所述第一对比结果中可以包括相同的像素点个数之和,在基于所述第一对比结果确定所述相似度时,可以是基于所述相同的像素点个数之和以及所述视频帧对应的像素个数,确定所述相似度。
107.其中,所述目标视频的各视频帧对应的像素个数可以相同,均可以根据所述目标视频的分辨率确定,所述相似度示例性的可以为所述相同的像素点个数之和与所述任一视频帧中的像素点个数的比例。
108.这里,所述相同的像素点可以理解为是像素值相同的像素点,或者在rgb通道上取值均相同的像素点。
109.示例性的,如果采集的任一视频帧a包含100万个像素,采集的所述视频帧a相邻的视频帧为视频帧b,基于视频帧a中任一像素的位置,逐个与视频帧b中对应的像素比较。如果所述视频帧b中有70万个像素与所述视频帧a中的像素相同,则所述第一对比结果为70万,所述视频帧a与视频帧b的相似度为70%。
110.基于逐像素对比所述两帧相邻的视频帧的方法得到的所述相似度较高,但计算量大,效率低下,适合需要精确调节采集帧率的场合。
111.方法二、
112.先对所述两帧相邻的视频帧中的任一视频帧进行像素采样,确定第一目标像素点,然后基于所述第一目标像素点的位置信息,确定所述两帧相邻的视频帧中除所述任一视频帧外的另一视频帧在所述位置信息上对应的第二目标像素点,然后对比所述第一目标像素点和所述第二目标像素点,并基于第二对比结果确定所述两帧相邻的视频帧之间的相似度。
113.这里,所述对任一视频帧进行像素采样,可以是对所述任一视频帧随机进行采样,采样的第一目标像素点的个数可以是预设个数,或者也可以是按照所述任一视频帧的总像素个数的第一预设比例;或者所述对任一视频帧进行像素采样,可以是将所述任一视频帧等面积划分为m个栅格,然后将每一栅格的中心点作为采样的第一目标像素点,或者从每一栅格中随机采样k个像素点(或第二预设比例个数的像素点)作为所述第一目标像素点;其中,m、k为预设正整数。
114.其中,所述第一目标像素点的位置信息示例性的可以包括所述第一目标像素点的像素坐标。
115.其中,所述第二对比结果包括相同的像素点个数之和,所述第二对比结果的确定方法可以与上述方法一中第一对比结果的确定方法相同。在基于第二对比结果确定所述相似度时,可以将所述第二对比结果中相同的像素点个数之和与所述第一目标像素点的个数(或所述第二目标像素点的个数)之间的比值作为所述相似度。
116.示例性的,如果采集的任一视频帧c包含100万个像素,采集的所述视频帧c相邻的视频帧为视频帧d,获取视频帧c中的任意10%的像素作为所述第一目标像素点(第一目标像素点的个数为10万),基于视频帧c中所述第一目标像素点的位置信息,确定对应的所述视频帧d中的所述第二目标像素点(确定的第二目标像素点的个数也为10万)。将所述第一目标像素点逐个与所述第二目标像素点进行对应比较,如果所述第二目标像素点中有5万个像素点与所述第一目标像素点相同,则所述第二对比结果为5万,所述视频帧c与视频帧d的相似度为5万
÷
10万=50%。
117.基于采样像素对比所述两帧相邻的视频帧的方法得到的所述相似度,可以通过调节对所述两帧相邻的视频帧中的任一视频帧进行像素采样的比例,这种方法计算量较小,但是精度较低,例如相邻的视频帧是不同的,但是恰巧随机采样的第一目标像素点和第二目标像素点完全相同,则在这种情况下基于方法二中所述的方法进行计算,确定的相邻的两帧视频帧相似度为100%。
118.方法三、
119.可以先确定所述两帧相邻的视频帧对应的采样位置信息,然后分别确定所述两帧相邻的视频帧在所述采样位置信息对应的目标像素点;再对比所述两帧相邻的视频帧在所
述采样位置信息对应的目标像素点,确定第三对比结果;然后基于所述第三对比结果确定所述两帧相邻的视频帧之间的相似度。
120.这里,所述两帧相邻的视频帧对应的采样位置信息,示例性的可以是指在所述视频帧的像素坐标系中的坐标,具体的,可以先基于所述视频帧的分辨率,确定所述采样位置信息的坐标范围,然后在该坐标范围内随机采样得到所述采样位置信息。
121.所述第三对比结果中可以包括相同的目标像素点个数,在基于所述第三对比结果确定所述相似度时,可以将所述第三对比结果中包括的相同的目标像素点个数与所述采样位置信息包含的采样位置的个数之间的比值,作为所述相似度。具体的,所述第三对比结果的确定方法可以参照方法一中第一对比结果的确定方法,在此将不再赘述。
122.方法四、
123.分别确定所述两帧相邻的视频帧分别对应的特征向量,然后计算两帧相邻的视频帧分别对应的特征向量之间的相似度,并将计算出的相似度作为所述多帧视频帧中每两帧相邻的视频帧之间的相似度。
124.这里,所述确定两帧相邻的视频帧分别对应的特征向量,可以是将所述两帧相邻的视频帧分别输入至预先训练的特征提取网络中,得到所述两帧相邻的视频帧分别对应的特征向量。
125.具体的,所述特征提取网络可以是基于多个样本图像组,以及所述样本图像组的标签信息训练得到的,每个样本图像组中包括多张样本图像,所述样本图像组的标签信息可以用来表示该样本图像组中的多张样本图像是否一致,具体的特征提取网络的训练过程将不再展开描述。
126.在一种可能的实施方式中,在计算所述两帧相邻的视频帧分别对应的特征向量之间的相似度时,示例性的可以计算两个特征向量之间的欧氏距离、余弦夹角、马氏距离等,对于其他可以计算特征向量的相似度的方法也可以适用于本公开所提供的方法。
127.实际应用中,基于上述何种方法确定相似度可以基于视频类型来确定,示例性的,若目标视频的视频变化幅度较小,则可以采用上述方法一来确定相似度,若目标视频的视频变化幅度较大,则可以采用上述方法二~方法四中任一种方法来确定相似度。
128.针对步骤103、
129.一种可能的实施方式中,在基于所述相似度,对所述当前采集帧率进行调整时,可以是当所述相似度满足预设条件时,按照预设调整幅度,减小所述当前采集帧率,然后将新的当前目标采集帧率作为当前采集帧率,并返回执行获取多帧视频帧的步骤。
130.由于这里调整所述当前采集帧率的目的在于由于当前的采集帧率过高,导致采集多张重复的视频帧,因此所述预设条件可以包括相似度达到100%。所述预设调整幅度可以包括,按预设数值降低采集帧率或者按照比例降低采集帧率。
131.一种可能的实施方式中,在第一次采集帧率后,当所述相似度满足预设条件时,调整当前采集帧率之后,返回执行获取多帧视频帧的步骤后,即返回执行步骤101~步骤103的步骤,直至所述相似度不满足预设条件。
132.这里,需要说明的是,为了避免丢帧情况的发生,所述调整当前采集帧率的幅度较小。
133.在一种可能的实施方式中,当检测到所述相似度不满足预设条件时,可以直接按
照当前采集帧率一直采集所述目标视频,或者,可以按照当前采集帧率,从所述目标视频的源视频的开始时刻重新采集所述目标视频。
134.在另外一种可能的实施方式中,所述当前采集帧率在调整之前,所述相似度可能满足所述预设条件,但是调整所述当前采集帧率之后,所述相似度可能不满足所述预设条件,但是调整之后的当前采集帧率可能会有丢帧情况的发生,在这种情况下,可以按照调整之前的当前采集帧率采集后续视频。
135.示例性的,所述当前采集帧率为60fps,所述预设条件为相似度达到100%,所述预设降帧值为2,当所述相似度满足预设条件时,将所述当前采集帧率降低至58fps,返回执行获取多帧视频帧的步骤;若所述相似度仍旧为100%时,则继续降低新的所述当前采集帧率,直至所述相似度不为100%,若所述相似度不为100%,则按照最近一次调整前的当前采集帧率采集后续视频。
136.示例性的,若最近一次调整前的当前采集帧率为30fps,调整后的当前采集帧率为28fps,按照28fps采集的目标视频对应的相似度不为100%,则可以按照最近一次调整前的当前采集帧率30fps采集后续视频。
137.在另外一种可能的实施方式中,在基于所述相似度,对所述当前采集帧率进行调整时,可以先确定所述相似度对应的调整规则,并按照所述调整规则重新调整所述当前采集帧率。
138.所述相似度对应的调整规则可以包括调大所述相似度和调小所述相似度,具体的,在确定所述相似度对应的调整规则时,可以判断当前的相似度是否满足所述预设条件,若满足,则调小所述相似度;若不满足,则当前的当前采集帧率可能会有丢帧情况的发生,因此可以基于最近一次调整前的当前采集帧率和当前的当前采集帧率,调大所述相似度。
139.这里,需要说明的是,在调小所述相似度时,调整的幅度较大,例如可以是调整至原来的二分之一;在调大所述相似度时,调整幅度也比较大,例如可以是增加当前采集帧率的二分之一。
140.示例性的,若当前采集帧率为60fps,确定的相似度为100%,则可以将所述当前采集帧率调整为原来的二分之一,即调整为30fps;若基于30fps确定的相似度不为100%,则说明当前的采样帧率有丢帧的可能性,则增大当前的当前采集帧率,增加当前采集帧率的二分之一,调整后的当前采集帧率为45fps

,以此类推,直至调整前的当前采集帧率与调整后的当前采集帧率之间的帧率差值小于预设帧率。
141.在一种可能的实施方式中,所述目标视频对应的源视频可能是一个浮动帧率的视频,即源视频中包括多种帧率的视频,示例性的,源视频前30分钟的帧率为30fps,后30分钟的帧率为40fps,在视频采集的过程中,基于上述实施方式将帧率调整至30fps,若一直采用30fps的帧率进行视频采集,则后30分钟可能会出现丢帧的情况。
142.因此为了避免这种浮动帧率所带来的丢帧情况的发生,可以在按照新的当前目标采集帧率采集第二预设时长的目标视频之后,调整采集帧率至首次调整前的大小,并重新执行调整帧率的步骤。
143.一种可能的实施方式中,可以将上述实施方法以软件方式实现。示例性的,将上述实施方法应用于cpu,由cpu控制采集所述目标视频的器件的采集帧率;或者另一种可能的实施方式中,将上述实施方法以硬件方式实现,将上述实施方法应用于采集所述目标视频
的器件中,由所述器件自动调整采集帧率。
144.本公开实施例提供的信息处理方法,通过获取已采集的目标视频中的多帧视频帧,并确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度,然后基于所述相似度,可以对所述当前采集帧率进行调整,这样能够基于所述相似度,将所述当前采集帧率调整到与所述目标视频的原视频相匹配的帧率,进而可以避免重复采集或丢帧情况的发生。
145.本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
146.基于同一发明构思,本公开实施例中还提供了与信息处理方法对应的信息处理装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述信息处理方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
147.参照图2所示,为本公开实施例提供的一种信息处理装置的架构示意图,所述装置包括:获取模块201、确定模块202、调整模块203;其中,
148.获取模块201,用于在视频帧的采集过程中,获取已采集的目标视频中的多帧视频帧,其中,所述已采集的目标视频为按照当前采集帧率采集的视频;
149.确定模块202,用于确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度;
150.调整模块203,用于基于所述相似度,对所述当前采集帧率进行调整,并按照新的当前目标采集帧率继续采集视频。
151.一种可能的实施方式中,所述确定模块202,在确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度时,用于:
152.逐像素对比所述两帧相邻的视频帧,确定第一对比结果;
153.基于所述第一对比结果确定所述两帧相邻的视频帧之间的相似度。
154.一种可能的实施方式中,所述第一对比结果包括相同的像素点个数之和;
155.所述确定模块202,在所述基于第一对比结果确定所述两帧相邻的视频帧之间的相似度时,用于:
156.基于所述第一对比结果包括的相同的像素点个数之和,以及所述视频帧对应的像素个数,确定所述相似度。
157.一种可能的实施方式中,所述确定模块202,在确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度时,用于:
158.对所述两帧相邻的视频帧中的任一视频帧进行像素采样,确定第一目标像素点;
159.基于所述第一目标像素点的位置信息,确定所述两帧相邻的视频帧中除所述任一视频帧外的另一视频帧在所述位置信息上对应的第二目标像素点;
160.对比所述第一目标像素点和所述第二目标像素点,并基于第二对比结果确定所述两帧相邻的视频帧之间的相似度。
161.一种可能的实施方式中,所述确定模块202,在确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度时,用于:
162.确定所述两帧相邻的视频帧对应的采样位置信息;
163.分别确定所述两帧相邻的视频帧在所述采样位置信息对应的目标像素点;
164.对比所述两帧相邻的视频帧在所述采样位置信息对应的目标像素点,确定第三对
比结果;
165.基于所述第三对比结果确定所述两帧相邻的视频帧之间的相似度。
166.一种可能的实施方式中,所述确定模块202,在确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度时,用于:
167.分别确定所述两帧相邻的视频帧分别对应的特征向量;
168.计算所述两帧相邻的视频帧分别对应的特征向量之间的相似度,并将计算出的相似度作为所述多帧视频帧中每两帧相邻的视频帧之间的相似度。
169.一种可能的实施方式中,所述获取模块201,在视频帧的采集过程中,获取已采集的目标视频中的多帧视频帧时,用于:
170.在最近一次调整采集帧率后的第一预设时长后,获取最近一次调整采集帧率后采集的目标视频;
171.获取所述目标视频中的多帧视频帧。
172.一种可能的实施方式中,所述调整模块203,在基于所述相似度,对所述当前采集帧率进行调整时,用于:
173.当所述相似度满足预设条件时,按照预设调整幅度,减小所述当前采集帧率,将减小后的采集帧率作为当前采集帧率,并返回执行获取多帧视频帧的步骤。
174.一种可能的实施方式中,所述调整模块203,在基于所述相似度,对所述当前采集帧率进行调整时,用于:
175.确定与所述相似度对应的调整规则,并按照所述调整规则调整所述当前采集帧率。
176.一种可能的实施方式中,所述调整模块203,还用于:
177.在按照新的当前目标采集帧率采集第二预设时长的目标视频之后,调整采集帧率至首次调整前的大小,并重新执行调整帧率的步骤。
178.关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
179.基于同一技术构思,本公开实施例还提供了一种计算机设备。参照图3所示,为本公开实施例提供的计算机设备300的结构示意图,包括处理器301、存储器302、和总线303。其中,存储器302用于存储执行指令,包括内存3021和外部存储器3022;这里的内存3021也称内存储器,用于暂时存放处理器301中的运算数据,以及与硬盘等外部存储器3022交换的数据,处理器301通过内存3021与外部存储器3022进行数据交换,当计算机设备300运行时,处理器301与存储器302之间通过总线303通信,使得处理器301在执行以下指令:
180.在视频帧的采集过程中,获取已采集的目标视频中的多帧视频帧,其中,所述已采集的目标视频为按照当前采集帧率采集的视频;
181.确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度;
182.基于所述相似度,对所述当前采集帧率进行调整,并按照新的当前目标采集帧率继续采集视频。
183.一种可能的实施方式中,处理器301执行的指令中,所述确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度,包括:
184.逐像素对比所述两帧相邻的视频帧,确定第一对比结果;
185.基于所述第一对比结果确定所述两帧相邻的视频帧之间的相似度。
186.一种可能的实施方式中,处理器301执行的指令中,所述第一对比结果包括相同的像素点个数之和;
187.所述基于第一对比结果确定所述两帧相邻的视频帧之间的相似度,包括:
188.基于所述第一对比结果包括的相同的像素点个数之和,以及所述视频帧对应的像素个数,确定所述相似度。
189.一种可能的实施方式中,处理器301执行的指令中,所述确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度,包括:
190.对所述两帧相邻的视频帧中的任一视频帧进行像素采样,确定第一目标像素点;
191.基于所述第一目标像素点的位置信息,确定所述两帧相邻的视频帧中除所述任一视频帧外的另一视频帧在所述位置信息上对应的第二目标像素点;
192.对比所述第一目标像素点和所述第二目标像素点,并基于第二对比结果确定所述两帧相邻的视频帧之间的相似度。
193.一种可能的实施方式中,处理器301执行的指令中,所述确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度,包括:
194.确定所述两帧相邻的视频帧对应的采样位置信息;
195.分别确定所述两帧相邻的视频帧在所述采样位置信息对应的目标像素点;
196.对比所述两帧相邻的视频帧在所述采样位置信息对应的目标像素点,确定第三对比结果;
197.基于所述第三对比结果确定所述两帧相邻的视频帧之间的相似度。
198.一种可能的实施方式中,处理器301执行的指令中,所述确定所述多帧视频帧中每两帧相邻的视频帧之间的相似度,包括:
199.分别确定所述两帧相邻的视频帧分别对应的特征向量;
200.计算所述两帧相邻的视频帧分别对应的特征向量之间的相似度,并将计算出的相似度作为所述多帧视频帧中每两帧相邻的视频帧之间的相似度。
201.一种可能的实施方式中,处理器301执行的指令中,所述在视频帧的采集过程中,获取已采集的目标视频中的多帧视频帧,包括:
202.在最近一次调整采集帧率后的第一预设时长后,获取最近一次调整采集帧率后采集的目标视频;
203.获取所述目标视频中的多帧视频帧。
204.一种可能的实施方式中,处理器301执行的指令中,所述基于所述相似度,对所述当前采集帧率进行调整,包括:
205.当所述相似度满足预设条件时,按照预设调整幅度,减小所述当前采集帧率,将减小后的采集帧率作为当前采集帧率,并返回执行获取多帧视频帧的步骤。
206.一种可能的实施方式中,处理器301执行的指令中,所述基于所述相似度,对所述当前采集帧率进行调整,包括:
207.确定与所述相似度对应的调整规则,并按照所述调整规则调整所述当前采集帧率。
208.一种可能的实施方式中,处理器301执行的指令中,所述方法还包括:
209.在按照新的当前目标采集帧率采集第二预设时长的目标视频之后,调整采集帧率至首次调整前的大小,并重新执行调整帧率的步骤。
210.本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的信息处理方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
211.本公开实施例还提供一种计算机程序产品,该计算机产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的信息处理方法的步骤,具体可参见上述方法实施例,在此不再赘述。
212.其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(software development kit,sdk)等等。
213.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
214.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
215.另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
216.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read

only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
217.最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使
相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献