一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

视频处理方法、装置、可移动设备及可读存储介质与流程

2022-02-22 17:25:54 来源:中国专利 TAG:


1.本发明属于网络技术领域,特别是涉及一种视频处理方法、装置、可移动设备及可读存储介质。


背景技术:

2.目前,视频作为获取信息的优良途径,越来越多的场景下会产出视频。为了提高视频的质量,经常需要对视频中质量较差的图片进行筛选。现有方式中,往往是直接通过人工筛选的方式进行筛选。但是,这种筛选方式的成本较大且效率较低。


技术实现要素:

3.本发明提供一种视频处理方法、装置、可移动设备及可读存储介质,以便解决筛选成本较大且筛选效率较低的问题。
4.为了解决上述技术问题,本发明是这样实现的:
5.第一方面,本发明实施例提供了一种视频处理方法,该方法包括:
6.对于待处理视频中的目标图片,确定所述目标图片的图片参数对应的目标信息;所述目标信息用于表征所述目标图片的图片参数是否满足预设要求;
7.根据所述待处理视频中包含的目标图片的目标信息,对所述待处理视频进行筛选处理;其中,所述筛选处理包括删除不满足所述预设要求的目标图片或所述目标图片所属的其中一个视频片段;
8.根据筛选处理后的待处理视频,生成目标视频。
9.第二方面,本发明实施例提供了一种视频处理装置,所述装置包括存储器和处理器;
10.所述存储器,用于存储程序代码;
11.所述处理器,调用所述程序代码,当所述程序代码被执行时,用于执行以下操作:
12.对于待处理视频中的目标图片,确定所述目标图片的图片参数对应的目标信息;所述目标信息用于表征所述目标图片的图片参数是否满足预设要求;
13.根据所述待处理视频中包含的目标图片的目标信息,对所述待处理视频进行筛选处理;其中,所述筛选处理包括删除不满足所述预设要求的目标图片或所述目标图片所属的其中一个视频片段;
14.根据筛选处理后的待处理视频,生成目标视频。
15.第三方面,本发明实施例提供了一种可移动设备,所述可移动设备用于执行第一方面中所述的视频处理方法中的步骤。
16.第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现以下操作:
17.对于待处理视频中的目标图片,确定所述目标图片的图片参数对应的目标信息;所述目标信息用于表征所述目标图片的图片参数是否满足预设要求;
18.根据所述待处理视频中包含的目标图片的目标信息,对所述待处理视频进行筛选处理;其中,所述筛选处理包括删除不满足所述预设要求的目标图片或所述目标图片所属的其中一个视频片段;
19.根据筛选处理后的待处理视频,生成目标视频。
20.在本发明实施例中,对于待处理视频中的目标图片,确定目标图片的图片参数对应的目标信息,其中,目标信息用于表征目标图片的图片参数是否满足预设要求,根据待处理视频中包含的目标图片的目标信息,对待处理视频进行筛选处理,其中,筛选处理包括删除不满足预设要求的目标图片或该目标图片所属的其中一个视频片段,最后,根据筛选处理后的待处理视频,生成目标视频。这样,通过在进行视频处理时,根据图片的图片参数自动对视频中的图片进行筛选,进而一定程度上可以降低筛选成本,提高筛选效率。
附图说明
21.图1是本发明实施例提供的一种视频处理方法的步骤流程图;
22.图2是本发明实施例提供的一种剪辑过程示意图;
23.图3是本发明实施例提供的一种视频处理装置的框图;
24.图4为本发明实施例提供的一种计算处理设备的框图;
25.图5为本发明实施例提供的一种便携式或者固定存储单元的框图。
具体实施方式
26.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
27.图1是本发明实施例提供的一种视频处理方法的步骤流程图,如图1所示,所述方法可以包括:
28.步骤101、对于待处理视频中的目标图片,确定所述目标图片的图片参数对应的目标信息;所述目标信息用于表征所述目标图片的图片参数是否满足预设要求。
29.本发明实施例中,待处理视频可以是需要筛选质量较差的图片的视频。示例的,待处理视频可以是用户自己拍摄的视频,也可以是从网络上下载的视频,本发明实施例对此不作限定。进一步地,视频本质上可以理解为多帧图像组成的图片序列,待处理视频中的目标图片可以是图片序列中的全部图片,也可以是图片序列中的部分图片。目标图片的图片参数可以是能够表征图片质量的参数,具体的图片参数的数量以及种类可以根据实际需求设定。示例的,可以设定图片参数为图片的清晰程度、图片的曝光程度等等。
30.进一步地,预设要求可以是图片的图片参数所需满足的质量要求。如果图片的图片参数满足该预设要求,则说明图片的质量较高,可以满足质量要求。反之,如果图片的图片参数不满足该预设要求,则说明图片的质量较差,不能满足质量要求。预设要求的具体内容可以根据实际需求设置。示例的,预设要求可以为清晰程度大于预设清晰度阈值、或者,曝光程度在预设曝光程度范围内,等等。进一步地,目标信息可以是能够表征目标图片的图片参数是否满足预设要求的标签(tag)。标签的具体内容可以根据实际需求设置,示例的,
可以以数字、字母、特殊符号,等等作为标签。其中,图片参数满足预设要求时标签的具体内容与图片参数不满足预设要求时标签的具体内容不同。例如,可以以“0”作为表征目标图片的图片参数不满足预设要求的标签,以“1”作为表征目标图片的图片参数满足预设要求的标签。
31.步骤102、根据所述待处理视频中包含的目标图片的目标信息,对所述待处理视频进行筛选处理;其中,所述筛选处理包括删除不满足所述预设要求的目标图片或所述目标图片所属的其中一个视频片段。
32.本发明实施例在进行筛选处理时,对于各个目标图片,可以先根据目标图片的目标信息确定该目标图片的图片参数是否满足预设条件。示例的,可以在目标信息为0的情况下确定该图片参数不满足预设要求,在目标信息为1的情况下确定该图片参数满足预设要求。进一步地,如果目标图片的图片参数不满足预设要求,则可以将该目标图片确定为不满足预设要求的目标图片。相应地,可以删除该目标图片或者是直接删除该不满足预设要求的目标图片所属的其中一个视频片段。其中,目标图片所属的其中一个视频片段,可以是待处理视频中包含该目标图片的视频片段,该视频片段的具体长度可以根据实际需求设置,本发明实施例对此不作限定。
33.步骤103、根据筛选处理后的待处理视频,生成目标视频。
34.本发明实施例中,先根据待处理视频中目标图片的目标信息,对待处理视频进行筛选处理,可以减少待处理视频中包含的质量较差的图片,进而提高筛选处理后的待处理视频的图像质量。相应地,在完成筛选之后,根据筛选处理后的待处理视频生成目标视频,可以确保最后生成的目标视频具有较高的图像质量。示例的,在生成目标视频时,可以直接将筛选处理后的待处理视频作为目标视频。
35.综上所述,本发明实施例提供的视频处理方法,可以对于待处理视频中的目标图片,确定目标图片的图片参数对应的目标信息,其中,目标信息用于表征目标图片的图片参数是否满足预设要求,根据待处理视频中包含的目标图片的目标信息,对待处理视频进行筛选处理,其中,筛选处理包括删除不满足预设要求的目标图片或该目标图片所属的其中一个视频片段,最后,根据筛选处理后的待处理视频,生成目标视频。这样,通过在进行视频处理时,根据图片的图片参数自动对视频中的图片进行筛选,进而一定程度上可以降低筛选成本,提高筛选效率。
36.可选的,本发明实施例的一种实现方式中,上述图片参数可以包括图片的模糊程度、抖动程度、曝光程度以及色彩变化程度中的一种或多种。当然,图片参数也可以包括其他种类的参数,本发明实施例对此不作限定。
37.其中,基于图片的模糊程度可以确定图片整体是否清晰,基于图片的抖动程度可以确定图片的画面是否存在抖动问题,基于图片的曝光程度可以确定图片的亮度是否合适,基于图片的色彩变化程度可以确定图片的色彩差是否合适。而实际应用场景中,在图片中存在模糊不清楚、画面抖动、亮度过高或者过低、色彩差过高或者过低的情况下,往往说明该图片的质量较差。因此,本发明实施例中,通过设置图片的模糊程度、抖动程度、曝光程度和/或色彩变化程度为图片参数,使得后续可以从这几个参数维度对待修理视频中的图片进行筛选,进而一定程度上可以确保能够较为准确的将质量较差的图片删除。
38.需要说明的是,图片参数的种类越多,后续筛选时参照的维度就会越多,相应地,
最终筛选的结果也会更精确,但是计算量也会相应增加。反之,如果图片参数的种类越少,后续筛选时参照的维度就会越少,相应地,最终筛选的结果的精确就会降低,但是计算量会较小。因此,在具体实施时,可以先确定硬件设备可承载的计算量,根据可承载的计算量确定所选用的图片参数的数量,以确保硬件设备能够正常运行。其中,所选用的图片参数的数量与所述可承载的计算量正相关。
39.需要说明的是,在选择了多种图片参数的情况下,图片参数对应的目标信息可以为多个。示例的,假设选择了模糊程度、抖动程度、曝光程度以及色彩变化程度,那么可以得到模糊程度对应的模糊标签信息、抖动程度对应的抖动标签信息、曝光程度对应的曝光标签信息以及色彩变化程度对应的色彩差标签信息。其中,模糊标签信息、抖动标签信息、曝光标签信息以及色彩差标签信息即为目标信息。模糊标签信息可以用于表征目标图片的模糊程度是否满足模糊程度对应的预设要求,抖动标签信息用于表征目标图片的抖动程度是否满足抖动程度对应的预设要求,曝光标签信息用于表征目标图片的曝光程度是否满足曝光程度对应的预设要求,色彩差标签信息用于表征目标图片的色彩变化程度是否满足色彩变化程度对应的预设要求。
40.可选的,本发明实施例中,上述根据待处理视频中包含的目标图片的目标信息,对待处理视频进行筛选处理的操作,可以通过下述子步骤实现:
41.子步骤(1):对所述待处理视频进行分割,得到多个视频片段。
42.示例的,可以按照等间隔划分的方式,利用预设的分割算法将待处理视频划分为包含相同帧数的视频片段。或者,也可以是按照非等间隔划分的方式,利用预设的分割算法将待处理视频随机划分为包含不同帧数的视频片段,本发明实施例对此不作限定。当然,也可以采用其他分割方式实现划分,本发明实施例对此不作限定。
43.子步骤(2):对于各个所述视频片段,根据所述视频片段中包含的目标图片的目标信息,对所述视频片段进行筛选处理。
44.本步骤中,可以以视频片段为处理单位,针对每个视频片段进行筛选处理。其中,针对视频片段的筛选处理可以包括删除该视频片段中不满足预设要求的目标图片或该视频片段。
45.本发明实施例中,在具体进行筛选处理时,先对待处理视频进行分割,得到多个视频片段。接着,根据视频片段中包含的目标图片的目标信息,以视频片段为处理单位,对视频片段进行筛选处理。这样,通过将待处理视频分割为更小粒度的视频片段之后再进行处理,一定程度上可以降低每次处理操作的负担,进而一定程度上可以确保处理效率。
46.进一步地,在将待处理视频分割为视频片段的情况下,后续在实现根据筛选处理后的待处理视频生成目标视频的操作时,可以对筛选处理后的视频片段进行合并,得到目标视频。由于筛选处理将各个视频片段中质量较差的图片进行了删除,因此,通过将筛选处理后的视频片段合并得到目标视频,一定程度上可以确保目标视频的质量。具体在合并时,可以按照各个筛选处理后的视频片段在待处理视频中的先后顺序进行合并,以确保最终得到的目标视频能够正常播放。
47.可选的,在本发明的一种实施方式中,待处理视频可以是用户自主选择的。具体的,可以在确定目标图片的图片参数对应的目标信息之前,接收用户对可选视频的选择操作;将所述选择操作选中的可选视频确定为所述待处理视频;所述可选视频为电子设备中
存储的视频。相应地,在生成目标视频之后,可以向所述用户显示所述目标视频,以确保用户能够及时获取到处理结果,提高交互效果。
48.其中,可以在客户端中显示电子设备中存储的各个视频,用户可以点击需要处理的可选视频,实现输入选择操作。相应地,电子设备可以接收该选择操作,并将选中的可选视频确定为待处理视频。需要说明的是,本发明实施例中还可以在确定出目标信息之后,为各个目标图片添加目标信息,并显示给用户。用户可以根据需求以及结合目标图片的目标信息,选择需要删除的目标图片。相应地,电子设备可以将用户选中的目标图片删除。这样,通过向用户显示添加有目标信息的目标图片,由用户自主决定具体要删除的目标图片,可以提高操作的灵活性。
49.可选的,本发明实施例在对于待处理视频中的目标图片,确定目标图片的图片参数对应的目标信息的操作之前,还可以执行下述步骤:
50.步骤a、根据所述待处理视频中包含的图片,确定所述目标图片;从所述待处理视频中提取所述目标图片,并为各个所述目标图片添加时间戳信息;所述时间戳信息用于表征所述目标图片在所述目标图片中的次序。
51.本步骤中,可以将各个目标图片在待处理视频中的出现时间点作为时间戳信息。示例的,假设目标图片包含图片a、图片b以及图片c。其中,图片a、图片b及图片c的出现时间点分别为:第10秒,第15秒,第21秒。那么可以将第10秒,第15秒,第21秒分别作为含图片a、图片b,图片c的时间戳信息。进一步地,在为各个目标图片添加时间戳信息时,可以是建立各个目标图片与各自对应的时间戳信息之间的关联关系,或者,也可以是将各自对应的时间戳信息写入目标图片中。
52.相应地,在对于待处理视频中的目标图片,确定所述目标图片的图片参数对应的目标信息的操作之后,还可以执行下述步骤:步骤b、根据所述目标图片的时间戳信息,将所述目标图片合入所述待处理视频。具体实施时,可以先根据时间戳信息确定目标图片所在位置,然后将目标图片插入对应位置中。示例的,可以将图片a插入待处理视频中第10秒的位置处,将图片b插入待处理视频中第15秒的位置处,将图片c插入待处理视频中第21秒的位置处。
53.需要说明的是,本发明实施例中,还可以在将目标图片合入待处理视频之前,确定所有图片参数均不满足预设要求的第三目标图片,然后删除该第三目标图片。其中,该预设要求可以包括模糊程度正常、抖动程度正常、曝光程度正常及色彩变化程度正常中的一种或多种。具体的,对于每个图片参数,可以先确定该图片参数对应的目标信息是否是用于表征该图片参数不满足预设要求的标签,如果是,则可以确定该图片参数均不满足预设要求。进一步地,如果所有图片参数均不满足预设要求,则说明该图片的质量很差,因此,可以直接在合入之前直接删除该第三目标图片。这样,可以减轻后续筛选处理的负担,以及避免对不必要的目标图片执行合入操作,进而确保处理效率。
54.本发明实施例中,通过在确定目标图片的图片参数对应的目标信息的操作之前,先确定目标图片并提取目标图片。这样,通过单独将目标图片提取出来,可以避免后续确定目标图片的图片参数对应的目标信息时,受到待处理视频中其他图片的干扰,进而一定程度上可以确保处理效果。同时,在根据提取出的目标图片确定出目标信息之后,再将目标图片合入待处理视频,可以确保后续步骤可以正常进行。且通过为目标图片加入时间戳信息,
使得可以便捷的根据时间戳信息将目标图片合入待处理视频,进而确保处理效果。
55.可选的,在本发明的一种实施方式中,根据待处理视频中包含的图片,确定目标图片的操作可以通过下述子步骤实现:
56.子步骤(3):在所述待处理视频中包含的图片的总数量大于第一预设数量阈值的情况下,按照预设帧率从所述待处理视频中选取m帧图片,作为所述目标图片;所述m不大于所述第一预设数量阈值。
57.本步骤中,第一预设数量阈值以及预设帧率可以是根据实际需求设置的。其中,第一预设数量阈值可以为实现筛选所需的图片数量。示例的,第一预设数量阈值可以为50,60,等等。预设帧率可以为4帧/秒(frames per second,fps)。具体的,可以先确定待处理视频中包含的图片的总数量,示例的,可以读取待处理视频的配置信息,以获取总数量。接着,判断总数量是否大于第一预设数量阈值。如果总数量大于第一预设数量阈值,则可以认为图片的总数量较多,若直接将所有图片作为目标图片,会引入过多的计算量。因此,可以按照预设帧率进行选取,相应地后续可以对应提取这些目标图片。即,可以按照预设帧率进行抽帧,得到m个目标图片,这m个目标图片组成一个图片序列。
58.子步骤(4):在所述总数量不大于所述第一预设数量阈值的情况下,将所述待处理视频中的包含的所有图片,作为所述目标图片。
59.如果总数量不大于第一预设数量阈值,则说明若直接将所有图片作为目标图片,不会引入过多的计算量。因此,可以不作其他处理,直接将所有图片作为目标图片。这样,可以在实现确定目标图片的同时,避免执行不必要的其他处理。
60.本发明实施例中,通过在总数量不大于第一预设数量阈值的情况下,才将待处理视频中的包含的所有图片作为目标图片,在总数量大于第一预设数量阈值的情况下,仅选取部分图片作为目标图片。这样,可一定程度上以在避免目标图片过多的情况下,确保有足够的目标图片,进而可以确保能够为后续的筛选提供更多的信息,确保筛选效果。
61.可选的,本发明实施例中的预设要求可以包括模糊程度对应的预设要求:模糊程度正常、抖动程度对应的预设要求:抖动程度正常曝光程度对应的预设要求:曝光程度正常、色彩变化程度对应的预设要求:色彩变化程度正常。
62.进一步地,对于目标图片的模糊程度对应的目标信息,可以通过下述子步骤确定:
63.子步骤(5):确定所述目标图片中模糊置信度大于预设置信度阈值的像素点的第一数量与所述目标图片的总像素数量的第一比值;根据所述第一比值与第一预设比值阈值之间的大小关系,确定模糊标签信息;所述模糊标签信息用于表征所述目标图片的模糊程度是否正常。
64.本步骤中,模糊置信度可以用于表征像素点为模糊像素点的概率。具体的,可以将目标图片输入至预设的模糊检测模块中,该模糊检测模块可以基于卷积神经网络(convolutional neural networks,cnn)构成的语义分割网络实现。实际应用场景中,可以获取不同模糊程度的样本图片,并利用这些样本图片训练神经网络,以生成模糊检测模块。进一步地,在使用时,该模糊检测模块可以提取输入的目标图片的图片特征,然后根据提取到的图片特征,确定该目标图片中各个像素点的模糊置信度。
65.进一步地,预设置信度阈值以及第一预设比值阈值可以是根据实际需求设置,示例的,预设置信度阈值可以为80%。第一预设比值阈值可以为0.2。进一步地,如果像素点的
模糊置信度大于预设置信度阈值,则可以认为该像素点存在模糊问题,该像素点为模糊像素点。相应地,本步骤中,可以将各个像素点的模糊置信度与预设置信度阈值进行比较,以确定第一数量。接着将第一数量与目标图片的总像素数量相除,得到第一比值。
66.如果第一比值大于第一预设比值阈值,则可以认为该目标图片的模糊程度较为严重,相应地,可以将目标图片的模糊标签信息设置为第一模糊标签。其中,第一模糊标签表征目标图片的模糊程度不正常。如果第一比值不大于第一预设比值阈值,则可以认为该目标图片的模糊程度在可接受范围内,相应地,可以将目标图片的模糊标签信息设置为第二模糊标签。其中,第二模糊标签表征目标图片的模糊程度正常。示例的,第一模糊标签可以为“unclear”,第二模糊标签可以为“clear”。
67.本发明实施例中,通过确定目标图片中模糊的像素点所占的比重,根据比重的大小确定目标图片是否模糊并设置相应的模糊标签信息。一定程度上可以确保图片模糊的判断结果的准确性,以及确保设置的模糊标签信息的可信度。
68.需要说明的是,实际应用场景有时会在拍摄过程中主要对焦于被摄主体,而故意模糊背景,以凸显被摄主体。因此,本发明实施例中还可以确定目标图片中的背景区域,然后检测模糊区域与背景区域的重合比例;其中,模糊区域为模糊置信度大于预设置信度阈值的像素点组成的区域。在第一比值大于第一预设比值阈值且重合比例不大于预设重合比例阈值的情况下,将目标图片的模糊标签信息设置为第一模糊标签。其中,预设重合比例阈值可以根据实际需求设置,示例的,预设重合比例阈值可以为90%,如果重合比例大于预设重合比例阈值,则可以认为该目标图片中的模糊区域属于正常现象,如果重合比例不大于预设重合比例阈值,则可以认为该目标图片中的模糊区域属于非正常因素导致的。
69.本发明实施例中,通过检测模糊区域是否为背景区域,在模糊区域不为背景区域(重合比例不大于预设重合比例阈值)且第一比值大于第一预设比值阈值的情况下,才为目标图片设置表征模糊程度不正常的第一模糊标签。这样,可以避免在对焦导致的背景模糊的情况下,将目标图片误判为模糊程度不正常的图片,进而为目标图片设置不合适的模糊标签信息。
70.进一步地,对于目标图片的抖动程度对应的目标信息,可以通过下述子步骤确定:
71.子步骤(6):将所述目标图片作为第一预设分类模型的输入,根据所述第一预设分类模型的输出类别,确定抖动标签信息;所述第一预设分类模型用于按照抖动程度是否正常进行图片分类。
72.本步骤中,抖动标签信息用于表征目标图片的抖动程度是否正常。第一预设分类模型可以为基于cnn神经网络,该第一预设分类模型可以是以不同抖动程度(包含抖动程度正常以及不正常)的样本图片训练得到的,该第一预设分类模型可以在训练过程中,进过深度学习学习到分辨图片的抖动程度是否正常的能力。具体的,将目标图片输入第一预设分类模型之后,第一预设分类模型可以提取输入的目标图片的图片特征,然后根据提取到的图片特征,判断该目标图片的抖动程度是否正常,并输出类别。相应地,若第一预设分类模型的输出类别为表征抖动程度不正常的类别,则可以将目标图片的抖动标签信息设置为第一模糊标签。若第一预设分类模型的输出类别为表征抖动程度正常的类别,则可以将目标图片的抖动标签信息设置为第二模糊标签。示例的,第一抖动标签可以为“tremble”,第二抖动标签可以为“untremble”。
73.本发明实施例中,通过第一预设分类模型的输出类别确定抖动标签信息,这样,仅需将目标图片输入第一预设分类模型,即可便捷的确定出目标图片是否抖动,进而可以方便后续设置抖动标签信息,提高设置效率。
74.进一步地,对于目标图片的曝光程度对应的目标信息,可以通过下述子步骤确定:
75.子步骤(7):将所述目标图片作为第二预设分类模型的输入,根据所述第二预设分类模型的输出类别,确定曝光标签信息;所述第二预设分类模型用于按照曝光程度是否正常进行图片分类。
76.本步骤中,曝光标签信息用于表征目标图片的曝光程度是否正常。第二预设分类模型可以为基于cnn神经网络,该第二预设分类模型可以是以不同曝光程度(包含曝光程度正常以及曝光不正常)的样本图片训练得到的,该第二预设分类模型可以在训练过程中学习到分辨图片的曝光程度是否正常的能力。具体的,将目标图片输入第二预设分类模型之后,第二预设分类模型可以提取输入的目标图片的图片特征,然后根据提取到的图片特征,判断该目标图片的曝光程度是否正常,并输出类别。相应地,若第二预设分类模型的输出类别为表征曝光程度不正常的类别,则可以将目标图片的曝光标签信息设置为第一曝光标签。若第二预设分类模型的输出类别为表征曝光程度正常的类别,则可以将目标图片的曝光标签信息设置为第二曝光标签。示例的,第一曝光标签可以为“expose f”,第二曝光标签可以为“expose r”。
77.本发明实施例中,通过第二预设分类模型的输出类别确定曝光标签信息,这样,仅需将目标图片输入第二预设分类模型,即可便捷的确定出目标图片是否存在曝光不正常(过曝过暗),进而可以方便后续设置曝光标签信息,提高设置效率。
78.进一步地,对于目标图片的色彩变化程度对应的目标信息,可以通过下述子步骤确定:
79.子步骤(8):确定所述目标图片中颜色值超出预设颜色值范围的像素点的第二数量与所述总像素数量的第二比值;根据所述第二比值与第二预设比值阈值之间的大小关系,确定色彩差标签信息;所述色差标签信息用于表征所述目标图片的色彩变化程度是否正常。
80.本发明实施例中,像素点的颜色值可以为像素点的颜色通道值,,例如,红绿蓝(rgb)颜色通道值。预设颜色值范围以及第二预设比值阈值可以根据实际需求设置。示例的,预设颜色值范围可以是根据色彩差正常的多个图片中的最低颜色值以及最高颜色值确定的。第二预设比值阈值可以是根据会影响到用户观看体验的最低比值阈值。如果颜色值落入预设颜色值范围,则可以认为该像素点的色彩正常,如果颜色值未落入预设颜色值范围,则可以认为该像素点的色彩存在异常。
81.进一步地,可以先利用颜色值检测算法确定目标图片中各个像素点的颜色值。然后将颜色值与预设颜色值范围进行比对,以确定第二数量。接着将第二数量与目标图片的总像素数量相除,得到第二比值。
82.如果第二比值大于第二预设比值阈值,则可以认为该目标图片的色彩差异常,即,色彩变化程度不正常。相应地,可以将目标图片的色彩差标签信息设置为第一色彩差标签。其中,第一色彩差标签表征目标图片的色彩变化程度不正常。如果第二比值不大于第二预设比值阈值,则可以认为该目标图片的色彩变化程度正常,相应地,可以将目标图片的色彩
差标签信息设置为第二色彩差标签。其中,第二色彩差标签表征目标图片的色彩变化程度正常。示例的,第一色彩差标签可以为“color f”,第二色彩差标签可以为“color r”。
83.本发明实施例中,通过确定目标图片中色彩异常的像素点所占的比重,根据比重的大小确定目标图片的色彩变化程度是否正常并设置相应的色彩差标签信息,一定程度上可以确保图片的色彩差的判断结果的准确性,以及确保设置的色彩差标签信息的可信度。
84.可选的,本发明实施例中,上述根据视频片段中包含的目标图片的目标信息,对视频片段进行筛选处理的步骤,可以包括:
85.子步骤(2a):确定所述视频片段中第一目标图片的第三数量;所述第一目标图片为目标信息表征图片参数不满足所述预设要求且连续出现的目标图片。
86.本步骤中,连续出现的目标图片指的是该目标图片在视频片段中前向邻接和/或后向邻接的图片也为目标图片。具体的,可以先根据该视频片段中各个目标图片的目标信息,确定图片参数不满足预设要求的目标图片。然后将连续出现的图片参数不满足预设要求的目标图片的图片作为第一目标图片。其中,图片参数不满足预设要求可以是所有图片参数均不满足预设要求,也可以是部分图片参数不满足预设要求。相应地,可以将所有图片参数均不满足预设要求且连续出现的目标图片作为第一目标图片,例如,可以将目标信息为:第一模糊标签“unclear”、第一抖动标签“tremble”、第一曝光标签“expose f”以及第一色彩差标签“color f”的连续出现的目标图片作为第一目标图片。或者,也可以是将部分图片参数不满足预设要求且连续出现的目标图片作为第一目标图片。
87.示例的,假设该视频片段中包括图片1~图片20。其中,图片参数不满足预设要求的目标图片包括:图片1~图片10、图片11、图片13。由于图片1~图片10为连续出现的图片参数不满足预设要求的目标图片。因此,可以将图片1~图片10确定为第一目标图片。
88.子步骤(2b):若所述第三数量大于第二预设数量阈值,则剔除n个所述第一目标图片;所述n小于所述第三数量。
89.本步骤中,第二预设数量阈值可以是根据实际需求设置,如果第三数量大于第二预设数量阈值,则可以认为如果直接删除全部第一目标图片,很大概率会导致后续出现视频中画面前后衔接不和谐,视频播放不流畅的问题。因此,可以仅剔除部分第一目标图片。具体的,可以随机选择n个第一目标图片删除。
90.本发明实施例中,通过确定连续出现且图片参数不满足预设要求的第一目标图片,在第一目标图片较多的情况下,剔除n个部分第一目标图片,可以在低质量图片连续出现的情况下,避免由于剔除过多连续的图片导致后续视频播放不流畅的问题。
91.进一步地,本发明实施例中,还可以在剔除n个第一目标图片之后,为剩余的所述第一目标图片添加图片转场效果,其中,图片转场效果可以用于控制第一目标图片出现时的显示效果,该图片转场效果可以包括右出左进、旋出旋入以及淡入淡出中的一种或多种。当然,图片转场效果还可以包括其他类型的效果,本发明实施例对此不作限定。这样,通过为剩余的第一目标图片添加图片转场效果,一定程度上可以提高第一目标图片显示时的显示效果。需要说明的是,本发明实施例可以是在接收到用户发送的添加指令时,执行添加图片转场效果的操作,这样,可以避免执行不必要的添加操作,导致最终生成的目标视频无法满足用户需求的问题。
92.进一步地,本发明实施例中,还可以在剔除n个第一目标图片之后,根据剩余的第
一目标图片的图片内容,生成过渡视频帧;其中,过渡视频帧的图片参数满足预设要求且图片相似度大于预设相似度阈值,图片相似度为过渡视频帧的图片内容与剩余的第一目标图片的图片内容之间的相似度。预设相似度阈值可以是根据实际需求设置,示例的,预设相似度阈值可以为99%。接着,在剩余的第一目标图片中添加过渡视频帧。本发明实施例中,通过进一步在剩余的第一目标图片中插入内容相似的高质量图片,一定程度上可以在确保视频的图像质量的同时,更大程度的避免由于剔除第一目标图片,导致的视频中画面前后衔接不和谐,视频播放不流畅的问题。
93.可选的,本发明实施例中还可以在上述子步骤(2a)之前执行下述步骤:
94.子步骤(2c):确定所述视频片段中包含的第二目标图片的第四数量与所述视频片段中图片的总数量的第三比值;所述第二目标图片为目标信息表征图片参数不满足所述预设要求的目标图片。
95.本步骤中,可以先根据该视频片段中各个目标图片的目标信息,确定图片参数不满足预设要求的目标图片,进而得到第二目标图片。具体确定方式可以参照前述相关步骤中的描述,此处不再赘述。然后,可以统计确定出的第二目标图片的数量,得到第四数量。接着,可以计算第四数量与该视频片段中图片的总数量的比值,得到第三比值。
96.子步骤(2d):确定第三预设比值阈值及第三预设数量阈值。
97.子步骤(2e):若所述第三比值大于所述第三预设比值阈值,和/或,所述第四数量大于所述第三预设数量阈值,则丢弃所述视频片段。
98.本发明实施例中,第三预设比值阈值及第三预设数量阈值可以是根据实际需求设置,如果第三比值大于第三预设比值阈值,则可以认为该视频片段中低质量图片所占的比重较大,如果第四数量大于第三预设数量阈值,则可以认为该视频片段中低质量图片的数量较多,进而可以确定该视频片段的整体质量较差,因此,可以直接丢弃该视频片段。
99.同时,以低质量的第二目标图片所占的比重以及具体数量两个维度衡量视频片段的整体质量,可以避免由于视频片段中图片的整体数量太多,导致视频片段中存在多张第二目标图片时未被识别的情况,以及避免主观上第二目标图片数量较少,但相对视频片段而言第二目标图片占据较大比重却未被识别的情况,进而确保确定整理质量较差的视频片段的准确性。
100.需要说明的是,本发明实施例中还可以向用户显示第三比值大于第三预设比值阈值,和/或,第四数量大于第三预设数量阈值的视频片段,接收用户针对这些视频片段的选择操作,然后将选择操作选中的视频片段删除,以确保用户操作的灵活性。
101.本发明实施例中,通过确定各个视频片段中出现的质量较差的第二目标图片所占的比例或具体数量,在第二目标图片所占的比例较高或具体数量较大,即,该视频片段的整体质量较差的情况下,直接丢弃该视频片段,进而一定程度上可以减少后续相关操作的计算量,节省处理资源。需要说明的是,上述子步骤可以是在子步骤(2a)之前执行,也可以是在子步骤(2a)之后执行。可选的,可以是在子步骤(2a)之前执行,这样,可以避免执行不必要的剔除操作,进而可以更大程度的节省处理资源。
102.可选的,本发明实施例中,上述确定第三预设比值阈值及第三预设数量阈值的步骤,可以包括:子步骤(2d1):根据所述待处理视频对应的视频剪辑模板,确定所述视频剪辑模板对应的所述第三预设比值阈值及所述第三预设数量阈值;其中,不同的视频剪辑模板
对应的所述第三预设比值阈值不同,不同的视频剪辑模板对应的所述第三预设数量阈值不同,所述第三预设比值阈值及所述第三预设数量阈值与所述视频剪辑模板对应视频内容类型相关。
103.本发明实施例中的视频处理方法可以应用在视频自动剪辑场景中。一般,为了提高视频剪辑效果,往往需要将视频中的废片(质量较低的图片)剔除。因此,可以基于本发明实施例中的视频处理方法实现视频剪辑中的废片剔除,以提高视频剪辑的效率以及后续的观看体验。同时,相较于人工检测剔除的方式,本发明实施例提供的自动剔除的方式可以实时在线的进行,进而一定程度上可以降低剔除的耗时,以及确保处理的及时性。示例的,以目标参数包括模糊程度、抖动程度以及曝光程度为例,图2是本发明实施例提供的一种剪辑过程示意图。如图2所示,可以先由用户选取素材(待处理视频),然后按照预设帧率进行抽帧,得到目标图片组成的图片序列。接着,经过cnn网络,确定目标图片的模糊标签信息、抖动标签信息以及曝光标签信息,根据目标图片的时间戳信息,将目标图片及标签信息重新合入待处理视频,按照用户偏好的剪辑模板或选择的剪辑模板,选取适合剪辑的片段进行剪辑。其中,适合剪辑的片段可以是在经过上述子步骤(2e)丢弃之后,剩余的视频片段。
104.进一步地,待处理视频对应的视频剪辑模板可以是从可选剪辑模板中选择的。其中,可选剪辑模板可以是电子设备中预置的,可以用于进行视频剪辑的模板,例如,可选剪辑模板可以包括运动模板、美食模板、动感模板,等等。在选择时,可以是按照用户偏好选择,例如,可以根据用户的历史使用记录,确定用户常用的剪辑模板。然后将该常用的剪辑模板确定为该待处理视频对应的视频剪辑模板。或者,也可以是直接向用户显示可选剪辑模板,将用户选择的可选剪辑模板确定为待处理视频对应的视频剪辑模板。进一步地,可以在预先设置的视频剪辑模板与阈值对应关系中,查找该待处理视频对应的视频剪辑模板对应的第三预设比值阈值及第三预设数量阈值。
105.为了提高视频的视觉效果,在对视频进行剪辑时,往往会按照视频剪辑模板对视频进行剪辑。其中,对应不同的视频内容类型,视频剪辑模板的剪辑方式往往不同。示例的,对应视频内容类型为动态内容,例如突出视频中运动主体的运动过程的视频剪辑模板,例如,运动模板、动感模板,利用这些模板进行剪辑时,往往是重点突出视频画面的连贯性,由于这类视频画面中内容往往处于运动状态,因此,用户较难察觉到低质量图片。而对应视频内容类型静态内容,例如,突出视频中静态主体的外观的视频剪辑模板,例如,美食模板,利用这些模板进行剪辑时,往往是重点突出视频画面中主体的外观细节,这种情况下视频画面中内容的运动幅度往往较小,因此,用户较容易察觉在到低质量图片较多。相应地,本发明实施例中,可以针对各个视频剪辑模板的画面特点,为不同视频剪辑模板设置不同的阈值。例如,在视频剪辑模板对应视频内容类型为动态内容的情况下,设置较高的第三预设比值阈值及第三预设数量阈值,在视频剪辑模板对应视频内容类型为动态内容的情况下,设置较低的第三预设比值阈值及第三预设数量阈值。
106.本发明实施例中,通过根据视频剪辑模板对应视频内容类型,为不同的视频剪辑模板对应设置不同的第三预设比值阈值以及第三预设数量阈值,并在剪辑时,根据当前所使用的视频剪辑模板,选择对应的阈值对视频片段进行筛选,进而一定程度上可以使筛选操作更加适配当前的剪辑需求,进而提高片段筛选的效果。
107.图3是本发明实施例提供的一种视频处理装置的框图,该装置可以包括:存储器
301和处理器302。所述存储器301,用于存储程序代码。所述处理器302,调用所述程序代码,当所述程序代码被执行时,用于执行以下操作:对于待处理视频中的目标图片,确定所述目标图片的图片参数对应的目标信息;所述目标信息用于表征所述目标图片的图片参数是否满足预设要求;根据所述待处理视频中包含的目标图片的目标信息,对所述待处理视频进行筛选处理;其中,所述筛选处理包括删除不满足所述预设要求的目标图片或所述目标图片所属的其中一个视频片段;根据筛选处理后的待处理视频,生成目标视频。具体的,处理器302执行的各个操作的具体实现过程可以参照前述方法实施例中的相关描述,此处不再赘述。
108.可选的,所述图片参数包括图片的模糊程度、抖动程度、曝光程度以及色彩变化程度中的一种或多种。可选的,所述处理器302,还用于:对所述待处理视频进行分割,得到多个视频片段;对于各个所述视频频段,根据所述视频片段中包含的目标图片的目标信息,对所述视频片段进行筛选处理。可选的,所述处理器302,还用于:对于待处理视频中的目标图片,确定所述目标图片的图片参数对应的目标信息之前,根据所述待处理视频中包含的图片,确定所述目标图片;从所述待处理视频中提取所述目标图片,并为各个所述目标图片添加时间戳信息;所述时间戳信息用于表征所述目标图片在所述目标图片中的次序;对于待处理视频中的目标图片,确定所述目标图片的图片参数对应的目标信息之后,根据所述目标图片的时间戳信息,将所述目标图片合入所述待处理视频。可选的,所述处理器302,还用于:在所述待处理视频中包含的图片的总数量大于第一预设数量阈值的情况下,按照预设帧率从所述待处理视频中选取m帧图片,作为所述目标图片;所述m不大于所述第一预设数量阈值;在所述总数量不大于所述第一预设数量阈值的情况下,将所述待处理视频中的包含的所有图片,作为所述目标图片。可选的,所述处理器302,还用于:确定所述目标图片中模糊置信度大于预设置信度阈值的像素点的第一数量与所述目标图片的总像素数量的第一比值;根据所述第一比值与第一预设比值阈值之间的大小关系,确定模糊标签信息;所述模糊标签信息用于表征所述目标图片的模糊程度是否正常;和/或,将所述目标图片作为第一预设分类模型的输入,根据所述第一预设分类模型的输出类别,确定抖动标签信息;所述第一预设分类模型用于按照抖动程度是否正常进行图片分类;和/或,将所述目标图片作为第二预设分类模型的输入,根据所述第二预设分类模型的输出类别,确定曝光标签信息;所述第二预设分类模型用于按照曝光程度是否正常进行图片分类;和/或,确定所述目标图片中颜色值超出预设颜色值范围的像素点的第二数量与所述总像素数量的第二比值;根据所述第二比值与第二预设比值阈值之间的大小关系,确定色彩差标签信息;所述色差标签信息用于表征所述目标图片的色彩变化程度是否正常。
109.可选的,所述处理器302,还用于:确定所述视频片段中第一目标图片的第三数量;所述第一目标图片为目标信息表征图片参数不满足所述预设要求且连续出现的目标图片;若所述第三数量大于第二预设数量阈值,则剔除n个所述第一目标图片;所述n小于所述第三数量。可选的,所述处理器302,还用于:为剩余的所述第一目标图片添加图片转场效果;其中,所述图片转场效果包括右出左进、旋出旋入以及淡入淡出中的一种或多种。可选的,所述处理器302,还用于:确定所述视频片段中包含的第二目标图片的第四数量与所述视频片段中图片的总数量的第三比值;所述第二目标图片为目标信息表征图片参数不满足所述预设要求的目标图片;确定第三预设比值阈值及第三预设数量阈值;若所述第三比值大于
所述第三预设比值阈值,和/或,所述第四数量大于所述第三预设数量阈值,则丢弃所述视频片段。
110.可选的,所述处理器302,还用于:根据所述待处理视频对应的视频剪辑模板,确定所述视频剪辑模板对应的所述第三预设比值阈值及所述第三预设数量阈值;其中,不同的视频剪辑模板对应的所述第三预设比值阈值不同,不同的视频剪辑模板对应的所述第三预设数量阈值不同,所述第三预设比值阈值及所述第三预设数量阈值与所述视频剪辑模板对应视频内容类型相关。可选的,所述处理器302,还用于:确定所有图片参数均不满足所述预设要求的第三目标图片;删除所述第三目标图片;其中,所述预设要求包括所述模糊程度正常、抖动程度正常、曝光程度正常及色彩变化程度正常中的一种或多种。可选的,所述处理器302,还用于:对所述筛选处理后的视频片段进行合并,得到所述目标视频。可选的,所述处理器302,还用于:对于待处理视频中的目标图片,确定所述目标图片的图片参数对应的目标信息之前,接收用户对可选视频的选择操作;将所述选择操作选中的可选视频确定为所述待处理视频;所述可选视频为电子设备中存储的视频;根据筛选处理后的待处理视频,生成目标视频之后,向所述用户显示所述目标视频。
111.综上所述,本发明实施例提供的视频处理装置,对于待处理视频中的目标图片,确定目标图片的图片参数对应的目标信息,其中,目标信息用于表征目标图片的图片参数是否满足预设要求,根据待处理视频中包含的目标图片的目标信息,对待处理视频进行筛选处理,其中,筛选处理包括删除不满足预设要求的目标图片或该目标图片所属的其中一个视频片段,最后,根据筛选处理后的待处理视频,生成目标视频。这样,通过在进行视频处理时,根据图片的图片参数自动对视频中的图片进行筛选,进而一定程度上可以降低筛选成本,提高筛选效率。进一步地,本发明实施例还提供一种可移动设备,所述可移动设备包括视频采集设备,所述可移动设备用于通过所述视频采集设备采集待处理视频,根据上述所述的视频处理方法对所述待处理视频进行处理。可选的,所述可移动设备为无人机和/或无人车。进一步地,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现上述视频处理方法中的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器来实现根据本发明实施例的计算处理设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
112.例如,图4为本发明实施例提供的一种计算处理设备的框图,如图4所示,图4示出了可以实现根据本发明的方法的计算处理设备。该计算处理设备传统上包括处理器710和
以存储器720形式的计算机程序产品或者计算机可读介质。存储器720可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。存储器720具有用于执行上述方法中的任何方法步骤的程序代码的存储空间730。例如,用于程序代码的存储空间730可以包括分别用于实现上面的方法中的各种步骤的各个程序代码。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘,紧致盘(cd)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为如参考图5所述的便携式或者固定存储单元。该存储单元可以具有与图4的计算处理设备中的存储器720类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常,存储单元包括计算机可读代码,即可以由例如诸如710之类的处理器读取的代码,这些代码当由计算处理设备运行时,导致该计算处理设备执行上面所描述的方法中的各个步骤。本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着,结合实施例描述的特定特征、结构或者特性包括在本发明的至少一个实施例中。此外,请注意,这里“在一个实施例中”的词语例子不一定全指同一个实施例。在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
113.最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献