一种基于深度学习的视频抽帧方法和系统与流程

1.本发明实施例涉及视频图像分析技术领域，尤其涉及一种基于深度学习的视频抽帧方法和系统。


背景技术：

2.智能化是汽车行业发展的重要趋势，自动驾驶技术是汽车智能化的一个重要分枝，也是目前各大厂商着重研究的方向。自动驾驶系统按智能化程度由低到高分为l0
‑
l5六个等级，目前驾驶技术已发展至开发允许自动驾驶系统代替驾驶员独立驾驶车辆的l3等级。由于l3等级需要自动驾驶系统独立驾驶车辆，因此系统应用场景更加复杂，需要大量的样本数据进行自动驾驶模型的训练和验证。
3.为了进一步提升自动驾驶汽车上摄像头对目标的精准识别能力，常需采集到各种场景下的道路的大量视频图片对模型进行训练，训练前对采集到视频数据的抽帧预处理也属于重要的环节之一，传统视频预处理方法为人工在视频中手动标记需要抽帧的时间段，或在数据采集时人工打点，记录目标时刻。之后根据记录的时间段将视频中对应的帧数转换成图片后人工对每张图片进行筛选，通过人工审核过滤掉包含敏感信息、模糊、过曝、和不含目标物的图片，筛选完后还需要人工质检，过程繁琐且耗时，若采用打点等方式记录帧信息时还会产生信息需要存储在其他文件中，需考虑存储查找匹配等问题。


技术实现要素：

4.本发明实施例提供一种基于深度学习的视频抽帧方法和系统，减少参与筛选图片的人力和时间，同时会整理视频帧的识别结果将对应的目标信息转换成帧目录存储在二维码中插入视频最后一帧，方便后续二次对视频中特定目标进行抽取。
5.第一方面，本发明实施例提供一种基于深度学习的视频抽帧方法，包括：
6.步骤s1、对检测视频中每一帧图像进行亮度检测和模糊检测，确定每一帧图像的色偏度值和灰度图方差值，并计算检测视频的视频平均灰度图方差值；
7.步骤s2、基于预先训练好的深度学习模型识别每一帧图像中的敏感目标，并对敏感目标进行预标注；所述预标注包括敏感目标位置和敏感目标类型；
8.步骤s3、基于每相邻若干帧图像的色偏度值、灰度图方差值、视频平均灰度图方差值、敏感目标位置、敏感目标类型、图像对应的时间生成二维码，并依次插入检测视频最后一帧；
9.步骤s4、基于预设抽帧间隔、脱敏目标类型、灰度图方差值范围和时间范围抽取目标图像，并基于预设规则对目标图像中的敏感目标进行模糊化处理。
10.作为优选的，所述敏感目标包括限高标识、限重标识、军事区域、发电站、连续密集高压线、人脸、车道线、障碍物、预设特殊类型车辆和交通标志牌。
11.作为优选的，所述步骤s1具体包括：
12.基于计算机视觉和机器学习软件库opencv中的brightnessexception对检测视频
中每一帧图像进行亮度检测，得到每一帧图像的色偏度值cast和色偏方向值da；
13.将每一帧图像转换为灰度图，并基于计算机视觉和机器学习软件库opencv中的laplacian算子计算灰度图方差值，并计算视频平均灰度图方差值。
14.作为优选的，若所述色偏度值cast＞1，则表示亮度异常；
15.若色偏度值cast＞1，且色偏方向值da＞0，则表示图像亮度过亮，若色偏度值cast＞1，且色偏方向值da＜0，则表示图像亮度过暗；否则表示图像亮度正常。
16.作为优选的，所述步骤s3具体包括：
17.步骤s31、根据检测视频开始时间戳和当前帧图像的帧数，确定每一帧图像对应的时间；
18.步骤s32、基于所述色偏度值、灰度图方差值、视频平均灰度图方差值、敏感目标位置、敏感目标类型、图像对应的时间生成每一帧图像的检测二维码；
19.s33、将与检测视频相同分辨率的二维码图像等分为16等份，将所述检测二维码按对应每一帧图像在检测视频中的先后顺序，依次插入二维码图像中对应位置。
20.作为优选的，所述步骤s4中，当前帧图像的模糊阈值小于设定值，且与视频平均阈值差的绝对值大于设定值时，以该帧图像前后设定时间段的模糊阈值平均值进行比较，如果设定时间段的模糊阈值平均值小于设定值，则认为该帧图像清晰，否则判断为该帧图像模糊。
21.第二方面，本发明实施例提供一种基于深度学习的视频抽帧系统，包括：
22.亮度及模糊检测模块，用于对检测视频中每一帧图像进行亮度检测和模糊检测，确定每一帧图像的色偏度值和灰度图方差值，并计算视频平均灰度图方差值；
23.目标自动识别模块，用于基于预先训练好的深度学习模型识别每一帧图像中的敏感目标，并对敏感目标进行预标注；所述预标注包括敏感目标位置和敏感目标类型；
24.数据融合模块，用于基于每相邻若干帧图像的色偏度值、灰度图方差值、视频平均灰度图方差值、敏感目标位置、敏感目标类型、图像对应的时间生成二维码，并依次插入检测视频最后一帧；
25.数据抽取模块，用于基于预设抽帧间隔、脱敏目标类型、灰度图方差值范围和时间范围抽取目标图像，并基于预设规则对目标图像中的敏感目标进行模糊化处理。
26.第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述基于深度学习的视频抽帧方法的步骤。
27.第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述基于深度学习的视频抽帧方法的步骤。
28.本发明实施例提供的一种基于深度学习的视频抽帧方法和系统，通过人工和深度学习模型的辅助，对按设定的时间间隔对相应帧数图像进行模糊、过曝、敏感信息、目标识别，将识别的相应帧数信息存储每16帧生成一个4
×
4的多二维码画面插入视频最后帧中，可以减少审核人员筛选图片的时间提前过滤掉模糊和过曝帧数，同时每帧信息存储在视频末尾中，方便二次进行筛选，且不遮挡原先每帧的画面，且传统算法中图像模糊阈值较难确定，本系统为视频中的画面检测，在进行检测时，可将全视频帧数的平均值作为阈值参考，
且判断时可人为设置参考前后设定时间的视频进行阈值调整来判断图片是否模糊。
附图说明
29.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
30.图1为根据本发明实施例的基于深度学习的视频抽帧方法流程框图；
31.图2为根据本发明实施例的电子设备的实体结构示意图。
具体实施方式
32.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.传统视频预处理方法为人工在视频中手动标记需要抽帧的时间段，或在数据采集时人工打点，记录目标时刻。之后根据记录的时间段将视频中对应的帧数转换成图片后人工对每张图片进行筛选，通过人工审核过滤掉包含敏感信息、模糊、过曝、和不含目标物的图片，筛选完后还需要人工质检，过程繁琐且耗时，若采用打点等方式记录帧信息时还会产生信息需要存储在其他文件中，需考虑存储查找匹配等问题。
34.因此，本发明实施例提供一种基于深度学习的视频抽帧方法和系统，其中包含间隔抽帧、脱敏处理、模糊过曝识别，目标识别，减少参与筛选图片的人力和时间，同时会整理视频帧的识别结果将对应的目标信息转换成帧目录存储在二维码中插入视频最后一帧，方便后续二次对视频中特定目标进行抽取。以下将通过多个实施例进行展开说明和介绍。
35.图1为本发明实施例提供一种基于深度学习的视频抽帧方法，包括：
36.步骤s1、对检测视频中每一帧图像进行亮度检测和模糊检测，确定每一帧图像的色偏度值和灰度图方差值，并计算检测视频的视频平均灰度图方差值；
37.具体的，步骤s1具体包括：
38.基于计算机视觉和机器学习软件库opencv中的brightnessexception对检测视频中每一帧图像进行亮度检测，得到每一帧图像的色偏度值cast和色偏方向值da；
39.通过计算灰度图的均值和方差，就可评估图像是否存在过曝光或曝光不足，采用opencv的brightnessexception函数实现，输入为rgb图像，返回值为色偏度值cast、色偏方向值da。
40.若所述色偏度值cast＞1，则表示亮度异常；
41.若色偏度值cast＞1，且色偏方向值da＞0，则表示图像亮度过亮，若色偏度值cast＞1，且色偏方向值da＜0，则表示图像亮度过暗；否则表示图像亮度正常。亮度检测与色偏检测相似，计算图片在灰度图上的均值和方差，当存在亮度异常时，均值会偏离均值点(可以假设为128)，方差也会偏小；通过计算灰度图的均值和方差，就可评估图像是否存在过曝光或曝光不足。
42.将每一帧图像转换为灰度图，并基于计算机视觉和机器学习软件库opencv中的laplacian算子计算灰度图方差值，并计算视频平均灰度图方差值。
43.步骤s2、基于预先训练好的深度学习模型识别每一帧图像中的敏感目标，并对敏感目标进行预标注；所述预标注包括敏感目标位置和敏感目标类型；
44.其中，所述敏感目标包括限高标识、限重标识、军事区域、发电站、连续密集高压线、人脸、车道线、障碍物、预设特殊类型车辆和交通标志牌。
45.本实施例中，可用yolov5模型进行预先训练，并进行预目标框预标注。
46.步骤s3、基于每相邻若干帧图像的色偏度值、灰度图方差值、视频平均灰度图方差值、敏感目标位置、敏感目标类型、图像对应的时间生成二维码，并依次插入检测视频最后一帧；
47.步骤s3具体包括：
48.步骤s31、根据检测视频开始时间戳和当前帧图像的帧数，确定每一帧图像对应的时间，可精确到毫秒；
49.步骤s32、基于所述色偏度值、灰度图方差值、视频平均灰度图方差值、敏感目标位置、敏感目标类型、图像对应的时间生成每一帧图像的检测二维码；
50.s33、将与检测视频相同分辨率的二维码图像等分为16等份，将所述检测二维码按对应每一帧图像在检测视频中的先后顺序，依次插入二维码图像中对应位置。根据视频的原始分辨率将图像且分为4
×
4，即16等份，每份存储一帧图像的信息包含所含目标类型，目标框(敏感目标)位置，是否过曝，当前帧灰度图方差值，视频平均灰度图方差值，及该信息所对应原视频帧数。
51.步骤s4、基于预设抽帧间隔、脱敏目标类型、灰度图方差值范围和时间范围抽取目标图像，并基于预设规则对目标图像中的敏感目标进行模糊化处理。
52.选择需要抽取的目标物、需要模糊的敏感目标、需要抽帧的间隔、及图片的亮度程度(过暗，正常，过亮)，及图片模糊阈值的设定值(默认为100，可根据视频分辨率不同进行调节)。当前帧图像的模糊阈值小于设定值，且与视频平均阈值差的绝对值大于设定值时，以该帧图像前后设定时间段的模糊阈值平均值进行比较，如果设定时间段的模糊阈值平均值小于设定值，则认为该帧图像清晰，否则判断为该帧图像模糊。
53.抽帧结束后会将每帧的信息写入以图片时间戳命名的json文件中其中包含目标类型，目标框位置，是否过曝，灰度图方差值，所对应原视频帧数，和对应的时间日期。
54.在一个实施例中，本发明实施例还提供一种基于深度学习的视频抽帧系统，基于上述各实施例中的基于深度学习的视频抽帧方法，包括：
55.亮度及模糊检测模块，用于对检测视频中每一帧图像进行亮度检测和模糊检测，确定每一帧图像的色偏度值和灰度图方差值，并计算视频平均灰度图方差值；
56.目标自动识别模块，用于基于预先训练好的深度学习模型识别每一帧图像中的敏感目标，并对敏感目标进行预标注；所述预标注包括敏感目标位置和敏感目标类型；
57.数据融合模块，用于基于每相邻若干帧图像的色偏度值、灰度图方差值、视频平均灰度图方差值、敏感目标位置、敏感目标类型、图像对应的时间生成二维码，并依次插入检测视频最后一帧；
58.数据抽取模块，用于基于预设抽帧间隔、脱敏目标类型、灰度图方差值范围和时间
范围抽取目标图像，并基于预设规则对目标图像中的敏感目标进行模糊化处理。
59.在一个实施例中，图2为本发明实施例提供的电子设备实体结构示意图，如图2所示，该电子设备可以包括：处理器(processor)810、通信接口(communications interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如上述各实施例所述基于深度学习的视频抽帧方法的步骤。例如包括：
60.步骤s1、对检测视频中每一帧图像进行亮度检测和模糊检测，确定每一帧图像的色偏度值和灰度图方差值，并计算视频平均灰度图方差值；
61.步骤s2、基于预先训练好的深度学习模型识别每一帧图像中的敏感目标，并对敏感目标进行预标注；所述预标注包括敏感目标位置和敏感目标类型；
62.步骤s3、基于每相邻若干帧图像的色偏度值、灰度图方差值、视频平均灰度图方差值、敏感目标位置、敏感目标类型、图像对应的时间生成二维码，并依次插入检测视频最后一帧；
63.步骤s4、基于预设抽帧间隔、脱敏目标类型、灰度图方差值范围和时间范围抽取目标图像，并基于预设规则对目标图像中的敏感目标进行模糊化处理。
64.在一个实施例中，本发明实施例还提供一种非暂态计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包含至少一段代码，该至少一段代码可由主控设备执行，以控制主控设备用以实现如上述各实施例所述基于深度学习的视频抽帧方法的步骤。例如包括：
65.步骤s1、对检测视频中每一帧图像进行亮度检测和模糊检测，确定每一帧图像的色偏度值和灰度图方差值，并计算视频平均灰度图方差值；
66.步骤s2、基于预先训练好的深度学习模型识别每一帧图像中的敏感目标，并对敏感目标进行预标注；所述预标注包括敏感目标位置和敏感目标类型；
67.步骤s3、基于每相邻若干帧图像的色偏度值、灰度图方差值、视频平均灰度图方差值、敏感目标位置、敏感目标类型、图像对应的时间生成二维码，并依次插入检测视频最后一帧；
68.步骤s4、基于预设抽帧间隔、脱敏目标类型、灰度图方差值范围和时间范围抽取目标图像，并基于预设规则对目标图像中的敏感目标进行模糊化处理。
69.基于相同的技术构思，本技术实施例还提供一种计算机程序，当该计算机程序被主控设备执行时，用以实现上述方法实施例。
70.所述程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
71.基于相同的技术构思，本技术实施例还提供一种处理器，该处理器用以实现上述方法实施例。上述处理器可以为芯片。
72.综上所述，本发明实施例提供的一种基于深度学习的视频抽帧方法和系统，通过人工和深度学习模型的辅助，对按设定的时间间隔对相应帧数图像进行模糊、过曝、敏感信息、目标识别，将识别的相应帧数信息存储每16帧生成一个4
×
4的多二维码画面插入视频最后帧中，可以减少审核人员筛选图片的时间提前过滤掉模糊和过曝帧数，同时每帧信息存储在视频末尾中，方便二次进行筛选，且不遮挡原先每帧的画面，且传统算法中图像模糊
阈值较难确定，本系统为视频中的画面检测，在进行检测时，可将全视频帧数的平均值作为阈值参考，且判断时可人为设置参考前后设定时间的视频进行阈值调整来判断图片是否模糊。
73.需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
74.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
75.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
76.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
77.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
78.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
79.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。