车载视频电子稳像方法，系统，电子稳像器及存储介质与流程

1.本发明涉及电子稳像领域，特别涉及一种车载视频电子稳像方法，系统，电子稳像器及存储介质。


背景技术：

2.目前，在视频防抖方面，主要从三个技术层面进行展开：一是通过传感器和电机构成伺服系统，实时调整摄像头的位置，达到输出稳定图像的效果，而这种伺服系统往往结构庞大，不易于在车内进行安装布控，且精度不一定能够满足工程需求。二是在镜头中进行光学补充，用以补偿图像的运动抖动，但是，这种摄像头的精密，往往造价不菲，对于产品的研发的费用有一定的限制性。三是将普通的单目摄像头采集视频，对视频帧与帧图像进行运动估计，并进行数据处理后，加以运动补偿，最后输出稳定的视频流。
3.2d电子稳像算法主要分为基于像素点和基于特征点的两类方法。基于像素点的方法中的代表性方法为块匹配方法和相位相关法；其中，块匹配方法是在数字视频序列中定位匹配块的一种运动估计方法，这种方法在图像中存在高速运动的物体以及帧间图像信息变化较少时，处理后的效果不理想；相位相关法采用傅里叶变换来获取互功率谱中的相位信息，它具有一定的抗干扰能力，但是对于模糊图像的处理效果不佳，对于过大的视频也具有耗时长的问题。基于特征点的方法主要通过检测特征点来减少图像的数据量，常用的方法为光流跟踪法。


技术实现要素：

4.本发明为解决上述技术问题，提供一种车载视频电子稳像方法，系统，电子稳像器及存储介质；通过获取输入的视频帧图像，对其进行灰度化处理，并判断当前视频帧是否为空帧或重帧，进而获得有效的视频帧图像；再对所述有效的视频帧图像进行电子稳像处理，然后遍历经过电子稳像处理后的所有视频帧图像，并将其输出成视频。本发明解决了车载视频图像的抖动问题，同时依据实时的车速，对于视频中空帧的部分图像，也可以完美的实现视频的稳像效果。
5.具体的，本发明提供一种车载视频电子稳像方法，包括以下步骤：s100：获取输入的视频帧图像，并对其进行预处理，得到有效的视频帧图像。
6.s200：对所述有效的视频帧图像进行电子稳像处理。
7.s300：遍历所有经电子稳像处理的视频帧图像，将其输出成视频。
8.其中，所述步骤s100具体包括：对输入的视频帧图像进行灰度化处理，并判断当前视频帧是否为空帧或重帧，进而获得有效的视频帧。
9.所述步骤s200具体包括：s201：获取有效的视频帧图像，定义当前处理的视频帧图像为当前视频帧图像，前一视频帧图像为所述当前视频帧图像的参考视频帧图像，并采用harris角点检测方法，分别在当前视频帧与参考视频帧中检测出特征角点信息。
10.s202：分别获取所述当前视频帧与参考视频帧的特征角点坐标和特征角点的强度，根据预设的距离阈值，对所述当前视频帧与参考视频帧的特征角点进行约束和光流计算，进而得出两视频帧之间的特征角点对，并采用ransac算法对所述特征角点对进行优化。
11.优选的，对所述特征角点对进行优化时，车辆前向摄像头中的前后帧的光流方向具有分散性，所述ransac算法可以剔除较差的特征角点对。
12.s203：对所述特征角点对进行仿射变换，并根据所述特征角点对计算出第一仿射矩阵，同时通过两视频帧之间的平均车速，时间差以及当前视频帧的车辆方向角，计算出两视频帧之间的位移，再根据所述车辆方向角估计出当前视频帧分别在x方向上的偏移量和在y方向上的偏移量。
13.s204：统计一预设视频帧数内的每视频帧车速以及其对应的仿射矩阵的第一偏移量参数；并判断所述第一偏移量参数与通过所述车速计算的第二偏移量参数的对应差值是否大于第三预设阈值，若大于，则将所述第一偏移量参数与前一视频帧的有效仿射矩阵的第三偏移量参数分别进行相除，以求取比例关系，再根据所述比例关系求平均数，取四舍五入后的整数n作为当前空帧图像的实际视频帧数值，根据所述视频帧数值将当前空帧图像的仿射矩阵的第一偏移量参数差分为n个仿射矩阵参数，并记录该空帧图像；否则不做处理。
14.s205：以视频中第一帧有效视频帧为基准真帧，对所有两视频帧之间计算的偏移量进行累加，实现视频的轨迹累计，并采用平均窗口算法对视频中的抖动进行平滑处理，完成运动滤波。
15.s206：对于当前视频帧图像，将运动滤波后的偏移量参数减去累计轨迹偏移量参数，再加上初始两视频帧之间的偏移量参数，作为校正后的偏移量参数，并根据所述校正后的偏移量参数进行重构滤波，得到第二仿射矩阵，以及对当前视频帧图像进行反仿射变换。
16.s207：根据记录的空帧的视频帧图像进行参数补偿。
17.其中，所述判断当前视频帧是否为空帧具体为：计算当前视频帧图像的像素矩阵的均值，若所述像素矩阵的均值小于第一预设阈值，则认为当前视频帧为空帧；否则认为当前视频帧为有效的视频帧。
18.所述判断当前视频帧是否为重帧具体为：将前后两视频帧图像的像素矩阵进行相减，计算出像素矩阵的最大像素值，若所述最大像素值小于第二预设阈值，则认为当前视频帧为重帧；否则认为当前视频帧为有效的视频帧。
19.优选的，当判断出当前视频帧为空帧或重帧后，对当前视频帧不做任何处理，而是继续处理下一帧的数据。
20.所述参数补偿具体为：将步骤s204中差分后n个仿射矩阵参数进行合并，一次补偿到空帧的视频帧图像上。
21.作为另一优选的，本发明还提供一种车载视频电子稳像系统，包括：数据预处理模块：用于对输入的视频帧图像进行灰度化处理，以及判断当前视频帧是否为空帧或重帧。
22.角点检测模块：用于采用harris角点检测方法检测当前视频帧与参考视频帧的特征角点信息。
23.光流计算模块：用于在当前视频帧与参考视频帧中检测出特征角点信息，以及采
用ransac算法优化特征角点对，减少帧图像之间的误匹配角点对。
24.运动估计模块：用于对特征角点对进行仿射变换，以及计算仿射矩阵及其对应的偏移量参数。
25.空帧数据处理模块：用于求取每视频帧车速以及其对应的仿射矩阵的第一偏移量参数与前一视频帧的有效仿射矩阵的第三偏移量参数的比例关系，再根据所述比例关系求平均数，得到当前空帧图像的实际视频帧数值，根据所述视频帧数值将第一偏移量参数差分为n个仿射矩阵参数，并记录该空帧图像。
26.运动滤波模块：用于实现视频的轨迹累计，以及对视频中的抖动进行平滑处理。
27.图像补偿模块：用于对当前视频帧图像进行反仿射变换，以及记录的空帧的视频帧图像进行参数补偿。
28.其中，所述系统还包括：视频获取模块：用于获取输入的视频帧图像；视频输出模块：用于遍历所有的视频帧图像，并将其输出成视频。
29.作为另一优选的，本发明还提供一种电子稳像器，为稳像器的一种，在所述电子稳像器中安装有车载视频电子稳像系统，用于实现上述的车载视频电子稳像方法。
30.作为另一优选的，本发明还提供一种存储介质，为计算机可读存储介质中的一种，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的车载视频电子稳像方法。
31.终上所述，本发明提供一种车载视频电子稳像方法，系统，电子稳像器及存储介质；所述方法包括：获取输入的视频帧图像，对其进行预处理，进而获得有效的视频帧，以检测出特征角点信息；再根据所述特征角点信息得到两视频帧之间特征角点对，并对其进行优化；进一步对所述特征角点对进行仿射变换，根据所述特征角点对计算出仿射矩阵的偏移量参数进行判断，再根据判断结果将所述偏移量参数进行差分，记录空帧图像，完成运动滤波及重构滤波，并对当前视频帧图像进行反仿射变换；根据所记录的空帧图像进行参数补偿，最后输出视频。本发明解决了车载视频图像的抖动问题，同时依据实时的车速，对于视频中空帧的部分图像，也可以完美的实现视频的稳像效果。
附图说明
32.图1为本发明所述的车载视频电子稳像方法流程图。
33.图2为本发明所述的车载视频电子稳像处理方法流程图。
34.图3为图1所述的车载视频电子稳像方法的系统框架图。
具体实施方式
35.下面结合具体实施例及附图对本发明的一种车载视频电子稳像方法，系统，电子稳像器及存储介质，作进一步详细描述。
36.具体的，本发明提供一种车载视频电子稳像方法，包括以下步骤：s100：获取输入的视频帧图像，并对其进行预处理，得到有效的视频帧图像。
37.s200：对所述有效的视频帧图像进行电子稳像处理。
38.s300：遍历所有经电子稳像处理的视频帧图像，将其输出成视频。
39.其中，所述步骤s100具体包括：对输入的视频帧图像进行灰度化处理，并判断当前
视频帧是否为空帧或重帧，进而获得有效的视频帧。
40.其中，所述判断当前视频帧是否为空帧具体为：计算当前视频帧图像的像素矩阵的均值，若所述像素矩阵的均值小于第一预设阈值，则认为当前视频帧为空帧；否则认为当前视频帧为有效的视频帧。
41.所述判断当前视频帧是否为重帧具体为：将前后两视频帧图像的像素矩阵进行相减，计算出像素矩阵的最大像素值，若所述最大像素值小于第二预设阈值，则认为当前视频帧为重帧；否则认为当前视频帧为有效的视频帧。
42.优选的，当判断出当前视频帧为空帧或重帧后，对当前视频帧不做任何处理，而是继续处理下一帧的数据。
43.所述步骤s200具体包括：s201：获取有效的视频帧图像，定义当前处理的视频帧图像为当前视频帧图像，前一视频帧图像为所述当前视频帧图像的参考视频帧图像，并采用harris角点检测方法，分别在当前视频帧与参考视频帧中检测出特征角点信息。
44.s202：分别获取所述当前视频帧与参考视频帧的特征角点坐标和特征角点的强度，根据预设的距离阈值，对所述当前视频帧与参考视频帧的特征角点进行约束和光流计算，进而得出两视频帧之间的特征角点对，并采用ransac算法对所述特征角点对进行优化。
45.优选的，对所述特征角点对进行优化时，车辆前向摄像头中的前后帧的光流方向具有分散性，所述ransac算法可以剔除较差的特征角点对。
46.s203：对所述特征角点对进行仿射变换，并根据所述特征角点对计算出第一仿射矩阵，同时通过两视频帧之间的平均车速，时间差以及当前视频帧的车辆方向角，计算出两视频帧之间的位移，再根据所述车辆方向角估计出当前视频帧分别在x方向上的偏移量和在y方向上的偏移量。
47.优选的，进行仿射变换可以计算出相邻两视频帧图像之间的运动关系；所述仿射矩阵表示为，其中尺度变化量为，表示前后相邻两视频帧图像之间的缩放比因子；旋转变化量r可表示为，和分别为当前视频帧相对于前一视频帧在x方向上的偏移量和在y方向上的偏移量；同时，记录两视频帧之间的平均车速，两视频帧之间的时间差和当前视频帧的车辆方向角，求得两视频帧之间的位移，再根据所述车辆方向角，进一步估计出在x方向上的偏移量和在y方向上的偏移量。
48.s204：统计一预设视频帧数内的每视频帧车速以及其对应的仿射矩阵的第一偏移量参数；并判断所述第一偏移量参数与通过所述车速计算的第二偏移量参数的对应差值是否大于第三预设阈值，若大于，则将所述第一偏移量参数与前一视频帧的有效仿射矩阵的第三偏移量参数分别进行相除，以求取比例关系，再根据所述比例关系求平均数，取四舍五入后的整数n作为当前空帧图像的实际视频帧数值，根据所述视频帧数值将当前空帧图像的仿射矩阵的第一偏移量参数差分为n个仿射矩阵参数，并记录该空帧图像；否则不做处理。
49.优选的，所述第一偏移量参数表示为，所述第二偏移量参数表示为，将不符合规律的偏移量参数与前一视频帧的有效仿射矩阵的第三偏移量参数分别进行相除，根据相除后的比例关系求取平均数，将所述平均数四舍五入后的整数n作为当前空帧图像的实际视频帧数值，将当前空帧图像的仿射矩阵的第一偏移量参数差分为n个仿射矩阵参数，其中，t(n-1)=t(n)*q，t(n-2)= t(n)*，q是等比例系数，所述n个仿射矩阵参数供后续进行参数补偿时使用。
50.s205：以视频中第一帧有效视频帧为基准真帧，对所有两视频帧之间计算的偏移量进行累加，实现视频的轨迹累计，并采用平均窗口算法对视频中的抖动进行平滑处理，完成运动滤波。
51.s206：对于当前视频帧图像，将运动滤波后的偏移量参数减去累计轨迹偏移量参数，再加上初始两视频帧之间的偏移量参数，作为校正后的偏移量参数，并根据所述校正后的偏移量参数进行重构滤波，得到第二仿射矩阵，以及对当前视频帧图像进行反仿射变换。
52.优选的，进行重构滤波后的第二仿射矩阵表示为。
53.s207：根据记录的空帧的视频帧图像进行参数补偿。
54.其中，所述参数补偿具体为：将步骤s204中差分后n个仿射矩阵参数进行合并，一次补偿到空帧的视频帧图像上。
55.优选的，将t(n-1)=t(n)*q，t(n-2)= t(n)*等n个仿射矩阵参数进行合并，并将其补偿到空帧的视频帧图像上。
56.作为另一优选的，本发明还提供一种车载视频电子稳像系统，包括：数据预处理模块：用于对输入的视频帧图像进行灰度化处理，以及判断当前视频帧是否为空帧或重帧。
57.角点检测模块：用于采用harris角点检测方法检测当前视频帧与参考视频帧的特征角点信息。
58.光流计算模块：用于在当前视频帧与参考视频帧中检测出特征角点信息，以及采用ransac算法优化特征角点对，减少帧图像之间的误匹配角点对。
59.运动估计模块：用于对特征角点对进行仿射变换，以及计算仿射矩阵及其对应的偏移量参数。
60.空帧数据处理模块：用于求取每视频帧车速以及其对应的仿射矩阵的第一偏移量参数与前一视频帧的有效仿射矩阵的第三偏移量参数的比例关系，再根据所述比例关系求平均数，得到当前空帧图像的实际视频帧数值，根据所述视频帧数值将第一偏移量参数差分为n个仿射矩阵参数，并记录该空帧图像。
61.运动滤波模块：用于实现视频的轨迹累计，以及对视频中的抖动进行平滑处理。
62.图像补偿模块：用于对当前视频帧图像进行反仿射变换，以及记录的空帧的视频帧图像进行参数补偿。
63.其中，所述系统还包括：视频获取模块：用于获取输入的视频帧图像；视频输出模块：用于遍历所有的视频帧图像，并将其输出成视频。
64.作为另一优选的，本发明还提供一种电子稳像器，为稳像器的一种，在所述电子稳像器中安装有车载视频电子稳像系统，用于实现上述的车载视频电子稳像方法。
65.作为另一优选的，本发明还提供一种存储介质，为计算机可读存储介质中的一种，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的车载视频电子稳像方法。
66.终上所述，本发明提供一种车载视频电子稳像方法，系统，电子稳像器及存储介质；所述方法包括：获取输入的视频帧图像，对其进行预处理，进而获得有效的视频帧；对所述有效的视频帧进行电子稳像处理；最后遍历所有视频帧，将其输出成视频。本发明解决了车载视频图像的抖动问题，同时依据实时的车速，对于视频中空帧的部分图像，也可以完美的实现视频的稳像效果。
67.尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
68.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
69.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
70.本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
71.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
72.虽然对本发明的描述是结合以上具体实施例进行的，但是，熟悉本技术领域的人员能够根据上述的内容进行许多替换、修改和变化是显而易见的。因此，所有这样的替代、
改进和变化都包括在附后的权利要求的精神和范围内。