静帧检测方法、电子设备及存储介质与流程

1.本技术涉及图像显示技术领域，尤其涉及一种静帧检测方法、电子设备及存储介质。


背景技术：

2.随着广播电视和视频监控等行业的迅速发展，视频数字化程度不断加快，准确安全且连续的播放视频的要求越来越高。在视频播放的过程中检测视频图像中是否有物体运动，即判断该视频信号是否存在静止现象，以便于及时做出补救措施，确保电视节目播出的完整和稳定性，确保视频监控的实时性和安全性，例如，在视频监控领域，安保人员需要挨个对着多台显示屏进行观察，确保视频中未出现到危险情况，若显示屏过多，安保人员必然处理不过来，在这个过程中出现视频静止，危险情况未及时发现，这将带来很大的安全隐患，人工检测视频是否出现静止状态危险系数高，且易出现工作人员疲劳无法及时发现异常情况。目前对视频信号中的静帧的检测方法主要是对画面全局进行检测，通过对图像进行分区，确定静帧分区的数量，将静帧分区数量大于阈值的判定为静止图像，然而，这种方式对于运动幅度小或运动目标较小的情况容易造成误判，导致静帧检测的准确率降低。


技术实现要素：

3.本技术的主要目的在于提供一种静帧检测方法、电子设备及存储介质，旨在解决现有技术静帧检测的准确性较低的技术问题。
4.为实现上述目的，本技术提供一种静帧检测方法，所述静帧检测方法包括：
5.获取待检测图像以及位于所述待检测图像前一帧的第一参照图像；
6.若根据帧间差分算法、所述待检测图像和所述第一参照图像，检测到第一运动目标，则根据所述第一运动目标的第一运动方向，判断所述第一运动目标是否处于打字状态；
7.若确定所述第一运动目标不处于打字状态，则根据光流算法、所述待检测图像和所述第一参照图像，检测第二运动目标；
8.若在所述待检测图像中未检测到第二运动目标，则判定当前显示画面为静帧画面。
9.可选地，所述若在所述待检测图像中未检测到第二运动目标，则判定所述待检测图像为静帧画面的步骤包括：
10.若在所述待检测图像中未检测到第二运动目标，则判定所述当前显示画面为疑似静帧画面；
11.获取所述待检测图像之前预设第一数量帧的历史待检测图像对应的疑似静帧画面历史检测结果；
12.若各所述疑似静帧画面历史检测结果中，判定为疑似静帧画面的次数大于或等于预设次数阈值，则判定当前显示画面为静帧画面。
13.可选地，所述光流算法包括稀疏光流算法，所述根据光流算法、所述待检测图像和
所述第一参照图像，检测第二运动目标的步骤包括：
14.检测所述第一参照图像中的第一角点；
15.根据稀疏光流算法，从所述待检测图像中确定与所述第一角点相匹配的第二角点，相互匹配的第一角点和第二角点组成角点对；
16.根据角点对的相对位置关系，判断所述待检测图像中是否存在第二运动目标。
17.可选地，所述根据角点对的相对位置关系，判断所述待检测图像中是否存在第二运动目标的步骤包括：
18.在预设画布上，确定各所述角点对中的第一角点和第二角点的位置；
19.连接各所述角点对中的第一角点和第二角点，得到角点对连线；
20.若在所述画布的预设非边缘区域检测到所述角点对连线，则判定所述待检测图像中存在第二运动目标。
21.可选地，所述光流算法包括稠密光流算法，所述根据光流算法、所述待检测图像和所述第一参照图像，检测第二运动目标的步骤包括：
22.根据光流算法、所述待检测图像和所述第一参照图像，确定所述待检测图像中每个像素点对应的光流矢量；
23.根据所述光流矢量的光流模长和光流方向，生成光流图像；
24.若在所述光流图像中检测到运动图像，则判定所述待检测图像中存在的第二运动目标。
25.可选地，所述若在所述光流图像中检测到运动图像，则判定所述待检测图像中存在的第二运动目标的步骤包括：
26.将所述光流图像灰度化，得到光流灰度图；
27.对所述光流灰度图进行自适应二值化，得到待检测图像；
28.根据轮廓发现算法确定所述待检测图像中的运动图像的第二轮廓；
29.若在所述待检测图像的预设非边缘区域中检测到第二轮廓，则判定所述待检测图像中存在的第二运动目标。
30.可选地，所述根据所述第一运动目标的第一运动方向，判断所述第一运动目标是否处于打字状态的步骤包括：
31.根据轮廓发现算法，确定各所述第一运动目标各自对应的目标轮廓；
32.从各所述目标轮廓中确定面积最大的最大目标轮廓；
33.确定所述最大目标轮廓的最小外接矩形；
34.若根据所述最小外接矩形的倾斜角度确定所述最小外接矩形处于水平状态或垂直状态，则判定所述第一运动目标处于打字状态。
35.可选地，所述判定当前显示画面为静帧画面的步骤之后，还包括：
36.获取位于所述待检测图像之前预设第二数量帧的第二参照图像；
37.确定所述待检测图像对应的第一峰值信噪比，以及各所述第二参照图像对应的第二峰值信噪比的信噪比均值；
38.若所述第一峰值信噪比与所述信噪比均值之间的差值大于或等于预设差值阈值，则确定所述静帧画面受到噪声干扰；
39.若所述第一峰值信噪比与所述信噪比均值之间的差值小于预设差值阈值，则确定
所述静帧画面为完全静帧画面。
40.本技术还提供一种电子设备，所述电子设备为实体设备，所述电子设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述静帧检测方法的程序，所述静帧检测方法的程序被处理器执行时可实现如上述的静帧检测方法的步骤。
41.本技术还提供一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有实现静帧检测方法的程序，所述静帧检测方法的程序被处理器执行时实现如上述的静帧检测方法的步骤。
42.本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的静帧检测方法的步骤。
43.本技术提供了一种静帧检测方法、电子设备及存储介质，通过获取待检测图像以及位于所述待检测图像前一帧的第一参照图像，若根据帧间差分算法、所述待检测图像和所述第一参照图像，检测到第一运动目标，则根据所述第一运动目标的第一运动方向，判断所述第一运动目标是否处于打字状态，实现了通过帧间差分算法对前后两帧图像中的第一运动目标是否处于打字状态的检测，进而通过若确定所述第一运动目标不处于打字状态，则根据光流算法、所述待检测图像和所述第一参照图像，检测第二运动目标，实现了通过光流算法对不处于打字状态的第二运动目标的检测，进而通过若在所述待检测图像中未检测到第二运动目标，则判定当前显示画面为静帧画面，实现了静帧检测。由于打字状态下，整体画面中的像素点的变化非常小，静帧分区检测或光流法均难以检测到，或者容易判定为噪声或误差，导致对静帧画面的误判，本技术通过帧间差分算法可以快速检测出打字状态，而对于不处于打字状态的第二运动目标，可以进一步通过光流法进行准确的检测，相比于静帧分区检测，对于类似光标移动这种细微像素点的移动变化的检测准确性更高，故而可以有效提高静帧检测的准确性，克服了解决现有技术静帧检测的准确性较低的技术问题。
附图说明
44.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
45.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
46.图1为本技术实施例中静帧检测方法涉及的硬件运行环境的电子设备结构示意图；
47.图2为本技术实施例中光标移动的场景示意图；
48.图3为本技术静帧检测方法一实施例的流程示意图；
49.图4为本技术实施例中倾斜角度的场景示意图；
50.图5为本技术一种可实施方式中图像存储格式转换的场景示意图；
51.图6为本技术静帧检测方法另一实施例的流程示意图。
52.附图标号说明：
53.标号名称标号名称1前一帧的位置2当前位置
3最小外接矩形4水平线5垂直线6倾斜角度
54.本技术目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
55.为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
56.随着广播电视和视频监控等行业的迅速发展，视频数字化程度不断加快，准确安全且连续的播放视频的要求越来越高。在视频播放的过程中检测视频图像中是否有物体运动，即判断该视频信号是否存在静止现象，以便于及时做出补救措施，确保电视节目播出的完整和稳定性，确保视频监控的实时性和安全性，例如，在视频监控领域，安保人员需要挨个对着多台显示屏进行观察，确保视频中未出现到危险情况，若显示屏过多，安保人员必然处理不过来，在这个过程中出现视频静止，危险情况未及时发现，这将带来很大的安全隐患，人工检测视频是否出现静止状态危险系数高，且易出现工作人员疲劳无法及时发现异常情况。目前对视频信号中的静帧的检测方法主要是利用前后帧的相似关系或者帧内像素分布情况判定画面是否出现静帧，例如，基于像素点yuv的加权累加得到每一帧的加权和，然后对加权和进行对比，但该方法像素点数据量大，加权累加计算必将带来很多的运算开销，算法相对复杂，占用资源多，检测结果也不准确，又例如，对画面全局进行检测，通过对图像进行分区，确定静帧分区的数量，将静帧分区数量大于阈值的判定为静止图像，然而这种方式对于运动幅度小或运动目标较小的情况容易造成误判，导致静帧检测的准确率降低。
57.本技术通过帧间差分算法对打字状态的第一运动目标进行快速检测，并通过光流法对不处于打字状态的第二运动目标进行检测，对于由于打字产生的小幅度和小面积变化，通过帧间差分算法可以快速判断运动方向，进行准确识别，而对于其他小幅度和小面积变化，例如光标的移动等，特别是复杂背景下的细小变化，虽然画面中可视的变化结果较小，但其变化过程并不小，参照图1，图1中光标从前一帧的位置1移动到当前位置2，整体画面中甚至没有增加或者减少任何像素点，且背景本身较为复杂，故而光标的这一移动变化难以被检测到，需要说明的是，图1中还将背景中的字体颜色浅化以突出显示光标的变化，在实际用于检测的图像中，光标的变化更难被发现，但其从前一帧的位置1移动到当前位置2的运动轨迹若能够可视化，是很容易被检测到的，故而本技术通过光流法检测运动目标的运动轨迹，可以更加准确地检测到小幅度和小面积变化的运动目标。
58.参照图2，图2为本技术实施例中静帧检测方法涉及的硬件运行环境的电子设备结构示意图。本公开实施例中的电子设备可以包括但不限于电视机、oled显示器、lcd(liquid crystal display，液晶显示器)、led(light-emitting diode，发光二极管)显示器等。
59.如图2所示，所述电子设备还包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002，网络接口1003，存储器1004。其中，通信总线1002用
于实现这些组件之间的连接通信。网络接口1003可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1004可以是高速的随机存取存储器(random access memory，ram)存储器，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1004可选的还可以是独立于前述处理器1001的存储装置。
60.可选地，终端还可以包括摄像头、rf(radio frequency，射频)电路，传感器、音频电路、wifi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
61.本领域技术人员可以理解，图2中示出的结构并不构成对运行设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
62.如图2所示，作为一种存储介质的存储器1004中可以包括操作系统、数据存储模块、网络通信模块以及静帧检测程序。
63.在图2所示的运行设备中，网络接口1003主要用于与其他设备进行数据通信。本发明运行设备中的处理器1001、存储器1004可以设置在运行设备中，所述运行设备通过处理器1001调用存储器1004中存储的静帧检测程序，并执行以下操作：
64.获取待检测图像以及位于所述待检测图像前一帧的第一参照图像；
65.若根据帧间差分算法、所述待检测图像和所述第一参照图像，检测到第一运动目标，则根据所述第一运动目标的第一运动方向，判断所述第一运动目标是否处于打字状态；
66.若确定所述第一运动目标不处于打字状态，则根据光流算法、所述待检测图像和所述第一参照图像，检测第二运动目标；
67.若在所述待检测图像中未检测到第二运动目标，则判定当前显示画面为静帧画面。
68.进一步地，处理器1001可以调用存储器1004中存储的静帧检测程序，还执行以下操作：
69.若在所述待检测图像中未检测到第二运动目标，则判定所述当前显示画面为疑似静帧画面；
70.获取所述待检测图像之前预设第一数量帧的历史待检测图像对应的疑似静帧画面历史检测结果；
71.若各所述疑似静帧画面历史检测结果中，判定为疑似静帧画面的次数大于或等于预设次数阈值，则判定当前显示画面为静帧画面。
72.进一步地，处理器1001可以调用存储器1004中存储的静帧检测程序，还执行以下操作：
73.检测所述第一参照图像中的第一角点；
74.根据稀疏光流算法，从所述待检测图像中确定与所述第一角点相匹配的第二角
点，相互匹配的第一角点和第二角点组成角点对；
75.根据角点对的相对位置关系，判断所述待检测图像中是否存在第二运动目标。
76.进一步地，处理器1001可以调用存储器1004中存储的静帧检测程序，还执行以下操作：
77.在预设画布上，确定各所述角点对中的第一角点和第二角点的位置；
78.连接各所述角点对中的第一角点和第二角点，得到角点对连线；
79.若在所述画布的预设非边缘区域检测到所述角点对连线，则判定所述待检测图像中存在第二运动目标。
80.进一步地，处理器1001可以调用存储器1004中存储的静帧检测程序，还执行以下操作：
81.根据光流算法、所述待检测图像和所述第一参照图像，确定所述待检测图像中每个像素点对应的光流矢量；
82.根据所述光流矢量的光流模长和光流方向，生成光流图像；
83.若在所述光流图像中检测到运动图像，则判定所述待检测图像中存在的第二运动目标。
84.进一步地，处理器1001可以调用存储器1004中存储的静帧检测程序，还执行以下操作：
85.将所述光流图像灰度化，得到光流灰度图；
86.对所述光流灰度图进行自适应二值化，得到待检测图像；
87.根据轮廓发现算法确定所述待检测图像中的运动图像的第二轮廓；
88.若在所述待检测图像的预设非边缘区域中检测到第二轮廓，则判定所述待检测图像中存在的第二运动目标。
89.进一步地，处理器1001可以调用存储器1004中存储的静帧检测程序，还执行以下操作：
90.根据轮廓发现算法，确定各所述第一运动目标各自对应的目标轮廓；
91.从各所述目标轮廓中确定面积最大的最大目标轮廓；
92.确定所述最大目标轮廓的最小外接矩形；
93.若根据所述最小外接矩形的倾斜角度确定所述最小外接矩形处于水平状态或垂直状态，则判定所述第一运动目标处于打字状态。
94.进一步地，处理器1001可以调用存储器1004中存储的静帧检测程序，还执行以下操作：
95.获取位于所述待检测图像之前预设第二数量帧的第二参照图像；
96.确定所述待检测图像对应的第一峰值信噪比，以及各所述第二参照图像对应的第二峰值信噪比的信噪比均值；
97.若所述第一峰值信噪比与所述信噪比均值之间的差值大于或等于预设差值阈值，则确定所述静帧画面受到噪声干扰；
98.若所述第一峰值信噪比与所述信噪比均值之间的差值小于预设差值阈值，则确定所述静帧画面为完全静帧画面。
99.本技术实施例提供一种静帧检测方法，在本技术静帧检测方法的第一实施例中，
参照图3，所述静帧检测方法包括以下步骤：
100.步骤s10，获取待检测图像以及位于所述待检测图像前一帧的第一参照图像；
101.在本实施例中，需要说明的是，所述静帧检测方法应用于显示设备，所述显示设备可以包括但不限于电视机或与用户设备线性连接的显示器，例如oled显示器、lcd、led显示器等，所述显示器可以通过hdmi(high definition multimedia interface、高清多媒体接口)、vga(video graphics array，视频图形阵列)接口或dp(displayport，显示接口)等，与用户设备线性连接，进而接收并输出显示用户设备传输的视频信号，其中，所述用户设备包括笔记本电脑、计算机、平板电脑、手机等可移动式终端设备。
102.静帧是指的当前帧的图像相对于前一帧图像，图像没有发生变化的情形，当显示设备播放的视频数据为静帧视频数据时，说明显示设备播放的视频数据存在播放异常，造成异常的原因可能是硬件异常，也可能是软件异常，还可能是视频数据的码流传输存在异常等，若连续出现静帧画面，可能会对显示屏造成损坏。
103.具体地，从视频中获取一帧图像作为待检测图像，并获取所述待检测图像的前一帧图像作为第一参照图像，其中，所述获取待检测图像的方式包括从视频流中获取、截屏或拍照等。
104.在一种可实施的方式中，所述规格调整的方式为截取所述截屏图像中待检测区域对应的部分，其中，所述待检测区域可以根据实际需要进行确定，示例性地，可以根据信息提示弹窗在屏幕上出现时的位置进行确定，而此类信息提示弹窗通常出现在屏幕的四周边缘区域，故而，所述待检测区域可以为所述截屏图像中心的部分区域，也可以为所述截屏图像中从下往上第n行像素点以上的区域等。当用户设备无人操作时，也可能会出现消息提示的弹窗，此类消息提示通常与用户设备是否有人操作无关，若显示屏检测到静态画面进入屏幕保护画面之后，电子设备因消息提示判定画面为动态画面，而退出屏幕保护画面，此时，由于屏幕保护画面的解除并非是由于用户操作，可能在一段时间之后又会重新进入屏幕保护画面，也即，因消息提示而提出屏幕保护画面的过程实质上是无效操作，且还会消耗设备的算力和电量，通过截取待检测区域的方式，将可能引起误操作的区域预先去除，不仅可以减小后续进行运动目标检测的计算量，还可以有效避免上述无效退出屏幕保护画面的情况。
105.在本实施例中，通过规格调整和灰度调整，可以有效减小后续运动目标检测的运算量，进而提高静帧检测的检测效率。
106.步骤s20，若根据帧间差分算法、所述待检测图像和所述第一参照图像，检测到第一运动目标，则根据所述第一运动目标的第一运动方向，判断所述第一运动目标是否处于打字状态；
107.在本实施例中，根据帧间差分算法对所述待检测图像和所述第一参照图像的灰度值进行差分运算，求取两帧图像灰度差的绝对值，如果某一点的灰度差的绝对值为0或者小于或等于预设阈值，可以认为该点无运动物体经过，如果某一点的灰度差的绝对值不为0或大于预设阈值，则可以认为该点有运动物体经过，在一种可实施的方式中，第k帧和k 1帧图像fk(x,y)，f
k 1
(x,y)之间的变化用一个二值差分图像d(x,y)表示，d(x,y)＝1，if|f
k 1
(x,y)-fk(x,y)|》t,else,0。
108.若根据帧间差分算法、所述待检测图像和所述第一参照图像，未从所述待检测图
像中检测到第一运动目标，则说明两帧图像几乎完全重叠，也即画面处于静止状态，则判定当前显示画面为静帧画面。
109.若根据帧间差分算法、所述待检测图像和所述第一参照图像，从所述待检测图像中检测到第一运动目标，则确定所述第一运动目标的第一轮廓，根据所述第一轮廓，通过图像识别技术或外接矩形的倾斜角度等方式，判断所述第一运动目标的第一运动方向，进而将所述第一运动方向与预设的打字运动方向进行匹配，若所述第一运动方向与预设的打字运动方向匹配，则确定所述第一运动目标处于打字状态，若所述第一运动方向与预设的打字运动方向不匹配，则确定所述第一运动目标不处于打字状态，其中，所述预设的打字运动方向可以为水平方向或垂直方向，其他的运动状态一般情况下不会出现有规律的水平运动或垂直运动，故而可以根据所述第一运动方向是否为水平或垂直，快速且简便地判断所述第一运动目标是否处于打字状态。
110.在一种可实施的方式中，所述确定所述第一运动目标的第一轮廓的步骤包括：获取帧间差分算法运算后得到的初始轮廓，使用形态学操作放大所述初始轮廓，得到所述第一运动目标的第一轮廓，其中，所述形态学操作包括膨胀操作、腐蚀后膨胀操作或膨胀后腐蚀操作等。通过帧间差分算法进行检测时，若物体在两帧图像中几乎完全重叠，则检测不到物体，也即画面处于静止状态，若能够检测到运动目标，则会得到运动目标的轮廓，但运动目标的内部会存在空洞，故而可以通过膨胀、腐蚀等方式得到更精准的边界轮廓，特别对于运动幅度较小的第一运动目标，帧间差分算法得到的初始轮廓可能较小，定义结构元素大小后使用膨胀操作放大初始轮廓，可以使得第一运动目标在图像中的显示更明显和精准。
111.在一种可实施的方式中，所述确定所述第一运动目标的第一轮廓的步骤包括：通过自适应二值化确定所述第一运动目标的二值图像，通过轮廓发现算法对所述二值图像中的轮廓进行提取，得到所述第一运动目标的第一轮廓。通过自适应二值化，根据图像像素邻域块的分布特征来自适应确定区域的二值化阈值，并自动使用所述二值化阈值分割前景和背景，所述前景为运动目标轮廓，所述自适应二值化包括高斯加权和算法，所述高斯加权和算法是将区域中点周围的像素根据高斯函数加权计算他们离中心点的距离，能有效的覆盖像素变化差异的场景。
112.可选地，所述根据所述第一运动目标的第一运动方向，判断所述第一运动目标是否处于打字状态的步骤包括：
113.步骤a10，根据轮廓发现算法，确定各所述第一运动目标各自对应的目标轮廓；
114.在本实施例中，获取帧间差分算法运算后生成的二值差分图像，根据轮廓发现算法，从所述二值差分图像中提取各所述第一运动目标各自对应的目标轮廓。
115.步骤a20，从各所述目标轮廓中确定面积最大的最大目标轮廓；
116.在本实施例中，比较各所述目标轮廓的面积大小，将面积最大的目标轮廓确定为最大目标轮廓。
117.在一种可实施的方式中，所述从各所述目标轮廓中确定面积最大的最大目标轮廓的步骤包括：将任意一个目标轮廓确定为最大目标轮廓，遍历所有目标轮廓的面积，若后续有比该最大目标轮廓面积更大的第二目标轮廓，将所述第二目标轮廓确定为最大目标轮廓，直至所有目标轮廓遍历完成，由此确定了最大目标轮廓。
118.步骤a30，确定所述最大目标轮廓的最小外接矩形；
119.步骤a40，若根据所述最小外接矩形的倾斜角度确定所述最小外接矩形处于水平状态或垂直状态，则判定所述第一运动目标处于打字状态。
120.在本实施例中，确定所述最大目标轮廓的最小外接矩形，将所述最小外接矩形的边与水平线或垂直线进行比较，确定所述最小外接矩形的倾斜角度，例如，参照图4，可以将所述最小外接矩形3的宽边与所述水平线4之间的夹角确定为倾斜角度6，也可以将所述最小外接矩形3的宽边与所述垂直线5之间的夹角确定为倾斜角度(未在图中释出)。根据所述倾斜角度是否处于预设角度范围，判断所述最小外接矩形是否处于水平状态或垂直状态，若所述倾斜角度处于预设角度范围，则判定所述最小外接矩形处于水平状态或垂直状态，则判定所述第一运动目标处于打字状态，若所述倾斜角度不处于预设角度范围，则判定所述最小外接矩形不处于水平状态或垂直状态，则判定所述第一运动目标不处于打字状态，其中，所述倾斜角度是所述最小外接矩形的较长边或较短边与水平线或垂直线之间的形成的夹角的大小，由于打字状态下检测到的最小外接矩形的较长边有可能为水平状态或者垂直状态，故而所述预设角度范围可以为0度或90度，也可以设定一定的误差范围，即所述预设角度范围可以为0～5度或85～90度，例如0度、3度、5度、85度、88度、90度等。
121.步骤s30，若确定所述第一运动目标不处于打字状态，则根据光流算法、所述待检测图像和所述第一参照图像，检测第二运动目标；
122.在本实施例中，需要说明的是，虽然帧间差分算法计算速度快，但对于运动幅度小或运动目标较小的情况，检测准确性较低，若根据帧间差分算法确定所述第一运动目标不处于打字状态，此时检测到的第一运动目标可能是动态画面产生，也可能是静帧画面中的噪声产生，故而需要进一步进行判断。
123.具体地，若确定所述第一运动目标不处于打字状态，则根据光流算法对所述待检测图像和所述第一参照图像中的第二运动目标进行检测，其中，所述光流算法包括稠密光流算法和稀疏光流算法等。
124.若确定所述第一运动目标处于打字状态，则判定当前显示画面为动态画面。
125.需要说明的是，从所述待检测图像中检测到第一运动目标的数量可能为0个、1个或多个，所述第一运动目标的数量越多，进行打字状态判断的耗时越长，且可能是噪声导致的误判，故而，若检测到所述第一运动目标的数量不止1个，则可以分别根据各所述第一运动目标各自对应的第一运动方向，判断各所述第一运动目标是否处于打字状态，若确定任意一个所述第一运动目标处于打字状态，则判定当前显示画面为动态画面，若确定各所述第一运动目标均不处于打字状态，则根据光流算法、所述待检测图像和所述第一参照图像，检测第二运动目标；若检测到所述第一运动目标的数量不止1个，则也可以从各所述第一运动目标中选取预设数量(例如1个、2个等)的待检测第一运动目标，分别根据各所述待检测第一运动目标各自对应的第一运动方向，判断各所述待检测第一运动目标是否处于打字状态，若确定任意一个所述待检测第一运动目标处于打字状态，则判定当前显示画面为动态画面，若确定各所述待检测第一运动目标均不处于打字状态，则根据光流算法、所述待检测图像和所述第一参照图像，检测第二运动目标，其中，所述从各所述第一运动目标中选取预设数量的待检测第一运动目标的方式可以为，根据各所述第一运动目标对应的轮廓面积、位置等，选取预设数量的待检测第一运动目标，例如，选取轮廓面积大于预设面积阈值的第一运动目标作为待检测第一运动目标，选取位置位于预设非边缘区域的第一运动目标作为
待检测第一运动目标等，轮廓面积小于预设面积阈值的，或者位置位于图像边缘区域的第一运动目标有可能是噪声或检测误差产生，预先进行过滤，不仅可以减小计算量，还可以提高检测准确性。
126.可选地，所述光流算法包括稠密光流算法，所述根据光流算法、所述待检测图像和所述第一参照图像，检测第二运动目标的步骤包括：
127.步骤b10，根据光流算法、所述待检测图像和所述第一参照图像，确定所述待检测图像中每个像素点对应的光流矢量；
128.在本实施例中，需要说明的是，光流指的是视频图像上像素点之间灰度值的变化，即运动物体的瞬时速度，光流法通过研究视频图像序列的光流场，利用图像中运动物体的光流信息和背景的光流信息的差异来确定运动物体的位置，进而检测出运动目标，稠密光流算法采用相邻两帧图像来估计物体的光流矢量，其实现方式是：首先使用多项式展开的方法，对每个像素点的邻域使用一个二次多项式来近似表达，然后通过分析前后两帧像素点的多项式展开系数，估计光流场的位移矢量，该方法计算图像中所有像素点的瞬时速度，准确率高，具有较高的鲁棒性和可靠性，满足视频静帧检测的实际需求。
129.具体地，根据稠密光流算法，对所述待检测图像和所述第一参照图像中的像素点一一进行比对，确定所述待检测图像对应的光流场，并确定光流场中每个像素点对应的光流矢量，需要说明的是，发生变化的像素点对应的光流矢量具有光流模长和光流方向，而未发生变化的像素点对应的光流矢量的光流模长为0或极小值，此时的光流矢量为一个点。
130.在一种可实施的方式中，若所述待检测图像和/或所述第一参照图像为rgba存储格式的图像，由于a通道的透明度在静帧检测过程中影响较小，且会带来额外计算量，故而可以将rgba存储格式的所述待检测图像和/或所述第一参照图像转化为rgb存储格式。参照图5，所述将rgba存储格式的所述待检测图像和/或所述第一参照图像转化为rgb存储格式的方式包括：从rgba存储格式的图像数据中，每间隔四个位置分别取出r通道、g通道和b通道的单通道数据，将每个像素点对应的r通道、g通道和b通道的单通道数据合并，得到rgb存储格式的图像。
131.在一种可实施的方式中，所述根据光流算法、所述待检测图像和所述第一参照图像，确定所述待检测图像中每个像素点对应的光流矢量的步骤之前，还可以包括：对所述待检测图像和所述第一参照图像进行灰度化，以减小运算量。
132.在一种可实施的方式中，所述根据光流算法、所述待检测图像和所述第一参照图像，确定所述待检测图像中每个像素点对应的光流矢量的步骤之前，还可以包括：对所述待检测图像和所述第一参照图像进行压缩处理，通过减小图像尺寸，或降低图像质量，减小运算量。
133.步骤b20，根据所述光流矢量的光流模长和光流方向，生成光流图像；
134.在本实施例中，具体地，确定每个像素点在x方向的光流分量和y方向的光流分量，基于x方向的光流分量和y方向的光流分量的大小和方向，即可将x方向的光流分量和y方向的光流分量的坐标从笛卡尔坐标转换为极坐标，进而确定所述待检测图像中各个像素点对应的光流矢量的光流模长和光流方向，将所述光流方向以弧度进行表示，将光流方向作为色调信息，光流模长作为饱和度信息，将亮度信息确定为一个预设值，或对光流模长进行归一化处理后，作为亮度信息，使所述光流图像的亮度在一定范围内浮动，即可确定各所述光
流矢量对应的hsv颜色空间的颜色，得到光流图像，在所述光流图像中，没有运动的部分几乎相同，呈现出的颜色也就几乎相同，可以作为所述光流图像的底色，而运动的部分，由于其运动速度的不同，呈现出不同的颜色，即可在底色上形成对应的运动图像。
135.步骤b30，若在所述光流图像中检测到运动图像，则判定所述待检测图像中存在的第二运动目标。
136.在本实施例中，具体地，通过图像识别技术、轮廓识别算法等，对所述光流图像中的运动图像进行识别，若在所述光流图像中检测到运动图像，则判定所述待检测图像中存在的第二运动目标，若在所述光流图像中未检测到运动图像，则判定所述待检测图像中不存在的第二运动目标。
137.可选地，所述若在所述光流图像中检测到运动图像，则判定所述待检测图像中存在的第二运动目标的步骤包括：
138.步骤b41，将所述光流图像灰度化，得到光流灰度图；
139.步骤b42，对所述光流灰度图进行自适应二值化，得到待检测图像；
140.步骤b43，根据轮廓发现算法确定所述待检测图像中的运动图像的第二轮廓；
141.步骤b44，若在所述待检测图像的预设非边缘区域中检测到第二轮廓，则判定所述待检测图像中存在的第二运动目标。
142.在本实施例中，具体地，将所述光流图像进行灰度化，得到光流灰度图，将所述光流灰度图进行自适应二值化，得到待检测图像，根据轮廓发现算法对所述待检测图像进行轮廓提取，若无法提取到任何第二轮廓，则判定所述待检测图像中不存在的第二运动目标，若能够提取到至少一个运动图像的第二轮廓，则依次遍历各所述第二轮廓，检测各所述第二轮廓的位置是否处于所述待检测图像的预设非边缘区域中，若在所述待检测图像的预设非边缘区域中检测到第二轮廓，则判定所述待检测图像中存在的第二运动目标，若在所述待检测图像的预设非边缘区域中未检测到第二轮廓，则判定所述待检测图像中不存在的第二运动目标，其中，所述二值化灰度图中只包含运动像素点的图像块，除运动像素点之外的其他区域都是黑色的背景，所述预设非边缘区域可以是所述图像中距离图像边缘大于或等于预设个像素点(例如20个像素点、30个像素点等)的区域。
143.在一种可实施的方式中，所述检测各所述第二轮廓是否处于所述二值化图像的预设非边缘区域中的步骤包括：遍历所有的第二轮廓，分别绘制各所述第二轮廓的最小外接矩形，确定各所述最小外接矩的中心点坐标，判断各所述中心点坐标是否处于所述二值化图像的预设非边缘区域中。
144.在实际开发中发现，图像边缘处会存在噪声干扰，不利于对静帧画面的判断，过滤掉图像边缘的运动目标可以有效减少噪声干扰。
145.步骤s40，若在所述待检测图像中未检测到第二运动目标，则判定当前显示画面为静帧画面。
146.在本实施例中，若在所述待检测图像中未检测到第二运动目标，则判定当前显示画面为静帧画面；若在所述待检测图像中检测到第二运动目标，则判定当前显示画面为动态画面。
147.可选地，所述若在所述待检测图像中未检测到第二运动目标，则判定所述待检测图像为静帧画面的步骤包括：
148.步骤s41，若在所述待检测图像中未检测到第二运动目标，则判定所述当前显示画面为疑似静帧画面；
149.步骤s42，获取所述待检测图像之前预设第一数量帧的历史待检测图像对应的疑似静帧画面历史检测结果；
150.步骤s43，若各所述疑似静帧画面历史检测结果中，判定为疑似静帧画面的次数大于或等于预设次数阈值，则判定当前显示画面为静帧画面。
151.在本实施例中，具体地，若在所述待检测图像中未检测到第二运动目标，则判定所述当前显示画面为疑似静帧画面，获取所述待检测图像之前预设第一数量帧的历史待检测图像对应的疑似静帧画面历史检测结果，确定各所述疑似静帧画面历史检测结果中，判定为疑似静帧画面的次数，若所述判定为疑似静帧画面的次数大于或等于预设次数阈值，则判定当前显示画面为静帧画面，若所述判定为疑似静帧画面的次数小于预设次数阈值，则判定当前显示画面为动态画面，通过增加判定次数可以有效减少误判定，提高检测结果的准确性。
152.在一种可实施的方式中，所述预设次数阈值为所述预设第一数量的一半，即，若所述判定为疑似静帧画面的次数大于或等于所述预设第一数量的一半，则判定当前显示画面为静帧画面。例如，所述预设第一数量为4，则一共可以获取到4个疑似静帧画面历史检测结果，若其中判定为疑似静帧画面的次数大于或等于2，由于本次待检测图像的判定结果为疑似静帧画面，故而在5个判定结果中，至少检测到3次疑似静帧画面，超过半数，即在历史检测结果和本次检测结果中，共有超过半数的判定结果为疑似静帧画面，故而可以判定当前显示画面为静帧画面。
153.可选地，所述判定当前显示画面为静帧画面的步骤之后，还包括：
154.步骤s50，获取位于所述待检测图像之前预设第二数量帧的第二参照图像；
155.步骤s60，确定所述待检测图像对应的第一峰值信噪比，以及各所述第二参照图像对应的第二峰值信噪比的信噪比均值；
156.步骤s70，若所述第一峰值信噪比与所述信噪比均值之间的差值大于或等于预设差值阈值，则确定所述静帧画面受到噪声干扰；
157.步骤s80，若所述第一峰值信噪比与所述信噪比均值之间的差值小于预设差值阈值，则确定所述静帧画面为完全静帧画面。
158.在本实施例中，具体地，获取位于所述待检测图像之前预设第二数量帧的第二参照图像，确定所述待检测图像对应的第一峰值信噪比，以及各所述第二参照图像对应的第二峰值信噪比的信噪比均值，计算所述第一峰值信噪比与所述信噪比均值之间的差值，若所述差值大于或等于预设差值阈值，则确定所述静帧画面受到噪声干扰，在一种可实施的方式中，还可以进一步生成噪声提示信息，以提醒用户当前检测结果可能受到噪声干扰；若所述差值小于预设差值阈值，则确定所述静帧画面为完全静帧画面，其中，所述预设第二数量可以与所述预设第一数量相同或不同，所述峰值信噪比表示信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值，可以用于判断两幅图像的相似性，图像之间峰值信噪比值越大，则越相似，本实施例中的待检测图像对应的峰值信噪比是指待检测图像与其前一帧图像之间的峰值信噪比。
159.在一种可实施的方式中，当确定所述静帧画面受到噪声干扰之后，还可以暂时不
对当前显示画面是否为静帧画面进行判定，返回执行步骤：获取待检测图像以及位于所述待检测图像前一帧的第一参照图像，以获取下一帧图像作为待检测图像，增大样本数量，以减小噪声或误判定对最终检测结果的影响。
160.在一种可实施的方式中，所述判定当前显示画面为动态画面的步骤之后，还包括：
161.获取位于所述待检测图像之前预设第三数量帧的第三参照图像；
162.确定所述待检测图像对应的第一峰值信噪比，以及各所述第二参照图像对应的第二峰值信噪比的信噪比均值；
163.若所述第一峰值信噪比与所述信噪比均值之间的差值大于或等于预设差值阈值，则确定所述动态画面为大幅度变化动态画面；
164.若所述第一峰值信噪比与所述信噪比均值之间的差值小于预设差值阈值，则确定所述动态画面为小幅度变化动态画面。
165.在本实施例中，具体地，获取位于所述待检测图像之前预设第三数量帧的第三参照图像，确定所述待检测图像对应的第一峰值信噪比，以及各所述第三参照图像对应的第三峰值信噪比的信噪比均值，计算所述第一峰值信噪比与所述第三峰值信噪比的信噪比均值之间的差值，若所述第一峰值信噪比与所述第三峰值信噪比的信噪比均值之间的差值大于或等于预设差值阈值，则确定所述动态画面为大幅度变化动态画面；若所述第一峰值信噪比与所述第三峰值信噪比的信噪比均值之间的差值小于预设差值阈值，则确定所述动态画面为小幅度变化动态画面，其中，所述预设第三数量可以与所述预设第一数量或所述预设第二数量相同或不同。
166.在本实施例中，通过获取待检测图像以及位于所述待检测图像前一帧的第一参照图像，若根据帧间差分算法、所述待检测图像和所述第一参照图像，检测到第一运动目标，则根据所述第一运动目标的第一运动方向，判断所述第一运动目标是否处于打字状态，实现了通过帧间差分算法对前后两帧图像中的第一运动目标是否处于打字状态的检测，进而通过若确定所述第一运动目标不处于打字状态，则根据光流算法、所述待检测图像和所述第一参照图像，检测第二运动目标，实现了通过光流算法对不处于打字状态的第二运动目标的检测，进而通过若在所述待检测图像中未检测到第二运动目标，则判定当前显示画面为静帧画面，实现了静帧检测。由于打字状态下，整体画面中的像素点的变化非常小，静帧分区检测或光流法均难以检测到，或者容易判定为噪声或误差，导致对静帧画面的误判，本技术通过帧间差分算法可以快速检测出打字状态，而对于不处于打字状态的第二运动目标，可以进一步通过光流法进行准确的检测，相比于静帧分区检测，对于类似光标移动这种细微像素点的移动变化的检测准确性更高，故而可以有效提高静帧检测的准确性，克服了解决现有技术静帧检测的准确性较低的技术问题。
167.进一步地，在本技术静帧检测方法的另一实施例中，参照图5，所述光流算法包括稀疏光流算法，所述根据光流算法、所述待检测图像和所述第一参照图像，检测第二运动目标的步骤包括：
168.步骤c10，检测所述第一参照图像中的第一角点；
169.在本实施例中，通过角点检测器检测所述第一参照图像中的第一角点，其中，所述角点检测器包括shi-tomasi角点检测器等，具体地，可以使用一个固定窗口在所述第一参照图像上进行任意方向上的滑动，比较滑动前与滑动后所述固定窗口中的像素灰度变化程
度，若所述固定窗口在任意方向上的滑动时，窗口中的灰度值的变化量都超出预设灰度阈值，则可以认为该窗口中存在角点，由此可以得到所述第一参照图像中角点的位置，生成角点初始位置列表。
170.在一种可实施的方式中，所述检测所述第一参照图像中的第一角点的步骤之前，还可以包括：对所述待检测图像和所述第一参照图像进行灰度化。
171.步骤c20，根据稀疏光流算法，从所述待检测图像中确定与所述第一角点相匹配的第二角点，相互匹配的第一角点和第二角点组成角点对；
172.在本实施例中，具体地，根据稀疏光流算法对各所述第一角点进行跟踪确定各所述第一角点在所述待检测图像中的新角点位置，根据所述新角点位置从所述待检测图像中确定与所述第一角点相匹配的第二角点，相互匹配的第一角点和第二角点组成角点对，需要说明的是，根据稀疏光流算法确定的各所述第一角点对应的新角点位置可能超出所述待检测图像的图像范围，对于超出图像范围的新角点位置，即从所述待检测图像中消失，故而从所述待检测图像中无法确定相匹配的第二角点。
173.步骤c30，根据角点对的相对位置关系，判断所述待检测图像中是否存在第二运动目标。
174.在本实施例中，具体地，根据角点对中的第二角点的位置相对于同一个角点对中的第一角点的位置是否发生变化，可以判断所述待检测图像中是否存在第二运动目标，若角点对中的第二角点的位置相对于同一个角点对中的第一角点的位置发生了变化，则判定所述待检测图像中存在第二运动目标，若角点对中的第二角点的位置相对于同一个角点对中的第一角点的位置未发生了变化，则判定所述待检测图像中不存在第二运动目标。
175.可选地，所述根据角点对的相对位置关系，判断所述待检测图像中是否存在第二运动目标的步骤包括：
176.步骤c31，在预设画布上，确定各所述角点对中的第一角点和第二角点的位置；
177.步骤c32，连接各所述角点对中的第一角点和第二角点，得到角点对连线；
178.步骤c33，若在所述画布的预设非边缘区域检测到所述角点对连线，则判定所述待检测图像中存在第二运动目标。
179.在本实施例中，具体地，新建画布，将各所述角点对中的第一角点和第二角点根据其各自对应的位置绘制在所述画布上，连接各所述角点对中的第一角点和第二角点，得到角点对连线，判断各所述角点对连线是否处于所述画布的预设非边缘区域，若在所述画布的预设非边缘区域检测到所述角点对连线，则判定所述待检测图像中存在第二运动目标；若在所述画布的预设非边缘区域未检测到所述角点对连线，则判定所述待检测图像中不存在第二运动目标。
180.在一种可实施的方式中，所述画布可以为黑色画布，所述角点对连线可以绘制成白色连线，故而，若根据颜色追踪算法在画布上检测到白色的运动轨迹曲线，则可以判断所述待检测图像中存在第二运动目标。
181.在本实施例中，稀疏光流并不需要对图像的每个像素点进行逐点计算，只需要指定一组特征点进行跟踪即可，本实施例中使用图像中的角点来表征图像特征，局部表示特征的方式大大节省了计算开销，有效提高了静帧检测的运行速度。
182.进一步地，本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序
被处理器执行时实现如上述的静帧检测方法的步骤。
183.本技术提供的计算机程序产品解决了解决现有技术静帧检测的准确性较低的技术问题。与现有技术相比，本发明实施例提供的计算机程序产品的有益效果与上述实施例提供的静帧检测方法的有益效果相同，在此不做赘述。
184.以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利处理范围内。