用于规范操作的视频检测方法及装置、设备和介质与流程

1.本公开涉及计算机技术领域，尤其涉及深度学习技术领域，具体涉及一种用于规范操作的视频检测方法、装置、电子设备、计算机可读存储介质和计算机程序产品。


背景技术：

2.在生产、加工等场景中，通常要求工作人员按照一定的操作规范来进行操作。操作规范可能包含对工具的使用要求，即，要求采用特定的工具来对目标物进行处理。例如，在食品加工场景中，可能要求工作人员采用特定的工具来取用以及加工食材；在车间生产场景中，可能要求工作人员采用特定的工具来加工产品；在化工实验场景中，可能要求工作人员采用特定的工具来取用药品或试剂；等等。
3.在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。


技术实现要素：

4.本公开提供了一种用于规范操作的视频检测方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
5.根据本公开的一方面，提供了一种用于规范操作的视频检测方法，包括：获取待检测的视频；识别所述视频中至少一个目标对象各自相应的运动轨迹，其中，所述至少一个目标对象为被操作的对象；以及基于所述至少一个目标对象的运动轨迹，确定针对所述至少一个目标对象的操作是否符合预设操作规范。
6.根据本公开的另一方面，提供了一种用于规范操作的视频检测装置，包括：获取模块，被配置为获取待检测的视频；识别模块，被配置为识别所述视频中至少一个目标对象各自相应的运动轨迹，其中，所述至少一个目标对象为被操作的对象；以及确定模块，被配置为基于所述至少一个目标对象的运动轨迹，确定针对所述至少一个目标对象的操作是否符合预设操作规范。
7.根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述用于规范操作的视频检测方法。
8.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述用于规范操作的视频检测方法。
9.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现上述用于规范操作的视频检测方法。
10.根据本公开的一个或多个实施例，能够自动检测视频中的操作是否符合操作规范，提高了检测效率。
11.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
12.附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
13.图1示出了根据本公开实施例的用于规范操作的视频检测方法的流程图；
14.图2a示出了根据本公开实施例的确定目标对象的运动轨迹的流程图；
15.图2b示出了根据本公开实施例的确定目标对象的状态的流程图；
16.图3a-3c示出了根据本公开实施例的目标对象状态的示意图；
17.图4示出了根据本公开示例性实施例的用于规范操作的视频检测装置的结构框图；以及
18.图5示出了根据本公开实施例的电子设备的框图。
具体实施方式
19.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
20.在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
21.在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
22.在生产、加工等场景中，通常要求工作人员按照一定的操作规范来进行操作。操作规范可能包含对工具的使用要求，即，要求采用特定的工具来对目标物进行处理。例如，在食品加工场景中，可能要求工作人员采用特定的工具来取用以及加工食材；在车间生产场景中，可能要求工作人员采用特定的工具来加工产品；在化工实验场景中，可能要求工作人员采用特定的工具来取用试剂；等等。
23.相关技术中，为了保证人员操作的规范性，通常会在生产、加工场所安装摄像头以录制监控视频，通过观察监控视频来判断工作人员的操作是否符合操作规范，即，判断工作人员是否按照操作规范的要求使用了特定的工具。上述方法通过人工观察视频的方式来判断工作人员的操作是否符合操作规范，耗时长，效率低，人力成本高。尤其在被监控区域较大、监控视频数量较多的情况下，全面观察以及判断人员操作的规范性几乎是一个不可能完成的任务。
24.为解决上述问题，本公开提供了一种用于规范操作的视频检测方法，通过识别视频中的目标对象(工具)的运动轨迹，基于运动轨迹来确定工作人员针对目标对象的操作是否符合操作规范，从而实现了人员操作规范性的自动化检测，大大提高了检测效率，节省了人力成本。
25.以下将结合附图，详细描述本公开的实施例。
26.图1示出了根据本公开实施例的用于规范操作的视频检测方法100的流程图。如图1所示，方法100包括：
27.步骤s110、获取待检测的视频；
28.步骤s120、识别视频中至少一个目标对象各自相应的运动轨迹，上述至少一个目标对象为被操作的对象；以及
29.步骤s130、基于至少一个目标对象的运动轨迹，确定针对至少一个目标对象的操作是否符合预设操作规范。
30.根据本公开的实施例，通过识别视频中的目标对象(工具)的运动轨迹，基于运动轨迹来确定工作人员针对目标对象的操作是否符合操作规范，从而实现了人员操作规范性的自动化检测，大大提高了检测效率，节省了人力成本。
31.本公开实施例的用于规范操作的视频检测方法100可以应用于任意生产、加工场景中，用于对生产、加工场所的监控视频进行检测，以判断视频中的工作人员是否按照操作规范的要求使用了特定的工具。
32.例如，食品加工场所(例如餐厅后厨、开放式饮品加工区域等)的操作规范要求工作人员(例如厨师、配餐员等)采用特定的容器来称量食材，从而便于控制食材的用量，使食材的用量更加统一、规范，避免因食材用量过多而造成的食材损耗，以及避免因食材用量过少而造成的消费者不满。本公开实施例的方法100可以应用于该食品加工场景中，用于检测视频中的工作人员是否按照操作规范的要求使用了特定的容器。
33.又例如，车间生产的操作规范要求工作人员(例如工人、质检员等)采用特定的工具来加工产品或检测产品的质量。本公开实施例的方法100可以应用于该车间生产场景中，用于检测视频中的工作人员是否按照操作规范的要求使用了特定的工具。
34.在本公开的实施例中，待检测的视频由生产、加工场所布置的摄像头采集。
35.根据一些实施例，本公开实施例的视频检测方法100可以在闭路电视系统(closed circuit television，cctv)的监控设备处执行。具体地，可以在生产、加工场所中或者在生产、加工场所附近设置中央监控室。中央监控室中设置有多台监控设备，每台监控设备可以与一个或多个摄像头连接。摄像头和监控设备组成闭路电视系统。摄像头采集视频数据，并将采集到的视频数据发送至相应的监控设备。监控设备接收并保存摄像头发来的视频数据，在屏幕中显示视频画面，并且执行本公开实施例的视频检测方法100，检测视频中的工作人员是否按照操作规范的要求使用了特定的工具。进一步地，管理人员可以通过监控设备来查看视频检测结果，从而对生产、加工场所的人员操作情况进行管理，提高管理效率，降低管理成本，辅助进行决策。
36.根据另一些实施例，本公开实施例的视频检测方法100可以在服务器(例如云服务器)处执行。具体地，摄像头采集视频数据，并且通过实时传输(例如通过实时流传输协议，real time streaming protocol，rtsp)、定时传输、基于用户的交互操作触发传输等方式，
将视频数据上传至服务器。服务器接收并存储视频数据，执行本公开实施例的视频检测方法100，检测视频中的工作人员是否按照操作规范的要求使用了特定的工具。进一步地，在服务器通过执行方法100得出检测结果之后，可以将检测结果发送至客户端设备，以便管理人员通过客户端设备来查看检测结果，从而对生产、加工场所的人员操作情况进行管理，提高管理效率，降低管理成本，辅助进行决策。
37.根据另一些实施例，本公开实施例的视频检测方法100可以在客户端设备处执行。客户端设备可以是任意类型的电子设备，包括但不限于个人计算机、手机、平板电脑、智能可穿戴设备等。具体地，摄像头采集视频数据，并且通过实时传输、定时传输、基于用户的交互操作触发传输等方式，将视频数据上传至服务器。服务器可以将视频数据推送至客户端设备，或者基于客户端设备的请求将视频数据发送至客户端设备，或者将视频数据存储至某一地址，以便客户端设备通过访问该地址来获取视频数据。客户端设备获取到视频数据后，可以执行本公开实施例的视频检测方法100，检测视频中的工作人员是否按照操作规范的要求使用了特定的工具。进一步地，管理人员可以通过客户端设备来查看检测结果，从而对生产、加工场所的人员操作情况进行管理，提高管理效率，降低管理成本，辅助进行决策。
38.以下详细介绍方法100的各个步骤。
39.在步骤s110中，获取待检测的视频。
40.如上所述，待检测的视频为摄像头采集到的生产、加工场所的监控视频。例如，待检测的视频可以是食品加工场所(例如餐厅后厨)的监控视频，或者是工业生产车间的监控视频，等等。
41.在步骤s120中，识别视频中至少一个目标对象各自相应的运动轨迹。
42.在本公开的实施例中，目标对象指的是被操作的对象，即，操作规范所要求使用的对象。目标对象的类型根据生产、加工场景中的操作规范来确定。
43.例如，食品加工场所的操作规范要求工作人员采用特定的容器(例如不同体积的量杯等)来称量食材，从而便于控制食材的用量。相应地，在食品加工场所的监控视频中，目标对象为用于称量食材的容器。
44.又例如，生产车间的操作规范要求工作人员采用特定的工具来加工产品或检测产品的质量。相应地，在生产车间的监控视频中，目标对象为用于加工产品或检测产品质量的工具。
45.又例如，化工实验场所的操作规范要求工作人员采用特定的容器(例如药匙、滴管等)来取用药品或试剂。相应地，在化工实验场所的监控视频中，目标对象为用于取用药品或试剂的容器。
46.根据一些实施例，可以通过以下步骤s122-s128来识别视频中的各目标对象的运动轨迹：
47.步骤s122、从视频中确定待检测的多个图像帧；
48.步骤s124、对多个图像帧中的每个图像帧进行目标检测，以得到每个图像帧的目标检测结果，目标检测结果包括各目标对象的位置信息；
49.步骤s126、对多个图像帧的目标检测结果进行匹配，以将多个图像帧中的相同的目标对象相关联；以及
50.步骤s128、基于上述匹配的结果，确定至少一个目标对象各自相应的运动轨迹，运
动轨迹包括相应的目标对象在多个图像帧中的位置信息。
51.基于步骤s122-s128，能够快速生成各目标对象的运动轨迹，从而提高检测效率。
52.在步骤s122中，根据一些实施例，待检测的多个图像帧可以是视频中的所有图像帧。
53.根据另一些实施例，待检测的多个图像帧也可以是视频中的部分图像帧，从而可以提高检测效率。具体地，可以对视频中的图像帧进行抽样，将抽样得出的图像帧作为待检测的多个图像帧。
54.对图像帧进行抽样的方式有多种。根据一些实施例，可以按照一定的间隔来抽取图像帧(例如每五帧抽取一帧、每十帧抽取一帧等)。根据另一些实施例，也可以按照变化的间隔来抽取图像帧。例如，可以根据视频的时长、录制时间等因素，将视频划分为多个视频片段，每个视频片段按照不同的间隔来抽取图像帧。
55.根据一些实施例，在步骤s124中，可以采用计算机视觉技术来对各图像帧进行目标检测。例如，可以采用经训练的深度学习模型来对各图像帧进行目标检测，以识别其中的目标对象。具体地，可以识别每个目标对象的位置信息、类别信息(可选的)以及置信度。目标对象的位置信息例如可以通过矩形边界框(bounding box)来表示，进一步地，每个矩形边界框可以通过左上角顶点的x坐标、y坐标、宽度w、高度h四个参数来表示。
56.深度学习模型通过已标注了目标对象的位置信息和类别信息的样本图像训练得出。深度学习模型例如可以是任意版本的yolo、faster r-cnn、ssd等模型，本公开不限制深度学习模型的具体结构。
57.通过步骤s124，可以识别出每个图像帧中的目标对象的位置。
58.在步骤s126中，通过对多个图像帧的目标检测结果进行匹配，可以将多个图像帧中的相同的目标对象相关联。
59.步骤s126例如可以通过多目标跟踪算法来实现。多目标跟踪算法例如可以是deepsort算法。具体地，可以通过卡尔曼滤波算法来优化当前图像帧中的目标对象在下一个图像帧中的位置，得到多个预测位置。然后采用匈牙利算法，将所得到的多个预测位置与下一个图像帧的目标对象的位置信息进行匹配(例如可以通过交并比匹配、级联匹配、位置矩形框内的深度学习特征匹配等方式)，从而识别出不同图像帧中的相同的目标对象。
60.通过步骤s126，可以将不同图像帧中的相同的目标对象相关联，从而得到视频中所包括的至少一个目标对象。根据一些实施例，可以进一步生成上述至少一个目标对象各自相应的标签，并且上述至少一个目标对象的标签各不相同。由此，所生成的标签可以作为目标对象的唯一标识，用于区分不同的目标对象。标签例如可以实现为数字编号(例如1、2、3、
…
)、字母编号(例如a、b、c、
…
)或其他形式，本公开对标签的具体形式不作限制。
61.在步骤s128中，基于步骤s126所得到的匹配结果，可以得到每个目标对象的运动轨迹。目标对象的运动轨迹包括该目标对象在各图像帧中的位置信息，即，目标对象的运动轨迹为由该目标对象在各图像帧中的位置信息所组成的时间序列。例如，目标对象obj1的运动轨迹包括该目标对象在图像帧frame1-framen中的位置信息pos1-posn。可以理解，目标对象在某个图像帧中的位置信息可以为空(null)，即该目标对象未出现在该图像帧中。
62.根据一些实施例，为了便于识别目标对象的状态，在步骤s126的多目标跟踪的过程中，可以记录每个目标对象的当前失配次数。目标对象的当前失配次数指的是当前图像
帧到该目标对象的运动轨迹中的最近的位置信息非空的图像帧的距离。当前失配次数例如可以通过time_since_update变量来记录，即，每个目标对象对应于一个time_since_update变量。
63.例如，当前图像帧为视频中的第100个图像帧，即frame100，在目标对象obj1的运动轨迹中，最近的位置信息非空的图像帧为frame98，则目标对象obj1的当前失配次数为100-98＝2。相应地，将目标对象obj1对应的当前失配次数，即变量time_since_update的值为2。
64.在步骤s130中，可以基于步骤s120所确定的运动轨迹，确定针对各目标对象的操作是否符合操作规范。
65.根据一些实施例，步骤s130包括：基于至少一个目标对象的运动轨迹，确定每个目标对象的操作时长；以及基于操作时长，确定针对上述至少一个目标对象的操作是否符合预设操作规范。
66.可以理解，由于操作规范要求使用目标对象，因此可以通过目标对象的操作时长来判断工作人员的操作是否符合操作规范。
67.根据一些实施例，可以基于相应的运动轨迹，确定每个目标对象在各图像帧中的状态，然后根据状态来确定每个目标对象的操作时长。
68.根据一些实施例，状态可以包括静止、运动且未被遮挡、运动且被遮挡、不在视野范围内。其中，运动且未被遮挡指的是目标对象正在被操作，并且未被当前图像帧中的其他对象(例如操作人员、环境物体等)遮挡。运动且被遮挡指的是目标对象正在被操作，但是被视频画面中的其他对象遮挡而导致在当前图像帧中不可见。不在视野范围内指的是目标对象不在摄像头的视野范围内，即当前图像帧不包括该目标对象。
69.根据一些实施例，可以按照以下步骤来确定目标对象在当前图像帧中的状态。
70.首先，基于目标对象的运动轨迹，确定目标对象的当前失配次数。如前所述，当前失配次数为当前图像帧到运动轨迹中的最近的位置信息非空的图像帧的距离。随后，基于当前失配次数来确定目标对象在当前图像帧中的状态。具体地，基于当前失配次数来确定目标对象在当前图像帧中的状态，包括以下操作中的一种或多种：
71.响应于当前失配次数为零，并且当前图像帧的位置信息与上一个图像帧的位置信息的距离小于第一阈值，确定目标对象在当前图像帧中的状态为静止；
72.响应于当前失配次数为零，并且当前图像帧的位置信息与上一个图像帧的位置信息的距离大于或等于第一阈值，确定目标对象在当前图像帧中的状态为运动且未被遮挡；
73.响应于当前失配次数大于零且小于第二阈值，确定目标对象在当前图像帧中的状态为运动且被遮挡；
74.响应于当前失配次数大于或等于第二阈值，确定目标对象在当前图像帧中的状态为不在视野范围内。
75.处于运动状态(包括运动且未被遮挡和运动且被遮挡)的目标对象被认为正在被操作，因此，可以基于目标对象处于运动状态的图像帧的数量来统计该目标对象的操作时长。
76.图2b示出了根据本公开实施例的确定目标对象的状态的示例性流程图。如图2b所示，待检测的视频可以是摄像头实时采集并传输的rtsp视频流。
77.在步骤s210中，将rtsp视频流中的全部或部分图像帧作为待检测的多个图像帧，并对每个待检测的图像帧进行目标检测(例如通过yolo v5模型来进行目标检测)，以识别出每个图像帧中的目标对象的位置信息。可以理解，步骤s210与图2a中的步骤s122、s124相对应。
78.在步骤s220中，采用多目标追踪算法(例如deepsort算法)来对多个图像帧的目标检测结果进行匹配，从而将多个图像帧中的相同的目标对象相关联，从而确定每个目标对象的运动轨迹。进一步地，可以生成每个目标对象的标签，以此区分不同的目标对象。可以理解，步骤s220与图2a中的步骤s126、s128相对应。
79.在步骤s230中，基于运动轨迹，对每个目标对象进行状态识别，即确定每个目标对象在各图像帧中的状态。如前所述，状态例如包括静止、运动且未被遮挡、运动且被遮挡和不在视野范围内。
80.图3a-3c示出了根据本公开实施例的目标对象状态的示意图。在图3a-3c中，300a-300c为餐厅后厨的监控视频中的三个图像帧，311-318为八种不同的食材，320、330分别为用于称量食材311-318的量杯1、量杯2(即目标对象)，340为用于进行配餐的餐盘(工作人员可以采用量杯称量食材，并将食材放置于餐盘中)，350为桌面，360为目标对象的状态显示区域。为了更清楚地展示目标对象以及对目标对象的状态进行说明，图3a-3c没有示出图像帧中的工作人员。应当理解，实际上，视频的图像帧中通常是包含工作人员的，并且目标对象也正是由于工作人员的操作才可以改变状态。
81.基于前述步骤s120，可以确定目标对象320、330在图像帧300a-300c中的位置信息并采用矩形边界框进行标示，以及识别出目标对象320和330各自的运动轨迹。基于目标对象320和330的运动轨迹，可以确定目标对象320和330在图像帧300a-300c中的状态，并在区域360处进行标示。
82.如图3a-3c所示，在图像帧300a中，目标对象320和330均处于静止状态。在图像帧300b中，目标对象320处于静止状态，目标对象330(在工作人员的操作下)处于运动且未被遮挡的状态。在图像帧300c中，目标对象320处于静止状态，目标对象330处于运动且被遮挡状态(例如被未示出的工作人员的身体所遮挡)，因此在图3c中，目标对象330用虚线绘制，表示其在当前图像帧中不可见。
83.根据一些实施例，可以基于目标对象处于运动状态的图像帧的数量以及视频的帧率(每秒包括的图像帧的数量，单位为hz)，确定该目标对象的操作时长，其中，运动状态包括运动且未被遮挡和运动且被遮挡。具体地，目标对象的操作时长为该目标对象处于运动状态的图像帧的数量与视频的帧率的商。例如，当前图像帧为第100个图像帧，在已经经过的100个图像帧中，目标对象在其中的79个图像帧中处于运动状态，视频的帧率为25hz，相应地，每个图像帧的时长为1/25＝0.04秒，目标对象的操作时长为79/25＝79*0.04＝3.16秒。
84.可以理解，由于操作规范要求使用目标对象，因此在确定了各目标对象的操作时长后，可以通过将各目标对象的操作时长之和与第三阈值进行对比，来确定工作人员针对各目标对象的操作是否符合预设操作规范。具体地，对于通过步骤s120所识别出的至少一个目标对象，响应于确定上述至少一个目标对象的操作时长之和大于或等于第三阈值，确定针对上述至少一个目标对象的操作符合预设操作规范；响应于确定上述至少一个目标对
象的操作时长之和小于第三阈值，确定针对上述至少一个目标对象的操作不符合预设操作规范。
85.根据本公开的另一方面，还提供一种用于规范操作的视频检测装置。图4示出了根据本公开实施例的用于规范操作的视频检测装置400的结构框图。如图4所示，装置400包括：
86.获取模块410，被配置为获取待检测的视频；
87.识别模块420，被配置为识别所述视频中至少一个目标对象各自相应的运动轨迹，其中，所述至少一个目标对象为被操作的对象；以及
88.确定模块430，被配置为基于所述至少一个目标对象的运动轨迹，确定针对所述至少一个目标对象的操作是否符合预设操作规范。
89.根据本公开的实施例，通过识别视频中的目标对象(工具)的运动轨迹，基于运动轨迹来确定工作人员针对目标对象的操作是否符合操作规范，从而实现了人员操作规范性的自动化检测，大大提高了检测效率，节省了人力成本。
90.应当理解，图4中所示装置400的各个模块或单元可以与参考图1描述的方法100中的各个步骤相对应。由此，上面针对方法100描述的操作、特征和优点同样适用于装置400及其包括的模块以及单元。为了简洁起见，某些操作、特征和优点在此不再赘述。
91.虽然上面参考特定模块讨论了特定功能，但是应当注意，本文讨论的各个模块的功能可以分为多个模块，和/或多个模块的至少一些功能可以组合成单个模块。例如，上面描述的获取模块410和识别模块420在一些实施例中可以组合成单个模块。
92.还应当理解，本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。上面关于图4描述的各个模块可以在硬件中或在结合软件和/或固件的硬件中实现。例如，这些模块可以被实现为计算机程序代码/指令，该计算机程序代码/指令被配置为在一个或多个处理器中执行并存储在计算机可读存储介质中。可替换地，这些模块可以被实现为硬件逻辑/电路。例如，在一些实施例中，模块410-430中的一个或多个可以一起被实现在片上系统(system on chip,soc)中。soc可以包括集成电路芯片(其包括处理器(例如，中央处理单元(central processing unit,cpu)、微控制器、微处理器、数字信号处理器(digital signal processor,dsp)等)、存储器、一个或多个通信接口、和/或其他电路中的一个或多个部件)，并且可以可选地执行所接收的程序代码和/或包括嵌入式固件以执行功能。
93.根据本公开的另一方面，还提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的用于规范操作的视频检测方法。
94.根据本公开的另一方面，还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述的用于规范操作的视频检测方法。
95.根据本公开的另一方面，还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序再被处理器执行时实现上述的用于规范操作的视频检测方法。
96.参见图5，现将描述可以作为本公开的电子设备500的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备可以是不同类型的计算机设备，诸如，膝上型
计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
97.图5示出了根据本公开实施例的电子设备的框图。如图5所示，电子设备500可以包括能够通过系统总线503彼此通信的至少一个处理器501、工作存储器502、i/o设备504、显示设备505、存储装置506和通信接口507。
98.处理器501可以是单个处理单元或多个处理单元，所有处理单元可以包括单个或多个计算单元或者多个核心。处理器501可以被实施成一个或更多微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指令来操纵信号的任何设备。处理器501可以被配置成获取并且执行存储在工作存储器502、存储装置506或者其他计算机可读介质中的计算机可读指令，诸如操作系统502a的程序代码、应用程序502b的程序代码等。
99.工作存储器502和存储装置506是用于存储指令的计算机可读存储介质的示例，指令由处理器501执行来实施前面所描述的各种功能。工作存储器502可以包括易失性存储器和非易失性存储器二者(例如ram、rom等等)。此外，存储装置506可以包括硬盘驱动器、固态驱动器、可移除介质、包括外部和可移除驱动器、存储器卡、闪存、软盘、光盘(例如cd、dvd)、存储阵列、网络附属存储、存储区域网等等。工作存储器502和存储装置506在本文中都可以被统称为存储器或计算机可读存储介质，并且可以是能够把计算机可读、处理器可执行程序指令存储为计算机程序代码的非暂态介质，计算机程序代码可以由处理器501作为被配置成实施在本文的示例中所描述的操作和功能的特定机器来执行。
100.i/o设备504可以包括输入设备和/或输出设备，输入设备可以是能向电子设备500输入信息的任何类型的设备，可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出设备可以是能呈现信息的任何类型的设备，并且可以包括但不限于包括视频/音频输出终端、振动器和/或打印机。
101.通信接口507允许电子设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙
tm
设备、802.11设备、wi-fi设备、wimax设备、蜂窝通信设备和/或类似物。
102.工作寄存器502中的应用程序502b可以被加载执行上文所描述的各个方法和处理，例如图1中的步骤s110-s130和/或图2中的步骤s122-s126。在一些实施例中，计算机程序的部分或者全部可以经由存储装置506和/或通信接口507而被载入和/或安装到电子设备500上。当计算机程序被加载并由处理器501执行时，可以执行上文描述的用于规范操作的视频检测方法的一个或多个步骤。
103.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器
可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
104.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程用于规范操作的视频检测装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
105.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
106.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示设备(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
107.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
108.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
109.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
110.虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者
可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。