基于机器视觉的人员状态检测方法及相关装置与流程

1.本技术属于监控技术领域，尤其涉及基于机器视觉的人员状态检测方法及相关装置。


背景技术：

2.随着现代科技的发展，监控摄像头的应用越趋广泛，其中，人员工作状态的监控能够大大提高工作人员的工作效率，防止无故离岗/睡岗。特别地，在酒店前台，工厂工位，保安门岗等场景，采用监控摄像头进行监控十分有效。
3.在监控方面，传统的人工监控不仅人力成本高，而且监控效果不好。因此，采用机器视觉来帮助确定监控画面中的人员状态是研究人员在监控领域的一个热门方向。
4.然而，若监控画面中存在多个工作人员，有些工作人员正常工作，有些工作人员偷偷离开岗位或者让其他人代替，或者当人员背对相机时无法进行人脸识别从而误触离岗计时，则目前的监控技术无法识别出来。


技术实现要素：

5.本技术实施例提供了基于机器视觉的人员状态检测方法及相关装置，可以对多个工作人员进行身份识别认证。
6.第一方面，本技术实施例提供了一种基于机器视觉的人员状态检测方法，包括：通过深度神经网络获取监控视频中的目标检测框；根据目标检测框，通过多目标跟踪算法获取监控视频中的目标移动轨迹，目标移动轨迹用于表示目标检测框的移动轨迹；通过身份识别算法获取目标移动轨迹对应的人员身份信息，人员身份信息用于表示目标人员的身份；确定所述监控视频中的前景区域，所述前景区域用于标记所述监控视频中每个像素点的运动状态；根据所述人员身份信息、所述目标移动轨迹以及所述前景区域对所述目标人员进行岗位督察。
7.结合第一方面，在本技术实施例的一种实现方式中，通过身份识别算法获取目标移动轨迹对应的人员身份信息，包括：根据目标移动轨迹对应的多个目标检测框确定目标人员面对监控摄像头的图像，监控摄像头用于获取监控视频；根据目标人员面对监控摄像头的图像确定目标人员对应的人员身份信息；建立人员身份信息与目标移动轨迹的关联关系，关联关系用于在对所述目标人员进行岗位督察时进行身份关联确定。例如，当确定目标移动轨迹离开监控视频的指定区域时，可以根据关联关系确定人员身份信息对应的目标人员离开监控视频的指定区域，从而进行离岗检测。或者，当确定目标移动轨迹对应的目标检测框内的目标人员为静止状态或运动状态时，将关联关系对应的人员身份信息标记为静止状态或运动状态，从而进行睡岗检测。
8.结合第一方面，在本技术实施例的一种实现方式中，方法还包括：当所述目标人员离开所述监控视频的指定区域时开始进行离岗计时；若离岗计时的累计时间大于或等于第一预设阈值，则确定目标人员离岗。
9.结合第一方面，在本技术实施例的一种实现方式中，方法还包括：若离岗计时的累计时间小于第一预设阈值，则确定目标人员在岗。
10.结合第一方面，在本技术实施例的一种实现方式中，方法还包括：确定监控视频中的前景区域，前景区域用于标记监控视频中每个像素点的运动状态；若前景区域在目标检测框中的占比小于第二预设阈值，则确定目标检测框对应的目标人员为静止状态，并开始进行睡岗计时；若睡岗计时的累计时间大于或等于第三预设阈值，则确定目标人员睡岗。
11.结合第一方面，在本技术实施例的一种实现方式中，方法还包括：若睡岗计时的累计时间小于第三预设阈值，则确定目标人员在岗。
12.结合第一方面，在本技术实施例的一种实现方式中，方法还包括：若前景区域在目标检测框中的占比大于或等于第二预设阈值，则确定目标检测框对应的目标人员为运动状态。
13.第二方面，本技术实施例提供一种基于机器视觉的人员状态检测的装置，包括：获取模块，用于通过深度神经网络获取监控视频中的目标检测框；获取模块，还用于根据目标检测框，通过多目标跟踪算法获取监控视频中的目标移动轨迹，目标移动轨迹用于表示目标检测框的移动轨迹；处理模块，用于通过身份识别算法获取目标移动轨迹对应的人员身份信息，人员身份信息用于表示目标人员的身份；所述处理模块，还用于确定所述监控视频中的前景区域，所述前景区域用于标记所述监控视频中每个像素点的运动状态；处理模块，还用于根据所述人员身份信息、所述目标移动轨迹以及所述前景区域对所述目标人员进行岗位督察。
14.第三方面，本技术实施例提供一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面的方法。
15.第四方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如第一方面的方法。
16.第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的方法。
17.可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
18.本技术实施例与现有技术相比存在的有益效果是：
19.本技术实施例提供了基于机器视觉的人员状态检测方法及相关装置，该方法结合了深度神经网络、多目标跟踪算法、身份识别算法和前景区域识别，能够对监控画面中的多个人员进行跟踪和身份识别，从而能够实现对监控视频区域内的多人离岗/睡岗检测。
20.本技术实施例提供的技术方案，具有的优点如下：
21.1、对监控区域内的人员进行身份标定，从而能够实现对监控视频区域内的多人离岗/睡岗检测。
22.2、使用多目标跟踪算法对完成身份认定的人员进行持续跟踪，实现了“一次识别，长时监控”，提高了资源利用效率。
23.3、将人脸识别结果融合到多目标跟踪轨迹中，能够解决无法进行人脸识别时不能进行离岗检测的问题，可以应用在更广泛的场景。
24.4、使用前景信息融合的方法进行睡岗判断，相比较仅使用静态图像具有更好的普适性和可解释性。
附图说明
25.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1为本技术实施例提供的应用场景示意图；
27.图2为本技术实施例提供的基于机器视觉的人员状态检测方法的流程图；
28.图3为本技术实施例中检测框的示意图；
29.图4为本技术实施例的另一流程图；
30.图5为本技术实施例的逻辑示意图；
31.图6为本技术实施例提供的基于机器视觉的人员状态检测的装置的示意图；
32.图7为本技术实施例提供的基于机器视觉的人员状态检测的设备的示意图。
具体实施方式
33.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
34.应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
35.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
36.如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0037]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0038]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0039]
本技术实施例提供的基于机器视觉的人员状态检测方法可以应用于视频监控，尤
其应用在酒店前台，工厂工位，保安门岗等场景。
[0040]
图1为本技术实施例提供的应用场景示意图。监控摄像头101用于拍摄工作人员103的工作状态，监控摄像头101拍摄到的监控画面传输给检测装置102进行分析。监控摄像头101可以是相机、录影机等，本技术实施例对监控摄像头101的具体型号不作限定。可以理解的是，监控摄像头101拍摄到的传输给检测装置102的监控画面可以以yuv格式的数据传输。
[0041]
在本技术实施例中，检测装置102连接监控摄像头101，用于获取到监控画面。可以理解的是，监控画面可以是一段视频，也可以是实时的视频流，由若干帧图像组成。检测装置102与监控摄像头101可以有线连接，也可以无线连接。检测装置102可以内嵌在监控摄像头101内部，也可以设置在监控平台上，或者云服务器上，本技术实施例对此不作限定。
[0042]
在本技术实施例中，工作人员103可以正对监控摄像头101，也可以在工作中转换姿态，侧对或背对监控摄像头101，本技术实施例对此不作限定。
[0043]
以上为本技术实施例提供的一种假设场景，其他实际场景可以根据本技术实施例提供的假设场景来参照，本技术实施例将不再赘述其他实际场景。
[0044]
基于以上假设场景，以下将详细介绍本技术实施例提供的基于机器视觉的人员状态检测方法。其他实际场景可以根据本技术实施例来参照实施，本技术实施例将不再赘述。
[0045]
图2为本技术实施例提供的基于机器视觉的人员状态检测方法的流程图。可以由检测装置102执行。该流程包括：
[0046]
201、通过深度神经网络获取监控视频中的目标检测框；
[0047]
在本技术实施例中，深度神经网络可以是一阶段(one-stage)网络和两阶段(two-stage)网络。两阶段神经网络指的是神经网络需要分两步完成，首先需要获取候选区域，然后进行分类，比如局部卷积神经网络(r-cnn)系列；与之相对的是一阶段神经网络检测，可以理解为一步到位，不需要单独寻找候选区域，典型的有单发探测器(the single shot detector，ssd)/你只看一次(you only look once，yolo)神经网络。作为本技术实施例的一种较优实施例，本技术可以采用yolov3的深度神经网络，即一种训练好的深度学习目标检测网络，输入为yuv/argb格式图像，可以直接输出画面中的所有框坐标及类别(如人脸、人形)。
[0048]
检测装置102获取到监控摄像头101的监控视频后，可以通过深度神经网络获取到监控视频中的目标检测框。
[0049]
图3为本技术实施例中检测框的示意图。图3示出了监控画面301中，检测装置102通过深度神经网络获取到目标检测框302的情况。其中，目标检测框302中的人员为目标人员。
[0050]
202、根据目标检测框，通过多目标跟踪算法获取监控视频中的目标移动轨迹；
[0051]
在本技术实施例中，检测装置102可以根据目标检测框，通过多目标跟踪算法获取监控视频中的目标移动轨迹，目标移动轨迹用于表示目标检测框的移动轨迹。具体地，多目标跟踪算法是目标跟踪算法的其中一种，目标跟踪算法是利用一个视频或图像序列的上下文信息，对目标的外观和运动信息进行建模，从而对目标运动状态进行预测并标定目标位置的一种技术，是计算机视觉的一个重要基础问题，具有重要的理论研究意义和应用价值，在智能视频监控系统、智能人机交互、智能交通和视觉导航系统等方面具有广泛应用。多目
标跟踪算法相比单目标跟踪算法而言，主要采用“通过检测进行跟踪”(tracking by detection)的策略，可以以检测框作为输入，在目标类别已知的情况下，多目标跟踪可以很容易的处理单目标跟踪的情况。而单目标跟踪算法并不能轻易地扩展为多目标跟踪(存在资源及效率问题)。在一些实施例中，监控视频中可能有多个目标检测框，因此可以采用多目标跟踪算法来进行目标跟踪。
[0052]
具体地，本技术实施例可以采用简单的在线实时跟踪(simple online and realtime tracking，sort)算法来实现多目标跟踪。
[0053]
检测装置102可以根据目标检测框，通过多目标跟踪算法获取监控视频中的目标移动轨迹后，可以执行步骤203。
[0054]
203、通过身份识别算法获取目标移动轨迹对应的人员身份信息；
[0055]
在本技术实施例中，人员身份信息用于表示目标人员的身份。身份识别算法可以是人脸识别算法、人眼虹膜识别算法、标志物识别算法等等，本技术实施例对此不作限定。在一种较优的实施例中，检测装置102可以采用深度残差网络(residual network,resnet)来进行人脸识别，具体地，可以采用训练好的resnet34模型进行人脸识别。
[0056]
步骤203可以具体分为以下步骤：
[0057]
1、从目标移动轨迹对应的多个目标检测框确定目标人员面对监控摄像头101的图像；
[0058]
在本技术实施例中，目标移动轨迹可以对应有多个目标检测框。示例性的，监控视频一共有5帧图像，而步骤201中深度神经网络确定的目标检测框为每帧图像中的一个目标检测框，即一共有5个目标检测框。
[0059]
一般地，本技术实施例可以检测是否有80％的人脸区域位于一个人形框内，且人脸框的中心点位于人形框中心点的上方，若是，则认为两者具有关联关系。如果人形框有与之关联的人脸，则视为人员面向摄像头。具体地，在步骤201中通过深度神经网络可以识别出人形框(识别出人体形状的目标框)和人脸框(识别出人脸形状的目标框)，则当检测到80％的人脸框属于同一个人形框且该人脸框位于该人形框的上半区时，可以确定该人脸框即为目标人员的面对监控摄像头的图像。
[0060]
在一些可能的情况中，检测装置102可以采用人脸朝向识别算法确定目标人员面对监控摄像头101的图像。人脸朝向识别算法可以采用市面上现有的算法，本技术实施例对此不作限定。
[0061]
2、根据目标人员面对监控摄像头的图像确定目标人员对应的人员身份信息；
[0062]
在本技术实施例中，检测装置102可以根据目标人员面对监控摄像头的图像，通过上述的身份识别算法(人脸识别算法/人眼虹膜识别算法等)确定目标人员对应的人员身份信息。
[0063]
3、建立人员身份信息与目标移动轨迹的关联关系。
[0064]
在本技术实施例中，检测装置102可以建立人员身份信息与目标移动轨迹的关联关系，以使得后续步骤中，可以根据该关联关系确定目标人员是否离开监控视频的指定区域。
[0065]
表1为本技术实施例中关联关系的示例。表1中，每个识别得到的员工人员身份信息与目标移动轨迹建立关联关系。关联关系用于当确定目标移动轨迹离开监控视频的指定
区域时，根据关联关系确定人员身份信息对应的目标人员离开监控视频的指定区域。即若目标移动轨迹确定离开了监控视频的指定区域，则可以认为该目标移动轨迹对应的员工离开了该监控视频的指定区域。示例性的，表1中的移动轨迹1表征某一段时间离开了指定区域，则对应的员工001在该段时间离开了指定区域。
[0066]
人员身份信息目标移动轨迹员工001移动轨迹1员工002移动轨迹2......
[0067]
表1
[0068]
通过上述步骤，本技术实施例提供的方法中，检测装置102仅需要进行一次身份识别，即可将人员身份信息与目标移动轨迹建立关联关系，后续无需再进行身份识别，提高了整体算法的效率。本技术实施例中的关联关系用于在对所述目标人员进行岗位督察时进行身份关联确定，即后续步骤中可以通过关联关系确定目标移动轨迹/目标检测框对应的目标人员的人员身份信息。
[0069]
可以理解的是，上述的关联关系可以通过给目标移动轨迹/目标检测框打上标签的方式实现。实际上该关联关系在计算机软件中的实现技术手段可以有多种，本技术实施例对此不作限定。
[0070]
可以理解的是，根据步骤201、步骤202和步骤203获取到的信息，可以对目标人员进行离岗检测，离岗检测即步骤204。
[0071]
204、根据人员身份信息以及目标移动轨迹确定目标人员是否离开监控视频的指定区域。
[0072]
在本技术实施例中，检测装置102首先确定目标移动轨迹是否离开了监控视频的指定区域(离开了监控视频的指定区域即开始离岗计时，得到离岗计时对应的累计时间)。可以理解的是，该指定区域是预先进行指定的，可以指定监控视频画面中的一部分区域，也可以是监控视频画面的全部区域，本技术实施例对此不作限定。当目标移动轨迹显示离开了该指定区域后，可以确定对应的目标人员离开了该指定区域。示例性的，表1中的移动轨迹1表征某一段时间离开了指定区域，则对应的员工001在该段时间离开了指定区域。
[0073]
在本技术实施例中，将目标检测与目标跟踪和人脸识别的结合，能够对监测区域的人员进行特定身份的岗位督察，多目标跟踪算法的引入可以扩展算法的适用场景，并提升算法的运行效率(不必每帧都进行人脸识别)。
[0074]
在一些实施例中，检测装置102确定目标人员离开监控视频的指定区域后，可以立刻报警，提醒工作人员回到自己岗位，或者上传云平台，通知管理者对工作人员进行督查。
[0075]
在一些实施例中，检测装置102可以对目标人员离开监控视频的指定区域的时间(离岗计时对应的累计时间)进行计时，当计时累计达到第一预设阈值时才报警。具体地，若离岗计时对应的累计时间大于或等于第一预设阈值，则确定目标人员离岗。若离岗计时对应的累计时间小于第一预设阈值，则确定目标人员在岗。
[0076]
在一些实施例中，检测装置102还可以检测目标人员是否睡岗(即在工作岗位上睡觉)。具体地，图4为本技术实施例的另一流程图。如图4所示，可以在步骤204之后，通过以下步骤检测：
[0077]
205、确定监控视频中的前景区域；
[0078]
在本技术实施例中，检测装置102可以通过对监控视频的监控画面进行背景建模，得到画面中的前景区域。具体的提取前景区域和背景区域的算法较为常见，本技术实施例对此不再赘述。
[0079]
可以理解的是，前景区域用于标记监控视频中每个像素点的运动状态，即每个像素点是“运动”还是“静止”。示例性的，监控视频中可以有若干帧图像，其中某一帧图像中的50个像素点为“运动”，100个像素点为“静止”。
[0080]
可以理解的是，根据步骤201、步骤202和步骤203获取到的信息，可以对目标人员进行离岗检测。根据步骤201和步骤205获取到的信息，可以对目标人员进行睡岗检测，睡岗检测即步骤206和步骤207。因此，本技术实施例的方案在总体上可以是根据201、步骤202、步骤203和步骤205获取到的目标检测框、人员身份信息、目标移动轨迹和前景区域，来对目标人员进行岗位督察。岗位督察包括如步骤204的离岗检测和如步骤206、步骤207的睡岗检测。
[0081]
206、若前景区域在目标检测框中的占比小于第二预设阈值，则确定目标检测框对应的目标人员为静止状态并开始睡岗计时，得到睡岗计时对应的累计时间；
[0082]
在本技术实施例中，前景区域在目标检测框中的占比可以通过算法计算得出，即前景区域的像素点占目标检测框所有像素点的比值。示例性的，目标检测框所有像素点为100个，其中，前景区域的像素点有50个，则前景区域在目标检测框中的占比为50％。
[0083]
若前景区域在目标检测框中的占比大于或等于第二预设阈值，则说明目标检测框中的目标人员正在“运动”，可以视为正在工作，因此可以确定目标检测框对应的目标人员为运动状态。
[0084]
若前景区域在目标检测框中的占比小于第二预设阈值，则说明目标检测框中的目标人员正在“静止”，可以视为正在睡觉，因此可以确定目标检测框对应的目标人员为静止状态并开始睡岗计时，得到睡岗计时对应的累计时间。
[0085]
207、若睡岗计时的累计时间大于或等于第三预设阈值，则确定目标人员睡岗。
[0086]
在本技术实施例中，检测装置102可以对每一帧图像都进行如步骤205和步骤206的处理，确定目标检测框对应的目标人员为静止状态的累计时间。
[0087]
若静止状态的累计时间大于或等于第三预设阈值，则说明目标人员长期处于静止状态，可以视为长时间睡觉，则确定目标人员睡岗。
[0088]
若静止状态的累计时间小于第三预设阈值，则说明目标人员可能发了一下呆之后醒过来，可以视为正常工作，则确定目标人员正常工作。
[0089]
图5为本技术实施例的逻辑示意图。监控摄像头101获取到监控画面后，发送给检测装置102处理。检测装置102接收到监控画面后，可以对监控画面进行目标检测，识别得到目标人员对应的目标检测框。然后对该目标检测框进行多目标跟踪，确定对应的目标移动轨迹。并且，对该目标移动轨迹的其中至少一帧图像进行人脸识别，给目标移动轨迹打上身份标签(或称建立目标移动轨迹与人员身份信息的关联关系)。另一方面，检测装置102还可以对监控画面进行背景建模，获取前景区域。
[0090]
上述步骤中，检测装置102实际上获取了1)画面中所有人员的位置信息；2)所有位置人员的身份信息；3)画面中所有像素的运动状态(属于前景区域则为运动，否则视为静
止)。
[0091]
检测装置102可以进行离岗检测和睡岗检测。具体地：
[0092]
离岗检测为：系统维护画面中所有人员的身份及位置信息。当检测到相关人员离开指定区域或者未出现在画面中时，开始对其进行离岗时间计时。当累计时间超过预先设定的阈值时，触发相应人员的离岗报警。
[0093]
睡岗检测为：结合前景区域在目标检测框中的占比确定目标的运动状态，当人员检测框中前景占比高于预先设定的阈值时，则将其视为运动，否则视为静止，并开始对其进行睡岗计时。当累计静止时间超过预先设定的阈值时，触发相关人员的睡岗报警。
[0094]
图6为本技术实施例提供的基于机器视觉的人员状态检测的装置的示意图。该基于机器视觉的人员状态检测的装置600包括：
[0095]
获取模块601，用于通过深度神经网络获取监控视频中的目标检测框；
[0096]
获取模块601，还用于根据目标检测框，通过多目标跟踪算法获取监控视频中的目标移动轨迹，目标移动轨迹用于表示目标检测框的移动轨迹；
[0097]
处理模块602，用于通过身份识别算法获取目标移动轨迹对应的人员身份信息，人员身份信息用于表示目标人员的身份；
[0098]
处理模块602，还用于确定监控视频中的前景区域，前景区域用于标记所述监控视频中每个像素点的运动状态；
[0099]
处理模块602，还用于根据人员身份信息以及目标移动轨迹确定目标人员是否离开监控视频的指定区域。
[0100]
图7为本技术实施例提供的基于机器视觉的人员状态检测的设备的示意图。该设备700包括存储器702、处理器701以及存储在所述存储器702中并可在所述处理器701上运行的计算机程序703，其特征在于，所述处理器701执行所述计算机程序703时实现如图2或图4对应的各个实施例的方法。
[0101]
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0102]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0103]
本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
[0104]
本技术实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
[0105]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0106]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0107]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0108]
在本技术所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0109]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0110]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。