一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

对象识别方法、装置及系统与流程

2022-03-22 20:12:25 来源:中国专利 TAG:

对象识别方法、装置及系统
1.本技术要求于2020年09月04日提交的申请号为202010923850.4、发明名称为“视频分析方法”的中国专利申请的优先权,其全部内容通过引用结合在本技术中。
技术领域
2.本技术涉及图像处理领域,特别涉及一种对象识别方法、装置及系统。


背景技术:

3.识别视频流中的检测对象(比如人脸或车辆等)在安防领域有着重要的作用。
4.相关技术中,视频采集设备(例如摄像机)可以对采集到的原始视频流进行压缩编码,得到编码视频流,并可以将该编码视频流发送至视频处理设备。视频处理设备接收到该编码视频流后,可以对该编码视频流进行解码得到视频流。之后,视频处理设备可以依次对该视频流中的每一帧图像进行对象识别,以检测该每一帧图像中是否存在检测对象。
5.然而,以1秒视频流拥有30张图像帧为例,1小时视频流的图像帧就是30帧/秒*3600秒=108,000张图片需要识别。如果对1000个摄像机的视频进行视频,那么需要识别的图像帧的数目就是108,000,000,对这样大量的图像帧进行识别无疑需要耗费大量的时间,导致对象识别的效率较低。


技术实现要素:

6.本技术提供了一种对象识别方法、装置及系统。
7.一方面,提供了一种对象识别方法,该方法应用于对象识别装置,该装置可以应用于视频采集设备或者视频处理设备;该方法包括:检测视频流中的第一视频帧中是否存在检测对象;当该第一视频帧中存在该检测对象,则检测该视频流中与该第一视频帧关联的第二视频帧中是否存在该检测对象;当该第一视频帧中不存在该检测对象,则跳过对该视频流中与该第一视频帧关联的第二视频帧进行该检测对象的检测。
8.由于第一视频帧与其所关联的第二视频帧之间的差异较小,因此对象识别装置在确定该第一视频帧中不存在检测对象后,可以确定该第二视频帧中存在检测对象的概率也较低。此时,跳过对该第二视频帧进行检测对象的检测的步骤,可以在确保对检测对象的可靠识别的基础上,有效提高检测对象的识别效率,降低检测对象识别所需的计算资源。
9.可选地,该视频流为压缩编码后的视频流,该第一视频帧为帧间压缩的关键帧,该第二视频帧为与该关键帧对应的参考帧。
10.对于视频流为压缩编码后的视频流的场景,对象识别装置可以直接识别视频流中的关键帧,并可以根据对关键帧进行检测对象的识别得到的识别结果,确定是否对参考帧进行检测对象的识别。由于关键帧和其所对应的参考帧之间的差异较小,因此可以在确保对检测对象的可靠识别的基础上,有效提高检测对象的识别效率
11.可选地,检测视频流中的第一视频帧中是否存在该检测对象的过程可以包括:解码该第一视频帧,得到第一解码图像;检测该第一解码图像中是否存在该检测对象;检测该
视频流中与该第一视频帧关联的第二视频帧中是否存在该检测对象的过程可以包括:参考该第一解码图像解码该第二视频帧,得到第二解码图像;检测该第二解码图像中是否存在该检测对象。
12.由于该第一视频帧为对一整帧图像信息进行压缩编码得到的关键帧,因此对象识别装置可以直接对该第一视频帧进行解码。由于该第二视频帧是对一帧图像与前一帧图像的差异信息进行编码得到的参考帧,因此需要参考该第一解码图像,对该第二视频帧进行解码。也即是,该第一视频帧可以独立解码,而该第二视频帧无法独立解码。
13.由此,先检测该第一视频帧中是否存在检测对象,可以确保检测的效率。而在第一视频帧中不存在检测对象时,跳过对第二视频帧的检测,不仅可以有效降低检测流程所占用的计算资源,还可以降低解码流程所占用的计算资源。
14.可选地,该视频流可以为未经过压缩编码的视频流或者只有关键帧的视频流,且该视频流包括按顺序依次排列的多个视频帧;该第一视频帧为该多个视频帧中的一个视频帧;该第二视频帧为位于该第一视频帧之后,且与该第一视频帧间隔的帧数小于阈值的视频帧。
15.也即是,该第二视频帧为与第一视频帧间隔较近的视频帧。由于间隔较近的视频帧之间的差异通常较小,因此对象识别装置根据对第一视频帧进行检测对象的识别得到的识别结果,确定是否继续对第二视频帧进行检测对象的识别,可以在确保对检测对象的可靠识别的前提下,有效提高检测对象的识别效率。
16.可选地,在检测视频流中的第一视频帧中是否存在检测对象之前,该方法还可以包括:按照采样间隔,对该多个视频帧进行采样,得到该第一视频帧;其中,该采样间隔大于该阈值。并且,该采样间隔可以为固定间隔。或者,该采样间隔也可以根据应用场景的需求灵活调节。
17.可选地,该采样间隔可以根据该视频流中检测对象单次出现的时长确定,且该采样间隔对应的时长可以小于该视频流中检测对象单次出现的时长。由此,可以在确保对检测对象的识别的可靠性的前提下,尽量降低检测对象的识别流程所占用的计算资源。
18.可选地,在检测视频流中与第一视频帧关联的第二视频帧中是否存在所述检测对象之后,该方法还可以包括:根据对该第一视频帧的检测结果,以及对该第二视频帧的检测结果,为该视频流中的视频分段添加索引;其中,该视频分段包括多个连续且存在该检测对象的视频帧,或者,包括多个连续且不存在该检测对象的视频帧,该索引用于指示该视频分段中是否存在该检测对象。
19.该索引可以作为视频流中视频分段的摘要信息,便于快速确定出该视频流中存在检测对象的视频分段,或者不存在检测对象的视频分段。
20.可选地,在检测该第二视频帧中是否存在该检测对象之后,或者在跳过对该第二视频帧的检测之后,该方法还可以包括:检测该视频流中,位于该第二视频帧之后的第三视频帧中是否存在该检测对象;当该第三视频帧中存在该检测对象,则检测该视频流中与该第三视频帧关联的第四视频帧中是否存在该检测对象;当该第三视频帧中不存在该检测对象,则跳过对该视频流中与该第三视频帧关联的第四视频帧进行该检测对象的检测。
21.本技术提供的方法,对于该视频流中位于该第二视频帧之后的第三视频帧以及与该第三视频帧关联的第四视频帧,对象识别装置也可以先对第三视频帧进行检测,然后再
基于对该第三视频帧的检测结果,确定是否继续对第四视频帧进行检测,从而可以有效提高对整个视频流进行检测对象的识别的效率。
22.可选地,该第一视频帧与该第二视频帧属于第一图像组gop,且该第一视频帧是关键帧;该第三视频帧与该第四视频帧属于第二gop,且该第三视频帧是关键帧。也即是,本技术提供的方法能够以gop为单位,依次对该视频流中的每个gop进行检测。
23.可选地,在检测该视频流中与该第一视频帧关联的第二视频帧中是否存在该检测对象之后,该方法还包括:若该第二视频帧中不存在该检测对象,则提取该第一视频帧的特征;若该第二视频帧中存在该检测对象,则分别提取该第一视频帧和该第二视频帧的特征,或者,提取该第一视频帧和该第二视频帧中的目标视频帧的特征,且除该目标视频帧之外的视频帧不做特征提取。
24.本技术提供的方法,对象识别装置还可以对存在检测对象的视频帧进行特征提取,以便对该检测对象进行更为精准的识别和分析。
25.可选地,该目标视频帧为该第一视频帧和该第二视频帧中该检测对象的显示效果优于另一视频帧的视频帧;其中,该显示效果的衡量参数可以包括下述参数中的一种或多种:清晰度,以及显示角度。
26.通过对显示效果较好的目标视频帧进行特征提取,可以在确保特征提取的可靠性的前提下,有效提高特征提取的效率,降低特征提取的流程所占用的计算资源。
27.可选地,该检测该视频流中与该第一视频帧关联的第二视频帧中是否存在该检测对象,包括:根据该检测对象在解码该第一视频帧得到的第一解码图像中所处的区域,采用目标跟踪算法检测该第二视频帧中是否存在该检测对象。
28.采用目标跟踪算法检测该第二视频帧中是否存在该检测对象,可以有效提高检测对象的检测效率。
29.可选地,本技术提供的方法可以应用于视频采集设备,则在检测视频流中的第一视频帧中是否存在检测对象之前,该方法还可以包括:视频采集设备采集该视频流。在该场景中,该视频流可以为未经过压缩编码的视频流。
30.或者,本技术提供的方法还可以应用于视频处理设备,则在检测视频流中的第一视频帧中是否存在检测对象之前,该方法还可以包括:接收视频采集设备发送的该视频流。在该场景中,该视频流为未经过压缩编码的视频流,且该视频流中可以包括关键帧和参考帧,或者该视频流中仅包括关键帧。
31.另一方面,提供了一种对象识别装置,该装置可以包括至少一个模块,且该至少一个模块可以用于实现上述方面所提供的对象识别方法。
32.再一方面,提供了一种对象识别装置,该对象识别装置可以包括:存储器,处理器及存储在该存储器上并可在该处理器上运行的计算机程序,该处理器执行该计算机程序时实现如上述方面所提供的对象识别方法。
33.再一方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,该指令由处理器执行以实现如上述任一方面所提供的对象识别方法。
34.再一方面,提供了一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行如上述任一方面所提供的对象识别方法。
35.再一方面,提供了一种检测对象的识别系统,该系统包括:视频采集设备,以及与
该视频采集设备建立有通信连接的视频处理设备;其中,该视频采集设备和/或该视频处理设备可以包括如上述方面所提供的对象识别装置。
36.综上所述,本技术提供了一种对象识别方法、装置及系统,该方案可以在检测到视频流中的第一视频帧中不存在检测对象时,跳过对该视频流中与该第一视频帧关联的第二视频帧的检测。由于在第一视频帧中不存在检测对象时,其所关联的第二视频帧中存在检测对象的概率也较低。因此跳过对第二视频帧的检测,可以在确保对检测对象的可靠识别的基础上,有效降低所需检测的视频帧的数量,进而提高检测对象的识别效率,避免计算资源的浪费。
附图说明
37.图1是本技术实施例提供的一种对象识别方法的应用场景的示意图;
38.图2是本技术实施例提供的一种对象识别方法的流程图;
39.图3是本技术实施例提供的一种检测对象的识别过程的示意图;
40.图4是本技术实施例提供的另一种对象识别方法的流程图;
41.图5是本技术实施例提供的另一种检测对象的识别过程的示意图;
42.图6是本技术实施例提供的一种对象识别装置的结构示意图;
43.图7是本技术实施例提供的另一种对象识别装置的结构示意图;
44.图8是本技术实施例提供的又一种对象识别装置的结构示意图;
45.图9是本技术实施例提供的再一种对象识别装置的结构示意图。
具体实施方式
46.下面结合附图详细介绍本技术实施例提供的对象识别方法、装置及系统。
47.本发明实施例中,检测对象可以是特定的对象,例如,对检测对象进行识别可以是:对一个名为张龙的人进行识别,从视频流中挑选出出现了张龙的视频帧,没有出现张龙的帧不需要处理;此外,检测对象也可以是不特定的对象,例如,对检测对象进行识别可以是:只要在视频流中出现的行人都进行识别,并不在意这个行人是谁。
48.图1是本技术实施例提供的一种对象识别方法的应用场景的示意图。如图1所示,该应用场景可以包括视频采集设备01(也可以称为前端)和视频处理设备02(也可以称为后端)。其中,该视频采集设备01可以为具有图像传感器的设备,例如可以为照相机、摄像机、摄像头、手机、电脑或可穿戴设备等。该视频处理设备02可以为具有图像处理功能的计算机设备,例如可以为手机、电脑或服务器等。其中,该服务器可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务中心。
49.参考图1可以看出,该视频采集设备01与该视频处理设备02之间建立有通信连接。该视频采集设备01能够采集视频流,并将采集到的视频流传输至视频处理设备02。视频处理设备02进而可以对接收到的视频流进行处理。并且,为了提高视频流的传输效率,视频采集设备01可以按照视频压缩编码标准对采集到的原始的视频流进行压缩编码,并向该视频处理设备发送压缩编码后的视频流。其中,该视频压缩编码标准可以包括动态图像专家组(moving picture experts group,mpeg)标准、h.264或h.265等。
50.相关技术中,视频处理设备02接收到压缩编码后的视频流后,可以对视频流进行
解码得到原始视频流。之后,视频处理设备可以依次对该原始视频流中的每一帧图像进行检测对象的识别,以检测该每一帧图像中是否存在检测对象。其中,该检测对象可以为人脸、人体或车辆等。
51.但是,在安防场景中,视频流中检测对象出现的频率通常是较低的。比如,人脸抓拍相机的平均过人量仅为1500人/天,也就是说摄像机每天可以拍摄到1500人次的行人,其中每个人在视频流中出现的持续时间小于10秒。由此可推算出,在一天24小时中,人脸抓拍相机每天采集到的视频流中存在检测对象的平均时长仅为4.1小时。由此可知,若对视频流中的每一帧图像均进行检测对象的识别,不仅效率较低,且会导致较多的计算资源的浪费。
52.本技术实施例提供了一种对象识别方法、装置及系统。本技术实施例提供的方案可以先对视频流中的第一视频帧进行检测对象的检测,在确定该第一视频帧中存在检测对象后,再继续对与该第一视频帧关联的第二视频帧进行检测对象的检测。当该第一视频帧中不存在检测对象,则无需对与该第一视频帧关联的第二视频帧进行检测对象的检测。由此,可以有效提高检测对象的识别效率,避免计算资源的浪费。
53.本技术实施例提供的对象识别方法可以应用于该视频采集设备01中,或者,也可以应用于该视频处理设备02中。
54.图2是本技术实施例提供的一种对象识别方法的流程图,该方法可以应用于如图1所示的应用场景中。下文以该应用场景中视频采集设备01向视频处理设备02发送压缩编码后的视频流,由视频处理设备02识别压缩编码后的视频流中的检测对象,且该压缩编码后的视频流中包括关键帧和参考帧为例进行说明。如图2所示,该方法可以包括:
55.步骤101、视频采集设备采集视频流。
56.在本技术实施例中,视频采集设备可以按照固定的帧率采集视频帧,视频采集设备采集到的多个视频帧即可组成视频流。其中,每个视频帧也即是一个图像帧,或者可以称为一帧图像。
57.步骤102、视频采集设备对采集到的视频流进行压缩编码。
58.视频采集设备采集到视频流之后,或者在采集该视频流的过程中,可以按照预先配置的视频压缩编码标准对该视频流进行压缩编码。其中,该视频压缩编码标准可以包括mpeg标准、h.264或h.265等。
59.在本技术实施例中,该压缩编码后的视频流可以包括:至少一个第一视频帧,以及与每个第一视频帧关联的至少一个第二视频帧。其中,每个第一视频帧所关联的至少一个第二视频帧位于相邻的两个第一视频帧之间。该第一视频帧可以为帧间压缩的关键帧,该关键帧是对一整帧图像信息进行压缩编码得到的,该关键帧也称为帧间(intra-frame,i)编码帧,简称i帧。该第二视频帧可以为参考帧,参考帧可以为前向预测(predictive,p)编码帧,简称p帧;或者,该参考帧可以为双向(bi-directional,b)预测编码帧,简称b帧。其中,该p帧是对当前一帧图像与前一帧图像的差异信息进行编码得到的,该b帧是对当前一帧图像与前一帧图像的差异信息,以及当前一帧图像与后一帧图像的差异信息进行编码得到的。基于上文描述可知,该关键帧可以独立解码,无需参考其他视频帧的解码结果,而该参考帧无法独立解码,其解码时需要参考其他视频帧的解码结果。
60.可选地,该视频采集设备采集视频帧的帧率可以为12帧/每秒至25帧/每秒,该压缩编码后的视频流中,相邻两个关键帧之间的时间间隔可以小于或等于1秒。例如,假设该
视频采集设备采集视频帧的帧率为12帧/每秒,压缩编码后的视频流中每相邻两个关键帧之间的间隔为1秒,则每个关键帧可以与12个参考帧关联。
61.步骤103、视频采集设备向视频处理设备发送压缩编码后的视频流。
62.视频采集设备完成对视频流的压缩编码后,即可向视频处理设备发送该压缩编码后的视频流。由于该视频流已经经过压缩编码,因此可以有效降低该视频流的传输开销,确保视频流传输的效率。
63.步骤104、视频处理设备解码该视频流中的第一视频帧,得到第一解码图像。
64.视频处理设备接收到该视频采集设备发送的视频流之后,可以获取该视频流中的第一视频帧,并对该第一视频帧进行解码,得到第一解码图像。由于该第一视频帧为对一帧图像信息进行压缩编码得到的关键帧,因此视频处理设备可以按照预先配置的视频压缩编码标准,直接对该第一视频帧进行解码。
65.应理解的是,该压缩编码后的视频流中,每个视频帧的帧头中可以携带有该视频帧的类型标识,该类型标识可以用于指示该视频帧是关键帧还是参考帧。相应的,视频处理设备可以根据每个视频帧的帧头中的类型标识,确定该视频帧是否为参考帧。
66.步骤105、视频处理设备检测该第一解码图像中是否存在检测对象。
67.在本技术实施例中,该视频处理设备可以采用预先存储的检测对象识别模型,检测该第一解码图像中是否存在检测对象。其中,该检测对象识别模型可以是采用深度神经网络训练得到的。该检测对象可以是人脸、人体或车辆等。或者,该检测对象还可以是具有特定属性(例如长发、戴眼镜或车身颜色为白色等)的对象。又或者,该检测对象还可以是执行特定行为或动作(如闯红灯或违章停车等)的对象。
68.当该第一解码图像中存在该检测对象,则视频处理设备可以执行步骤106和步骤107,即继续检测该视频流中与该第一视频帧关联的第二视频帧中是否存在该检测对象。当该第一解码图像中不存在该检测对象,则视频处理设备可以跳过对该视频流中第二视频帧进行该检测对象的检测的步骤。也即是,视频处理设备无需执行下述步骤106和步骤107。例如,视频处理设备可以直接执行步骤108。
69.由于视频流中每个第一视频帧与其所关联的第二视频帧之间的差异较小,因此视频处理设备在确定第一视频帧中不存在检测对象后,可以确定该第一视频帧所关联的第二视频帧中存在检测对象的概率也较低。此时,视频处理设备跳过对该第二视频帧进行检测对象的检测的步骤,可以在确保对检测对象的可靠识别的基础上,有效提高检测对象的识别效率。并且,可以降低识别检测对象所需的计算资源,避免计算资源的浪费。
70.并且,由于压缩编码后的第二视频帧无法独立解码,因此先检测该第一视频帧中是否存在检测对象,可以确保检测的效率。而在第一视频帧中不存在检测对象时,跳过对第二视频帧的检测,不仅可以有效降低检测流程所占用的计算资源,还可以有效降低解码流程所占用的计算资源。
71.又由于视频流中相邻两个第一视频帧之间的间隔通常小于视频流中检测对象单次出现的时长,因此,即使视频处理设备跳过对第二视频帧的检测,也不会漏检检测对象,即不会对检测对象的识别的准确率造成影响。
72.可选地,视频处理设备在确定该第一解码图像中不存在该检测对象后,还可以直接删除该第一视频帧,以及该第一视频帧所关联的第二视频帧。由此,可以避免不存在检测
对象的视频帧占用过多的存储空间。
73.步骤106、视频处理设备参考该第一解码图像,解码该视频流中与该第一视频帧关联的第二视频帧,得到第二解码图像。
74.视频处理设备在确定第一视频帧中存在检测对象后,可以确定与该第一视频帧关联的第二视频帧中存在检测对象的概率较高,因此可以继续对该第二视频帧进行检测对象的检测。由于该第二视频帧为参考帧,该参考帧是对一帧图像与前一帧图像的差异信息进行编码得到的,因此视频处理设备需要参考该第一解码图像,对该第二视频帧进行解码,得到第二解码图像。
75.应理解的是,若该参考帧是对一帧图像与前一帧图像的差异信息,以及一帧图像与后一帧图像的差异信息进行编码得到的,则视频处理设备还需先对该第二视频帧的下一个视频帧进行解码得到后一帧图像,然后再基于该第一解码图像和该后一帧图像,对该第二视频帧进行解码,得到第二解码图像。
76.步骤107、视频处理设备检测该第二解码图像中是否存在该检测对象。执行步骤108。
77.视频处理设备得到第二解码图像后,即可采用该预先存储的检测对象识别模型,检测该第二解码图像中是否存在检测对象。
78.或者,为了提高检测对象的检测效率,该视频处理设备可以先确定该检测对象在该第一解码图像中所处的区域。进而,可以根据该检测对象在该第一解码图像中所处的区域,采用目标跟踪算法检测该第二解码图像中是否存在该检测对象。例如,视频处理设备可以根据该检测对象在第一解码图像中所处的区域,在该第二解码图像中的相同区域,或者临近的区域内检测是否存在检测对象。
79.由于视频流中相邻两个视频帧之间的间隔时间通常很短,检测对象在该两个视频帧中所处的位置不会发生太大变化,因此基于该目标跟踪算法可以准确且高效地检测出该第二解码图像中是否存在该检测对象。
80.应理解的是,该视频处理设备获取到的视频流中,每个第一视频帧可以与至少一个(通常是多个)第二视频帧关联。因此,在本技术实施例中,视频处理设备可以分别对每个第二视频帧均进行检测对象的检测,即对于每个第二视频帧,视频处理设备均可以采用上述步骤106和步骤107所示的方法进行处理。或者,视频处理设备也可以仅对部分第二视频帧(例如一个第二视频帧)进行检测对象的检测。本技术实施例对该视频处理设备检测的第二视频帧的个数不做限定。
81.示例的,参考图3,视频处理设备在获取到视频流中的关键帧,以及与该关键帧关联的多个参考帧后,可以将该多个参考帧存储至缓存中。该缓存可以用于存储需要进行检测对象的检测的视频帧。并且,如图3中的(1)所示,视频处理设备可以对该关键帧进行解码,得到第一解码图像,并检测该第一解码图像中是否存在检测对象。如图3中的(2)和(3)所示,视频处理设备在确定该关键帧中存在检测对象后,可以继续对该缓存中存储的每一个第二视频帧进行解码,以及进行检测对象的检测。视频处理设备若确定该关键帧中不存在检测对象,则可以删除该缓存中存储的第二视频帧。例如,该视频处理设备可以清空该缓存。
82.步骤108、视频处理设备检测第三视频帧中是否存在检测对象。
83.其中,该第三视频帧为该视频流中位于该第二视频帧之后的视频帧。当该第三视频帧中存在该检测对象,则视频处理设备可以继续执行步骤109;当该第三视频帧中不存在该检测对象,则视频处理设备可以跳过对该视频流中与该第三视频帧关联的第四视频帧的检测,即无需再执行下述步骤109,例如该视频处理设备可以直接执行步骤110。该步骤108的实现过程可以参考上述步骤104和步骤105,此处不再赘述。
84.步骤109、视频处理设备检测与该第三视频帧关联的第四视频帧中是否存在该检测对象。
85.在本技术实施例中,视频处理设备若确定该第三视频帧中存在该检测对象,则可以继续检测与该第三视频帧关联的第四视频帧中是否存在该检测对象。该步骤109的实现过程可以参考上述步骤106和步骤107,此处不再赘述。
86.可以理解的是,该视频流中还可以包括位于该第四视频帧之后的第五视频帧,以及与该第五视频帧关联的第六视频帧。对于该第五视频帧和第六视频帧,该视频处理设备均可以参考上述步骤104至步骤107所示的方法,以及步骤108和步骤109所示的方法进行目标对象的检测,本技术实施例对此不作赘述。
87.在压缩编码后的视频流中,每个关键帧和其所关联的至少一个参考帧可以组成一个图像组(group of picture,gop),也称为一个帧组。其中,每个gop中的第一个视频帧为关键帧。例如,上文所述的第一视频帧和第二视频帧均属于第一gop,且该第一视频帧为关键帧,上文所述的第三视频帧和第四视频帧则均属于第二gop,且该第三视频帧为关键帧。因此,上述步骤104至步骤109也可以理解为:视频处理设备依次获取视频流中的每个gop,对于每个gop,检测该gop中的关键帧中是否存在检测对象。若存在检测对象,则继续对该gop中的参考帧进行检测对象的检测;若不存在检测对象,则跳过对该gop中的参考帧的检测,并继续对下一个gop进行检查。
88.示例的,假设视频流中包括两个gop:s1和s2,其中每个gop中包括一个关键帧和n个参考帧,n为大于1的整数。例如,n可以为12或者24。该s1可以表示为:s1={i
1,1
,p
1,1
,...,p
1,n
},该s2可以表示为:s2={i
2,1
,p
2,1
,...,p
2,n
}。则对s1进行检测的过程可以包括:对关键帧i
1,1
进行检测对象的检测,同时将n个参考帧{p
1,1
,...,p
1,n
}存储至缓存;若检测到该关键帧i
1,1
中不存在检测对象,则将缓存中的n个参考帧{p
1,1
,...,p
1,n
}删除。对s2进行检测的过程可以包括:对关键帧i
2,1
进行检测对象的检测,同时将n个参考帧{p
2,1
,...,p
2,n
}存储至缓存;若检测到该关键帧i
2,1
中存在检测对象,则对缓存中的n个参考帧{p
2,1
,...,p
2,n
}依次进行检测对象的检测。
89.假设视频流中每个关键帧与n个参考帧关联,即视频流中关键帧的个数与参考帧的个数的比值为1:n。则对于该视频流中每个视频帧中均存在检测对象的场景,相对于对每一个视频帧依次进行检测对象的检测的方案,由于采用本技术实施例提供的方法也需要对每一个视频帧均进行检测对象的检测,因此检测流程占用的计算资源并未降低。
90.对于该视频流中每个视频帧中均不存在检测对象的场景,本技术实施例提供的方法仅需对该视频流中的关键帧进行检测。例如,假设该视频流中仅包括1个关键帧,以及与该1个关键帧关联的n个参考帧,则相关技术中的方法需要对该(1 n)个视频帧均进行检测,而本技术实施例提供的方法仅需对1个关键帧进行检测,而无需对该n个参考帧进行检测。由此可以推算出,本技术实施例提供的方法使得该检测流程占用的计算资源可以降低比例
r:r=n/(1 n)。
91.对于该视频流中存在检测对象的视频帧的个数,与不存在检测对象的视频帧的个数的比例为1:k的场景,本技术实施例提供的方法需要对该视频流中占比为1/(k 1)的视频帧均进行检测对象的检测,且仅需要对该视频流中占比为k/(k 1)的视频帧中的关键帧进行检测。由此可以推算出,本技术实施例提供的方法使得该检测流程占用的计算资源可以降低比例r:r=1-1/(k 1)-[1/(1 n)]
×
[k/(1 k)]。其中,k为非0的正数,且k通常大于1。
[0092]
例如,假设n=24,k=4,且该视频流中仅包括1个关键帧和24个参考帧,则该25个视频帧中的5个视频帧中存在检测对象,20个视频帧中不存在检测对象。相关技术中的方法需要对该25个视频帧均进行检测,而本技术实施例提供的方法需要对存在检测对象的5个视频帧均进行检测,对于不存在检测对象的20个视频帧,则需要对其中可能存在的20/25个关键帧进行检测。由此可以推算出,本技术实施例提供的方法仅需对5.8个视频帧进行检测,而剩余的19.2个视频帧则无需进行检测,即该降低比例r可以达到:r=19.2/25=76.8%。
[0093]
示例的,假设k=4,则在不同场景下采用本技术实施例提供的方法所能够降低的计算资源的占用比例可以参考表1。如表1所示,在该视频流中每一个视频帧中均不存在检测对象的场景下,若n=12,则本技术实施例提供的方法可以将检测流程占用的计算资源降低92.3%。在该视频流中存在检测对象的视频帧的个数,与不存在检测对象的视频帧的个数的比值为1:4的场景下,若n=24,则本技术实施例提供的方法可以将检测流程占用的计算资源降低76.8%。
[0094]
表1
[0095] 1:121:24每一帧均存在检测对象00每一帧均不存在检测对象92.3%96%检测对象存在与不存在的比例为1:473.8%76.8%
[0096]
步骤110、视频处理设备根据对各个视频帧的检测结果,为该视频流中的视频分段添加索引。
[0097]
在本技术实施例中,视频处理设备在完成对视频流中各个视频帧的检测后,还可以根据对各个视频帧的检测结果,将该视频流划分为至少一个视频分段,并为每个视频分段添加索引。其中,该每个视频分段可以包括多个连续且存在该检测对象的视频帧,或者,可以包括多个连续且不存在该检测对象的视频帧。也即是,该视频处理设备可以将存在检测对象的多个连续的视频帧划分为一个视频分段,并可以将不存在检测对象的多个连续的视频帧也划分为一个视频分段。视频处理设备为每个视频分段添加的索引可以用于指示该视频分段中是否存在该检测对象。
[0098]
视频处理设备为每个视频分段添加的索引可以作为该视频分段的摘要信息。基于该索引,可以便于快速确定该视频流中存在检测对象的视频分段,以及不存在检测对象的视频分段。
[0099]
示例的,假设视频处理设备基于对视频流中各个视频帧的检测结果,确定该视频流中s1包括的各个视频帧中均不存在检测对象,且s2包括的各个视频帧中均存在检测对象。则视频处理设备可以将该s1确定为一个视频分段,并为该视频分段添加用于指示不存在检
测对象的索引。并且,视频处理设备还可以将s2确定为另一个视频分段,并为该视频分段添加用于指示存在检测对象的索引。若视频处理设备确定该s1和s2包括的各个视频帧中均不存在检测对象,则视频处理设备可以将该s1和s2确定为一个视频分段,并为该视频分段添加用于指示不存在检测对象的索引。
[0100]
应理解的是,视频处理设备基于对视频流中各个视频帧的检测结果,可以将视频流划分为多个视频分段。该视频处理设备可以为每个视频分段均添加索引,或者也可以仅为部分视频分段添加索引。例如,视频处理设备可以仅为存在检测对象的视频分段添加索引,或者仅为不存在检测对象的视频分段添加索引。或者,视频处理设备还可以将不存在检测对象的视频分段删除,仅保留存在检测对象的视频分段。
[0101]
步骤111、视频处理设备提取视频流中存在检测对象的视频帧的特征。
[0102]
在本技术实施例中,参考图3,视频处理设备在完成对视频流中各个视频帧的检测后,还可以对该视频流中存在检测对象的视频帧进行特征提取,以实现对该检测对象的精准的识别和分析。例如,视频处理设备可以采用特征提取模型对存在检测对象的视频帧进行特征提取,该特征提取模型可以是采用深度神经网络算法训练得到的。
[0103]
在上述步骤107中,若视频处理设备检测到该第二视频帧中不存在该检测对象,则可以仅提取该第一视频帧的特征。若视频处理设备检测到该第二视频帧中存在该检测对象,则可以分别提取该第一视频帧和该第二视频帧的特征,或者,可以提取该第一视频帧和该第二视频帧中的目标视频帧的特征,且除该目标视频帧之外的视频帧不做特征提取。
[0104]
可选地,该目标视频帧可以是从该第一视频帧和该第二视频帧中随机选取的一个视频帧。或者,该目标视频帧也可以为该第一视频帧和第二视频帧中该检测对象的显示效果优于另一视频帧的视频帧。
[0105]
可以理解的是,若在上述步骤108和步骤109中,视频处理设备检测到该第三视频帧和/或第四视频帧中也存在检测对象,则该视频处理设备还需要对该存在检测对象的第三视频帧和/或第四视频帧进行特征提取。
[0106]
或者,视频处理设备可以从该视频流中存在该检测对象的所有视频帧中确定出一个目标视频帧,并对该目标视频帧进行特征提取。也即是,对于该视频流中存在该检测对象的每个视频帧,视频处理设备均可以确定该检测对象在该视频帧中的显示效果。进而,视频处理设备可以对该视频流中显示效果最优的一个目标视频帧进行特征提取。通过对显示效果最优的目标视频帧进行特征提取,可以在确保特征提取的可靠性的前提下,有效提高特征提取的效率,降低特征提取的流程所占用的计算资源。
[0107]
其中,该显示效果的衡量参数包括下述参数中的一种或多种:清晰度,以及显示角度,显示角度是被拍摄对象在视频帧中的朝向,该显示角度可以反映检测对象的关键部位(比如人脸的正面,或者车辆的车牌)的显示完整性。该视频处理设备可以采用预先配置的效果检测算法,检测每个视频帧中检测对象的显示效果。
[0108]
还应理解的是,上述步骤104至步骤111可以在视频采集设备发送视频流的过程中同步执行,即视频处理设备可以在接收视频流的过程中,实时对已接收到的视频帧进行分析和处理。或者,上述步骤104至步骤111也可以在视频采集设备发送完成视频流之后再执行,即视频处理设备可以在接收完视频流之后,再对视频流中的视频帧进行分析处理。
[0109]
还应理解的是,本技术实施例提供的对象识别方法的步骤先后顺序可以进行适当
调整,步骤也可以根据情况进行相应增减。例如,上述步骤108至步骤109可以根据情况删除,即视频处理设备也可以仅对该视频流中的第一视频帧进行检测对象的检测。或者,上述步骤110可以根据情况删除,即视频处理设备也可以无需为视频分段添加索引。又或者,上述步骤111可以根据情况删除,即视频处理设备也可以无需执行该特征提取的步骤。再或者,上述步骤108也可以在步骤106之前执行,即该视频处理设备可以在完成对视频流中所有关键帧的检测之后,再继续对参考帧进行检测。
[0110]
综上所述,本技术实施例提供了一种对象识别方法,该方法可以在检测到视频流中的第一视频帧中不存在检测对象时,跳过对该视频流中与该第一视频帧关联的第二视频帧的检测。由于在第一视频帧中不存在检测对象时,其所关联的第二视频帧中存在检测对象的概率也较低。因此跳过对第二视频帧的检测,可以在确保对检测对象的可靠识别的基础上,有效降低所需检测的视频帧的数量,进而提高检测对象的识别效率,避免计算资源的浪费。
[0111]
图4是本技术实施例提供的另一种对象识别方法的流程图,该方法可以应用于如图1所示的应用场景中。下文以待处理的视频流为未经过压缩编码的视频流,或者该视频流经过压缩编码且仅包括关键帧为例进行说明。
[0112]
其中,对于该视频流为未经过压缩编码的视频流的场景,该对象识别方法可以由该视频采集设备01实现,或者也可以由该视频处理设备02实现。也即是,视频采集设备01可以直接对采集到的视频流进行检测对象的识别,或者,视频采集设备01可以直接将未经过压缩编码的视频流发送至视频处理设备02,并由该视频处理设备02进行检测对象的识别。对于该视频流经过压缩编码且仅包括关键帧的场景,该对象识别方法可以由该视频处理设备02实现。也即是,该视频采集设备01可以对采集到的视频流进行压缩编码,并且可以仅向该视频处理设备02发送压缩编码后的视频流中的关键帧。
[0113]
如图4所示,该方法可以包括:
[0114]
步骤201、按照采样间隔,对视频流中的多个视频帧进行采样,得到第一视频帧。
[0115]
在本技术实施例中,用于对检测对象进行识别的设备(即视频采集设备或者视频处理设备,下文简称设备)可以按照预设的采样间隔,对视频流包括的多个按顺序排列的视频帧进行采样,得到第一视频帧。其中,该采样间隔的单位可以为帧数,例如,该采样间隔可以为m帧,m为大于或等于1的整数。即设备可以间隔m帧对多个视频帧进行一次采样,得到一个第一视频帧。
[0116]
可选地,该采样间隔可以根据该视频流中该检测对象单次出现的时长确定,且该采样间隔对应的时长可以小于该视频流中检测对象单次出现的时长。其中,检测对象单次出现的时长是指检测对象每次在视频流中出现时,持续存在于该视频流的时长。采样间隔对应的时长是指相邻两次采样操作之间的时长,该时长与采样间隔的大小以及相邻两帧之间的间隔时长(即帧率的倒数)正相关。
[0117]
可以理解的是,不用应用场景中检测对象单次出现的时长不同。因此,在本技术实施例中,可以根据经验估算该方法所应用的场景中检测对象单次出现的时长,进而根据该估算出的时长确定该采样间隔。由此,可以在确保对检测对象的识别的可靠性的前提下,尽量降低检测对象的识别流程所占用的计算资源。
[0118]
应理解的是,该采样间隔可以为固定值,即设备可以按照固定的采样间隔对视频
流进行采样。或者,该采样间隔也可以为非固定值,即设备可以根据情况灵活调节该采样间隔。
[0119]
示例的,在安防场景中,不同时段内检测对象出现的概率不同,比如白天人流量和车流量较大,而夜间的人流量和车流量则较小。因此,设备可以在不同的时段内,采用不同的采样间隔对该视频流进行采样。
[0120]
步骤202、检测该第一视频帧中是否存在检测对象。
[0121]
若该第一视频帧为未经过压缩编码的视频帧,则设备可以直接检测该第一视频帧中是否存在检测对象。若该第一视频帧为关键帧,则设备可以先对该第一视频帧进行解码,得到第一解码图像,然后再检测该第一解码图像中是否存在检测对象。该步骤202的实现过程可以参考上述步骤105。
[0122]
若设备确定该第一视频帧中存在该检测对象,则可以执行步骤203;若设备确定该第一视频帧中不存在该检测对象,则可以跳过对该视频流中与该第一视频帧关联的第二视频帧进行检测对象的检测的步骤。也即是,若该第一视频帧中不存在检测对象,则视频处理设备可以无需执行下述步骤203。例如,参考图4,该设备可以继续执行步骤201,即设备可以继续对视频流进行采样,以获取位于该第二视频帧之后的第三视频帧。
[0123]
在本技术实施例中,与该第一视频帧关联的第二视频帧可以为该视频流中,位于该第一视频帧之后,且与该第一视频帧间隔的帧数小于阈值的视频帧。其中,该阈值可以小于该采样间隔。
[0124]
由于视频流中间隔较近的视频帧之间的差异较小,因此视频处理设备在确定第一视频帧中不存在检测对象后,可以确定位于该第一视频帧之后,且与该第一视频帧间隔较近的第二视频帧中存在检测对象的概率也较低。此时,视频处理设备跳过对该第二视频帧进行检测对象的检测的步骤,可以在确保对检测对象的可靠识别的基础上,有效提高检测对象的识别效率,降低检测对象识别所需的计算资源。
[0125]
步骤203、检测该视频流中与该第一视频帧关联的第二视频帧中是否存在该检测对象。
[0126]
设备在确定该第一视频帧中存在检测对象后,可以从视频流中获取与该第一视频帧关联的第二视频帧,并检测该第二视频帧中是否存在该检测对象。若设备确定该第二视频帧中不存在该检测对象,则可以执行步骤204;若设备确定该第二视频帧中存在该检测对象,则可以执行步骤205。
[0127]
其中,若该第二视频帧为未经过压缩编码的视频帧,则设备可以直接检测该第二视频帧中是否存在检测对象。若该第二视频帧为关键帧,则设备可以先对该第二视频帧进行解码,得到第二解码图像,然后再检测该第二解码图像中是否存在检测对象。该步骤203的实现过程可以参考上述步骤107。
[0128]
应理解的是,视频流中的第一视频帧通常与多个第二视频帧关联。因此,在本技术实施例中,设备可以分别对每个第二视频帧均进行检测对象的检测。或者,该设备也可以仅对部分第二视频帧(例如一个第二视频帧)进行检测对象的检测。
[0129]
步骤204、提取该第一视频帧的特征。
[0130]
若设备确定该第二视频帧中不存在检测对象,则可以仅对第一视频帧进行特征提取。
[0131]
步骤205、提取该第一视频帧和该第二视频帧中的目标视频帧的特征。
[0132]
若该设备确定该第二视频帧中存在检测对象,则可以对该第一视频帧和该第二视频帧中的目标视频帧进行特征提取,且除该目标视频帧之外的视频帧不做特征提取。其中,该目标视频帧可以为该第一视频帧和第二视频帧中该检测对象的显示效果优于另一视频帧的视频帧。该显示效果的衡量参数包括下述参数中的一种或多种:清晰度,以及显示角度。上述步骤204和步骤205的实现过程可以参考步骤111,此处不再赘述。
[0133]
作为步骤205的可替代的实现方式,设备还可以分别对该第一视频帧和该第二视频帧进行特征提取。也即是,设备也可以对存在检测对象的每个视频帧均进行特征提取。
[0134]
示例的,假设用于对检测对象进行识别的设备为视频采集设备,则该视频流中包括的视频帧可以均为未经过压缩编码的视频帧。视频采集设备可以先按照采样间隔,对视频流进行采样得到第一视频帧、第三视频帧以及第五视频帧等。并且,视频采集设备可以将位于第一视频帧和该第三视频帧之间的视频帧确定为与该第一视频帧关联的第二视频帧,并将位于第三视频帧和该第五视频帧之间的视频帧确定为与该第三视频帧关联的第四视频帧。参考图5中的(1),对于第一视频帧,该视频采集设备可以直接检测该第一视频帧中是否存在检测对象。并且,视频采集设备可以将与该第一视频帧关联的第二视频帧均存储至缓存中。若视频采集设备确定该第一视频帧中存在检测对象,则参考图5中的(2)和(3),视频采集设备可以继续对该缓存中的每一个第二视频帧进行检测。
[0135]
应理解的是,本技术实施例提供的对象识别方法的步骤先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减。例如,在图4所示的实施例中,步骤204和步骤205也可以根据情况删除,即该设备可以仅检测视频帧中是否存在检测对象,而无需再执行特征提取的步骤。或者,在上述步骤201中,设备可以对视频流进行采样得到第一视频帧、第三视频帧以及第五视频帧等;相应的,在上述步骤202中,设备确定该第一视频帧中不存在检测对象之后,可以先执行上述步骤108。该设备在确定完成对采样得到的每个视频帧的检测后,再继续执行步骤203或步骤109。又或者,在上述步骤203之后,设备还可以执行步骤110,从而为该视频流中的视频分段添加索引。
[0136]
综上所述,本技术实施例提供了一种对象识别方法,该方法可以在检测到视频流中的第一视频帧中不存在检测对象时,跳过对该视频流中与该第一视频帧关联的第二视频帧的检测。由于在第一视频帧中不存在检测对象时,其所关联的第二视频帧中存在检测对象的概率也较低。因此跳过对第二视频帧的检测,可以在确保对检测对象的可靠识别的基础上,有效降低所需检测的视频帧的数量,进而提高检测对象的识别效率,避免计算资源的浪费。
[0137]
本技术实施例还提供了一种对象识别装置,该装置可以应用于如图1所示的应用场景中的视频采集设备01或视频处理设备02。如图6所示,该装置包括:
[0138]
第一检测模块301,用于检测视频流中的第一视频帧中是否存在检测对象。该第一检测模块301的功能实现可以参考上述步骤202的相关描述。
[0139]
第二检测模块302,用于当该第一视频帧中存在该检测对象,则检测该视频流中与该第一视频帧关联的第二视频帧中是否存在该检测对象;以及当该第一视频帧中不存在该检测对象,则跳过对该视频流中与该第一视频帧关联的第二视频帧进行该检测对象的检测。该第二检测模块302的功能实现可以参考上述步骤203的相关描述。
[0140]
可选地,该视频流为压缩编码后的视频流,该第一视频帧为帧间压缩的关键帧,该第二视频帧为与该关键帧对应的参考帧。
[0141]
可选地,该第一检测模块301,可以用于解码该第一视频帧,得到第一解码图像;以及检测该第一解码图像中是否存在该检测对象。该第一检测模块301的功能实现还可以参考上述步骤104和步骤105的相关描述。
[0142]
该第二检测模块302可以用于:参考该第一解码图像解码该第二视频帧,得到第二解码图像;以及检测该第二解码图像中是否存在该检测对象。该第二检测模块302的功能实现还可以参考上述步骤106和步骤107的相关描述。
[0143]
可选地,该视频流为未经过压缩编码的视频流,或者只有关键帧的视频流,且该视频流包括按顺序依次排列的多个视频帧;该第一视频帧可以为该多个视频帧中的一个视频帧;该第二视频帧可以为位于该第一视频帧之后,且与该第一视频帧间隔的帧数小于阈值的视频帧。
[0144]
可选地,如图7所示,该装置还可以包括:
[0145]
采样模块303,用于在该第一检测模块301检测视频流中的第一视频帧中是否存在检测对象之前,按照采样间隔,对该多个视频帧进行采样,得到该第一视频帧;其中,该采样间隔大于该阈值。该采样模块303的功能实现可以参考上述步骤201的相关描述。
[0146]
可选地,如图7所示,该装置还可以包括:
[0147]
索引添加模块304,用于根据对该第一视频帧的检测结果,以及对该第二视频帧的检测结果,为该视频流中的视频分段添加索引。
[0148]
其中,该视频分段包括多个连续且存在该检测对象的视频帧,或者,包括多个连续且不存在该检测对象的视频帧,该索引用于指示该视频分段中是否存在该检测对象。该索引添加模块304的功能实现可以参考上述步骤110的相关描述。
[0149]
可选地,该第一检测模块301还可以用于:
[0150]
在检测该第二视频帧中是否存在该检测对象之后,或者在该第二检测模块跳过对该第二视频帧的检测之后,检测该视频流中,位于该第一视频帧之后的第三视频帧中是否存在该检测对象。该第一检测模块301的功能实现还可以参考上述步骤108的相关描述。
[0151]
该第二检测模块302还可以用于:当该第三视频帧中存在该检测对象,则检测该视频流中与该第三视频帧关联的第四视频帧中是否存在该检测对象;当该第三视频帧中不存在该检测对象,则跳过对该视频流中与该第三视频帧关联的第四视频帧进行该检测对象的检测。该第二检测模块302的功能实现还可以参考上述步骤109的相关描述。
[0152]
可选地,继续参考图7,该装置还可以包括:特征提取模块305;该特征提取模块305可以用于:
[0153]
在该第二检测模块302检测该视频流中与该第一视频帧关联的第二视频帧中是否存在该检测对象之后,若该第二视频帧中不存在该检测对象,则提取该第一视频帧的特征;若该第二视频帧中存在该检测对象,则分别提取该第一视频帧和该第二视频帧的特征,或者,提取该第一视频帧和该第二视频帧中的目标视频帧的特征,且除该目标视频帧之外的视频帧不做特征提取。该特征提取模块305的功能实现可以参考上述步骤111、步骤204或步骤205的相关描述。
[0154]
可选地,该第一视频帧与该第二视频帧属于第一图像组gop,且该第一视频帧是关
键帧;该第三视频帧与该第四视频帧属于第二gop,且该第三视频帧是关键帧。
[0155]
可选地,该目标视频帧为该第一视频帧和该第二视频帧中该检测对象的显示效果优于另一视频帧的视频帧;其中,该显示效果的衡量参数包括下述参数中的一种或多种:清晰度,显示角度。
[0156]
可选地,该第二检测模块302,可以用于根据该检测对象在解码该第一视频帧得到的第一解码图像中所处的区域,采用目标跟踪算法检测该第二视频帧中是否存在该检测对象。
[0157]
可选地,若该对象识别装置应用于视频处理设备,则如图7所示,该装置还可以包括:接收模块306,用于在该第一检测模块301检测视频流中的第一视频帧中是否存在检测对象之前,接收视频采集设备发送的该视频流。该接收模块306的功能实现可以参考上述步骤103的相关描述。
[0158]
若该对象识别装置应用于视频采集设备,则如图8所示,该装置还可以包括:采集模块307,用于在该第一检测模块301检测视频流中的第一视频帧中是否存在检测对象之前,采集该视频流。该采集模块307的功能实现可以参考上述步骤101的相关描述。
[0159]
综上所述,本技术实施例提供了一种对象识别装置,该装置可以在检测到视频流中的第一视频帧中不存在检测对象时,跳过对该视频流中与该第一视频帧关联的第二视频帧的检测。由于在第一视频帧中不存在检测对象时,其所关联的第二视频帧中存在检测对象的概率也较低。因此跳过对第二视频帧的检测,可以在确保对检测对象的可靠识别的基础上,有效降低所需检测的视频帧的数量,进而提高检测对象的识别效率,避免计算资源的浪费。
[0160]
应理解的是,本技术实施例提供的对象识别装置还可以用专用集成电路(application-specific integrated circuit,asic)实现,或可编程逻辑器件(programmable logic device,pld)实现,上述pld可以是复杂程序逻辑器件(complex programmable logical device,cpld),现场可编程门阵列(field-programmable gate array,fpga),通用阵列逻辑(generic array logic,gal)或其任意组合。也可以通过软件实现上述方法实施例提供的网络接入方法,当通过软件实现上述方法实施例提供的对象识别方法时,该对象识别装置中的各个模块也可以为软件模块。
[0161]
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的对象识别装置及各模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0162]
图9是本技术实施例提供的再一种对象识别装置的结构示意图,该对象识别装置900可以应用于如图1所示的视频采集设备01中,或者可以应用于如图1所示的视频处理设备02中。参考图9,该对象识别装置900可以包括:处理器901、存储器902、收发器903和总线904。其中,总线904用于连接处理器901、存储器902和收发器903。通过收发器903(可以是有线或者无线)可以实现与其他设备之间的通信连接,例如通过收发器903接收视频流。存储器902中存储有计算机程序,该计算机程序用于实现各种应用功能。视频流也可以存储在存储器902中,或者存储在其他存储器(未图示)中。对象识别装置例如是智能摄像机、服务器、服务器集群,或者云计算系统。
[0163]
应理解,在本技术实施例中,处理器901可以是cpu,该处理器901还可以是其他通
用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、gpu或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。
[0164]
存储器902可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是rom、可编程只读存储器(programmable rom,prom)、可擦除可编程只读存储器(erasable prom,eprom)、eeprom或闪存。易失性存储器可以是ram,其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的ram可用,例如静态随机存取存储器(static ram,sram)、动态随机存取存储器(dram)、同步动态随机存取存储器(synchronous dram,sdram)、双倍数据速率同步动态随机存取存储器(double data date sdram,ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram,esdram)、同步连接动态随机存取存储器(synchlink dram,sldram)和直接内存总线随机存取存储器(direct rambus ram,dr ram)。
[0165]
总线904除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线904。
[0166]
处理器901被配置为执行存储器902中存储的计算机程序,处理器901通过执行该计算机程序9021来实现上述方法实施例所示的对象识别方法。
[0167]
本技术实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,该指令由处理器执行以实现如上述方法实施例提供的对象识别方法。
[0168]
本技术实施例还提供了一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述方法实施例提供的对象识别方法。
[0169]
本技术实施例还提供了一种检测对象的识别系统,如图1所示,该系统可以包括:视频采集设备01,以及与该视频采集设备01建立有通信连接的视频处理设备02。
[0170]
其中,该视频采集设备01可以包括如图6、图8或图9所示的装置,该视频处理设备02可以包括如图6、图7或图9所示的装置。
[0171]
应当理解的是,本文中的至少一个是指一个或多个,多个是指两个或两个以上。在本技术的描述中,除非另有说明,“/”表示或的意思,例如,a/b可以表示a或b;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。
[0172]
另外,为了便于清楚描述本技术实施例的技术方案,在本技术的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
[0173]
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时,全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如:同轴电缆、光纤、数据用户线(digital subscriber line,dsl))或无线(例如:红外、无线、微波等)方式向另一个网
站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如:软盘、硬盘、磁带)、光介质(例如:数字通用光盘(digital versatile disc,dvd))、或者半导体介质(例如:固态硬盘(solid state disk,ssd))等。
[0174]
以上所述,仅为本技术的可选实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以权利要求的保护范围为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献