一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

发出报警信息的方法、装置、设备及存储介质与流程

2021-11-26 21:47:00 来源:中国专利 TAG:


1.本技术涉及互联网技术领域,特别涉及一种发出报警信息的方法、装置、设备及存储介质。


背景技术:

2.随着图像识别技术的发展,越来越多的监控设备中加入了移动侦测的功能,即监控设备可以对获取的录像视频中的视频帧进行检测,检测每个视频帧中是否存在移动对象。当检测到录像视频中存在移动对象,可以向监控设备连接的终端发出报警信息,以提醒用户进一步确认视频帧中存在的移动对象是否存在危险或存在违规的问题。
3.在实现本技术的过程中,发明人发现相关技术至少存在以下问题:
4.只要检测到视频帧中为移动帧时,即当前视频帧的画面与前一视频帧的画面存在差异,则认为录像视频中出现了移动对象,例如录像视频中出现了动物、人或汽车等,都会产生对应的报警信息,因此用户的终端会接收到大量的报警信息。当用户查找自己关注的移动物体的录像时,需要根据大量的报警信息的发出时间在视频录像中进行查找,从而导致用户查找录像视频的效率低下。


技术实现要素:

5.本技术实施例提供了一种发出报警信息的方法、装置、设备及存储介质,能够实现对特定移动对象的报警。所述技术方案如下:
6.第一方面,提供了一种发出报警信息的方法,所述方法包括:
7.基于预设的检测周期在目标视频中获取视频帧;
8.确定当前获取的视频帧中是否存在移动对象,如果当前获取的视频帧中存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧的移动对象侦测结果,其中,所述移动对象侦测结果用于指示所述视频帧中是否包括预设对象类型的移动对象;
9.如果所述移动对象侦测结果为存在预设对象类型的移动对象,则发出报警信息。
10.可选的,所述基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧的移动对象侦测结果,包括:
11.将当前获取的视频帧输入经过训练的对象侦测模型,得到模型输出值,其中,所述模型输出值用于指示输入的视频帧中是否包括移动对象以及在包括移动对象时移动对象的对象类型;
12.基于所述模型输出值,确定当前获取的视频帧中是否包括预设对象类型的移动对象,得到所述视频帧的移动对象侦测结果。
13.可选的,所述确定当前获取的视频帧中是否存在移动对象,如果当前获取的视频帧中存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧的移动对象侦测结果,包括:
14.确定当前获取的视频帧在预设区域内的图像是否存在移动对象,如果当前获取的视频帧在预设区域内的图像存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧在预设区域内的图像的移动对象侦测结果。
15.可选的,所述方法还包括:
16.当第一视频帧的移动对象侦测结果为存在预设对象类型的移动对象且所述第一视频帧的前一获取视频帧的移动对象侦测结果为不存在预设对象类型的移动对象时,则根据第一视频帧对应的时间点确定第一开始时间点,当第二视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且所述第二视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第二视频帧对应的时间点确定第一结束时间点;
17.当接收到移动对象片段回放指令时,播放所述目标视频中所述第一开始时间点与所述第一结束时间点之间的视频片段。
18.可选的,所述根据第一视频帧对应的时间点确定第一开始时间点,根据第二视频帧对应的时间点确定第一结束时间点,包括:
19.将所述第一视频帧对应的时间点之前第一预设时长的时间点确定为所述第一开始时间点,将所述第二视频帧对应的时间点之后第二预设时长的时间点确定为所述第一结束时间点。
20.可选的,所述方法还包括:
21.确定第一开始时间点与第一结束时间点之间获取的各视频帧中的移动对象的对象信息,其中,所述对象信息包括对象类型和/或移动类型,所述移动类型包括进入目标区域或离开目标区域;
22.将所述第一开始时间点、第一结束时间点与所述移动对象的对象信息,添加到开始时间点、结束时间点与对象信息的对应关系中。
23.可选的,所述方法还包括:
24.当接收到片段查询指令时,获取所述片段查询指令对应的对象信息;
25.基于所述对应关系和所述片段查询指令对应的对象信息,确定所述片段查询指令对应的至少一对开始时间点与结束时间点;
26.播放所述至少一对开始时间点与结束时间点之间的视频片段。
27.可选的,所述当第二视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且所述第二视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第二视频帧对应的时间点确定第一结束时间点之后,所述方法还包括:
28.在所述第一结束时间点之后第三预设时长内的第三视频帧的移动对象侦测结果为存在预设对象类型的移动对象且所述第三视频帧的前一获取视频帧的移动对象侦测结果为不存在预设对象类型的移动对象时,则根据第三视频帧对应的时间点确定第二开始时间点,当第四视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且所述第四视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第四视频帧对应的时间点确定第二结束时间点。
29.可选的,所述当接收到移动对象片段回放指令时,播放所述目标视频中所述第一开始时间点与所述第一结束时间点之间的视频片段之后,所述方法还包括:
30.倍速播放的播放方式播放所述第一结束时间点和所述第二开始时间点之间的视频片段;
31.播放所述第二开始时间点和所述第二结束时间点之间的视频片段。
32.可选的,所述方法还包括:
33.当接收到移动对象片段的关联视频回放指令时,播放与所述目标视频的关联视频中位于所述第一开始时间点和所述第一结束时间点之间的视频片段。
34.第二方面,提供了一种发出报警信息的装置,所述装置包括:
35.获取模块,用于基于预设的检测周期在目标视频中获取视频帧;
36.第一确定模块,用于确定当前获取的视频帧中是否存在移动对象,如果当前获取的视频帧中存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧的移动对象侦测结果,其中,所述移动对象侦测结果用于指示所述视频帧中是否包括预设对象类型的移动对象;
37.报警模块,用于如果所述移动对象侦测结果为存在预设对象类型的移动对象,则发出报警信息。
38.可选的,所述第一确定模块,用于:
39.将当前获取的视频帧输入经过训练的对象侦测模型,得到模型输出值,其中,所述模型输出值用于指示输入的视频帧中是否包括移动对象以及在包括移动对象时移动对象的对象类型;
40.基于所述模型输出值,确定当前获取的视频帧中是否包括预设对象类型的移动对象,得到所述视频帧的移动对象侦测结果。
41.可选的,所述第一确定模块,用于:
42.确定当前获取的视频帧在预设区域内的图像是否存在移动对象,如果当前获取的视频帧在预设区域内的图像存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧在预设区域内的图像的移动对象侦测结果。
43.可选的,所述装置还包括回放模块,用于:
44.当第一视频帧的移动对象侦测结果为存在预设对象类型的移动对象且所述第一视频帧的前一获取视频帧的移动对象侦测结果为不存在预设对象类型的移动对象时,则根据第一视频帧对应的时间点确定第一开始时间点,当第二视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且所述第二视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第二视频帧对应的时间点确定第一结束时间点;
45.当接收到移动对象片段回放指令时,播放所述目标视频中所述第一开始时间点与所述第一结束时间点之间的视频片段。
46.可选的,所述回放模块,用于:
47.将所述第一视频帧对应的时间点之前第一预设时长的时间点确定为所述第一开始时间点,将所述第二视频帧对应的时间点之后第二预设时长的时间点确定为所述第一结束时间点。
48.可选的,所述装置还包括第二确定模块,用于:
49.确定第一开始时间点与第一结束时间点之间获取的各视频帧中的移动对象的对
象信息,其中,所述对象信息包括对象类型和/或移动类型,所述移动类型包括进入目标区域或离开目标区域;
50.将所述第一开始时间点、第一结束时间点与所述移动对象的对象信息,添加到开始时间点、结束时间点与对象信息的对应关系中。
51.可选的,所述装置还包括查询模块,用于:
52.当接收到片段查询指令时,获取所述片段查询指令对应的对象信息;
53.基于所述对应关系和所述片段查询指令对应的对象信息,确定所述片段查询指令对应的至少一对开始时间点与结束时间点;
54.播放所述至少一对开始时间点与结束时间点之间的视频片段。
55.可选的,所述装置还包括第三确定模块,用于:
56.在所述第一结束时间点之后第三预设时长内的第三视频帧的移动对象侦测结果为存在预设对象类型的移动对象且所述第三视频帧的前一获取视频帧的移动对象侦测结果为不存在预设对象类型的移动对象时,则根据第三视频帧对应的时间点确定第二开始时间点,当第四视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且所述第四视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第四视频帧对应的时间点确定第二结束时间点。
57.可选的,所述装置还包括第二回放模块,用于:
58.倍速播放的播放方式播放所述第一结束时间点和所述第二开始时间点之间的视频片段;
59.播放所述第二开始时间点和所述第二结束时间点之间的视频片段。
60.可选的,所述装置还包括播放模块,用于:
61.当接收到移动对象片段的关联视频回放指令时,播放与所述目标视频的关联视频中位于所述第一开始时间点和所述第一结束时间点之间的视频片段。
62.第三方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如上所述的发出报警信息的方法所执行的操作。
63.第四方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如上所述的发出报警信息的方法所执行的操作。
64.本技术实施例提供的技术方案带来的有益效果是:
65.通过对目标视频中的视频帧进行移动对象侦测,并确定视频帧中是否包括预设对象类型的移动对象,如果视频帧中包括预设对象类型的移动对象,则发出对应的报警信息。可见采用本技术,能够实现对指定移动对象的报警,能够减少终端接收到的报警信息,后续用户还可以通过指定移动对象的报警信息查看对应的视频片段,能够提高播放视频录像的效率。
附图说明
66.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于
本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
67.图1是本技术实施例提供的一种实施环境的示意图;
68.图2是本技术实施例提供的发出报警信息的方法流程图;
69.图3是本技术实施例提供的发出报警信息的方法示意图;
70.图4是本技术实施例提供的发出报警信息的装置结构示意图;
71.图5是本技术实施例提供的终端的结构示意图;
72.图6是本技术实施例提供的视频存储设备的结构示意图。
具体实施方式
73.为使本技术的目的、技术方案和优点更加清楚,下面将结合附图对本技术实施方式作进一步地详细描述。
74.本技术实施例提供的发出报警信息的方法可应用于视频监控系统中,可以由摄像设备和终端共同实现,或,由摄像设备、终端以及视频存储设备共同实现。
75.摄像设备可以拍摄图像或视频,也可以具有处理器以及存储设备,能对拍摄的图像进行处理和存储,还可以通过互联网和局域网等方式与终端或视频存储设备建立连接,实现与摄像设备或终端之间的数据传输。
76.终端中可以运行有视频管理应用程序,可以对摄像设备拍摄的视频进行播放和回放。终端具有显示屏幕、处理器以及存储设备等部件,可以对图像进行处理、显示,终端还具有通信功能,可以接入互联网或局域网,与摄像设备和视频存储设备之间可以进行数据传输。终端可以是智能手机、平板电脑、台式计算机或笔记本等。
77.视频存储设备中具有处理器以及存储设备可以对图像进行处理、存储,可以接入互联网或局域网,与摄像设备和终端之间可以进行数据传输。
78.当实施例提供的发出报警信息的方法由摄像设备和终端共同实现时,可根据摄像设备是否具备图像处理能力分为两种情况,当摄像设备不具备图像处理能力时,摄像设备可以将拍摄的图像数据发送至终端,由终端对接收的图像数据进行处理,以实现发出报警信息的方法。当摄像设备具备图像处理能力时,摄像设备可以对拍摄的图像数据进行处理,将处理结果发送至终端,从而实现发出报警信息的方法。
79.当实施例提供的发出报警信息的方法由摄像设备、终端以及视频存储设备共同实现,如图1所示,图1为本技术实施例提供的一种实施环境的示意图。摄像设备可以将拍摄的图像数据发送至存储设备视频存储设备,存储设备可以对接收的图像数据进行处理,得到处理结果。存储设备在得到处理结果之后,可以将处理结果发送到终端,从而实现发出报警信息的方法。
80.图2是本技术实施例提供的一种发出报警信息的方法流程图。参见图2,该实施例包括:
81.步骤201、基于预设的检测周期在目标视频中获取视频帧。
82.在实施中,目标视频可以是由摄像设备拍摄的视频,摄像设备可以将拍摄的视频发送至终端,由终端按照预设的检测周期对接收的视频中的视频帧进行移动对象侦测,例如,可以每隔10帧进行一次移动对象侦测。另外,用户可以通过终端中运行的视频管理应用
程序选择对视频帧进行移动对象侦测的执行设备。在管理应用程序中设置有设备选择页面,设备选择页面中可以设置有终端选项、摄像设备选项、视频存储设备选项等,用户可以根据实际情况选择对视频帧进行移动对象侦测的执行设备。例如,当摄像设备具备图像处理能力时,如ipc(ip camera,网络摄像机),用户可以点击摄像设备选项,由摄像设备完成对视频帧的移动对象侦测,或者,当用户的视频监控系统中设置有视频存储设备时,例如,nvr(network video recorder,网络视频录像机),摄像设备可以将拍摄的视频发送视频存储设备,用户可以点击存储设备选项,选择由存储设备完成对视频帧的移动对象侦测。
83.步骤202、确定当前获取的视频帧中是否存在移动对象,如果当前获取的视频帧中存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧的移动对象侦测结果。
84.其中,移动对象侦测结果用于指示视频帧中是否包括预设对象类型的移动对象。
85.在实施中,获取到当前的视频帧之后,可以检测当前的视频帧是否为移动帧,即当前的视频帧中是否存在移动对象。例如,可以通过将当前的视频帧与前一个获取的视频帧进行对比,确定两个视频帧的非重叠部分所占面积,然后将两个视频帧的非重叠部分的面积,与当前的视频帧的面积的比值确定为图像变化比例。如果图像变化比例超过预设阈值,则可以认为当前获取的视频帧中存在移动对象。或者也可以通过其他方式确定当前获取的视频帧是否存在移动对象,此处不做限定。如果当前获取的视频帧存在移动对象,可以将当前获取的视频帧输入到经过训练的对象检测模型,确定当前获取的视频帧的移动对象侦测结果。
86.通过经过训练的对象检测模型确定当前获取的视频帧的移动对象侦测结果的过程可如下:将当前获取的视频帧输入经过训练的对象侦测模型,得到模型输出值,其中,模型输出值用于指示输入的视频帧中是否包括移动对象以及在包括移动对象时移动对象的对象类型;基于模型输出值,确定当前获取的视频帧中是否包括预设对象类型的移动对象,得到视频帧的移动对象侦测结果。
87.在实施中,经过训练的对象侦测模型具有对象识别能力(后续可将经过训练的对象侦测模型称为对象侦测模型),能够识别出视频帧中的移动物体所属的对象类型,例如,移动对象所属的对象类型可以是人、动物、车辆等。将当前获取的视频帧输入到对象侦测模型之后,对象侦测模型可以输出当前获取的视频帧中移动物体所属的对象类型对应的数值。例如,0对应无法识别,1对应人,2对应车辆等。如果对象侦测模型输出的数值为预设对象类型对应的数值,则可以确定当前获取的视频帧中是否包括预设对象类型的移动对象。如果对象侦测模型输出的数值不是预设对象类型对应的数值,则可以确定当前获取的视频帧中是否不包括预设对象类型的移动对象。当对象侦测模型输出的数值为0时,可能是由于环境、图像分辨率等因素无法对移动对象进行识别,或者是由非用户关注的移动对象造成的移动对象的误检,例如在视频帧中有树叶飘落等,或者是由于光线等因素造成的移动对象的误检等。
88.其中,预设对象类型可以由用户进行设置,对象类型可以包括人、车辆、动物等。在视频管理应用程序中,监控对象选择页面,用户可以在监控对象选择页面中选择需要进行监控的对象类型(即预设对象类型)。如果进行移动对象侦测的设备为摄像设备的话,终端可以将向摄像设备发送携带有预设对象类型配置信息,由摄像设备对预设对象类型的移动
物体进行移动对象侦测。
89.可选的,为了提高检测的准确度,用户可以设定对视频帧中进行移动对象侦测的检测区域,相应的处理如下:确定当前获取的视频帧在预设区域内的图像是否存在移动对象,如果当前获取的视频帧在预设区域内的图像存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧在预设区域内的图像的移动对象侦测结果。
90.在实施中,视频管理应用程序中设置有检测区域设置页面,在检测区域设置页面中可以显示当前摄像设备拍摄的视频帧,用户可以根据显示的视频,在视频画面中框选需要进行移动对象侦测的至少一个检测区域(即预设区域),其中该至少一个检测区域可以是由多边形框住的区域。用户可以通过在视频画面标记多个标注点,视频管理应用程序获取多个标注点在视频画面中的位置信息,根据多个标注点在视频画面中的位置信息确定以多个标注点为顶点围成的多边形的检测区域信息。如图3所示,用户可以通过设置检测区域,只对检测区域内的图像进行移动对象侦测,从而可以避免非检测区域中存在的移动物体影响对视频帧的移动对象侦测。例如可以根据门口、道路等在视频画面中的区域设置检测区域等,在视频画面中检测区域之外的非检测区域可以是天空、遮挡摄像设备的遮挡物等对应的区域。如果当前进行移动对象侦测的设备为摄像设备或视频存储设备时,则终端可以将检测区域信息发送至摄像设备或视频存储设备。如果当前获取的视频帧在预设区域内存在预设对象类型的移动对象,则可以将对应的预设区域内的图像输入到对象检测模型中,由对象检测模型输出在预设区域内的图像中存在的移动对象的类型,得到当前获取的视频帧的移动对象侦测结果。
91.步骤203、如果移动对象侦测结果为存在预设对象类型的移动对象,则发出报警信息。
92.预设对象类型可以由用户进行设置,对象类型可以包括人、车辆、动物等。在视频管理应用程序中,监控对象选择页面,用户可以在监控对象选择页面中选择需要进行监控的对象类型(即预设对象类型)。如果进行移动对象侦测的设备为摄像设备的话,终端可以将向摄像设备发送携带有预设对象类型配置信息,由摄像设备对预设对象类型的移动物体进行移动对象侦测。当检测到当前获取的视频帧中存在有预设对象类型的移动物体时,可以向终端发送报警信息。如果进行移动对象侦测的设备为视频存储设备的话,终端可以将向视频存储设备发送携带有预设对象类型配置信息,由视频存储设备接收摄像设备发送的视频帧,并对预设对象类型的移动物体进行移动对象侦测。当检测到当前接收的视频帧中存在有预设对象类型的移动物体时,可以向终端发送报警信息,其中,报警信息中可以包括预设对象类型以及当前获取的视频帧对应的时间点。报警信息可以是以通知的形式显示在终端的屏幕上,或是提供语音播报的形式进行展示,也可以是由终端发出报警的鸣笛等,此处不对报警信息的展示方式进行限制。另外,为了避免连续多次检测到存在移动物体的第一视频帧引起的报警次数过于频繁的问题,例如人或车辆在视频中交叉出现,则可以在发出报警信息之后的预设时长内,如果再次检测存在预设对象类型的视频帧,可以不向终端发送报警信息。
93.可选的,在检测视频帧中存在预设对象类型的移动物体之后,还可以确定预设对象类型的移动物体出现的时间段,相应的处理如下:当第一视频帧的移动对象侦测结果为
存在预设对象类型的移动对象且第一视频帧的前一获取视频帧的移动对象侦测结果为不存在预设对象类型的移动对象时,则根据第一视频帧对应的时间点确定第一开始时间点,当第二视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且第二视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第二视频帧对应的时间点确定第一结束时间点。
94.在实施中,在对目标视频中的视频帧进行移动对象侦测的过程中,若当前的进行移动对象侦测的视频帧中存在预设对象类型的移动对象时,并且在当前被检测的视频帧的上一个被检测视频帧中不存在预设对象类型的移动对象时,则可以认为目标视频中在当前被检测的视频帧对应的时间点出现了预设对象类型的移动对象。当前被检测的视频帧可以被称为第一视频帧,当前被检测的视频帧对应的时间点可以被称为第一开始时间点。然后可以继续对目标视频中的视频帧进行移动对象侦测,一般视频中出现移动对象的会持续一段时间,所以在第一开始时间点之后的检测的视频帧中不存在预设对象类型的移动对象,并且该视频帧的上一个被检测视频帧中存在预设对象类型的移动对象时,则可以认为目标视频中的移动对象在该视频帧对应的时间点停止了移动,或移动出了画面,该视频帧可以被称为第二视频帧,该视频帧对应的时间点可以被称为第一结束时间点。第一开始时间点和第一结束时间点的视频片段为预设对象类型的移动物体在目标视频中出现的视频片段的开始时间点和结束时间点。如果终端或视频存储设备存储接收到摄像设备拍摄的所有时间段的视频录像(即目标视频),可以在确定第一开始时间点和第一结束时间点之后,对第一开始时间点和第一结束时间点进行存储,以用于后续的对存在预设对象类型的移动物体的视频片段的回放。如果终端或视频存储设备只存储存在预设对象类型的移动物体的视频片段,可以在确定第一开始时间点和第一结束时间点之后,对第一开始时间点和第一结束时间点之间的视频片段进行保存。
95.对应的,可以根据第一开始时间点和第一结束时间点生成视频片段信息,视频片段信息可以与报警信息对应存储在终端,后续用户可以根据报警信息对视频片段进行回放。相应的处理如下:当接收到移动对象片段回放指令时,播放目标视频中第一开始时间点与第一结束时间点之间的视频片段。
96.在实施中,视频管理应用程序中设置有视频回放功能,用户可以在视频管理应用程序中查看生成的报警信息,报警信息对应有视频回放选项,用户可以通过点击对应的视频回放选项,对报警信息对应移动对象视频片段进行回放。其中,当移动对象视频片段存储在终端时,终端可以获取报警信息对应的视频片段信息,根据视频片段信息中的第一开始时间点与第一结束时间点,在目标视频中对第一开始时间点与第一结束时间点之间的视频片段进行播放。当视频片段存储在视频存储设备时,终端可以向视频存储设备发送视频获取指令,在视频获取指令中可以携带有视频片段信息中的第一开始时间点与第一结束时间点,然后视频存储设备可以根据接收到的视频获取指令将对应的移动对象视频片段发送至终端,以用于终端回放对应的移动对象视频片段。
97.可选的,在检测到视频中存在移动对象之后,可以对移动对象所属的对象类型进行识别之外,还可以确定移动对象对应的移动类型,相应的处理如下:确定第一开始时间点与第一结束时间点之间获取的各视频帧中的移动对象的对象信息,其中,对象信息包括对象类型和/或移动类型,移动类型包括进入目标区域或离开目标区域;将第一开始时间点、
第一结束时间点与移动对象的对象信息,添加到开始时间点、结束时间点与对象信息的对应关系中。
98.在实施中,在检测到视频中存在移动对象时,可以对第一开始时间点对应的视频帧以及第一开始时间点之后的视频帧进行识别,确定移动对象的对象信息,其中,对象信息包括对象类型和/或移动类型。对象类型即移动对象所属的类型,例如可以是车辆、人、动物等。当对象类型为人时,还可以对视频帧中的人进行人脸识别确定人的身份,当对象类型为车辆时,还可以对视频帧中的车辆进行车牌号识别确定车辆的车牌号等。移动类型包括移动对象进入目标区域或离开目标区域等,其中,目标区域可以是摄像设备拍摄的区域,或是用户在视频帧中的预设区域。在检测视频中存在移动对象之后,可以根据在第一开始时间点与第一结束时间点中各视频帧的检测结果,确定移动物体的位置变化信息,根据移动物体的位置变换信息以及目标区域确定移动物体是进入目标区域还是离开目标区域。当移动物体的位置是从目标区域外移动到目标区域内,则可以确认移动物体是进入了目标区域,例如,目标区域可以是仓库的大门,管理人员从仓库的大门之外的任意方向通过仓库的大门进入了仓库,则可以认为移动物体是进入了目标区域,当移动物体的位置是从目标区域内移动到目标区域外,则可以确认移动物体是离开了目标区域,例如,管理人员从仓库的大门出仓库,则可以人为移动物体是离开了目标区域。同样,还可以将目标区域设置为目标边界,根据移动物体的位置变换信息以及目标边界确定移动物体是否越界等。在确定对象信息之后,可以将第一开始时间点、第一结束时间点与移动对象的对象信息添加到开始时间点、结束时间点与对象信息的对应关系中,即将第一开始时间点、第一结束时间点与移动对象的对象信息对应存储,生成目标事件信息,以用于后续对移动对象视频片段的查询。如果终端或视频存储设备只包括存储存在移动物体的视频片段,则还可以将第一开始时间点与第一结束时间点之间视频片段与目标事件信息进行对应存储。另外需要说明的是,如果对视频帧进行移动对象侦测的为摄像设备,则可以在得到目标事件信息之后,将目标事件信息发送至终端或视频存储设备。
99.对应的,视频管理应用程序中设置有视频查询功能,用户可以根据目标事件信息对视频进行查询,当接收到片段查询指令时,获取片段查询指令对应的对象信息;基于对应关系和片段查询指令对应的对象信息,确定片段查询指令对应的至少一对开始时间点与结束时间点;播放至少一对开始时间点与结束时间点之间的视频片段。
100.在实施中,视频管理应用程序中设置有视频查询功能,用户可以选择进行查询对象信息,例如查询的移动对象的对应类型为车辆,或是查询离开目标区域的移动类型等,另外用户还可以设置进行查询的时间范围。当目标视频在终端存储时,用户可以在设置完需要查询的对象信息以及时间范围之后,可以点击查询选项触发片段查询指令,在片段查询指令中可以包括查询的对象信息以及时间范围。当终端检测到片段查询指令时可以根据开始时间点、结束时间点与对象信息的对应关系,以及片段查询指令对应的对象信息,查询与片段查询指令中对象信息对应的至少一个目标事件信息,根据至少一个目标事件信息确定至少一对开始时间点与结束时间点。然后根据至少一对开始时间点与结束时间点将对应的视频片段,并对视频片段进行播放。当视频片段存储在视频存储设备时,终端可以将片段查询指令发送至视频存储设备,由视频存储设备根据对应关系和片段查询指令对应的对象信息,查询与片段查询指令中对象信息对应的至少一对开始时间点与结束时间点。然后根据
至少一对开始时间点与结束时间点将对应的视频片段发送至终端。终端可以对查询到的视频片段进行播放。当查询的开始时间点与结束时间点的对数存在多个时,即查询到多个视频片段,终端可以显示每个视频片段对应的图像,该图像可以是查询到的每个视频片段中的任意视频帧,可以是视频片段的开始视频帧,或中间时刻视频帧等等,此处不做限定。用户可以通过点击视频片段的对应的图像,播放对应的视频片段。
101.可选的,为了方便用户对移动对象片段的查看,可以将多段在时间上较为接近的移动对象片段确定为一段移动对象片段,相应的处理如下:在第一结束时间点之后第三预设时长内的第三视频帧的移动对象侦测结果为存在预设对象类型的移动对象且第三视频帧的前一获取视频帧的移动对象侦测结果为不存在预设对象类型的移动对象时,则根据第三视频帧对应的时间点确定第二开始时间点,当第四视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且第四视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第四视频帧对应的时间点确定第二结束时间点。
102.在实施中,在对目标视频中的视频帧进行移动对象侦测的过程中,在第一结束时间点之后的第三预设时长之内,再次检测到了存在预设对象类型的移动对象的视频帧。则可以将该视频帧称为第三视频帧,第三视频帧对应的时间点可以被称为第二开始时间点。然后继续对目标视频中的视频帧进行移动对象侦测,在第二开始时间点之后的检测的视频帧中不存在预设对象类型的移动对象,并且该视频帧的上一个被检测视频帧中存在预设对象类型的移动对象时,则该视频帧可以被称为第四视频帧,第四视频帧对应的时间点可以被称为第二结束时间点。由于两段在时间上较为接近,则可以作为一段移动对象片段进行处理,即可以根据第一开始时间点、第一结束时间点、第二开始时间点和第二结束时间点生成对应的视频片段信息,并与在第一开始时间点生成的报警信息进行对应存储。另外,可以根据第一开始时间点与第一结束时间点的视频片段和第二开始时间点与第二结束时间点的视频片段中的移动对象进行识别,分别得到两段视频片段对应的对象信息和目标事件信息,以用于后续对视频片段的回放和查询。另外需要说明的是,当在第二结束时间点第三预设时长之内,再次检测到了存在移动对象的视频帧,则可以按照相同的处理确定第三开始时间点和第三结束时间点,依次类推,还可以确定第四开始时间点和第四结束时间点等,此处不再赘述。
103.对应的,为了方便用户对移动对象片段的查看,在接收到移动对象片段回放指令后,可以倍速播放不存在预设对象类型的移动对象,相应的处理如下:倍速播放的播放方式播放第一结束时间点和第二开始时间点之间的视频片段;播放第二开始时间点和第二结束时间点之间的视频片段。
104.在实施中,因为第一结束时间点和第二开始时间点之前的视频片段为不存在移动物体,所以终端在播放视频的过程中,可以以正常的播放速度播放第一开始时间点与第一结束时间点之间的视频片段,以倍速播放的播放方式播放第一开始时间点与第二结束时间点之间的视频片段,以正常的播放速度播放第二开始时间点与第二结束时间点之间的视频片段。当目标视频中还存在第三开始时间点、第三结束时间点、第四开始时间点等开始时间点和结束时间点时,可以按照开始时间点和结束时间点的时间顺序,以正常播放速度播放相邻的开始时间点与结束时间点之间的视频片段,以倍速播放的播放方式播放相邻的结束时间点与开始时间点之间的视频片段。
105.可选的,用户可以根据目标事件信息查看与预设类型的移动目标出现的时间段上对应的其他关联视频,当接收到移动对象片段的关联视频回放指令时,播放与目标视频的关联视频中位于第一开始时间点和第一结束时间点之间的视频片段。
106.在实施中,视频监控系统中一般会包括多个摄像设备,每个摄像设备可以对不同区域的监控,同一视频监控系统中,不同的摄像设备拍摄的视频可以为关联视频。用户可以通过一个摄像设备对应的目标事件信息,查看其他摄像设备的视频。在视频管理应用程序中可以设置有关联视频回放功能,用户可以在终端根据时间和对象信息查找目标事件信息,即用户可以通过设置时间段,以及移动对象的对象类型和/或移动类型,查找保存的目标事件信息。然后点击与目标事件信息对应的关联视频回放选项,触发移动对象片段的关联视频回放指令。当终端检测到移动对象片段的关联视频回放指令时,可以根据目标事件信息中记录的第一开始时间点和第一结束时间点,播放与目标视频的关联视频中第一开始时间点和第一结束时间点之间的视频片段。另外,用户还可以指定对应的摄像设备,播放指定的摄像设备拍摄的第一开始时间点和第一结束时间点之间的视频片段。
107.本技术实施例,通过对目标视频中的视频帧进行移动对象侦测,并确定视频帧中是否包括预设对象类型的移动对象,如果视频帧中包括预设对象类型的移动对象,则对应的发出报警信息。可见采用本技术,能够实现对特定移动对象的报警,后续用户可以直接通过特定移动对象报警信息查看对应的视频片段,不需用户在大量的报警信息的发送时间查找对应的视频录像,能够提高播放视频录像的效率。
108.上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。
109.图4是本技术实施例提供的一种发出报警信息的装置,如图4所示,该装置包括:
110.获取模块410,用于基于预设的检测周期在目标视频中获取视频帧;
111.第一确定模块420,用于确定当前获取的视频帧中是否存在移动对象,如果当前获取的视频帧中存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧的移动对象侦测结果,其中,所述移动对象侦测结果用于指示所述视频帧中是否包括预设对象类型的移动对象;
112.报警模块430,用于如果所述移动对象侦测结果为存在预设对象类型的移动对象,则发出报警信息。
113.可选的,所述第一确定模块420,用于:
114.将当前获取的视频帧输入经过训练的对象侦测模型,得到模型输出值,其中,所述模型输出值用于指示输入的视频帧中是否包括移动对象以及在包括移动对象时移动对象的对象类型;
115.基于所述模型输出值,确定当前获取的视频帧中是否包括预设对象类型的移动对象,得到所述视频帧的移动对象侦测结果。
116.可选的,所述第一确定模块420,用于:
117.确定当前获取的视频帧在预设区域内的图像是否存在移动对象,如果当前获取的视频帧在预设区域内的图像存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧在预设区域内的图像的移动对象侦测结果。
118.可选的,所述装置还包括回放模块,用于:
119.当第一视频帧的移动对象侦测结果为存在预设对象类型的移动对象且所述第一视频帧的前一获取视频帧的移动对象侦测结果为不存在预设对象类型的移动对象时,则根据第一视频帧对应的时间点确定第一开始时间点,当第二视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且所述第二视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第二视频帧对应的时间点确定第一结束时间点;
120.当接收到移动对象片段回放指令时,播放所述目标视频中所述第一开始时间点与所述第一结束时间点之间的视频片段。
121.可选的,所述回放模块,用于:
122.将所述第一视频帧对应的时间点之前第一预设时长的时间点确定为所述第一开始时间点,将所述第二视频帧对应的时间点之后第二预设时长的时间点确定为所述第一结束时间点。
123.可选的,所述装置还包括第二确定模块,用于:
124.确定第一开始时间点与第一结束时间点之间获取的各视频帧中的移动对象的对象信息,其中,所述对象信息包括对象类型和/或移动类型,所述移动类型包括进入目标区域或离开目标区域;
125.将所述第一开始时间点、第一结束时间点与所述移动对象的对象信息,添加到开始时间点、结束时间点与对象信息的对应关系中。
126.可选的,所述装置还包括查询模块,用于:
127.当接收到片段查询指令时,获取所述片段查询指令对应的对象信息;
128.基于所述对应关系和所述片段查询指令对应的对象信息,确定所述片段查询指令对应的至少一对开始时间点与结束时间点;
129.播放所述至少一对开始时间点与结束时间点之间的视频片段。
130.可选的,所述装置还包括第三确定模块,用于:
131.在所述第一结束时间点之后第三预设时长内的第三视频帧的移动对象侦测结果为存在预设对象类型的移动对象且所述第三视频帧的前一获取视频帧的移动对象侦测结果为不存在预设对象类型的移动对象时,则根据第三视频帧对应的时间点确定第二开始时间点,当第四视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且所述第四视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第四视频帧对应的时间点确定第二结束时间点。
132.可选的,所述装置还包括第二回放模块,用于:
133.倍速播放的播放方式播放所述第一结束时间点和所述第二开始时间点之间的视频片段;
134.播放所述第二开始时间点和所述第二结束时间点之间的视频片段。
135.可选的,所述装置还包括播放模块,用于:
136.当接收到移动对象片段的关联视频回放指令时,播放与所述目标视频的关联视频中位于所述第一开始时间点和所述第一结束时间点之间的视频片段。
137.需要说明的是:上述实施例提供的发出报警信息的装置在发出报警信息时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不
同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的发出报警信息的装置与发出报警信息的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
138.图5示出了本技术一个示例性实施例提供的终端500的结构框图。该终端500可以是:智能手机、平板电脑、mp3播放器(moving picture experts group audio layer iii,动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
139.通常,终端500包括有:处理器501和存储器502。
140.处理器501可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器501可以采用dsp(digital signal processing,数字信号处理)、fpga(field-programmable gate array,现场可编程门阵列)、pla(programmable logic array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(central processing unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器501可以在集成有gpu(graphics processing unit,图像处理器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器501还可以包括ai(artificial intelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。
141.存储器502可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器501所执行以实现本技术中方法实施例提供的发出报警信息的方法。
142.在一些实施例中,终端500还可选包括有:外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地,外围设备包括:射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。
143.外围设备接口503可被用于将i/o(input/output,输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中,处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上;在一些其他实施例中,处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
144.射频电路504用于接收和发射rf(radio frequency,射频)信号,也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路504包括:天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2g、3g、4g及5g)、无线局
域网和/或wifi(wireless fidelity,无线保真)网络。在一些实施例中,射频电路504还可以包括nfc(near field communication,近距离无线通信)有关的电路,本技术对此不加以限定。
145.显示屏505用于显示ui(user interface,用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时,显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时,显示屏505还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏505可以为一个,设置终端500的前面板;在另一些实施例中,显示屏505可以为至少两个,分别设置在终端500的不同表面或呈折叠设计;在再一些实施例中,显示屏505可以是柔性显示屏,设置在终端500的弯曲表面上或折叠面上。甚至,显示屏505还可以设置成非矩形的不规则图形,也即异形屏。显示屏505可以采用lcd(liquid crystal display,液晶显示屏)、oled(organic light-emitting diode,有机发光二极管)等材质制备。
146.摄像头组件506用于采集图像或视频。可选地,摄像头组件506包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
147.音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器501进行处理,或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路507还可以包括耳机插孔。
148.定位组件508用于定位终端500的当前地理位置,以实现导航或lbs(location based service,基于位置的服务)。定位组件508可以是基于美国的gps(global positioning system,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
149.电源509用于为终端500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
150.在一些实施例中,终端500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于:加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
151.加速度传感器511可以检测以终端500建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号,控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
152.陀螺仪传感器512可以检测终端500的机体方向及转动角度,陀螺仪传感器512可以与加速度传感器511协同采集用户对终端500的3d动作。处理器501根据陀螺仪传感器512采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
153.压力传感器513可以设置在终端500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在终端500的侧边框时,可以检测用户对终端500的握持信号,由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时,由处理器501根据用户对触摸显示屏505的压力操作,实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
154.指纹传感器514用于采集用户的指纹,由处理器501根据指纹传感器514采集到的指纹识别用户的身份,或者,由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器501授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置终端500的正面、背面或侧面。当终端500上设置有物理按键或厂商logo时,指纹传感器514可以与物理按键或厂商logo集成在一起。
155.光学传感器515用于采集环境光强度。在一个实施例中,处理器501可以根据光学传感器515采集的环境光强度,控制触摸显示屏505的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏505的显示亮度;当环境光强度较低时,调低触摸显示屏505的显示亮度。在另一个实施例中,处理器501还可以根据光学传感器515采集的环境光强度,动态调整摄像头组件506的拍摄参数。
156.接近传感器516,也称距离传感器,通常设置在终端500的前面板。接近传感器516用于采集用户与终端500的正面之间的距离。在一个实施例中,当接近传感器516检测到用户与终端500的正面之间的距离逐渐变小时,由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态;当接近传感器516检测到用户与终端500的正面之间的距离逐渐变大时,由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。
157.本领域技术人员可以理解,图5中示出的结构并不构成对终端500的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
158.图6是本技术实施例提供的一种视频存储设备的结构示意图,该视频存储设备600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,cpu)601和一个或一个以上的存储器602,其中,所述存储器602中存储有至少一条指令,所述至少一条指令由所述处理器601加载并执行以实现上述各个方法实施例提供的方法。当然,该视频存储设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该视频存储设备还可以包括其他用于实现设备功能的部件,在此不做赘述。
159.在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由终端中的处理器执行以完成上述实施例中发出报警信息的方法。该计算机可读存储介质可以是非暂态的。例如,所述计算机可读存储介质可以是rom(read-only memory,只读存储器)、ram(random access memory,随机存取存储器)、cd-rom、磁带、软盘和光数据存储设备等。
160.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
161.以上所述仅为本技术的较佳实施例,并不用以限制本技术,凡在本技术的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本技术的保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献