一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种门铃挂断方法、装置、设备及计算机可读存储介质与流程

2023-02-10 13:42:38 来源:中国专利 TAG:


1.本技术涉及通信领域,涉及但不限于一种门铃挂断方法、装置、设备及计算机可读存储介质。


背景技术:

2.随着物联网技术的不断成熟,智能设备的销售量不断增加,据调查显示,智能门铃市场的年复合增长率高达69%,智能门铃除了提供视频监控、移动侦测等功能外,视频通话功能也越来越多的集成到智能门铃中。视频通话功能主要针对独居老人、孩童、出差在外的户主,提供实时视频对讲功能,无需开门就能与对方实时沟通,能提前预知拜访人身份,防止给陌生人开门。
3.在相关技术中,访客在智能门铃呼叫过程中离开或者门被打开,呼叫还会保持的问题,再者,在门铃被误触碰时,依旧会向户主发起呼叫的问题,从而叨扰户主生活,因此,亟需解决呼叫流程固定单一,且呼叫不够智能、自动化的问题。


技术实现要素:

4.有鉴于此,本技术实施例提供一种门铃挂断方法、装置、设备及计算机可读存储介质。
5.本技术实施例的技术方案是这样实现的:
6.本技术实施例提供一种门铃挂断方法,包括:
7.响应于针对门铃的按压操作,获取图像采集装置当前采集到的视频数据,并基于所述视频数据获取多个视频帧图像;
8.当基于预设时长内的多个视频帧图像确定满足呼叫条件时,向目标终端发起开门呼叫;
9.对所述多个视频帧图像进行图像处理,确定目标对象的状态,所述目标对象包括门体和人体中的至少一种;
10.当基于所述目标对象的状态确定满足呼叫结束条件时,结束所述开门呼叫。
11.本技术实施例提供一种门铃挂断装置,所述门铃挂断装置包括:
12.响应模块,用于响应于针对门铃的按压操作,获取图像采集装置当前采集到的视频数据,并基于所述视频数据获取多个视频帧图像;
13.呼叫模块,用于当基于预设时长内的多个视频帧图像确定满足呼叫条件时,向目标终端发起开门呼叫;
14.处理模块,用于对所述多个视频帧图像进行图像处理,确定目标对象的状态,所述目标对象包括门体和人体中的至少一种;
15.结束模块,用于当基于所述目标对象的状态确定满足呼叫结束条件时,结束所述开门呼叫。
16.本技术实施例提供一种门铃挂断设备,所述门铃挂断设备包括:
17.处理器;以及
18.存储器,用于存储可在所述处理器上运行的计算机程序;
19.其中,所述计算机程序被处理器执行时实现上述门铃挂断方法。
20.本技术实施例提供一种计算机可读存储介质,所述计算机存储介质中存储有计算机可执行指令,该计算机可执行指令配置为执行上述门铃挂断方法。
21.本技术实施例提供一种门铃挂断方法、装置、设备及计算机可读存储介质,响应于针对门铃的按压操作,获取图像采集装置当前采集到的视频数据,并对该视频数据进行截取处理,从而获得多个视频帧图像;接着,截取预设时长内的多个视频帧图像,并在预设时长内的多个视频帧图像满足呼叫条件时,便向目标终端发起开门呼叫,如此,能够根据视频帧图像自动判断出是否需要向目标终端发起呼叫,从而提升智能化和自动化;然后,对多个视频帧图像进行图像处理,基于图像处理结果确定目标对象的状态,其中,目标对象包括门体和人体中的至少一种;最后,在目标对象满足呼叫结束条件的情况下,会结束开门呼叫,如此,便能够在呼叫过程中,通过及时判断目标对象的状态,并在目标状态满足呼叫结束条件时,自动结束开门呼叫,从而避免叨扰户主,实现智能化呼叫。
附图说明
22.在附图(其不一定是按比例绘制的)中,相似的附图标记可在不同的视图中描述相似的部件。附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。
23.图1为本技术实施例提供的门铃挂断方法的一种实现流程示意图;
24.图2为本技术实施例提供的门铃挂断方法的一种交互实现流程示意图;
25.图3为本技术实施例提供的门铃挂断方法的另一种交互实现流程示意图;
26.图4为本技术实施例提供的音视频通话架构的组成结构示意图;
27.图5为本技术实施例提供的自动结束开门呼叫方法的一种实现流程示意图;
28.图6为本技术实施例提供的开门呼叫自动挂断方法的一种实现流程示意图;
29.图7为本技术实施例提供的通话自动挂断方法的一种实现流程示意图;
30.图8为本技术实施例提供的门铃挂断装置的另一种组成结构示意图;
31.图9为本技术实施例提供的门铃挂断设备的组成结构示意图。
具体实施方式
32.为了使本技术的目的、技术方案和优点更加清楚,下面将结合附图对本技术作进一步地详细描述,所描述的实施例不应视为对本技术的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本技术保护的范围。
33.在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
34.在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
35.除非另有定义,本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的,不是旨在限制本技术。
36.基于相关技术所存在的问题,本技术实施例提供一种门铃挂断方法,本技术实施例提供的方法可以通过计算机程序来实现,该计算机程序在执行的时候,完成本技术实施例提供的门铃挂断方法中各个步骤。在一些实施例中,该计算机程序可以在门铃挂断设备中的处理器执行。图1为本技术实施例提供的门铃挂断方法的一种实现流程示意图,该方法可应用于服务器,该服务器能够建立门铃与目标终端之间的通信连接,该服务器还能够根据接收到的信息做出判断,并基于判断结果控制是否发起开门呼叫或者结束开门呼叫,如图1所示,所述方法包括:
37.步骤s101,响应于针对门铃的按压操作,获取图像采集装置当前采集到的视频数据,并基于所述视频数据获取多个视频帧图像。
38.这里,门铃上设置有可按压模块,针对门铃的按压操作可以为针对门铃可按压模块的按压操作;图像采集装置可以为摄像头、摄像机等,该图像采集装置可以集成在门铃上,也可以为独立于门铃的监控设备。视频数据可以为门体外楼道、过道等视频数据。
39.在本技术实施例中,服务器在获取到当前采集到的视频数据后,可以按照预设周期从视频数据中截取视频帧图像,以预设周期为1秒举例来说,是每隔1秒截取一张图片,从而获得多个视频帧图像。此外,也可以是非周期性从视频图像中截取视频帧图像,本技术实施例对基于视频数据获得多个视频帧图像的实现方式并不做限定。
40.步骤s102,当基于预设时长内的多个视频帧图像确定满足呼叫条件时,向目标终端发起开门呼叫。
41.这里,预设时长可以为1秒、2秒等,该预设时长可以为默认值,也可以为自定义设置值。在预设时长内的视频帧图像至少包括一张,预设时长内的视频帧图像的个数与预设时长以及视频截取规则相关,举例来说,在预设时长为2秒,按照1秒周期性截取视频数据时,在2秒内能够截取2张视频帧图像,那么,此时预设时长内的视频帧图像有2张。
42.在本技术实施例中,该预设时长的起点时间与视频数据中的时间起点保持一致,也就是说,预设时长内的多个视频帧图像为步骤s101所获取的多个视频帧图像中时间点靠前的视频帧图像。这里,目标终端可以为室内液晶显示屏、手机、智能式穿戴设备等,可以识别该预设时长内的多个视频帧图像,在识别出至少有一个视频帧图像包含人体图像时,则认为满足呼叫条件,向目标终端发起开门呼叫。
43.在一些实施例中,如果识别出任一视频帧图像中均不包含人体图像时,则认为不满足呼叫条件,则不向目标终端发起开门呼叫,能够在门铃产生误触碰时,便不会向户主发起开门呼叫,从而提升呼叫的智能性。
44.步骤s103,对所述多个视频帧图像进行图像处理,确定目标对象的状态。
45.这里,目标对象包括门体和人体中的至少一种,图像处理可以包括:图像特征提取、图像识别、图像检测等。
46.其中,在目标对象为门体的情况下,可以提取各个视频帧图像的各个图像特征,再确定各个图像特征与参考特征之间的各个差异信息,其中,参考特征是从表征门体关闭额参考图像中提取出来的特征屏;如果存在差异信息大于差异阈值,则表明门体不处于关闭
状态,则确定门体的状态为打开状态;而在各个差异信息均小于或者等于差异阈值时,确定门体的状态为关闭状态。
47.在目标对象为人体的情况下,可对各个视频帧图像进行图像识别,在识别出各个视频帧图像中均不含包含人体图像时,则确定人体处于离开状态;而在识别出至少一个视频帧图像包含人体图像时,则将包含人体图像的视频帧图像确定目标视频帧图像;并确定出目标视频帧图像中人体距离图像采集装置的距离信息;接着,结合目标视频帧图像的时间信息以及确定的距离信息,对人体移动方向做进一步判断,判断出人体向远离图像采集装置方向移动时,则认为人体处于离开状态;而在判断出人体距离图像采集装置的距离几乎不变或者向靠近图像采集装置方向移动时,则认为人体处于存在状态。
48.步骤s104,当基于所述目标对象的状态确定满足呼叫结束条件时,结束所述开门呼叫。
49.在本技术实施例中,目标对象为门体时,在门体的状态为打开状态的情况下,可认为满足呼叫结束条件;目标对象为人体时,在人体的状态为离开状态的情况下,也可认为满足呼叫结束条件。接着,在满足呼叫结束条件的情况下,要么门体已经处于打开状态,表明开门呼叫的目的已经达到,无需继续发起开门呼叫;要么人体已处于离开状态,表明人体已经没有开门呼叫需求,也无需继续发起开门呼叫,则可基于此向目标终端发送结束指令,以使得目标终端停止开门呼叫;目标对象为门体和人体时,在门体状态为打开状态或者人体状态为离开状态时,则认为满足呼叫结束条件,从而结束向目标终端发起开门呼叫。
50.在一些实施例中,目标对象为门体时,在门体的状态为关闭状态的情况下,可认为不满足呼叫结束条件;目标对象为人体时,在人体的状态为存在状态的情况下,也可认为不满足呼叫结束条件。接着,在不满足呼叫结束条件的情况下,要么门体仍然处于关闭状态,表明开门呼叫的目的还未达到,仍需继续发起开门呼叫;要么人体还处于存在状态,表明人体依旧有开门呼叫需求,也需继续发起开门呼叫,那么,还可基于目标对象的状态确定不满足呼叫结束条件,并在不满足呼叫结束的情况下继续向目标终端发起开门呼叫;目标对象为门体和人体时,在门体状态为关闭状态且人体状态为存在状态时,则认为不满足呼叫结束条件,从而继续向目标终端发起开门呼叫。
51.本技术实施例提供一种门铃挂断方法,响应于针对门铃的按压操作,获取图像采集装置当前采集到的视频数据,并对该视频数据进行截取处理,从而获得多个视频帧图像;接着,截取预设时长内的多个视频帧图像,并在预设时长内的多个视频帧图像满足呼叫条件时,便向目标终端发起开门呼叫,如此,能够根据视频帧图像自动判断出是否需要向目标终端发起呼叫,从而提升智能化和自动化;然后,对多个视频帧图像进行图像处理,基于图像处理结果确定目标对象的状态,其中,目标对象包括门体和人体中的至少一种;最后,在目标对象满足呼叫结束条件的情况下,会结束开门呼叫,如此,便能够在呼叫过程中,通过及时判断目标对象的状态,并在目标状态满足呼叫结束条件时,自动结束开门呼叫,从而避免叨扰户主,实现智能化呼叫。
52.基于上述实施例,本技术实施例再提供一种门铃挂断的交互方法,该方法可应用于门铃、服务器和目标终端,能够在发起开门呼叫过程中自动结束呼叫,如图2所示,所述方法包括:
53.步骤s201,门铃将接收到的按压操作发送至服务器。
54.这里,门铃与服务器可通过有线或者无线建立通信连接,基于此,门铃可将接收到的按压操作发送至服务器。
55.步骤s202,服务器响应于针对门铃的按压操作,获取图像采集装置当前采集到的视频数据,并基于视频数据获取多个视频帧图像。
56.这里,服务器能够基于接收到的按压操作建立与图像采集装置的信息交互,获取图像采集模块当前采集到的视频数据,也就是说,该视频数据是门铃接收到按压操作时的视频数据。
57.步骤s203,服务器对预设时长内的各个视频帧图像进行图像识别,得到各个第二识别结果。
58.这里,各个第二识别结果可用于表征预设时长内的各个视频帧图像中是否包含人体图像。
59.在本技术实施例中,可通过神经网络、小波矩、分形特征等方法对图像进行识别,识别出各个视频帧图像是否包含人体图像。
60.步骤s204,服务器判断各个第二识别结果是否表征预设时长内的各个视频帧图像中至少有一个视频帧图像包含人体图像。
61.这里,如果至少一个视频帧图像包含人体图像,则表明门体外有访客,也即,访客正在门外等候开门,进入步骤s206;如果每一视频帧图像均不包含人体图像,表明门体外没有访客,此时针对门铃的按压操作很是误操作,则进入步骤s205。
62.步骤s205,服务器不向目标终端发起开门呼叫。
63.此时,门体外并没有访客,针对门铃的按压操作是误操作,为了不打扰户主,服务器并不向目标终端发起开门呼叫。
64.步骤s206,服务器确定满足呼叫条件,向目标终端发起开门呼叫。
65.此时,门体外有访客,也即,访客正在门外等候开门,便需要通过开门呼叫的方式将该事件告知户主,那么,服务器便向目标终端发起开门呼叫。
66.步骤s207,目标终端开启开门呼叫。
67.这里,目标终端可通过铃声、振动等方式开起开门呼叫,使得户主得知访客在门外的时间,并为开门、通话做前期准备。
68.步骤s208,服务器获取参考特征。
69.这里,参考特征为从表征门体关闭状态的参考图像中提取出的特征。在步骤s202之前,服务器通过图像采集装置提前获取了门体关闭状态时的参考图像,并对参考图像进行特征提取,得到参考特征。
70.步骤s209,服务器提取各个视频帧图像的图像特征,并确定各个图像特征与参考特征之间的各个差异信息。
71.这里,可采用方向梯度直方图、尺度不变特征变换等特征提取方法对各个视频帧图像进行特征提取,从而获得各个视频帧图像的图像特征;接着,可分别获得各个图像特征与参考特征之间的差值绝对值、差值平方或者欧氏距离等,并将该差值绝对值、差值平方或者欧氏距离确定为各个差异信息。
72.步骤s210,服务器判断各个差异信息中是否存在至少一个差异信息大于差异阈值。
73.这里,差异阈值可以为默认值,也可以为自定义设置的值,举例来说,该差异阈值可以为10、15等;如果判断出存在差异信息大于差异阈值,则表明门体并不处于关闭状态,进入步骤s211,也即,确定门体处于打开状态;如果判断出差异信息小于或者等于差异阈值,则表明门体处于关闭状态,进入步骤s213,继续对人体的状态进行判断。
74.步骤s211,服务器确定门体为打开状态。
75.此时,差异信息大于差异阈值,表明门体并不处于关闭状态,那么,门体则处于打开状态。
76.步骤s212,服务器确定满足呼叫结束条件,结束开门呼叫。
77.这里,在门体处于打开状态的情况下,开门呼叫的目的已经达到,因此,确定此时满足呼叫结束条件,并结束该开门呼叫。
78.步骤s213,服务器对各个视频帧图像进行图像识别,得到各个第一识别结果。
79.这里,各个第一识别结果用于表征各个视频帧图像中是否包含人体图像。可通过神经网络、小波矩、分形特征等方法对图像进行识别,对各个视频帧图像进行图像识别,得到针对每一视频帧图像的各个第一识别结果。
80.步骤s214,服务器判断各个第一识别结果是否表征各个视频帧图像中均不包含人体图像。
81.这里,如果判断出各个第一识别结果中各个视频帧图像均不包含人体图像时,表明此时门体外已经没有访客,进入步骤s218;如果判断出第一识别结果中至少一个视频帧图像包含人体图像时,表明此时门体外还有访客,则进一步判断人体的状态,进入步骤s215。
82.步骤s215,服务器将包含人体图像的视频帧图像确定为目标视频帧图像。
83.这里,存在视频帧图像中包含人体图像,那么,则将包含人体图像的视频帧图像确定为目标视频帧图像,作为接下来需要继续分析的视频帧图像。
84.步骤s216,服务器基于各个目标视频帧图像的各个时间信息和各个距离信息,确定人体移动方向。
85.这里,每个目标视频帧图像的信息中均包含该视频帧图像的时间信息以及人体距离图像采集装置的距离信息,服务器可通过读取指令从各个目标视频帧图像中获取到时间信息和距离信息。进一步地,如果随着时间的推移,人体距离图像采集装置的距离越来越远,则确定人体移动的方向为向远离图像采集装置方向移动;如果随着时间的推移,人体距离图像采集装置的距离基本不变或者越来越近,则确定人体并未移动或者人体移动的方向为向靠近图像采集装置方向移动。
86.步骤s217,服务器判断人体移动方向是否为向远离图像采集装置方向移动。
87.这里,在人体的移动方向为向远离图像采集装置方向移动的情况下,进入步骤s218,也即表明人体的状态为离开状态;而人体没有移动或者移动方向为向靠近图像采集装置方向移动的情况下,则返回步骤s206,也即,继续向目标终端发起开门呼叫。
88.步骤s218,服务器确定人体的状态为离开状态。
89.此时,判断出门体外不存在人体图像或者人体正在离去,也即,门外不存在访客或者访客正在离去,那么,确定人体的状态为离开状态,表明访客已放弃访问,那么,接着可返回步骤s212,也即,确定此时满足呼叫结束条件,并结束开门呼叫。
90.通过以上步骤s201至步骤s218,门铃将接收到的按压操作发送至服务器,服务器响应于该按压操作,获取图像采集装置当前采集到的视频数据,并将该视频数据截取为多个视频帧图像;接着,服务器对预设时长内的视频帧图像进行图像识别,并在识别结果表征至少一个视频帧图像包含人体图像时,确定满足呼叫条件,还向目标终端发起开门呼叫;然后,在呼叫过程中,服务器还会获取表征门体处于关闭状态的参考特征,再提取各个视频帧图像的图像特征,从而确定出各个图像特征与参考特征之间的差异信息,并在差异信息大于差异阈值的情况下,确定门体处于打开状态,则确定满足呼叫结束条件,结束开门呼叫;而在差异信息小于或者等于差异阈值的情况下,确定门体处于关闭状态,则进一步识别视频帧图像是否包含人体图像,如果视频帧图像不包含人体图像或者人体远离图像采集装置,确定人体处于离开状态,则确定满足呼叫结束条件,结束开门呼叫;如果视频帧图像包含人体图像,则继续向目标终端发起开门呼叫。从而能够在发起开门呼叫之前,通过人体是否处于离开状态智能判断出是否发起开门呼叫,并在人体处于离开状态的情况下不向目标终端发起开门呼叫;此外,在呼叫过程中,还通过门体是否处于打开状态以及人体是否处于离开状态继续智能判断是否继续发起开门呼叫,在门体处于打开状态或者人体处于离开状态时能够结束开门呼叫,从而避免叨扰户主,实现智能化呼叫。
91.基于上述实施例,本技术实施例再提供另一种门铃挂断的交互方法,该方法可应用于门铃、服务器和目标终端,能够在通话过程中自动结束通话,如图3所示,所述方法包括:
92.步骤s301,目标终端向服务器发送通话许可指令。
93.这里,通话许可指令可以为针对“接听”的按压指令,也可以为语音形式“接听”指令;接着,目标终端通过已建立的通信连接将通话许可指令发送至服务器。
94.步骤s302,服务器建立门铃与目标终端之间的通话连接。
95.这里,服务器可通过使能门铃与目标终端之间的通信引脚,来建立门铃与目标终端之间的通话连接,使得门铃与目标终端能够基于该通话连接进行音视频通话。
96.步骤s303,门铃在通话过程中通过图像采集装置采集目标视频数据。
97.这里,门铃上设置有图像采集装置,在通话过程中,门铃可控制图像采集装置采集门外实际情况的视频数据,这里,将门外实际情况的视频记为目标视频数据。
98.步骤s304,门铃将目标视频数据发送至服务器。
99.这里,基于门铃与服务器之间已有的通信连接,门铃将采集到的目标视频数据发送至服务器。
100.步骤s305,服务器基于目标视频数据对门体状态是否为打开状态进行判断直至达到预设判断次数,得到每一判断结果。
101.这里,为了确保判断结果的准确性,这里会对目标视频数据进行多次判断,也即,进行预设判断次数的判断,其中,预设判断次数可以为5、6、7等。
102.在本技术实施例中,以进行一次判断过程举例,服务器已通过上述步骤获得目标视频数据,那么,服务器可通过截取获得目标视频数据对应的视频帧图像,再对该视频帧图像进行特征提取,得到目标图像特征,然后获取目标图像特征与参考特征的目标差异信息,在目标差异信息小于或者等于差异阈值时,判断出门体处于关闭状态;在差异信息大于差异阈值时,判断出门体处于打开状态,如此便完成了一次判断,得到一个判断结果。按照类
似的判断方法,对该判断过程执行预设判断次数,从而获得每一判断结果。
103.在一些实施例中,门体上可设置有关门器,仍以进行一次判断过程举例,关门器包括闭合状态和打开状态这两种状态,服务器能够直接读取到关门器的状态,在读取到关门器的状态为闭合状态时,判断出门体处于关闭状态;在读取到关门器的状态为打开状态时,判断出门体处于打开状态,如此便完成了一次判断,得到一个判断结果。按照类似的判断方法,对该判断过程执行预设判断次数,从而获得每一判断结果。
104.步骤s306,服务器确定每一判断结果中门体为打开状态的次数。
105.这里,以预设判断次数为5举例来说,如果5次判断结果全部为门体处于打开状态,则服务器确定出的次数为5。
106.步骤s307,服务器判断次数是否达到次数阈值。
107.这里,次数阈值小于或者等于所述预设判断次数。假设次数阈值为5,承接上面的举例,次数也为5,表明次数等于次数阈值,也即次数达到次数阈值,那么进入步骤s308;假设次数阈值为5,服务器判断出的次数为3,表明次数小于次数阈值,也即次数未达到次数阈值,则进入步骤s310。
108.步骤s308,服务器确定门体的状态为打开状态。
109.这里,在次数达到次数阈值的情况下,表明门体处于打开状态。
110.步骤s309,服务器确定满足通话结束条件,结束通话连接。
111.这里,通话连接的目的为打开门体,在判断出门体处于打开状态时,表明通话连接的目的已经实现,那么,便可自动结束通话连接,从而提升通话的智能性及自动化水平。
112.步骤s310,服务器确定不满足通话结束条件,保持通话连接。
113.这里,在判断出门体处于关闭状态的情况下,表明通话连接的目的还没有达到,因此确定此时不满足通话结束条件,仍继续保持该通话连接。
114.在一些实施例中,还可通过如下方式实现结束通话连接:
115.服务器基于目标终端发送的通话许可指令,建立门铃与目标终端之间的通话连接;服务器获取通话过程中的音频信息,这里,门铃和目标终端可设置有声音采集装置,该声音采集装置可采集访客与业主的通话声音,并将采集到的声音发送至服务器,也即,服务器获取通话过程中的音频信息;最后,服务器确定音频信息是否包含预设的目标结束语,并在音频信息中包含目标结束语时,结束通话连接,其中,预设的目标结束语可以为“再见”、“待会见”、“可以进来”等词语,一般情况下,该目标结束语出现在通话结束时。服务器可通过模式匹配法对音频信息与目标结束语进行匹配,从而确定出音频信息中是否包括目标结束语,并在包括目标结束语时结束通话连接;而在音频信息中不包括目标结束语时继续通话连接,从而实现智能结束通话连接的目的。
116.通过步骤s301至步骤s310,目标终端向服务器发送通话许可指令,服务器基于通话许可指令建立门铃与目标终端之间的通话连接;接着,在通话过程中门铃通过图像采集装置采集目标视频数据,并将目标视频数据发送至服务器;然后,服务器基于接收到的目标视频数据对门体是否处于打开状态进行判断,其中,该判断进行了预设判断次数,得到每一判断结果;服务器继续确定每一判断结果中表征门体处于打开状态的次数;最后,服务器判断出次数达到次数阈值的情况下,确定门体处于打开状态,并结束通话连接,从而能够通过多次判断结果精确识别出门体的状态,并在确定门体处于打开状态的情况下,自动结束通
话连接,提升通话的智能化及自动化水平。
117.基于上述实施例,本技术实施例再提供一种智能门铃的挂断方法,应用于智能门铃系统,可实现音视频通话,该音视频通话架构400如图4所示,包括通信终端401、通信平台402和人工智能(artificial intelligence,ai)能力平台403这三部分,其中,通信终端401可以为智能门铃4011或者音响、手机4012等,通过智能门铃与音箱、手机等终端联动,实现用户实时查看门口情况、远程与访客实时对话等功能;通信平台402采用信令与媒体分离策略,信令模块4021主要处理呼叫、通话、挂断等通话逻辑,媒体模块4022主要处理音频及视频流数据;ai能力平台主要处理呼叫或通话过程中的视频流并返回结果,这里,人体检测4031可以通过深度学习算法检测视频流中是否有人存在,开/关门检测4032可以通过图像处理算法检测门是否被打开,图像处理算法可通过对比一段时间内的视频图像,如果图像差异度超过阈值,就认为门被打开,即该段时间内门被移动。
118.在一些实施例中,通信平台和ai能力平台可集成于同一台服务器中,也可分别集成在不同的服务器中。
119.在实际使用智能门铃的过程中,通过本技术实施例提供的挂断方法,能够实现以下三种挂断流程,第一种,智能门铃发起开门呼叫时,能够自动结束开门呼叫;第二种,通信平台向被叫终端发起开门呼叫时,能够自动结束开门呼叫;第三种,主被叫通话过程中,自动挂断通话。
120.第一种,智能门铃发起开门呼叫时,能够自动结束开门呼叫,在本技术实施例中,第一种挂断流程如图5所示:
121.步骤s501,开始。
122.步骤s502,访客按下智能门铃按钮。
123.这里,智能门铃能够检测到按下自身的操作。
124.步骤s503,音视频通话进程激活,智能门铃发起通话。
125.用户按下智能门铃后,智能门铃基于该按压操作能够激活自身的音视频通话进程,为后续音视频通话做准备,并且智能门铃还向通信平台发起开门呼叫。
126.步骤s504,通信平台接收到通话请求。
127.这里,通信平台收到开门呼叫请求后,先不发给设备,而是继续执行如下步骤s505。
128.步骤s505,通信平台截取预设时长内的视频图像发给人工智能能力平台。
129.这里,预设时长可以为1秒、2秒等,通信平台可以截取1秒内的视频图像发给ai能力平台。
130.步骤s506,人工智能能力平台返回检测结果。
131.这里,ai能力平台通过智能算法检测门口是否有人,并将结果返回给通信平台。
132.步骤s507,通信平台基于检测结果判断监控范围内是否有人。
133.通信平台根据ai能力平台返回的结果判断门口是否有人,如果门口没有人,则停止发起通话,进入步骤s509;反之,如果门口有人,通信平台则向目标终端发起开门呼叫,进入步骤s508。
134.步骤s508,发起开门呼叫。
135.步骤s509,停止开门呼叫。
136.步骤s510,结束。
137.通过以上步骤s501至步骤s510,在有访客按下智能门铃的情况下,智能门铃向通信平台发起开门呼叫,在通信平台接收到开门呼叫请求后,先不发给目标设备,而是截取预设时长内的视频图像发给ai能力平台;接着,ai能力平台通过智能算法检测门口是否有人,并将检测结果返回给通信平台;然后,通信平台根据返回的检测结果判断门口是否有人,在门口没有人停止发起通话;在门口有人时,通信平台向目标终端发起开门呼叫。通过人体检测技术,分析门口是否有人,如果门口没有人则智能门铃停止发起呼叫,从而避免发生在有人误按智能门铃情况下,发起开门呼叫打扰户主的问题。
138.第二种,通信平台向被叫终端发起开门呼叫,开门呼叫自动挂断流程,在本技术实施例中,第二种挂断流程如图6所示:
139.步骤s601,开始。
140.步骤s602,通信平台向目标终端发起开门呼叫。
141.这里,目标终端可以为用户绑定的手机或设备。
142.步骤s603,判断用户是否接听。
143.如果用户已经接听开门呼叫,则进入步骤s604;如果用户没有接听开门呼叫,则进入步骤s605。
144.步骤s604,进入通话流程。
145.步骤s605,开门呼叫过程中,通信平台每隔设定时长截取一张图像发给人工智能能力平台。
146.这里,设定时长可以为1秒、2秒等,以1秒为例,通信平台每隔1s截取一张图片发给ai能力平台,以使得ai能力平台对图像进行检测。
147.步骤s606,人工智能能力平台返回检测结果。
148.这里,ai能力平台通过智能算法检测门的状态,该状态可以为开门状态或者关门状态,以及门口是否有人,并将结果返回给通信平台。
149.步骤s607,通信平台判断门是否被打开。
150.如果判断门被打开,进入步骤s608;如果判断门没有被打开,进入步骤s609。
151.步骤s608,停止开门呼叫。
152.步骤s609,通信平台判断监控范围内是否有人。
153.如果监控范围内有人,返回步骤s602,继续向目标终端发起开门呼叫;如果监控范围内没有人,进入步骤s610。
154.步骤s610,是否连续预设次数判断监控范围内无人。
155.这里,预设次数可以为5次、6次等,以预设次数为5次为例,如果连续5次判断监控范围内没有人,返回步骤s608,也即停止开门呼叫;如果至少存在1次判断出监控范围内有人,返回步骤s602,继续向目标终端发起开门呼叫。
156.步骤s611,结束。
157.通过以上步骤s601至步骤s611,通信平台向目标终端发起开门呼叫,再判断用户是否在目标终端上接听开门呼叫,如果用户接听开门呼叫则进入通话流程;如果用户没有接听开门呼叫则继续呼叫,并在呼叫过程中每隔设定时长截取一张图像,判断门是否被打开以及门口是否有人,在门打开的状态下直接停止开门呼叫;而在门处于关闭状态下,多次
判断是否监控范围内无人,在多次判断结果均表征监控范围内无人的情况下,停止开门呼叫。通过人体检测技术,分析门口是否有人,如果门口没有人则智能门铃停止发起开门呼叫,也即,呼叫过程中,访客因户主长时间未有反应而离开,则能够避免继续呼叫打扰户主;还通过开/关门检测技术,分析门是否被打开,如果门被打开则停止开门呼叫,在开门呼叫过程中,户主未接起通话而直接打开门,此时无需继续呼叫,则能够自动停止开门呼叫。
158.第三种,主被叫通话过程中,通话自动挂断流程,在本技术实施例中,第三种挂断流程如图7所示:
159.步骤s701,开始。
160.步骤s702,户主与访客通话中。
161.步骤s703,通过过程中,通信平台每隔设定时长截取一张图像发给人工智能能力平台。
162.这里,设定时长可以为1秒、2秒等,以1秒为例,通信平台每隔1秒截取一张图片发给ai能力平台,以使得ai能力平台对图像进行检测。
163.步骤s704,人工智能能力平台返回检测结果。
164.这里,ai能力平台通过智能算法检测门的状态,该状态可以为开门状态或者关门状态,以及门口是否有人,并将结果返回给通信平台。
165.步骤s705,通信平台判断门是否被打开。
166.如果判断门被打开,进入步骤s706;如果判断门没有被打开,返回步骤s702。
167.步骤s706,是否连续预设次数判断门被打开。
168.这里,为了避免以此判断结果带来误差,因此,进行预设次数判断,其中,预设次数可以为5次、6次等,以预设次数为5次为例,如果连续5次判断门被打开,表明进行通话的目的以达到,访客可进入房内或者楼内,进入步骤s707;如果至少存在1次判断出门没有被打开,依旧处于关闭状态,则返回步骤s702。
169.步骤s707,停止通话。
170.步骤s708,结束。
171.通过以上步骤s701至步骤s708,在户主与访客通话过程中,通信平台每隔设定时长截取一张图像发给ai能力平台;接着,ai能力平台对图像进行检测并将检测结果返回至通信平台;然后,通信平台基于检测结果判断门是否被打开,如果门没有被打开,继续户主与访客的通话;如果门被打开,则继续多次判断门被打开,并在多次判断均表明门被打开的情况下停止通话,通过开/关门检测技术,分析门是否被打开,如果门被打开则停止通话,通话过程中,户主直接到门口将门打开,此时无需继续通话,则能够自动停止通话,从而提升通话的自动化程度,提升用户体验。
172.基于前述的实施例,本技术实施例提供一种门铃挂断装置,该装置包括的各模块、以及各模块包括的各单元,可以通过计算机设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(central processing unit,cpu)、微处理器(microprocessor unit,mpu)、数字信号处理器(digital signal processing,dsp)或现场可编程门阵列(field programmable gate array,fpga)等。
173.本技术实施例再提供一种门铃挂断装置,图8为本技术实施例提供的门铃挂断装置的组成结构示意图,如图8所示,所述门铃挂断装置800包括:
174.响应模块801,用于响应于针对门铃的按压操作,获取图像采集装置当前采集到的视频数据,并基于所述视频数据获取多个视频帧图像;
175.呼叫模块802,用于当基于预设时长内的多个视频帧图像确定满足呼叫条件时,向目标终端发起开门呼叫;
176.处理模块803,用于对所述多个视频帧图像进行图像处理,确定目标对象的状态,所述目标对象包括门体和人体中的至少一种;
177.结束模块804,用于当基于所述目标对象的状态确定满足呼叫结束条件时,结束所述开门呼叫。
178.在一些实施例中,当所述目标对象包括门体时,所述处理模块803包括:
179.获取子模块,用于获取参考特征,所述参考特征为从表征门体关闭状态的参考图像中提取出的特征;
180.提取子模块,用于提取各个视频帧图像的图像特征,并确定各个图像特征与所述参考特征之间的各个差异信息;
181.第一确定子模块,用于当各个差异信息中存在至少一个差异信息大于差异阈值时,确定所述门体为打开状态;
182.第二确定子模块,用于当各个差异信息均小于或者等于所述差异阈值时,确定所述门体为关闭状态;
183.对应地,所述门铃挂断装置800包括还包括:
184.第一确定模块,用于确定所述门体的状态是否为打开状态,其中,当确定所述门体的状态为打开状态时,确定满足呼叫结束条件。
185.在一些实施例中,当所述目标对象包括人体时,所述处理模块803还包括:
186.识别子模块,用于对各个视频帧图像进行图像识别,得到各个第一识别结果,所述各个第一识别结果用于表征所述各个视频帧图像中是否包含人体图像;
187.第三确定子模块,用于当各个第一识别结果表征各个视频帧图像中均不包含人体图像时,确定人体的状态为离开状态;
188.对应地,所述门铃挂断装置800还包括:
189.第二确定模块,用于确定人体的状态是否为离开状态,其中,当确定所述人体的状态为离开状态时,确定满足呼叫结束条件。
190.在一些实施例中,所述处理模块803还包括:
191.第四确定子模块,用于当各个第一识别结果表征各个视频帧图像中至少有一个视频帧图像包含人体图像时,将包含人体图像的视频帧图像确定为目标视频帧图像;
192.第五确定子模块,用于确定各个目标视频帧图像中人体与所述图像采集装置之间各个距离信息;
193.第六确定子模块,用于基于各个目标视频帧图像的各个时间信息和各个距离信息,确定人体移动方向;
194.第七确定子模块,用于当确定所述人体移动方向为向远离所述图像采集装置方向移动时,确定所述人体为离开状态。
195.在一些实施例中,所述门铃挂断装置800还包括:
196.识别模块,用于对预设时长内的各个视频帧图像进行图像识别,得到各个第二识
别结果,所述各个第二识别结果用于表征所述预设时长内的各个视频帧图像中是否包含人体图像;
197.第三确定模块,用于当各个第二识别结果表征预设时长内的各个视频帧图像中至少有一个视频帧图像包含人体图像时,确定满足呼叫条件。
198.在一些实施例中,所述结束模块804,还用于当基于所述门体状态确定满足通话结束条件时,结束所述通话连接;所述门铃挂断装置800还包括:
199.第一建立模块,用于接收所述目标终端发送的通话许可指令,建立所述门铃与所述目标终端之间的通话连接;
200.第四确定模块,用于获取在通话过程中所述图像采集装置采集到的目标视频数据,并基于所述目标视频数据确定门体的状态。
201.在一些实施例中,所述第四确定模块包括:
202.判断子模块,用于基于所述目标视频数据对所述门体状态是否为打开状态进行判断直至达到预设判断次数,得到每一判断结果;
203.第八确定子模块,用于确定所述每一判断结果中所述门体为打开状态的次数;
204.第九确定子模块,用于所述次数达到次数阈值时,确定所述门体的状态为打开状态,其中,所述次数阈值小于或者等于所述预设判断次数。
205.在一些实施例中,所述门铃挂断装置800还包括:
206.第二建立模块,用于接收所述目标终端发送的通话许可指令,建立所述门铃与所述目标终端之间的通话连接;
207.获取模块,用于获取通话过程中的音频信息;
208.第五确定模块,用于确定所述音频信息是否包含预设的目标结束语,其中,所述音频信息中包含所述目标结束语时,结束所述通话连接。
209.需要说明的是,本技术实施例门铃挂断装置的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果,因此不做赘述。对于本装置实施例中未披露的技术细节,请参照本技术方法实施例的描述而理解。
210.需要说明的是,本技术实施例中,如果以软件功能模块的形式实现上述的门铃挂断方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read only memory,rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本技术实施例不限制于任何特定的硬件和软件结合。
211.相应地,本技术实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中提供的门铃挂断方法中的步骤。
212.本技术实施例提供一种门铃挂断设备,图9为本技术实施例提供的门铃挂断设备的组成结构示意图,如图9所示,所述门铃挂断设备900包括:一个处理器901、至少一个通信总线902、用户接口903、至少一个外部通信接口904和存储器905。其中,通信总线902配置为实现这些组件之间的连接通信。其中,用户接口903可以包括显示屏,外部通信接口904可以
包括标准的有线接口和无线接口。其中,所述处理器901配置为执行存储器中存储的门铃挂断方法的程序,以实现以上述实施例提供的门铃挂断方法中的步骤。
213.以上门铃挂断设备和存储介质实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本技术门铃挂断设备和存储介质实施例中未披露的技术细节,请参照本技术方法实施例的描述而理解。
214.应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本技术的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述,不代表实施例的优劣。
215.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
216.在本技术所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
217.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本技术实施例方案的目的。
218.另外,在本技术各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
219.本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
220.或者,本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台ac执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
221.以上所述,仅为本技术的实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以所述权利要求的保护范围为准。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献