一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

可视门铃的图像采集装置、信息处理方法和可视门铃系统与流程

2022-06-05 17:00:42 来源:中国专利 TAG:


1.本公开涉及智能家居技术领域,尤其涉及一种可视门铃的图像采集装置、信息处理方法和可视门铃系统,以及电子设备和计算机存储介质。


背景技术:

2.门铃(doorbell),为提醒门内的人门外有人的铃,例如可以发出响铃声提醒主人有客到访。目前,门铃的产品形态,从最初的门外按按钮屋内响铃,以使屋内人知道有访客;发展到结合摄像头的可视化功能,可从室内直观看到门口画面;再到结合多种ai技术直接帮主人辨别来者何人,已经从最初的简单响铃工具越来越向智能化形态演进。
3.但是,现有的可视门铃可视范围有限。其中,非鱼眼镜头的可视范围通常为成年人腰部以上的范围,鱼眼镜头的可使范围虽然略大,但仍难以覆盖可视门铃的垂直下方的视场范围。如此,可视门铃的垂直视野较小。


技术实现要素:

4.为了解决上述技术问题或者至少部分地解决上述技术问题,本公开实施例提供了一种可视门铃的图像采集装置、信息处理方法和可视门铃系统,以及电子设备和计算机存储介质。
5.本公开实施例提供了一种可视门铃的图像采集装置,包括:
6.成像镜头;
7.图像采集传感器,设置在所述成像镜头的像方;
8.视场放大镜,设置在所述成像镜头的物方,用于扩大所述成像镜头在水平视场面下方的视场区域。
9.本公开实施例还提供了一种可视门铃的信息处理方法,包括:
10.基于上述任一种可视门铃的图像采集装置采集视频图像,所述视频图像包括视场放大镜扩大视场区域后的视频图像;
11.基于所述视频图像进行视频分析,以确定是否发生视频通知事件;
12.在确定发生视频通知事件时,触发事件通知操作。
13.本公开实施例还提供了一种基于可视门铃的物品收取方法,包括:
14.获取基于可视门铃的图像采集装置采集的视频图像,所述视频图像包括物品编码;
15.根据编码识别算法对所述视频图像进行分析,以获得所述物品编码对应的所述快递物品的快递信息;
16.基于所述快递信息生成接收快递通知消息;
17.输出所述接收快递通知消息。
18.本公开实施例还提供了一种可视门铃的信息处理装置,包括:
19.视频图像获取模块,用于获取图像采集装置采集的视频图像;所述图像采集装置
为上述任一种可视门铃的图像采集装置,所述视频图像包括视场放大镜扩大视场区域后的视频图像;
20.视频通知事件判断模块,用于基于所述视频图像进行视频分析,以确定是否发生视频通知事件;
21.事件通知操作触发模块,用于在确定发生视频通知事件时,触发事件通知操作。
22.本公开实施例还提供了一种基于可视门铃的物品收取装置,包括:
23.视频图像获取模块,用于获取基于可视门铃的图像采集装置采集的视频图像,所述视频图像包括物品编码;
24.视频图像分析模块,用于根据编码识别算法对所述视频图像进行分析,以获得所述物品编码对应的所述快递物品的快递信息;
25.接收快递通知消息生成模块,用于基于所述快递信息生成接收快递通知消息;
26.接收快递通知消息输出模块,用于输出所述接收快递通知消息。
27.本公开实施例还提供了一种可视门铃系统,包括:上述任一种可视门铃的图像采集装置,以及信息处理装置;
28.所述图像采集装置用于采集视频图像,所述视频图像包括视场放大镜扩大视场区域后的视频图像;
29.所述信息处理装置用于基于所述视频图像进行视频分析,以确定是否发生视频通知事件;并在确定发生视频通知事件时,触发事件通知操作。
30.本公开实施例还提供了一种基于可视门铃的物品收取系统,包括:
31.包括可视门铃的图像采集装置和信息处理装置,所述信息处理装置包括:
32.视频图像获取模块,用于获取基于所述可视门铃的图像采集装置采集的视频图像,所述视频图像包括物品编码;
33.视频图像分析模块,用于根据编码识别算法对所述视频图像进行分析,以获得所述物品编码对应的所述快递物品的快递信息;
34.接收快递通知消息生成模块,用于基于所述快递信息生成接收快递通知消息;
35.接收快递通知消息输出模块,用于输出所述接收快递通知消息。
36.本公开实施例还提供了一种电子设备,所述电子设备包括:
37.处理器;
38.用于存储所述处理器可执行指令的存储器;
39.所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述的可视门铃的信息处理方法,或者上述的基于可视门铃的物品收取方法。
40.本公开实施例还提供了一种计算机存储介质,其上存储有计算机程序,所述计算机程序在被处理器执行时实现如上任一种可视门铃的信息处理方法,或者如上任一种基于可视门铃的物品收取方法。
41.本公开实施例提供的技术方案与现有技术相比至少具有如下优点:本公开实施例中,可视门铃的图像采集装置包括:成像镜头、图像采集传感器和视场放大镜,图像采集传感器设置在成像镜头的像方;视场放大镜设置在成像镜头的物方,且视场放大镜用于扩大成像镜头在水平视场面下方的视场区域,由此可增大成像镜头在水平视场面下方的视场范围,有利于拓宽垂直视野,从而有利于采集到可视门铃所在水平面下方较大视场范围内的
光线,改善可视门铃前下方的盲区问题。
42.本公开实施例中,可视门铃的信号处理方法可基于可视门铃的图像采集装置实现,具体包括基于图像采集装置采集到的视频图像进行视频分析,以确定是否发生视频通知事件;并在确定发生视频通知事件时,触发事件通知操作。该方法中,进行视频分析的视频图像为视场放大镜扩大视场区域后的视频图像,如此垂直视野范围被拓宽,有利于捕捉到可视门铃的水平面下方的较大的视场内容,可应用于识别位置较低或高度较矮的物品或人物,从而可用于实现对儿童的识别或者对目标物品的追踪,以提高可视门铃的智能化程度。
附图说明
43.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
44.为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
45.图1是本公开实施例提供的一种可视门铃的图像采集装置的结构示意图;
46.图2是本公开实施例提供的另一种可视门铃的图像采集装置的结构示意图;
47.图3是本公开实施例提供的又一种可视门铃的图像采集装置的结构示意图;
48.图4是本公开实施例提供的又一种可视门铃的图像采集装置的结构示意图;
49.图5是本公开实施例提供的一种可视门铃的信息处理方法;
50.图6是本公开实施例提供的另一种可视门铃的信息处理方法;
51.图7是本公开实施例提供的可视门铃的信息处理方法应用于目标人物到达通知场景时的一种方法流程示意图;
52.图8是本公开实施例提供的可视门铃的信息处理方法应用于目标人物到达通知场景时的一种信号交互方式示意图;
53.图9是本公开实施例提供的可视门铃的信息处理方法应用于陌生人告警场景时的一种方法流程示意图;
54.图10是本公开实施例提供的可视门铃的信息处理方法应用于陌生人告警场景时的一种信号交互方式示意图;
55.图11是本公开实施例提供的可视门铃的信息处理方法应用于物品看护通知场景时的一种方法流程示意图;
56.图12是本公开实施例提供的可视门铃的信息处理方法应用于物品看护通知场景时的一种信号交互方式示意图;
57.图13是本公开实施例提供的可视门铃的信息处理方法应用于物品看护通知场景时的另一种信号交互方式示意图;
58.图14是本公开实施例提供的一种基于可视门铃的物品收取方法的流程示意图;
59.图15是本公开实施例提供的一种可视门铃的信息处理装置的结构示意图;
60.图16是本公开实施例提供的一种可视门铃系统的结构示意图;
61.图17是本公开实施例提供的一种基于可视门铃的物品收取装置的结构示意图;
62.图18是本公开实施例提供的一种基于可视门铃的物品收取系统的结构示意图;
63.图19是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
64.为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
65.在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
66.随着门铃的产品形态的发展变化,门铃已经从最初的简单响铃工具越来越向智能化形态演进。可视门铃,或称智能门铃需要基于硬件结构和智能服务两方面来实现。其中,硬件结构主要指光学采集系统,或简称为光学系统,或称为图像采集装置,其主要部件为镜头。现有可视门铃按镜头选型主要分为鱼眼镜头可视门铃和非鱼眼的一般广角镜头可视门铃。
67.其中,非鱼眼镜头除了在可视门铃中应用,还广泛应用在手机、相机等具有图像采集功能的设备中。通常,一般广角镜头采集的图像为长宽比为16:9或4:3的长方形满幅画面。目前,可视门铃的对角视场角主要在105
°
~162
°
区间范围内;其水平视场角度最大约120
°
,垂直视场角度最大约60
°
;存在极少数方形传感器(sensor)搭配的广角镜头的垂直视场角度可达到100
°
。但即使是垂直视场角度为100
°
的大广角非鱼眼镜头,按照可视门铃的较低安装高度1.5m来计算,由于儿童高度较矮,其依然不能拍摄到站在门口的儿童的脸部范围。
68.其中,鱼眼镜头属于超广角镜头中的一种特殊镜头,其前镜片直径很短且呈抛物状向镜头前部凸出,与鱼的眼睛相似;其视角(即视场角度)力求达到或超出人眼所能看到的范围,拥有更大的视角范围。但同时引入了全局范围内的更大畸变,与人们眼中的真实世界的景象存在很大的差别鱼眼镜头。鱼眼镜头可视门铃可实现较大的视野(即视场)范围,但是视场范围内的画面扭曲畸变,不能还原视频对讲等核心应用场景中的真实画面;同时,对于可视门铃垂直下方的视觉范围依然无法覆盖。
69.基于上述,基于鱼眼镜头的可视门铃存在全图的畸变、且依然难以覆盖门铃正下方视觉范围的问题,基于非鱼眼一般广角镜头的可视门铃,其视野有限、垂直视野太窄、无法同时捕捉到门口直立的成年男子头部和门口直立的儿童身体。
70.同时,无论是采用鱼眼镜头还是一般广角镜头的可视门铃,目前在智能服务方面,基于人脸人形检测视觉算法,其可实现的主要智能功能主要集中在:陌生人徘徊逗留监测、人脸识别等对于来客/人员逗留的基本判断,但无法提供看管快递包裹或其他目标物品、识别回家儿童或其他目标人物、对陌生人进行告警提示等具体事务类服务。即,可视门铃的现有智能服务主要体现在对来客和异常的监控方面,而对于家门口的事务代办方面尚没有相关功能体现。
71.基于上述,目前的可视门铃距离“看家助理”还有很大的差距,主要体现在:(1)硬件规格方面,可视范围有限,非鱼眼镜头大多是成年腰部以上视野范围,即使是鱼眼镜头也
难以覆盖门铃垂直下方的视觉范围(可理解为视野范围)、且整个可视画面存在较严重畸变。(2)智能服务方面,基于人脸识别、人形检测等算法,可支持对于来客/人员逗留的基本判断,但无法提供看管快递包裹、儿童到家通知、陌生人告警提示等具体事务类服务。
72.针对上述问题,本公开实施例提供的技术方案在现有可视门铃的基础上,对其硬件结构和智能服务方面提出改进,使得可视门铃不仅可作为访客和异常情况的监控工具,更能成为家门口的事务代办助理,下文中结合具体结构和场景进行示例性说明。
73.在硬件结构方面,本公开实施例提供的可视门铃的图像采集装置(下文中也可简称为“图像采集装置”),在成像镜头的物方设置视场放大镜,使得成像镜头下方的视野范围得以进入图像采集传感器中成像,从而可扩大图像采集装置的垂直视野范围,改善可视门铃前下方的视场盲区问题。
74.下面结合图1-图4对本公开实施例提供的可视门铃的图像采集装置进行示例性说明。
75.在一些实施例中,图1是本公开实施例提供的一种可视门铃的图像采集装置的结构示意图,示出了可增大垂直视野的图像采集装置的结构。参照图1,该可视门铃的图像采集装置10包括成像镜头101、图像采集传感器102和视场放大镜103;其中,图像采集传感器102设置在成像镜头101的像方;视场放大镜103设置在成像镜头101的物方,且视场放大镜103用于扩大成像镜头101在水平视场面1010(示例性地,该水平视场面1010在图1中由点划线示出)下方的视场区域。
76.其中,成像镜头101用于汇聚光线,使尽可能大的视场范围内的光线进入图像采集传感器102中。图像采集传感器102用于接收经过成像镜头101汇聚之后的光线,并进行光电转换、数据处理,以得到视场范围内的画面。视场放大镜103可扩大成像镜头101在水平视场面1010下方的视场区域,即可将成像镜头101在水平视场面1010下方的光线传输方向进行调整,使其进入成像镜头101。由此,可使成像镜头101的水平视场面1010下方的视野范围得以进入到图像采集传感器102中成像,从而可捕捉到可视门铃正下方的画面,改善可视门铃前下方的盲区问题。
77.示例性地,视场放大镜103可为单个镜片或镜片组,可实现改变光线的传输方向即可,本公开实施例对其具体结构不限定。下文中结合图3和图4进行示例性说明。
78.示例性地,成像镜头101可为非鱼眼镜头的一般广角镜头,如此可避免全画面的图像内容畸变;或者成像镜头101可为本领域技术人员可知的其他类型的镜头,本公开实施例对此不限定。
79.需要说明的是,图1中仅示例性地以单个凸透镜示出了成像镜头101,但并不构成对本公开实施例提供的可视门铃的图像采集装置10的限定。在其他实施方式中,成像镜头101还可为其他结构的单片光学镜片,或为由两片或更多片光学镜片组成的光学镜组,本公开实施例对此不限定。下文中,图2-图4与此同理,下文不再赘述。
80.示例性地,图像采集传感器102可为互补金属氧化物半导体传感器(complementary metal-oxide-semiconductor sensor,cmos sensor),如此可实现较高的光灵敏度、较短的曝光时间、较高的集成度以及较大的明暗动态范围,如此有利于提高视场图像的成像质量,且有利于减小可视门铃的硬件结构的体积,有利于实现可视门铃的小型化设计。
81.在其他实施方式中,图像采集传感器102还可采用本领域技术人员可知的其他类型的具有光电器件,本公开实施例对此不限定。
82.在一些实施例中,继续参照图1,视场放大镜103还可允许光线透过。即:成像镜头101的水平视场面1010上方的光线可不改变传播方向地透过视场放大镜103,而后进入成像镜头101中,从而最终进入图像采集传感器102的光线包括:成像镜头101的水平视场面1010上方的原光线,以及包括成像镜头101的水平视场面1010下方的经扩大之后的视野范围内的光线。由此,以成像镜头101的水平视场面1010为界,在扩大了其下半部分的视野范围的同时,其上半部分的图像内容不受影响,不会因为增加了下半部分的视场范围而同步增加上半部分的视场范围,从而可避免增加不必要的视频计算量。
83.上述图1中示出了视场放大镜103设置于全视场范围内时,其自身的上半部分和下半部分进行差异化设置,从而在实现扩大可视门铃前下方的视野范围的同时,不影响水平视场面1010上方的成像。
84.在其他实施方式中,还可将视场放大镜103仅设置在视场范围内的局部区域,以实现视场放大镜103不影响水平视场面1010上方的光线,下面结合图2进行示例性说明。
85.在一些实施例中,图2是本公开实施例提供的另一种可视门铃的图像采集装置的结构示意图,示出了一种视场放大镜与成像镜头的水平视场面的另一种相对位置关系。参照图2,视场放大镜103设置在成像镜头101的水平视场面1010的下方。
86.其中,视场放大镜103仅占用成像镜头101的水平视场面1010下方的空间区域,而不占用水平视场面1010上方的空间区域。由此,水平视场面1010上方的光线可直接进入成像镜头101,而不会受视场放大镜103的影响,即上半部分的图像内容不受影响,不会因为增加可视门铃前下方的视场范围而将可视门铃上方的天花板的图像也采集到,从而可避免增加不必要的视频计算量。由于该图像采集装置10中采用非鱼眼镜头,从而可避免全画面的图像内容畸变,有利于还原真实图像和画面。
87.其中,视场放大镜103可将成像镜头101的水平视场面1010下方的视场区域扩大,其可允许下半部分的原视野范围内的光线以及在原视野范围的基础上增加的视野范围内的光线同时通过,并进入成像镜头101。扩大后的视野范围可覆盖可视门铃垂直下方的视野范围、且整个可视画面不存在较严重畸变,在增大了可视门铃的视野范围的同时,画面还原性较高。
88.同时,该视场放大镜103的体积较小,其占用的空间区域较小;该视场放大镜103无需允许上半部分的光线通过,从而无需进行自身的差异化设计,即视场放大镜103自身的结构可较简单,有利于降低设计和制作难度。
89.需要说明的是,图1和图2中仅示例性地示出了视场放大镜103可用于调节下半部分的光纤传输方向,从而扩大成像镜头101的水平视场面1010下方的视场区域;其调节方式可包括对光线进行反射、折射、汇聚、发散等,本公开实施例对此不限定,下文中结合图3和图4进行示例性说明。
90.在一些实施例中,图3是本公开实施例提供的又一种可视门铃的图像采集装置的结构示意图,示出了水平视场面下方的光线经由视场放大镜而进入成像镜头的一种光线传输路径。参照图3,视场放大镜103包括反射面1030,反射面1030与水平视场面1010呈锐角设置。
91.其中,反射面1030朝向成像透镜101,在下半部分的原视野范围的基础上增加的视野范围内的光线,经过视场放大镜103的反射面1030反射之后,进入成像镜头101,从而实现对扩大后的水平视场面1010下方的视场区域的光线的采集。同时,视场放大镜103还可将下半部分的原视野范围内的光线调整至成像镜头101。
92.示例性地,视场放大镜103可同时具有反射面1030和汇聚透镜(或透镜组),以实现将水平视场面1010下方的、扩大后的视野区域内的光线传输、反射并汇聚至成像镜头101中。
93.如此设置,可使视场光线的传输方向的调整原理较简单,从而有利于简化视场放大镜103的结构,有利于降低其设计和制作难度。
94.需要说明的是,图3中仅示例性地示出了反射面1030位于视场放大镜103的内部,但并不构成对本公开实施例提供的图像采集装置10中视场放大镜103的限定。在其他实施方式中,反射面1030还可位于视场放大镜103的边界面,下面结合图4进行示例性说明。
95.在一些实施例中,图4是本公开实施例提供的又一种可视门铃的图像采集装置的结构示意图示出了视场放大镜的一种实现形式。参照图4,视场放大镜103为视场放大棱镜,视场放大棱镜还包括光线入射面1031和光线出射面1032,视场光线由光线入射面1031入射后,由反射面1030反射后,经光线出射面1032出射到成像镜头101。
96.其中,水平视场面1010下方的视野范围内的光线(即视场光线)由入射面1031进入视场放大镜103,在视场放大镜103内经过光线传输方向的调整之后,经由出射面1032出射至成像镜头101。
97.示例性地,视场放大棱镜可为三棱镜(见图4)、四棱镜或其他多棱镜、异形棱镜,本公开实施例对此不限定。
98.如此设置,可利用视场放大棱镜的边界面作为上述光线入射面1031、反射面1030以及光线出射面1032,有利于避免在视场放大棱镜的内部设计用于光线传输方向调整的功能界面,从而可使视场放大镜103的结构较简单,图像采集装置10的整体实现难度较低。
99.在其他实施方式中,视场放大镜103还可包括本领域技术人可知的其他类型的光学镜片或镜片组,本公开实施例对此不限定。
100.在一些实施例中,光线入射面为平面或弧形面。
101.其中,光线入射面为平面时,光线入射面无差异的改变光线入射面入射的视场光线的传输方向;光线入射面为弧形面时,光线入射面可对由其入射至视场放大镜中的视场光线起到汇聚作用或发散作用。可基于视场光线的传输方向的调整需求设置,本公开实施例不限定。
102.在一些实施例中,光线出射面可为平面或弧形面,光线反射面可为平面或弧形面,可基于视场光线的传输方向的调整需求设置,本公开实施例对此不限定。
103.在上述实施方式中,可视门铃的图像采集装置固定在门体或者墙体上。
104.其中,可视门铃的图像采集装置用于采集门外的视频图像,其可直接固定安装于门体上,或者安装于门体附近的墙体上,本公开实施例对此不限定。
105.示例性地,参照图1-图4任一图,沿由门内指向门外的方向,图像采集装置10中的图像采集传感器102、成像镜头101和视场放大镜103依次设置,如此可实现对门外视场范围内的视场光线的采集,便于后续基于视频图像,实现对门外物品011(例如目标物品011)和/
或人物012(包括目标人物和陌生人)的识别。
106.在其他实施方式中,当图像采集装置10还包括其他光学元件时,可根据各光学元件对视场光线的传输方向的调节作用,排布各光学元件(包括图像采集传感器102、成像镜头101和视场放大镜103),本公开实施例对此不限定。
107.本公开实施例提供的可视门铃的图像采集装置10,在成像镜头101的物方增加视场放大镜103,使得成像镜头101的水平视场面1010下方的视野范围得以进入图像采集传感器102中成像,从而有利于捕捉到可视门铃正下方的图像内容,改善可视门铃前下方的盲区问题;同时,将视场放大镜103设置在水平视场面1010的下方,而上半部分的图像内容则不受影响,不会因为增加可视门铃前下方的视场范围而将可视门铃上方的天花板也采集到,如此可避免增加不必要的视频计算量,且可避免由于采用鱼眼镜头而带来全画面的图像内容畸变的问题,可使得视频图像的画面还原度较高。
108.在上述实施方式提供的各种可视门铃的图像采集装置的基础上,由于该图像采集装置在采集上半部分的原图像的基础上,可采集下半部分的较大视野范围的图像,从而可实现对位置较低或高度较矮的物品或人物的图像采集,有利于实现物品看护和儿童到家通知,实现陌生人告警提示;或者还可以应用到写字楼管理或者商铺管理的应用场景中,以实现基于该图像采集装置采集较大的视场范围,有利于实现较大视场范围内的人脸分析或者物品看护,从而实现对用户或顾客来访频率的监控,或者实现对商铺内物品的看护。下文中结合本技术方案中提供的智能服务场景进行示例性说明。
109.下面结合图5-图13对本公开实施例提供的可视门铃的信息处理方法进行示例性说明,并说明可应用的智能服务场景,例如儿童回家通知、陌生人告警提示(即儿童看护)或者物品看护。
110.在一些实施例中,图5是本公开实施例提供的一种可视门铃的信息处理方法,示出了基于图像采集装置进行信号处理,以实现事件通知操作的流程。参照图5,该可视门铃的信息处理方法可包括:
111.s201、基于可视门铃的图像采集装置采集视频图像。
112.其中,该步骤中的可视门铃的图像采集装置可为上述实施方式中的任一种图像采集装置,当采用上述任一种图像采集装置采集视频图像时,视频图像可包括经视场放大镜扩大视场区域后的视频图像。
113.由此,该视频图像可覆盖可视门铃中水平视场面下方的较大视野范围,从而有利于实现对位置较低或高度较矮的物品或人物的识别。该步骤中,信号处理装置可调用图像采集装置采集的视频图像,为后续视频分析提供基础数据。
114.在其他实施方式中,在满足视场范围需求的前提下,该步骤中的可视门铃的图像采集装置还可为本领域技术人员可知的其他类型的图像采集装置,例如基于鱼眼镜头的图像采集装置,或者基于非鱼眼镜头的图像采集装置,或者基于其他类型的成像镜头的图像采集装置,本公开实施例对此不限定。
115.s202、基于视频图像进行视频分析,以确定是否发生视频通知事件。
116.其中,视频通知事件可理解为基于对视频图像的分析,需要通知用户的事件,例如可包括儿童到家、有客来访、陌生人在门口或附件逗留、物品到达以及物品被移走等事件,下文中以目标人物到达通知事件、陌生人告警事件和物品看护通知事件为例进行示例性说
明。
117.该步骤中,基于s201中获取的视频图像进行视频分析,例如通过针对人物的人脸检测识别或者针对物品的检测识别,以及对人物和物品的目标追踪,可确定是否发生视频通知事件。
118.s203、在确定发生视频通知事件时,触发事件通知操作。
119.其中,触发事件通知操作可理解为执行触发动作,以发出发生视频通知事件的通知操作。
120.该步骤中,基于s202对视频图像的视频分析,在确定发生视频通知事件时,触发事件通知操作,以发出发生视频通知事件的通知操作,从而实现进行视频通知事件发生的提示。
121.示例性地,该事件通知操作可在可视门铃本地发出,或者在与信息处理装置关联的终端设备发出;终端设备可为智能服务系统中的其他终端设备,可选为设置于门内的、可移动或位置固定的终端设备;或为用户随身携带的移动终端设备,本公开实施例对此不限定。
122.本公开实施例提供的可视门铃的信号处理方法,可获取基于可视门铃的图像采集装置采集到的视频图像,并对视频图像进行视频分析,在发生视频通知事件时,触发视频通知操作。由此,可在对视频图像进行视频分析的基础上,实现对儿童到家、有客来访、陌生人告警、物品到达以及物品被移走等事件的通知操作,从而可提高可视门铃的智能化程度,有利于实现将可视门铃作为“看家助理”。
123.在上述实施方式中,在获取基于图像采集装置采集的视频图像之前,还可包括:基于预先设定的时间间隔,或者基于预先设定的触发事件,触发启动可视门铃的图像采集装置。
124.在一些实施例中,在图5的基础上,在s201之前,该方法还包括:
125.通过人体检测传感器检测到人体时,启动可视门铃的图像采集装置。
126.其中,人体检测传感器用于检测其工作范围内或者图像采集装置的视场范围内是否出现人体,当检测到人体时,启动图像采集装置,以进行视频图像的采集。人体检测传感器的工作范围可覆盖图像采集装置的视场范围,或者二者相同或近似相同,可确保在人物到达图像采集装置的视场范围内时,图像采集装置处于启动状态即可,本公开实施例对此不限定。
127.示例性地,人体检测传感器可为被动红外(passive infrared,pir)人体传感器,也称为pir探测器或pir传感器。当有人走近可视门铃时,pir人体传感器可感知到有人体走近可视门铃,从而触发可视门铃的视频采集,即启动可视门铃的视频采集装置。
128.需要说明的是,该步骤中,基于人体检测传感器启动图像采集装置,可为二者之间直接通信,或者由智能服务系统的控制中心协同控制,本公开实施例对此不限定。
129.当人体检测传感器采用pir传感器时,由于该pir传感器不主动发射红外线,因此其功耗非常小,安装方便;且由于其为被动式传感器,不会产生系统互扰的问题,人体检测准确性较高。
130.在其他实施方式中,人体检测传感器还可为主动红外传感器,或者基于其他原理实现的可实现人体检测的传感器,本公开实施例对此不限定。
131.在一些实施例中,在图5的基础上,在s201之前,该方法还包括:
132.基于预先设定的时间间隔,周期性地启动可视门铃的图像采集装置。
133.其中,预先设定的时间间隔为相邻两次启动图像采集装置之间的时间间隔。示例性地,该时间间隔可为1秒、2秒、3.5秒或其他时间间隔,可基于可视门铃对门外场景的监控需求设置。
134.该步骤中,通过设置图像采集装置基于预先设定的时间间隔周期性地启动,可周期性的采集视频图像,从而在确保视频图像具有满足需求的连续性的同时,可使图像采集装置并非一直处于工作状态,从而有利于降低图像采集装置的耗能。
135.在一些实施例中,还可在人体检测传感器未检测到人体时,按照预先设定的时间间隔,周期性地启动图像采集装置;在人体检测传感器检测到人体时,即时启动图像采集装置。
136.在其他实施方式中,还可基于其他条件或将多个不同维度的条件结合,以确定图像采集装置的启动方式和启动时机,本公开实施例对此不限定。
137.在一些实施例中,视频通知事件包括目标人物到达通知事件、陌生人告警事件或者物品看护通知事件。
138.其中,目标人物可包括家人或朋友,例如用户自己、家里的孩子(即儿童)、家里的老人、到访的朋友等或其他用户熟知认识的人。当视频图像中出现目标人物时,确定发生目标人物到达事件,包括儿童到家、其他家人到家或有客来访。
139.其中,陌生人为用户不认识的人,与目标人物相对。当视频图像中出现无法与目标人物匹配的人时,确定有陌生人出现在视频图像中,从而确定发生陌生人告警事件。
140.其中,当视频图像中包括目标物品时,确定发生物品看护通知事件,可包括通知用户目标物品到达或者目标物品被移走。
141.在其他实施方式中,当该可视门铃的信号处理方法应用于其他场景时,视频通知事件还可包括针对人物、物品或事件的其他视频通知事件,本公开实施例对此不限定。
142.在上述实施方式的基础上,下文中,结合图6-图13,对该信号处理方法应用于儿童到家、儿童看护以及物品看护的场景下的信号处理流程分别进行示例性说明。
143.在一些实施例中,在图5的基础上,针对儿童到家或儿童看护的场景,s202可包括:
144.步骤一:基于人脸识别算法和预设目标人物的脸部图像,对视频图像进行人脸识别。
145.其中,人脸识别算法用于对视频图像中的脸部图像进行识别,可包括对视频图像中人物脸部图像中包括的五官位置、脸型和角度等进行计算分析,进而和预设目标人物的脸部图像进行比对,以判断出视频图像中人物的身份。
146.示例性地,人脸识别算法可采用基于人脸特征点的识别算法、基于整幅人脸图像的识别算法、基于模板的识别算法、利用神经网络进行识别的算法、利用支持向量机进行识别的算法或者本领域技术人员可知的其他人脸识别算法,本公开实施例对此不限定。
147.示例性地,预设目标人物的脸部图像可包括用户自身的脸部图像、用户的孩子的脸部图像或者用户的其他亲人或朋友的脸部图像,本公开实施例对此不限定。
148.步骤二:在匹配到与预设目标人物的脸部图像一致的脸部图像时,确定发生目标人物到达通知事件;或者,在匹配到与预设目标人物的脸部图像不一致的脸部图像时,确定
发生陌生人告警事件。
149.其中,当目标人物到达时,视频图像中出现目标人物,即发生目标人物到达通知事件。基于此,对视频图像进行人脸识别,可匹配到与预设目标人物的脸部图像相同的脸部图像,此时可确定发生目标人物到达通知事件。
150.示例性地,当在视频图像中,匹配到与儿童的脸部图像一致的脸部图像时,可确定儿童到家,实现儿童到家通知。
151.其中,当视频图像中出现陌生人时,即发生陌生人告警事件。基于此,对视频图像进行人脸识别,会匹配到与预设目标人物的脸部图像不一致的脸部图像,此时可确定发生陌生人告警事件。
152.示例性地,当在视频图像中,匹配到与儿童、用户自身、用户亲人或朋友的脸部图像都不一致的脸部图像时,确定视频图像中出现陌生人,实现儿童看护提醒。
153.本发明实施例中,在获取视频图像的基础上,基于人脸识别算法和预设目标人物的脸部图像,对视频图像进行人脸识别;并在匹配到与预设目标人物的脸部图像一致的脸部图像时,可实现目标人物到达通知;在匹配到与预设目标人物的脸部图像不一致的脸部图像时,可实现陌生人告警提示,即实现儿童看护提醒。如此,可丰富可视门铃的功能,提高其智能化程度。
154.在一些实施例中,当该方法应用于目标人物到达场景中时,在图5的基础上,s203可包括:
155.在视频通知事件包括目标人物到达通知事件时,通过第三终端设备输出目标人物到达提示消息,第三终端设备包括智能手机、智能音箱或可视门铃中的至少一个。
156.其中,当基于视频图像确定目标人物到达时,可通过智能手机、智能音箱或可视门铃中的至少一个发出目标人物到达提示信息。
157.即,当基于视频图像确定目标人物到达时,可通过智能手机、智能音箱或可视门铃中的任意一个,任意两个或三个共同发出目标人物到达提示信息。
158.示例性地,以儿童到家为例,当确认发生儿童到家事件时,可在手机app中接收到并输出儿童到家事件的提示信息,例如用户可在手机app中接收到“宝贝已回家”的提示信息;室内音箱(及智能音箱)或可视门铃自带的室内机可被触发,发出语音提示信息。例如,室内音箱或可视门铃自带的室内机会接收事件通知并播报:“宝宝回来了,进门记得洗手哦”的音频提示信息。需要说明的是,上述提示信息可在任一第三终端设备输出,或者在上述第三终端设备中的至少两个第三终端设备输出。示例性的,可在手机app输出“宝贝已回家”的提示信息,也在室内音箱播报“宝宝回来了,进门记得洗手哦”的提示信息。
159.在一些实施例中,图6是本公开实施例提供的另一种可视门铃的信息处理方法,示出了基于人脸识别算法确定视频图像中的任务是否为预设的目标人物的流程。参照图6,该方法可包括:
160.s301、基于可视门铃的图像采集装置采集视频图像。
161.s302、基于人脸识别算法和预设目标人物的脸部图像,对视频图像进行人脸识别。
162.s303、基于对视频图像进行人脸识别而识别到的人物脸部图像,判断是否能匹配到与预设目标人物的脸部图像一致的脸部图像。
163.该步骤中,将基于视频图像识别到的人物脸部图像与预设目标人物的脸部图像进
行匹配,判断是否能匹配成功。
164.若是(y),则确定目标人物到达,后续执行s304;若否,则确定视频图像中仅识别到了陌生人,后续执行s305。
165.s304、在匹配到与预设目标人物的脸部图像一致的脸部图像时,确定发生目标人物到达通知事件。
166.s305、在匹配到与预设目标人物的脸部图像不一致的脸部图像时,确定发生陌生人告警事件。
167.在s304和s305之后,还包括s306。
168.s306、在确定发生视频通知事件时,触发事件通知操作。
169.本公开实施例提供的可视门铃的信号处理方法中,基于人脸识别算法和预设目标人物的脸部图像,对图像采集装置采集到的视频图像进行人脸识别,并将识别到的脸部图像与预设目标人物的脸部图像进行匹配,并基于匹配结果确定发生目标人物到达通知事件或发生陌生人告警事件。
170.在上述实施方式中,在确定视频图像中可匹配到与预设目标人物的脸部图像一致的脸部图像时,还可进一步地基于目标人物的动向,判断是否发生目标人物到达通知事件,从而提高目标人物到达通知事件确定的准确性。
171.在一些实施例中,在图6的基础上,s304可包括:
172.步骤一:在匹配到与预设目标人物的脸部图像一致的脸部图像时,基于视频图像进行运动分析。
173.其中,在基于视频图像识别到目标人物时,还可对视频图像进行运动分析,以确定其中目标人物的动向。
174.示例性地,运动分析可基于目标追踪算法、目标人物姿态或其他原理实现,本公开实施例对此不限定。
175.步骤二:在运动分析结果为目标人物进入设定位置时,确定发生目标人物到达通知事件。
176.其中,设定位置可为判断目标人物到达门口的位置,可为距离门口20厘米、30厘米或其他预设距离的位置,本公开实施例对此不限定。当目标人物到达设定位置时,可确定发生目标人物到达通知事件,从而避免将目标人物从门口较远处经过的事件误判为目标人物到达通知事件,如此可提高方法的准确性。
177.在其他实施方式中,运动分析的结果还可包括目标人物朝向门体、或者目标人物相对于门体由远及近地运动,或其他可确定目标人物到达或将要到达门口的静态或动态状态,本公开实施例对此不限定。
178.在前述步骤一和步骤二之后,当确定发生目标人物到达通知事件时,还包括:开启门锁,以允许目标人物进门。其中,目标人物进门后,其可手动关门;或者,当检测到目标人物进门预设时间,或距离门体预设距离后,自动关门。
179.示例性地,预设距离可为目标人物距离门体的垂直距离大于30厘米、45厘米、50厘米或其他可选距离值;预设时间可为目标人物进门时刻起,经过了1分钟、2分钟或其他可选时长值,可根据智能服务系统的协同控制需求设置,本公开实施例对此不做限定。
180.在一些实施例中,目标人物为儿童或者访客。
181.其中,当目标人物为儿童时,信号处理装置可向用户发出儿童到家的通知,以提醒用户儿童已到家;当目标人物为访客时,信号用户装置可向用户发出有客来访的通知,以提醒用户访客已到达。
182.在上述实施方式中,获取预设目标人物的脸部图像的方式可包括,通过终端设备上传,或者通过用户介入的方法取。
183.在一些实施例中,当采用用户介入的方法获取预设目标人物的脸部图像时,可基于视频图像进行人脸识别,将识别到的人脸呈现给用户,由用户标识其身份。
184.在一些实施例中,该方法还可包括:
185.获取用户通过第一终端设备上传的预设目标人物的脸部图像。
186.其中,第一终端设备可为固定终端设备或者移动终端设备。通过第一终端设备采集预设目标人物的脸部图像,并传输至信号处理装置。
187.示例性地,第一终端设备可为可视门铃的图像采集装置,或为智能服务系统中的其他具有图像采集功能的终端设备,本公开实施例对此不限定。
188.示例性地,预设目标人物的脸部图像可包括预设目标人物的脸部正面图像、左侧面图像、有侧面图像、仰视图像以及俯视图像中的至少一个,便于实现对目标人物的识别即可。
189.其中,当仅上传预设目标人物的脸部图像的脸部正面图像时,图像中五官清晰且不被遮挡,以便实现目标人物的准确识别。
190.在一些实施例中,第一终端设备包括智能手机或智能音箱。
191.其中,利用智能手机的图像获取软件,例如相机进行拍照,可获取预设目标人物的脸部图像,从上传至图像处理装置。或者,利用智能音箱,例如有屏智能音箱的图像获取软件,例如相机进行拍照,也可获取预设目标人物的脸部图像,从上传至图像处理装置。
192.上述实施方式中,示出了将该信号处理方法应用于儿童到家场景或者儿童看护场景时的流程步骤,下面结合图7和图8对儿童到家场景下信号处理方法及信号交互方式进行示例性说明,结合图9和图10,对儿童看护场景下信号处理方法及信号交互方式进行示例性说明。
193.在一些实施例中,图7是本公开实施例提供的可视门铃的信息处理方法应用于目标人物到达通知场景时的一种方法流程示意图,图8是本公开实施例提供的可视门铃的信息处理方法应用于目标人物到达通知场景时的一种信号交互方式示意图。参照图8,其中以0121代表儿童,21代表室内的终端设备,22代表用于随身携带的移动终端设备。基于此,参照图7,该可视门铃的信号处理方法可包括:
194.s211、获取用户通过第一终端设备上传的预设目标人物的脸部图像。
195.其中,用户可通过移动终端设备22或室内的终端设备21上传儿童的正面照片和昵称,照片中五官清晰不被遮挡。
196.示例性地,移动终端设备22可为用户的手机,该步骤可包括通过手机中的应用程序(application,app)上传儿童的照明和昵称。或者,室内的终端设备21可为有屏音箱,该步骤可包括通过有屏音箱上传儿童的照片和昵称。
197.s212、通过人体检测传感器检测到人体时,启动可视门铃的图像采集装置。
198.其中,当儿童走近可视门铃时,可视门铃的pir人体检测传感器感知到有人体走
近,从而触发可视门铃的视频采集,即启动可视门铃的图像采集装置。
199.s213、基于可视门铃的图像采集装置采集视频。
200.其中,图像采集装置被启动之后,对门口视场范围内的画面进行录像,获取视频图像,即实现视频图像的采集。
201.s214、基于人脸识别算法和预设目标人物的脸部图像,对视频图像进行人脸识别。
202.其中,基于人脸识别算法对视频图像中的采集视频帧内容进行识别,判断门铃前的人是否为已录入的儿童。
203.即该步骤中,基于人脸识别算法和前述步骤中上传的照片,判断视频图像中的人是否为已录入脸部图像的儿童,即通过视觉算法处理过程,包括人脸检测和人脸识别过程,以判断视频图像中的人是否为已录入脸部图像的儿童。
204.可选的,该步骤的视觉算法处理过程可全部在可视门铃端完成;也可以在云端服务器完成人脸识别过程,而在可视门铃端仅进行人脸检测;也可以全部部署在云端服务器进行。具体实现方式可结合可视门铃的硬件结构和智能服务需求,例如硬件规格成本和软件技术开发实际实现状态设置,本公开实施例对此不限定。
205.s215、在匹配到与预设目标人物的脸部图像一致的脸部图像时,基于视频图像进行运动分析。
206.其中,若视频图像中存在与预设目标人物的脸部图像匹配的脸部图像,表明视频图像中出现目标人物。此时,对目标人物的动向进行分析,以确定目标人物是否要进入家门。
207.示例性地,若视频图像中出现已录入脸部图像的认同,则表明已录入的儿童出现在门口,需要进行运动分析,以确定儿童是要回家还是仅从家门口路过。
208.可选的,分析视频流,即对视频图像进行运动分析,可包括:根据视频图像中,图像背景是否有位移、儿童的移动方向、儿童的朝向等因素中的至少之一,判断儿童是否要进入家门。
209.可选的,还可将该判断结果和当前时间信息一起发送到云端服务器,以进行事件记录,便于后续查询。
210.可选的,该步骤的视觉算法处理过程可全部在可视门铃端完成;也可以在可视门铃端仅进行人脸检测、而将运动识别过程部署在云端服务器中;也可以全部部署在云端服务器中进行。具体实现方式可结合可视门铃的硬件结构和智能服务的需求,即结合硬件规格成本和软件技术开发实际实现状态设置,本公开实施例对此不限定。
211.s216、当运动分析结果为目标人物进入设定位置时,确定发生目标人物到达通知事件。
212.示例性地,当儿童到达门口的设定位置时,表明其要进入家门。
213.s217、在确定发生目标人物到达通知事件时,输出目标人物大道提示信息。
214.其中,根据该可视门铃用户(例如家长)的设置,当可视门铃根据前述步骤检测到儿童回家时,触发事件通知操作,输出目标人物到达提示信息。
215.示例性地,若用户侧移动终端设备022,例如手机app中设置打开提示功能,则可在手机app中接收到目标人物到达通知事件,例如用户可在手机app中接收到“宝贝已回家”的信息通知。
216.可选的,用户还可在手机app或有屏音箱中,预先编辑设置室内音箱或可视门铃自带的室内机的提示内容,例如该提示内容可为:“宝宝回来了,进门记得洗手哦”。可选的,该提示内容可以用文本形式输入,也可直接采用语音形式录入。
217.基于上述设置,当可视门铃根据前述步骤检测到儿童回家时,室内音箱或可视门铃自带的室内机会被触发,发出对应的语音提示,对应上述预先编辑设置的内容。示例性地,室内音箱或可视门铃自带的室内机会播报:“宝宝回来了,进门记得洗手哦”的音频。
218.s218、将视频图像、目标人物到达通知事件以及目标人物到达提示信息保存至个人云存储空间中。
219.即可将视频图像以及经过前述步骤得到的视频处理后的信息上传至云端服务器,以供查看回放。
220.示例性地,云端服务器接收到可视门铃端上传的儿童每天的回家时间信息,保存在加密的个人云存储空间中,以支持该可视门铃用户在手机app端或有屏音箱端进行查看回放。
221.在其他实施方式中,还可包括:当视频图像中不包括录入的儿童时,视频录制并保存上传到经过加密的个人云存储空间中,以支持该可视门铃用户在有屏音箱端或手机app端进行查看回放。该步骤可致性于s214之后。
222.至此,经过上述步骤,可将可视门铃的信息处理方法应用于儿童回家场景中,实现儿童回家的智能通知和提示。
223.示例性地,图8是本公开实施例提供的可视门铃的信息处理方法应用于陌生人告警场景时的一种信号交互方式示意图,示出了儿童或老人看护场景下,即儿童或老人在家的勿扰看护场景下的信号交互方式。参照图8,其中以0122代表陌生人,其他附图标记的含义与图7中相同,在此不赘述。基于此,当儿童或老人在家时,用户可开启可视门铃的勿扰看护功能,该功能由可视门铃的信号处理方法实现时,信号处理步骤可包括:
224.步骤一:通过手机app或有屏音箱上传家人和经常来访的朋友的正面照片,照片中五官清晰不被遮挡。
225.步骤二:当有人走近可视门铃时,可视门铃的pir人体检测传感器感知到有人体走近,从而触发可视门铃的视频采集,即启动可视门铃的图像采集装置,以采集视频图像。
226.步骤三:基于人脸识别算法和预设目标人物的脸部图像,对采集到的视频图像中的视频帧内容进行识别,判断门铃前的人是否为已录入的家人或朋友。
227.如果是,则表明视频中的人为已录入的家人或朋友,无需陌生人告警提示,则进入步骤五;否则,视频图像中包括陌生人,则进入步骤四。
228.示例性地,该步骤的视觉算法处理过程可全部在可视门铃端完成;也可以在可视门铃端仅进行人脸检测,而将人脸识别过程部署在云端服务器;也可以将视觉算法处理过程全部部署在云端服务器进行,具体实现方式可结合可视门铃的硬件结构和智能服务需求,例如结合硬件规格成本和软件技术开发实际实现状态设置,本公开实施例不限定。
229.步骤四:如果基于视频图像识别到的陌生人按可视门铃的响铃按钮,则可根据该用户的设置来触发不同响应动作,可包括:
230.动作一:若用户在手机app或有屏音箱中设置开启了可视门铃的勿扰看护功能,即可视门铃进入了勿扰看护模式。此时,若陌生人按响铃按钮,则该按响铃按钮的动作不会触
发室内音箱或可视门铃自带的室内机的来客响铃,而是触发播放用户通过手机app或有屏音箱设置的提示内容。示例性地该提示内容可为:“宝贝不要给陌生人开门哦”,该提示内容可以以文本形式输入或者语音形式直接录入,本公开实施例对其设置方式不限定。
231.动作二:将陌生人在门口以及陌生人的脸部图像或者相关视频图像发送至用户的移动终端设备,例如手机app中,以提醒用户有陌生人在门口逗留。
232.在其他实施方式中,若用户没有开启可视门铃的勿扰看护功能,若陌生人按响铃按钮,则该按响铃按钮的动作会正常触发室内音箱或可视门铃自带的室内机的来客响铃。
233.步骤五:视频录制并上传保存到经过加密的个人云存储空间中,以支持该可视门铃用户在手机app端或有屏音箱端进行查看回放。
234.其中,步骤五执行于步骤三和步骤四之后。
235.至此,经过上述步骤一至步骤五,可将可视门铃的信息处理方法应用于儿童或老人在家勿扰看护场景中,实现儿童或老人在家时的智能看护和陌生人告警提示,从而提高儿童和老人的安全性。
236.在一些实施例中,图9是本公开实施例提供的又一种可视门铃的信息处理方法,示出了将该方法应用于物品看护通知场景下的流程。在图5的基础上,参照图9,s202可包括:
237.s402、根据物品追踪算法对视频图像进行分析,在目标物品移出预设区域后,确定发生物品看护通知事件。
238.其中,物品追踪算法可基于视频图像,对识别到的目标物品进行追踪,可实现对目标物品的基于时间序列的位置的确定,或者实现对目标物品的运动路径的确定,即实现目标物体跟踪。视觉目标物体跟踪的过程可理解为在一个视频帧的后续视频帧中找到在当前视频帧中定义的感兴趣物体(object of interest),即目标物体的过程。
239.其中,当目标物品移出预设区域后,表明目标物品可能被移走而丢失,此时确定发生物品看护通知事件,以便后续提示用户目标物品被移走,从而有利于实现目标物品的智能看护,改善其易丢失的问题。
240.需要说明的是,图9中示出的s401和s403与图5中示出的s201和s203对应相同,可参照上文的解释说明进行理解,在此不赘述。
241.在一些实施例中,目标物品可为快递物品、外卖物品、其他被送至门口且暂留在可视门铃的视场范围内的目标物品或者其他被安置在可视门铃的视场范围内的目标物品,本公开实施例对此不限定。
242.基于此,可通过快递物品或外卖物品的识别码(即物品编码)、目标物品(包括快递物品、外卖物品或其他目标物品)的形状、位置、大小等特征实现对目标物品的识别,本公开实施例对此不限定。
243.在一些实施例中,预设区域为图像采集装置的全部或者部分视场区域。
244.其中,预设区域为图像采集装置的全部视场区域时,目标物品被移出图像采集装置的视场区域后,确定目标物品被移走,即确定发生物品看护通知事件。此时,预设区域的范围相对较大,可避免由于目标物品由于其他原因产生的较小位移而引起的误判。
245.或者,预设区域为图像采集装置的部分视场区域,可选为图像采集装置的视场区域中靠近门体的部分视场区域,该部分区域还可称为指定区域。当目标物品不在图像采集装置的视场区域的指定区域后,确定目标物品被移走,即确定发生物品看护通知事件。此
时,预设与取的范围相对较小,当目标物品被移出该预设区域后,目标物品仍可能在图像采集装置的视场区域的外围区域内,此时仍可实现对目标物品的监控,从而提高目标物品的安全性。
246.在上述实施方式的基础上,目标物品为快递物品,该方法还可包括基于视频图像确定快递物品的快递信息,以对快递物品进行识别。
247.在一些实施例中,在图9的基础上,在s402之前还可包括:
248.基于编码识别算法对包括物品编码(即识别码)的视频图像进行分析,以获得快递物品的快递信息。
249.其中,物品编码对应唯一的快递信息。示例性地,物品编码可为数字字符串、条形码、二维码或其他编码形式,可对应识别出目标物品的快递信息即可,本公开实施例对此不限定。
250.该步骤中,可基于视频图像中的物品编码进行分析,获取快递物品的快递信息。示例性地,可包括对物品编码进行解码,获得与之关联的快递信息;或者可包括识别物品编码,并调取提前设置好的、与之唯一关联的快递信息;或者采用本领域技术人员可知的其他方式,基于视频图像中的物品编码获取快递物品的快递信息,本公开实施例对此不限定。
251.在其他实施方式中,当目标物品为外卖物品时,该步骤还可为:基于编码识别算法对包括物品编码的视频图像进行分析,以获得外卖物品的外卖信息。
252.在上述实施方式的基础上,当目标物品为快递物品或外卖物品时,该方法还可包括输出物品看护通知事件相关的信息,包括快递(或外卖)成功识别提示信息和/或接收快递(或外卖)通知消息,下面以快递看护为例进行示例性说明。
253.在一些实施例中,该方法还可包括如下至少之一:
254.在可视门铃上输出快递成功识别提示信息;
255.通过第二终端设备输出接收快递通知消息。
256.其中,快递物品可由快递员或快递机器人派送,当快递消息获取成功之后,在可视门铃室外侧输出快递成功识别的提示信息,以提示快递员或快递机器人该快递物品已识别成功,其可将该快递物品安置于预设区域内。
257.其中,第二终端设备可输出接收快递通知消息,以提示用户或者其他第二终端设备所在空间内的人员接收快递。
258.在一些实施例中,第二终端设备包括智能手机、智能音箱或可视门铃中的至少一个。
259.其中,智能手机为用户可随身携带的移动终端设备的一种,通过在智能手机输出接收快递通知消息,可提醒用户有快递物品送到门口了,需要接收。用户可基于接收快递通知消息进行快递物品的签收操作,并指定快递物品的安置位置。
260.其中,智能音箱可设置于室内,通过在智能音箱输出接收快递通知消息,可提醒室内活动的用户或其他人有快递物品送到门口了,需要接收。此时,室内的用户或其他人可开门签收快递物品,或基于与智能音箱之间的语音互动或文字互动签收快递物品,并制定快递物品的安置位置。
261.其中,可视门铃包括室内机,其应用方式与室内智能音箱相同,在此不赘述。
262.在其他实施方式中,可视门铃还可包括室外机,室外机可与快递员(或快递机器
人)进行互动,实现快递物品的代收,从而便于在用户不便接收快递物品时,实现快递物品的自动接收。
263.在其他实施方式中,当目标物品为外卖物品时,信息输出方式与上述快递看护的信息输出方式类似,不再赘述。
264.在一些实施例中,快递信息包括发货地、发货人、发货时间或快递物品名称中的至少一个。
265.基于此,在输出物品看护通知事件相关的信息时,可基于快递信息,针对其对应的快递物品,输出信息。
266.例如,输出的信息可包括“由xx0寄来的快递已经送到门口了”或者“由xx0寄来的xx1快递已经送到门口了”或者“由xx0从xx3寄来的xx1快递已经送到门口了”。
267.在其他实施方式中,当快递物品的件数多于1件时,输出的消息可包括“xx11快递、
……
、和xx12快递已经送到门口了”。
268.在一些实施例中,当多于1件的快递物品的快递信息中存在相同信息时,可将其合并后输出,以简化输出信息,本公开实施例对此不限定。
269.示例性地,图10是本公开实施例提供的可视门铃的信息处理方法应用于物品看护通知场景时的一种信号交互方式示意图。参照图10,其中以011代表目标物品,例如快递物品,其他附图标记的含义与上文中对应附图标记的含义相同,不再赘述。基于此,以快递员派送快递物品为例,该可视门铃的信号处理方法包括:
270.步骤一:当有人走近可视门铃时,可视门铃的pir人体检测传感器感知到有人体走近,从而触发可视门铃的视频采集功能和编码识别算法。
271.示例性地,对应于快递物品的识别码的不同形式,编码识别算法可包括条形码识别算法、二维码识别算法或其他编码识别算法,本公开实施例对此不限定。
272.步骤二:若快递员将快递物品的识别码对着可视门铃的图像采集装置停留预设时间,编码识别算法会识别到快递物品的识别码及其对应的文本信息。其后,可视门铃发出快递成功识别提示信息,例如预设的提示音,以提示快递员该快递物品的信息已识别成功。
273.其中,预设时间可为2s、3s或其他时间长度,在此不限定。
274.可选的,该步骤的视觉算法处理过程可全部在可视门铃端完成,以加快响应速度;或者,可采用云端服务器与可视门铃端协同的算法处理方式,以降低可视门铃端的成本。具体实现方式可结合可视门铃的硬件结构以及智能服务需求,例如硬件规格成本和软件技术开发实际实现状态来决定,在此不限定。
275.步骤三:将前述步骤二中识别到的文本信息发送到云端服务器,通过调用对应物流系统的访问接口,获取关于此快递的更多详细信息,包括发货地、发货人、发货时间以及快递物品名称等快递信息。
276.在其他实施方式中,可将快递物品的识别码直接与快递信息关联,如此识别到快递物品的识别码之后,即可调取与之关联的快递信息。
277.步骤四:云端服务其将上述步骤三中确定的快递信息,组织成自然语言形式,发送给该用户绑定的手机app、室内有屏音箱或可视门铃室内机中的至少一个。
278.由此,用户可以从手机app、室内有屏音箱或可视门铃室内机中的至少一个中收到对应信息提示。
279.至此,经过上述步骤一至步骤四,可实现快递物品的到达和接收通知,实现快递物品的签收提示。
280.示例性地,图11是本公开实施例提供的可视门铃的信息处理方法应用于物品看护通知场景时的另一种信号交互方式示意图,其中带有箭头的曲线表示快递物品被移走的方向和路径。参照图11,在图10可实现的前述步骤的基础上,该信号处理方法还可包括:
281.步骤五:在扫描快递物品的识别码之后,根据用户的设置,可视门铃可启动继续看护快递物品的服务。
282.当该继续看护快递物品的功能被开启后,可视门铃的目标追踪算法(即物品追踪算法)会一直保持对该快递物品的目标跟踪。
283.基于此,如果该快递物品被移出了预设区域,则会触发手机app室内有屏音箱、或者可视门铃室内机的警报提示。警报提示的内容可为“xx0寄来的快递刚从门口被移走了”。
284.如此,可实现对门口的快递物品的看护,从而提高其安全性。
285.在其他实施方式中,目标物品为外卖物品时,其接收或看护方式与上述快递物品的接收和看护方式原理相同,在此不赘述。
286.在其他实施方式中,目标物品为安置或放置于门口的其他物品时,可基于目标物品的特征对其进行看护,在此不赘述。
287.在上述实施方式的基础上,当该可视门铃应用于不同的场景,即其被启用不同的功能时,触发的事件通知操作可包括在至少一个终端设备输出视频通知事件关联的信息。
288.在一些实施例中,当该方法应用于陌生人告警场景中时,在图5的基础上,s203可包括:
289.在视频通知事件包括陌生人告警事件时,通过第四终端设备输出陌生人告警消息,第四终端设备包括智能手机、智能音箱或可视门铃中的至少一个。
290.其中,当基于视频图像确定发生陌生人告警事件时,可通过智能手机、智能音箱或可视门铃中的至少一个发出陌生人告警信息。
291.即,当基于视频图像确定陌生人逗留时,可通过智能手机、智能音箱或可视门铃中的任意一个,任意两个或三个共同发出陌生人告警消息。
292.示例性地,可在手机app中接收到并输出陌生人告警消息;例如用户可在手机app中接收到“陌生人在门口逗留”的消息,并输出陌生人脸部图像或相关视频。室内音箱(及智能音箱)或可视门铃自带的室内机可被触发,发出语音提示信息;例如,室内音箱或可视门铃自带的室内机会接收事件通知并播报“宝贝不要给陌生人开门哦”的音频提示信息。需要说明的是,上述陌生人告警消息可在任一第三终端设备输出,或者在上述第三终端设备中的至少两个第三终端设备输出。示例性的,可在手机app输出“陌生人在门口逗留”的消息,也在室内音箱播报“宝贝不要给陌生人开门哦”的提示信息。
293.在一些实施例中,当该方法应用于物品看护场景时,在图5的基础上,s203可包括:
294.在视频通知事件包括物品看护通知事件时,通过第五终端设备输出物品看护通知消息,第五终端设备包括智能手机、智能音箱或可视门铃中的至少一个。
295.其中,当基于视频图像确定发生物品看护通知事件时,可通过智能手机、智能音箱或可视门铃中的至少一个发出物品看护通知消息。
296.即,当基于视频图像确定陌生人逗留时,可通过智能手机、智能音箱或可视门铃中
的任意一个,任意两个或三个共同发出物品看护通知消息。
297.示例性地,当目标物品被送到门口时,可在手机app中接收到并输出物品到达通知消息;例如用户可在手机app中接收到“xx 1物品已送到门口”的消息。室内音箱或可视门铃自带的室内机可被触发,发出语音提示信息;例如,室内音箱或可视门铃自带的室内机会接收事件通知并播报“xx 1物品已送到门口”的音频提示信息。当目标物品被移出预设区域时,可在手机app中接收并输出物品看护通知消息,例如用户可在手机app中接收到“xx1物品从门口被移走了”的消息。室内音箱或可视门铃自带的室内机可被触发,发出语音提示信息;例如,室内音箱或可视门铃自带的室内机会接收事件通知并播报“xx 1物品从门口被移走了”的音频提示信息。
298.需要说明的是,上述两种场景下的物品看护通知消息均可在任一第三终端设备输出,或者在上述第三终端设备中的至少两个第三终端设备输出。示例性的,可在手机app输出“陌生人在门口逗留”的消息,也在室内音箱播报“宝贝不要给陌生人开门哦”的提示信息。
299.在上述实施方式示出的任一种方法中,基于视频图像进行视频分析,以确定是否发生视频通知事件的步骤在可视门铃本地、云端服务器或第六终端设备中的至少一个执行。
300.其中,基于视频图像进行视频分析包括对视频图像中脸部图像的检测(即人脸检测)和脸部图像的识别(即人脸识别)。示例性地,对于人脸检测和人脸识别过程,其可在同处执行完成,而不涉及信号传输交互的过程。例如,包括人脸检测和人脸识别的完整过程可在可视门铃本地执行,或在云端服务器执行,或在第六终端设备中执行。或者,人脸检测和人脸识别可在不同处完成,其中涉及信号的传输交互的过程。例如,人脸检测可在可视门铃本地、云端服务器或第六终端设备中的一处执行,检测到脸部图像之后,将其传输至可视门铃本地、云端服务器或第六终端设备中的另一处,以执行人脸识别过程。
301.其中,第六终端设备为包括可视门铃在内的智能服务系统(也称为智能家居网络)中的一个终端设备,即相当于智能家居网络内部的一个设备,该智能家具网络还可包括智能音箱、智能电视、智能洗衣机等其他终端设备,本公开实施例对此不限定。上述人脸检测过程和/或人脸识别过程可在第六终端设备执行,即在智能家具网络内部的其他设备中执行,相当于分担了云端服务器的一部分数据处理过程。
302.本公开实施例提供的可视门铃的信号处理方法针对可视门铃的智能服务方面进行改进,该方法中,在人脸识别算法的基础上,结合图像背景位移检测算法、儿童移动方向检测算法、二维码识别算法、目标物体跟踪算法等多元视觉处理算法,并且将可视门铃的视觉采集数据(即视频图像)应用到了儿童回家/儿童看护和物品看护(例如快递物品看管)等场景下,实现对现有可视门铃应用场景的有效扩展,使得可视门铃更加智能化,更接近家居助手。
303.具体的,该方法应用于儿童回家和儿童看护场景下时,可结合人脸识别算法、图像背景位移检测算法和儿童移动方向检测算法,并且通过可视门铃与室内智能音箱的联动、可视门铃与用户携带的移动终端设备的联动,实现了可视门铃对儿童安全的智能看护,使得外出的家长更放心,帮家长分担对孩子安全的牵挂。该方法应用于物品看护场景中时,将二维码识别算法和目标物体跟踪算法引入到可视门铃的智能处理中,并且通过可视门铃与
室内智能音箱的联动、可视门铃与用户携带的移动终端设备的联动,以及与云端物流系统(例如云端服务器)的联动,实现了可视门铃对快递的智能看护,使得可视门铃不再只能看人,还能看管物品,使可视门铃从原有的工具属性进一步向门口家庭助理的方向演进。
304.在其他实施方式中,除将该方法应用于家居智能管理之外,还可将该方法应用于其他商业场景中。例如,该方法可应用于写字楼的公司管理的场景,基于对图像采集装置采集到的视频图像中的人物脸部图像进行检测和识别,可识别视频图像中是否存在大客户,以识别大客户来访事件,并在大客户来访事件发生时,进行大客户来访事件的消息提示,以便提醒相关人员提前做好接待准备;或者可基于视频图像进行人脸分析,判断其中出现的人物是新客户还是老客户,并进行事件通知,以提醒相关人员提前做好适当的接待准备。
305.或者,该方法也可应用于商铺相关的场景中,通过对视频图像进行分析,向商铺主人进行相应的事件通知。例如,基于对视频图像的人脸分析,可识别其中出现的人物是新顾客还是老顾客,进一步地,若是老顾客,可向商铺主人发送顾客偏好以及购买习惯相关信息,以便商铺主人可采用该顾客习惯的方式与其沟通。或者,基于对视频图像的分析,可监测商铺中或商铺门口一定范围内的物品,并在物品被移走时发出物品看护通知消息,以起到防盗的作用,有利于确保商铺主人的财产安全。
306.在其他实施方式中,本公开实施例提供的方法还可应用于其他要实现目标人物相关事件提示或者物品相关事件提示的场景,本公开实施例对此不限定。
307.在上述实施方式的基础上,本公开实施例还提供了一种基于可视门铃的物品收取方法,以实现基于可视门铃的物品的智能收取和通知,提高物品收取的便捷性。下文中以物品为快递物品为例进行示例性说明,当物品为外卖物品或其他配送上门的物品时,其物品收取方法与快递收取方法类似,区别仅在于对应于配送上门的物品,生成并输出该物品对应的通知消息,本公开实施例不赘述。
308.在一些实施例中,图13是本公开实施例提供的一种基于可视门铃的物品收取方法的流程示意图。参照图13,该基于可视门铃的物品收取方法可包括:
309.s501、获取基于可视门铃的图像采集装置采集的视频图像。
310.其中,视频图像包括物品编码。物品编码对应唯一的物品,可关联物品信息。示例性地,物品编码可为数字字符串、条形码、二维码或其他编码形式,可对应识别出目标物品的物品信息即可,本公开实施例对此不限定。
311.该步骤中,获取包括物品编码的视频图像,为后续步骤中基于物品编码得到物品信息做准备。
312.示例性地,该步骤中的图像采集装置可为上述实施方式中的任一种图像采集装置,也可为本领域技术人员可知的其他类型的图像采集装置,本公开实施例对此不限定。
313.s502、根据编码识别算法对视频图像进行分析,以获得物品编码对应的快递物品的快递信息。
314.该步骤中,可基于视频图像中的物品编码,采用编码识别算法分析视频图像,以获取物品编码对应的物品信息,例如快递物品的快递信息、外卖物品的外卖信息。
315.示例性地,该步骤可包括对物品编码进行解码,获得与之关联的物品信息;或者可包括识别物品编码,并调取提前设置好的、与之唯一关联的物品信息;或者采用本领域技术人员可知的其他方式,基于视频图像中的物品编码获取物品信息,本公开实施例对此不限
定。
316.在一些实施例中,快递信息可包括发货地、发货人、发货时间或快递物品名称中的至少一个。
317.其中,上述快递信息可用于识别快递物品,用于生成对应于快递物品的快递通知消息。
318.s503、基于快递信息生成接收快递通知消息。
319.其中,接收快递通知消息包括快递信息中的全部信息或部分信息。
320.示例性地,接收快递通知消息可仅包括发货人或物品名称,或者快递通知消息可包括上述快递信息中的两个参数、三个参数或更多个参数,可根据物品收取的需求设置,本公开实施例对此不限定。
321.可选的,接收快递通知信息可包括快递信息中用于唯一对应与当前快递物品的快递信息,从而提高快递收取的准确性。
322.其中,该步骤可包括基于至少部分快递消息,结合预设的句式,生成包括上述至少部分快递消息在内的接收快递通知消息。
323.示例性的,当快递消息为发货人xx0时,生成的接收快递通知消息可为“发货人xx0发来的快递物品已送至门口”;当快递消息为发货地xx3时,生成的接收快递通知消息可为“由发货地xx3发来的快递已送至门口”;当快递消息包括发货人xx1和快递物品名称xx3时,生成的接收快递通知消息为“发货人xx0发来的快递物品xx3已送至门口”。
324.在其他实施方式中,当采用其他快递信息时,接收快递通知消息还可结合其他预设的句式生成,本公开实施例对此不确定。
325.s504、输出接收快递通知消息。
326.该步骤中,将前述s503中生成的接收快递通知消息输出,已提示用户快递物品或其他物品已接收成功,从而实现物品智能收取,提升物品收取的智能性和便捷性。
327.示例性地,接收快递通知消息可在物品收取装置端输出,或可将接收快递通知消息发送给其他终端设备,并在其他终端设备输出,本公开实施例对此不限定。
328.本公开实施例提供的基于门铃的物品收取方法,可获取基于可视门铃的图像采集装置采集的视频图像;根据编码识别算法对视频图像进行分析,以获得物品编码对应的快递物品的快递信息;基于快递信息生成接收快递通知消息,并输出接收快递通知消息。由此,可基于可视门铃实现物品的智能收取,从而能提高物品收取的智能化程度和便捷性。
329.在上述实施方式中,对视频图像进行分析,可在可视门铃本地进行,也可在云端服务器或终端设备进行。
330.在一些实施例中,在图13的基础上,s502可包括:
331.在可视门铃本地根据编码识别算法对视频图像进行分析。
332.其中,可将对视频图像进行分析的程序设置在可视门铃本地,如此可减少信号传输和交互的过程,从而有利于减少信号传输和交互所用的时间,有利于提高可视门铃的响应速度。
333.在一些实施例中,在图13的基础上,s502可包括:
334.将视频图像发送给云端服务器或终端设备,以由云端服务器或者终端设备根据编码识别算法对视频图像进行分析。
335.其中,可采用云端服务器与可视门铃端协同的算法处理方式,或采用终端设备与可视门铃端协同的算法处理方式,即将对视频图像进行分析的程序设置在云端服务器或终端设备,如此可在可视门铃之外的他处进行视频分析,从而有利于简化可视门铃的结构,有利于降低可视门铃端的成本。
336.在上述实施方式中,对接收快递通知消息的输出,可在可视门铃本地进行,也可在终端设备进行。
337.在一些实施例中,在图13的基础上,s504可包括:
338.在可视门铃本地输出接收快递通知消息。
339.其中,接收快递通知消息可在可视门铃本地输出。示例性地,可视门铃本地包括室内机和室外机,可基于室内机和室外机中的至少一个输出接收快递通知消息,从而完成接收快递通知消息的输出,实现快递物品的智能接收。
340.示例性地,当可确认室内有人时,可视门铃的室内机输出接收快递通知消息,以提示室内的人有快递待接收。当可确认室内没有人时,可视门铃的室内机不输出接收快递通知消息,此时接收快递通知消息可在其他终端设备输出。
341.示例性地,可视门铃的室外机可输出接收快递通知消息,例如“xx1物品已接收成功”,以便快递员或快递派送机器人确认快递物品已成功投放。
342.在其他实施方式中,接收快递通知消息还可在终端设备输出,该终端设备包括室内智能音箱或移动智能终端。
343.在一些实施例中,在图13的基础上,s504可包括:
344.终端设备接收可视门铃或者云端服务器发送的接收快递通知消息,并输出接收快递通知消息。
345.其中,当基于视频图像进行视频分析的程序部署于可视门铃或者云端服务器时,可视门铃或者云端服务器可将分析处理之后生成的接收快递通知消息发送至终端设备,并由终端设备输出,以便提示用户有快件物品待接收。
346.示例性地,终端设备可为智能服务系统中的其他室内终端设备,例如智能音箱,还可为用户随身携带的移动终端设备,例如智能手机。
347.需要说明的是,当基于视频图像进行视频分析的程序部署于终端设备时,当终端设备对视频图像进行分析处理之后,可直接输出接收快递通知消息。
348.在其他实施方式中,接收快递通知消息可在可视门铃本地和终端设备中择一输出,或者均输出,本公开实施例对此不限定。
349.在上述实施方式的基础上,当确定视频图像中包括快递物品后,该方法还可包括对放置于门口的物品进行看护。
350.在一些实施例中,当确定视频图像中包括快递物品后,该方法还可包括:
351.步骤一:根据物品追踪算法对视频图像进行分析,在目标物品移出预设区域后,确定发生物品看护通知事件。
352.其中,物品追踪算法可基于视频图像,对识别到的目标物品进行追踪,可实现对目标物品的基于时间序列的位置的确定,或者实现对目标物品的运动路径的确定,即实现目标物体跟踪。视觉目标物体跟踪的过程可理解为在一个视频帧的后续视频帧中找到在当前视频帧中定义的感兴趣物体(object of interest),即目标物体的过程。
353.其中,当目标物品移出预设区域后,表明目标物品可能被移走而丢失,此时确定发生物品看护通知事件,以便后续提示用户目标物品被移走,从而有利于实现目标物品的智能看护,改善其易丢失的问题。
354.步骤二:输出物品看护通知消息。
355.在前述步骤一的基础上,当确定发生物品看护通知事件时,表明物品可能丢失,此时输出物品看护通知消息,以及时提醒用户或其他被关联的人员及时查看物品状态,从而有利于降低物品丢失的概率,提高物品的安全性。
356.在上述实施方式中,预设区域为图像采集装置的全部或者部分视场区域。
357.其中,预设区域为图像采集装置的全部视场区域时,目标物品被移出图像采集装置的视场区域后,确定目标物品被移走,即确定发生物品看护通知事件。此时,预设区域的范围相对较大,可避免由于目标物品由于其他原因产生的较小位移而引起的误判。
358.或者,预设区域为图像采集装置的部分视场区域,可选为图像采集装置的视场区域中靠近门体的部分视场区域,该部分区域还可称为指定区域。当目标物品不在图像采集装置的视场区域的指定区域后,确定目标物品被移走,即确定发生物品看护通知事件。此时,预设与取的范围相对较小,当目标物品被移出该预设区域后,目标物品仍可能在图像采集装置的视场区域的外围区域内,此时仍可实现对目标物品的监控,从而提高目标物品的安全性。
359.在上述实施方式的基础上,对视频图像基于物品追踪算法进行分析,可在可视门铃本地进行,也可在云端服务器或终端设备中进行。
360.在一些实施例中,根据物品追踪算法对视频图像进行分析可包括:
361.在可视门铃本地根据物品追踪算法对视频图像进行分析。
362.如此,可减少视频图像传输到他处耗用的时间,从而有利于加快可视门铃的响应速度。
363.在一些实施例中,根据物品追踪算法对视频图像进行分析可包括:
364.将视频图像发送给云端服务器或终端设备,以由云端服务器或者终端设备根据物品追踪算法对视频图像进行分析。
365.如此,可将根据物品追踪算法对视频图像进行分析的相关程序部署于云端服务器或终端设备,而无需在可视门铃本地部署,从而有利于简化可视门铃本地端的结构,降低其成本。
366.在上述实施方式的基础上,对物品看护通知消息的输出,可在可视门铃本地进行,也可在云端服务器或终端设备中进行。
367.在一些实施例中,输出物品看护通知消息可包括:
368.在可视门铃本地输出物品看护通知消息。
369.其中,物品看护通知消息可在可视门铃本地输出。示例性地,当可视门铃本地包括室内机和室外机时,可利用室内机输出物品看护通知消息,以对室内人员进行物品看护通知,防止物品丢失;或者可利用室外机输出物品看护通知消息,以吓退移动物品的人员或小动物(例如小狗)等其他生物,本公开实施例对此不限定。
370.需要说明的是,当室内机输出物品看护通知消息时,该物品看护通知消息可为警示音,例如响铃,或者可为预先设置好的音频,例如“放下xx1物品”等,本公开实施例对此不
限定。
371.在一些实施例中,输出物品看护通知消息可包括:
372.终端设备接收可视门铃或者云端服务器发送的物品看护通知消息,并输出物品看护通知消息。
373.其中,当视频分析的程序部署于可视门铃或者云端服务器时,可视门铃或者云端服务器可将分析处理之后生成的物品看护通知消息发送至终端设备,并由终端设备输出,以便提示用户物品被移走了。
374.示例性地,终端设备可为智能服务系统中的其他室内终端设备,例如智能音箱,还可为用户随身携带的移动终端设备,例如智能手机。
375.需要说明的是,当进行视频分析的程序部署于终端设备时,当终端设备对视频图像进行分析处理之后,可直接输出物品看护通知消息。
376.在其他实施方式中,物品看护通知消息可在可视门铃本地和终端设备中择一输出,或者均输出,本公开实施例对此不限定。
377.本公开实施例提供的基于可视门铃的物品收取方法,可获取基于可视门铃的图像采集装置采集的视频图像;根据编码识别算法对视频图像进行分析,以获得物品编码对应的快递物品的快递信息;基于快递信息生成接收快递通知消息,并输出接收快递通知消息。由此,可基于可视门铃实现物品的智能收取,从而能提高物品收取的智能化程度和便捷性。进一步地,可根据物品追踪算法对视频图像进行分析,在目标物品移出预设区域后,确定发生物品看护通知事件,从而实现物品智能看护。其中,视频分析可在可视门铃本地、终端设备或智能服务器中的至少一处执行,接收快递通知消息可在可视门铃本地或终端设备输出,物品看护通知消息可在可视门铃本地或终端设备输出;其中,终端设备包括智能手机、室内智能音箱或者智能服务系统中的其他终端设备。
378.在上述实施方式的基础上,本公开实施例还提供一种可视门铃的信息处理装置,可用于执行上述实施方式中的可视门铃的信息处理方法。因此,该可视门铃的信息处理装置也具有其可执行的可视门铃的信息处理方法所具有的有益效果,相同之处可参照上文理解,在此不赘述。
379.在一些实施例中,图15是本公开实施例提供的一种可视门铃的信息处理装置的结构示意图。参照图15,该可视门铃的信息处理装置600可包括:视频图像获取模块601,用于获取图像采集装置采集的视频图像;图像采集装置采用上述实施方式提供的任一种可视门铃的图像采集装置,视频图像包括视场放大镜扩大视场区域后的视频图像;视频通知事件判断模块602,用于基于视频图像进行视频分析,以确定是否发生视频通知事件;事件通知操作触发模块603,用于在确定发生视频通知事件时,触发事件通知操作。
380.本公开实施例提供的可视门铃的信号处理装置600中,视频图像获取模块601可获取图像采集装置采集的视频图像;视频通知事件判断模块602可基于视频图像进行视频分析,以确定是否发生视频通知事件;事件通知操作触发模块603可在确定发生视频通知事件时,触发事件通知操作。其中,图像采集装置可采集较大垂直视野范围内的图像,由此可在对视频图像进行视频分析的基础上,实现对儿童到家、有客来访、陌生人告警、物品到达以及物品被移走等事件的通知操作,从而可提高可视门铃的智能化程度,有利于实现将可视门铃作为“看家助理”。
381.在一些实施例中,该装置还可包括:图像采集装置启动模块,用于通过人体检测传感器检测到人体时,启动可视门铃的图像采集装置。
382.如此,使得图像采集装置的启动时机可控,一方面,图像采集装置不是一直处于工作状态,从而有利于降低其能耗,延长其使用时长;另一方面,图像采集装置在人体检测传感器检测到人体时启动,可实现对经过或逗留在门口的人员的有效监控,而不会采集大量的没有人体的视频图像,从而降低了视频图像分析过程中的计算量,提高了视频图像的分析效率,有利于提高可视门铃以及包括该可视门铃的智能服务系统的响应速度。
383.在一些实施例中,视频通知事件包括目标人物到达通知事件、陌生人告警事件或者物品看护通知事件。
384.基于此,视频事件通知判断模块为实现应用于不同的场景,可对应包括不同的子模块。
385.在一些实施例中,视频通知事件判断模块可包括:人脸识别子模块,用于基于人脸识别算法和预设目标人物的脸部图像,对视频图像进行人脸识别;第一事件确定子模块,用于在匹配到与预设目标人物的脸部图像一致的脸部图像时,确定发生目标人物到达通知事件;或者,第二事件确定子模块,用于在匹配到与预设目标人物的脸部图像不一致的脸部图像时,确定发生陌生人告警事件。
386.由此,可基于对预先设定的目标人物或者陌生人的检测识别,实现对视频图像中人物的判定,可应用于儿童到家、有客来访或陌生人逗留场景中,进行信息提示。
387.在一些实施例中,第一事件确定子模块可包括:运动分析单元,用于在匹配到与预设目标人物的脸部图像一致的脸部图像时,基于视频图像进行运动分析;事件确定单元,用于在运动分析结果为目标人物进入设定位置时,确定发生目标人物到达通知事件。
388.如此,可基于目标人物的动向和位置,以及结合设定位置,对是否发生目标人物到达通知事件进行判断,从而提高判断准确性,有利于提高该装置以及包括该装置的智能服务系统的准确性。
389.在一些实施例中,视频通知事件判断模块还可包括:第三事件确定子模块,用于根据物品追踪算法对视频图像进行分析,在目标物品移出预设区域后,确定发生物品看护通知事件。
390.如此,可基于对目标物品的检测、识别和追踪,实现对目标物品的智能看护,提高物品安全性。
391.在一些实施例中,当目标物品为快递物品,该装置还可包括:快递信息获取模块,用于基于编码识别算法对包括物品编码的视频图像进行分析,以获得快递物品的快递信息。
392.如此,可基于视频图像中的物品编码获得快递信息,以实现对目标物品的识别。
393.上述仅以可视门铃的信号处理方法在同一个信号处理装置中执行为例,对信号处理装置进行了示例性说明。在其他实施方式中,上述可视门铃的信号处理方法还可在多个不同的装置中交互执行,本公开实施例还提供了一种可视门铃系统。
394.本公开实施例提供的可视门铃系统可用于执行上述实施方式中的可视门铃的信号处理方法。因此,该可视门铃系统也具有其可执行的可视门铃的信号处理方法所具有的有益效果,相同之处可参照上文理解,在此不赘述。
395.在一些实施例中,图16是本公开实施例提供的一种可视门铃系统的结构示意图。参照图16,该可视门铃系统610包括:可视门铃的图像采集装置611,以及信息处理装置612。
396.其中,可视门铃的图像采集装置611可采用上述实施方式中的任一种图像采集装置;该图像采集装置用于采集视频图像,视频图像包括视场放大镜扩大视场区域后的视频图像;信息处理装置612用于基于视频图像进行视频分析,以确定是否发生视频通知事件;并在确定发生视频通知事件时,触发事件通知操作。由此可在对视频图像进行视频分析的基础上,实现对儿童到家、有客来访、陌生人告警、物品到达以及物品被移走等事件的通知操作,从而可提高可视门铃的智能化程度,有利于实现将可视门铃作为“看家助理”。
397.在一些实施例中,该系统还可包括:人体检测传感器,用于在检测到人体时,启动可视门铃的图像采集装置。
398.如此,使得图像采集装置的启动时机可控,一方面,图像采集装置不是一直处于工作状态,从而有利于降低其能耗,延长其使用时长;另一方面,图像采集装置在人体检测传感器检测到人体时启动,可实现对经过或逗留在门口的人员的有效监控,而不会采集大量的没有人体的视频图像,从而降低了视频图像分析过程中的计算量,提高了视频图像的分析效率,有利于提高可视门铃以及包括该可视门铃的智能服务系统的响应速度。
399.在一些实施例中,视频通知事件包括目标人物到达通知事件、陌生人告警事件或者物品看护通知事件。
400.基于此,信息处理装置为实现应用于不同的场景,可部署对应的软件程序,以实现各场景下的智能服务。
401.在一些实施例中,当该可视门铃系统应用于目标人物到达场景或者陌生人告警场景时,该系统还可包括:第一终端设备,用于上传预设目标人物的脸部图像;信息处理装置还用于基于人脸识别算法和预设目标人物的脸部图像,对视频图像进行人脸识别在匹配到与预设目标人物的脸部图像一致的脸部图像时,确定发生目标人物到达通知事件;或者,在匹配到与预设目标人物的脸部图像不一致的脸部图像时,确定发生陌生人告警事件。
402.如此,可利用第一终端设备预设目标人物,信息处理装置基于预设的目标人物将视频图像中检测到的人物脸部图像确定为目标人物或陌生人,从而实现对目标人物到达通知事件和陌生人告警事件的确定。由此,用户可根据需求上传预设目标人物的脸部图像,可满足不同用户的个性化需求。
403.在一些实施例中,第一终端设备包括智能手机或智能音箱。
404.其中,智能手机和智能音箱都可包括图像获取功能,以获取预设目标人物的脸部图像,并上传至信息处理装置。如此,可实现可视门铃系统中,不同终端设备之间的协同工作,在实现多种功能的同时,可将其中的各功能及其对应执行的步骤分散设置,从而简化各终端设备的结构,降低其各自的成本,且运用灵活。
405.在一些实施例中,该装置还包括可视门铃和/或第二终端设备;信息处理装置还用于基于编码识别算法对包括物品编码的视频图像进行分析,以获得快递物品的快递信息;以及根据物品追踪算法对视频图像进行分析,在快递物品移出预设区域后,确定发生物品看护通知事件;可视门铃用于输出快递成功识别提示信息;第二终端设备用于输出接收快递通知消息。
406.如此,可基于编码识别算法和物品追踪算法对视频图像中的快递物品或其他目标
物品进行识别和定位追踪,当目标物品识别成功之后,可视门铃可输出快递成功识别提示信息,以提示快递员或快递机器人该快递物品已识别成功,其可将该快递物品安置于预设区域内;和/或,第二终端设备可输出接收快递通知消息,以提示用户或者其他第二终端设备所在空间内的人员接收快递或快递成功接收,从而实现快递物品或其他目标物品的智能接收和看护。
407.在一些实施例中,第二终端设备包括智能手机、智能音箱或可视门铃中的至少一个。
408.如此,可利用智能手机向其携带者,例如用户提示接收快递通知消息;可利用智能音箱向室内人员提示接收快递通知消息,可利用可视门铃向室内人员提示接收快递通知消息。
409.需要说明的是,上述三种消息提示方式可择一执行,或则二执行,或均执行,本公开实施例对此不限定。
410.在一些实施例中,该系统还可包括:第三终端设备,用于在视频通知事件包括目标人物到达通知事件时,输出目标人物到达提示消息;第三终端设备包括智能手机、智能音箱或可视门铃中的至少一个;
411.如此,可利用智能手机、智能音箱或可视门铃中的至少一个,输出目标人物到达提示消息,从而实现目标人物到达的智能提醒。
412.在一些实施例中,该系统还可包括:第四终端设备,用于在视频通知事件包括陌生人告警事件时,输出陌生人告警消息;第四终端设备包括智能手机、智能音箱或可视门铃中的至少一个。
413.如此,可利用智能手机、智能音箱或可视门铃中的至少一个,输出陌生人告警消息,从而实现陌生人逗留的智能告警。
414.在一些实施例中,该系统还可包括:第五终端设备,用于在视频通知事件包括物品看护通知事件时,输出物品看护通知消息;第五终端设备包括智能手机、智能音箱或可视门铃中的至少一个。
415.如此,可利用智能手机、智能音箱或可视门铃中的至少一个,输出物品看护通知消息,从而实现门口物品的智能看护。
416.在上述实施方式中,信号处理装置设置在可视门铃本地、云端服务器或第六终端设备中的至少一个中。
417.其中,信号处理装置可整体设置在可视门铃本地、云端服务器或第六终端设备中;或者,信号处理装置中的各功能模块可分散设置在可视门铃本地、云端服务器或第六终端设备中的至少一个中。当信号处理装置中的各功能模块部署于不同处时,信号处理过程中还包括信号交互过程,可参见上文理解,此处不赘述。
418.在一些实施例中,当该可视门铃系统该应用于写字楼场景或者商铺场景中时,可视门铃的图像采集装置可采集视频图像,并将视频图像发送至信息处理装置;信息处理装置对视频图像进行分析,并在确定发生大客户来访事件、新客户到访事件、老客户到访事件、老顾客来商铺事件、新客户来商铺事件、商品被移走事件或商品待签收事件时,触发事件通知操作。
419.其中,图像处理装置可设置于可视门铃本地,或者设置于云端服务器或者设置于
该门铃系统中的任一终端,例如发出事件通知操作的终端中,本公开实施例对此不限定。事件通知操作可由可视门铃本地发出,或由可视门铃系统中的任一终端发出;即可实现现场发出警报提示,或者由终端安装的客户端进行警报提示。
420.示例性地,当该可视门铃系统应用于写字楼的公司管理时,可在手机app中接收到并输出大客户来访事件的通知消息;例如用户可在手机app中接收到“客户xxx已经进入楼门口,预计5分钟之后到达我司办公室门口,请提前做好接待准备”的消息。室内音箱或可视门铃自带的室内机可被触发,发出语音提示信息;例如,室内音箱或可视门铃自带的室内机会接收事件通知并播报“客户xxx已经进入楼门口,预计5分钟之后到达我司办公室门口,请提前做好接待准备”的音频提示信息。
421.或者,当该可视门铃系统应用于商铺相关的场景中时,可实现对商品的签收提示和看管提示。例如,当商品被送到门口时,可在手机app中接收并输出商品到达通知消息;此时用户可在手机app中接收到“xxxx物品已送到门口,请安排及时接收”的消息。室内音箱或可视门铃自带的室内机可被触发,发出语音提示信息;例如,室内音箱或可视门铃自带的室内机会接收事件通知并播报“xxxx物品已送到门口,请安排及时接收”的音频提示信息。物品被被接收之后,若仍处于图像采集装置的视场范围内,则可启动可视门铃系统的物品看护功能。当目标商品被移出预设区域时,可在手机app中接收并输出物品看护通知消息,例如用户可在手机app中接收到“xxxx物品从门口被移走了”的消息。室内音箱或可视门铃自带的室内机可被触发,发出语音提示信息;例如,室内音箱或可视门铃自带的室内机会接收事件通知并播报“xxxx物品从门口被移走了”的音频提示信息。
422.与上文中同理的,当视频图像的视频分析与事件通知操作均在可视门铃本地执行,或者均在同一终端执行时,过程中的信号交互较少,事件响应速度较快;当视频图像的视频分析与事件通知操作时,涉及多端之间的信号交互过程,可参照上文理解,此处不赘述。
423.在上述实施方式的基础上,本公开实施例还提供一种基于可视门铃的物品收取装置,该装置可用于执行上述实施方式中的基于可视门铃的物品收取方法。因此,该基于可视门铃的物品收取装置也具有其可执行的物品收取方法所具有的有益效果,相同之处可参照上文的解释说明进行理解,在此不赘述。
424.在一些实施例中,图17是本公开实施例提供的一种基于可视门铃的物品收取装置。参照图17,该物品收取装置700可包括:视频图像获取模块701,用于获取基于可视门铃的图像采集装置采集的视频图像,视频图像包括物品编码;视频图像分析模块702,用于根据编码识别算法对视频图像进行分析,以获得物品编码对应的快递物品的快递信息;接收快递通知消息生成模块703,用于基于快递信息生成接收快递通知消息;接收快递通知消息输出模块704,用于输出接收快递通知消息。
425.本公开实施例提供的基于门铃的物品收取装置700中,视频图像获取模块701可获取基于可视门铃的图像采集装置采集的视频图像,视频图像包括物品编码;视频图像分析模块702可根据编码识别算法对视频图像进行分析,以获得物品编码对应的快递物品的快递信息;接收快递通知消息生成模块703可基于快递信息生成接收快递通知消息;接收快递通知消息输出模块704可输出接收快递通知消息。由此,可基于可视门铃实现物品的智能收取,从而能提高物品收取的智能化程度和便捷性。
426.在一些实施例中,该物品收取装置还可包括:物品看护通知事件确定模块,用于根据物品追踪算法对视频图像进行分析,在目标物品移出预设区域后,确定发生物品看护通知事件;物品看护通知消息输出模块,用于输出物品看护通知消息。
427.如此,可实现对收取的物品的智能看护,有利于降低物品丢失的可能性,提高物品的安全性。
428.上述仅以基于可视门铃的物品收取方法在同一个物品收取装置中执行为例,对物品收取装置进行了示例性说明。在其他实施方式中,上述基于可视门铃的物品收取方法还可在多个不同的装置中交互执行,本公开实施例还提供了一种基于可视门铃的物品收取系统。
429.本公开实施例提供的基于可视门铃的物品收取系统可用于执行上述实施方式中的基于可视门铃的物品收取方法。因此,该基于可视门铃的物品收取系统也具有其可执行的基于可视门铃的物品收取方法所具有的有益效果,相同之处可参照上文理解,在此不赘述。
430.在一些实施例中,图18是本公开实施例提供的一种基于可视门铃的物品收取系统的结构示意图。参照图18,该基于可视门铃的物品收取系统710可包括:可视门铃的图像采集装置711和信息处理装置712。
431.其中,信息处理装置712包括:视频图像获取模块7121,用于获取基于可视门铃的图像采集装置采集的视频图像,视频图像包括物品编码;视频图像分析模块7122,用于根据编码识别算法对视频图像进行分析,以获得物品编码对应的快递物品的快递信息;接收快递通知消息生成模块7123,用于基于快递信息生成接收快递通知消息;接收快递通知消息输出模块7124,用于输出接收快递通知消息。
432.由此,该基于可视门铃的物品收取系统,可实现物品的智能收取,从而能提高物品收取的智能化程度和便捷性。
433.在一些实施例中,视频图像分析模块设置在可视门铃本地,或者,视频图像分析模块设置在云端服务器或终端设备中。
434.如此,可在可视门铃本地部署视频分析程序,有利于减少信号交互耗用的时间,提高该可视门铃以及基于该可视门铃的物品收取系统的响应速度;或者,可在云端服务器或终端设备中部署视频分析程序,有利于简化可视门铃的硬件结构和信号处理步骤,有利于降低可视门铃的成本。
435.在一些实施例中,接收快递通知消息输出模块设置在可视门铃本地,或者接收快递通知消息输出模块设置在终端设备中。
436.如此,可将接收快递通知消息在可视门铃本地输出;或者,将接收快递通知消息传输至终端设备中,并由终端设备输出。
437.在一些实施例中,终端设备包括智能手机或者智能音箱。
438.如此,可利用智能手机实现对用户的接收快递的通知,或者利用智能音箱实现对室内人员的接收快递的通知。
439.在一些实施例中,信息处理装置还可包括:物品看护通知事件确定模块,用于根据物品追踪算法对视频图像进行分析,在目标物品移出预设区域后,确定发生物品看护通知事件;物品看护通知消息输出模块,用于输出物品看护通知消息。
440.如此,可基于物品追踪算法,实现对物品的智能看护,提高物品看护的智能性和便捷性。
441.在一些实施例中,物品看护通知事件确定模块设置在可视门铃本地,或者物品看护通知事件确定模块设置在云端服务器或终端设备中。
442.如此,可在可视门铃本地设置物品看护通知时间确定模块,提高物品看护通知事件的响应速度;或者可在云端服务器或者终端设备中设置物品看护通知事件确定模块,以简化可视门铃的硬件结构和软件程序,实现物品收取系统中各终端设备的协同控制。
443.在一些实施例中,物品看护通知消息输出模块设置在可视门铃本地,或者物品看护通知消息输出模块设置在云端服务器或终端设备中。
444.如此,可将物品看护通知消息在可视门铃本地输出;或者,将物品看护通知消息传输至终端设备中,并由终端设备输出。
445.本公开实施例提供的基于可视门铃的物品看护系统,基于可视门铃与信息处理装置协同控制,可实现物品的智能收取和看护,从而能提高物品收取的智能化程度和便捷性,以及提高物品看护的智能性和便捷性。
446.在上述实施方式的基础上,本公开实施例还提供了一种计算机存储介质,其上存储有计算机程序,计算机程序在被处理器执行时实现上述任一的可视门铃的信息处理方法,或者实现上述任一的基于可视门铃的物品收取方法。
447.通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本公开实施例的上述方法可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本公开实施例的上述方法相关技术方案的本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开实施例的各个方法。
448.在上述实施方式的基础上,本公开实施例还提供了一种电子设备。示例性地,图19是本公开实施例提供的一种电子设备的结构示意图。参照图19,该电子设备包括:
449.一个或多个处理器801,图19中以一个处理器801为例;
450.存储器802;
451.该电子设备还可以包括:输入装置803和输出装置804。
452.该电子设备中的处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接,图19中示例性地以通过总线连接为例示出其连接方式。
453.其中,存储器802作为一种非暂态计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本公开实施例中的应用程序的上述任一方法对应的程序指令/模块(例如,附图15所示的视频图像获取模块601、视频通知事件判断模块602和事件通知操作触发模块603;或如附图17所示的视频图像获取模块701、视频图像分析模块702、接收快递通知消息生成模块703及接收快递通知消息输出模块704)。处理器801通过运行存储在存储器802中的软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例的混合动力车辆的驾舱制热控制方法。
454.存储器802可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。
455.此外,存储器802可以包括高速随机存取存储器,还可以包括非暂态性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。
456.在一些实施例中,存储器802可选包括相对于处理器801远程设置的存储器,这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
457.输入装置803可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。
458.输出装置804可包括显示屏等显示设备。
459.示例性地,本公开实施例提供的电子设备可为智能服务系统中的至少任一电子设备,本公开实施例对此不限定。
460.需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
461.以上仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献