基于事件的记录的制作方法

基于事件的记录
1.相关申请
2.本技术要求于2019年9月6日提交的美国临时专利申请no.62/897,233的优先权，其全部内容通过引用并入本文。
技术领域
3.本技术通常涉及电子设备，包括但不限于摄像头和电子辅助设备，其提供感兴趣事件的相关视频剪辑，同时提供增强的功率和带宽节省。


背景技术：

4.流传输设备正变得越来越普遍。随着流传输设备的数量增加，由于增加的流传输需求，带宽限制变得更受关注。例如，配备有安全摄像头和流传输娱乐服务的单户家庭能够容易地最大化由家庭的互联网服务提供商设置的家庭每月带宽分配，特别是如果这些设备每天24小时流传输高清视频数据。
5.除了带宽问题之外，流传输也可能是功率密集的过程。虽然耗电的流传输设备可能会对电费产生负面影响，但是高功率预算也会对设备缩小尺寸并且变得便携的能力产生负面影响。随着电子设备变得更紧凑和可移动，连续支持诸如连续视频流传输的耗电过程变得困难。
6.由连续流传输应用引起的带宽和功率问题的所提出的解决方案涉及更有针对性的流传输方法。然而，通过限制流传输设备可以捕获数据并通过网络传输数据的场景，出现了关于设备功能的各种权衡。例如，安全摄像头可能被设计为最小化记录和流传输以便节省带宽和功率，但是减少摄像头使用会有错过重要的安全相关事件的风险。


技术实现要素：

7.因此，需要具有在用于节省带宽和功率的同时减少对设备功能影响的更有效、准确和直观的方法的流传输系统和/或设备。这样的系统、设备和方法可选地通过在优化设备功能的同时提供目标设备操作的改进方法来补充或替换用于事件识别、分类和/或呈现的常规系统、设备和方法。
8.本文描述的概念包括使用动态公式，该动态公式基于设备的放置、设备的预期用途以及设备随时间学习其周围环境的适应来改变自身。通过实现可调整的参数针对设备的目标操作(例如，事件的目标记录)来使用公式，诸如填充(例如，在检测到感兴趣对象之前和之后记录的时间量)、不活动(例如，在结束事件之前等待的时间量，而不是继续事件以包括后续活动)、最大长度(例如，在设备停止记录之前事件可以持续多长时间)、冷却(例如，对象检测的速率，高于该速率则事件记录停止)和/或对象过滤器和优先级(例如，确定哪些对象可以计数为记录事件的基础)。这些可调节参数基于以下中的一个或多个：(i)设备的位置(例如，室内、室外、哪个房间等)、(ii)设备的目的(例如，什么在设备的视场中，以及用户有兴趣看到什么)，和/或(iii)设备的类型(例如，有线或电池供电的)。
9.在一个方面，公开了一种方法，包括：在具有图像传感器、一个或多个处理器和存储由一个或多个处理器执行的指令的存储器的电子设备处，获得电子设备的事件记录简档，其中，事件记录简档基于电子设备的配置数据，配置数据包括位置类型或电源类型；从图像传感器获得场景的多个图像并将其存储在电子设备上；基于场景的所述多个图像中的一或多个图像来检测触发事件；响应于检测到触发事件，识别场景的所述多个图像中的所述一个或多个图像中的感兴趣对象；根据包括感兴趣对象的所存储的图像来创建事件剪辑，其中，创建事件剪辑包括基于事件记录简档来配置剪辑长度；以及提供事件剪辑以供显示。
10.在一些实施方式中，配置剪辑长度包括设置填充值、不活动阈值和/或最大事件长度。
11.在一些实施方式中，配置剪辑长度包括选择填充值；该填充值对应于在包括所检测到的感兴趣对象的所述多个图像中的所述一个或多个图像之前的所获得的图像的数量；以及创建事件包括将所述数量的图像添加到包括所检测到的感兴趣对象的多个图像。
12.在一些实施方式中，配置剪辑长度包括选择不活动阈值；该不活动阈值对应于其中不再检测到所述感兴趣对象的所获得的图像的数量；以及创建事件包括将所述数量的图像添加到包括所检测到的感兴趣对象的多个图像。
13.在一些实施方式中，配置剪辑长度包括选择最大事件长度；最大事件长度对应于事件的图像的最大数量；以及创建事件包括在达到图像的最大数量时结束事件。
14.在一些实施方式中，配置数据包括对应于环境的特定区域的位置类型；以及基于事件记录简档来配置事件长度包括基于电子设备所处的环境的特定区域来选择填充值、不活动阈值和/或最大事件长度。
15.在一些实施方式中，所述配置数据是电源类型；以及基于事件记录简档来配置事件长度包括基于电子设备的电源类型是有线还是电池供电来选择填充值、不活动阈值和/或最大事件长度。
16.在一些实施方式中，配置数据进一步包括对象优先级数据；以及基于事件记录简档来配置事件长度包括：根据对象优先级数据基于所识别的感兴趣对象的优先级来选择填充值、不活动阈值和/或最大事件长度。
17.在一些实施方式中，配置剪辑长度包括设置冷却值，该冷却值对应于在阈值时间量内发生两个或多个对象检测之后在连续对象检测之间等待的时间量。
18.在一些实施方式中，配置剪辑长度包括根据与事件记录简档相关联的值的组合来设置填充值、不活动阈值和最大事件长度。
19.在一些实施方式中，检测触发事件包括基于对场景的所述多个图像中的两个或多个图像的分析来检测场景中的运动。
20.在一些实施方式中，检测触发事件包括基于对场景的多个图像中的一个或多个图像的分析来检测场景中的感兴趣对象。
21.在一些实施方式中，该方法进一步包括将事件剪辑与先前创建的事件剪辑组合以形成组合的事件剪辑；以及其中，提供事件剪辑以供显示包括提供组合的事件剪辑以供显示。
22.在另一方面，一种电子设备包括图像传感器、一个或多个处理器；以及存储指令的
存储器，所述指令在由一个或多个处理器执行时，使一个或多个处理器执行上文所述的操作的任何组合。
23.在另一方面，一种存储指令的非暂时性计算机可读存储介质，所述指令在由具有图像传感器和一个或多个处理器的电子设备执行时，使得一个或多个处理器执行上文所述的操作的任何组合。
附图说明
24.为了更好地理解各种所描述的实施方式，应结合以下附图参考以下实施方式的描述，在所述附图中，相同的附图标记在整个附图中指代相应的部件。
25.图1a是根据一些实施方式的示例环境。
26.图1b是图示根据一些实施方式的代表性网络架构的框图。
27.图2是根据一些实施方式的示例操作环境的框图。
28.图3是图示根据一些实施方式的示例电子设备的框图。
29.图4是图示根据一些实施方式的代表性服务器系统的框图。
30.图5是图示根据一些实施方式的示例事件公式的框图。
31.图6是图示根据一些实施方式的代表性客户端设备的框图。
32.图7是图示根据一些实施方式的示例事件处理系统的框图。
33.图8是图示根据一些实施方式的示例事件的图。
34.图9是图示根据一些实施方式的示例组合事件的图。
35.图10是根据一些实施方式的用于显示事件的示例用户界面。
36.图11是根据一些实施方式的用于获得配置数据的示例用户界面。
37.图12是图示根据一些实施方式的示例事件处理过程的流程图。
38.贯穿附图的若干视图，相同的附图标记指代相应的部件。
具体实施方式
39.现在将详细参考实施方式，其示例在附图中图示。在下面的详细描述中，阐述许多具体细节以便提供对所描述的各种实施方式的透彻理解。然而，对于本领域的普通技术人员而言显而易见的是，可以在没有这些具体细节的情况下实践各种所描述的实施方式。在其他情况下，未详细地描述公知的方法、过程、组件、电路和网络，以免不必要地使实施方式的各方面模糊。
40.具有摄像头的设备(诸如安全摄像头、门铃摄像头和集成有摄像头的辅助设备)可以被用于从安装或以其他方式定位设备的场景(有时被称为视场)收集视觉输入。在一些实施方式中，设备记录视频数据的剪辑(在本文中被称作事件)并且提供剪辑以供环境的住户经由服务器系统、集线器或其它联网设备观看。在一些实施方式中，基于设备的若干方面(包括但不限于设备的位置、目的和电源类型)来修改用于确定要记录哪些事件、要提供哪些事件以供观看以及如何组成事件视频剪辑的参数。
41.图1a是根据一些实施方式的示例性环境100。术语“环境”可以是指包括一个或多个联网或互连的电子设备(例如，执行一个或多个支持功能的设备，诸如安全摄像头、语音助理设备等)的任何空间。示例环境包括家庭(例如，单户住宅、套楼公寓、联排别墅、多单元
公寓楼)、酒店、零售商店、办公楼、工业建筑、庭院、公园，并且更一般地包括任何生活空间或工作空间。环境在本文中有时可以被称为家庭环境、家庭或环境。
42.另外，术语“用户”、“客户”、“安装者”、“房主”、“住户”、“客人”、“租户”、“房东”、“修理人员”等可以被用来是指在本文描述的一些特定情况的上下文中进行动作的一个或多个人。这些参考不限制关于正在执行这样的动作或以其他方式存在于环境内或附近的一个或多个人的本教导的范围。因此，例如，术语“用户”、“客户”、“购买者”、“安装者”、“订户”和“房主”通常可以是指在单户住宅的情况下做出购买决定、购买设备(例如，联网的电子设备)、安装设备、配置设备和/或使用设备的同一人。然而，在诸如房东-租户环境的其他场景中，客户可以是关于购买设备的房东，安装者可以是本地公寓主管，第一用户可以是租户，以及第二用户可以再次是关于远程控制功能的房东。重要的是，虽然执行动作的人的身份可能与由一个或多个实施方式提供的特定优点密切相关，但是这样的身份不应当在以下描述中被解释为必然将本教导的范围限制于具有那些特定身份的那些特定个体。
43.环境100包括具有各种集成设备(在本文中也被称为“连接”、“联网”、“互连”或“智能”设备)的结构150(例如，房屋、办公楼、车库或移动住宅)。所描绘的结构150包括经由墙壁154至少部分地彼此分离的多个房间152。墙壁154可以包括内壁或外壁。每个房间可以进一步包括地板156和天花板158。联网设备也可以集成到不包括整个结构150的环境100中，诸如公寓、共管公寓或办公空间。在一些实施方式中，设备包括以下中的一个或多个：移动设备104(例如，平板计算机、膝上型计算机、移动电话、智能手机等)、显示设备106、媒体播放或流传输设备108、恒温器122、家庭保护设备124(例如，烟雾、火灾和二氧化碳检测器)、家庭安全设备(例如，运动检测器、门窗传感器和警报器)，包括连接的门铃/摄像头126、连接的锁具128、连接的警报系统130和摄像头132、连接的墙壁开关应答器136、连接的电器138、wifi通信设备160(例如，集线器、路由器、扩展器)、连接的家庭清洁设备168(例如，吸尘器或地板清洁器)、通信和控制集线器180，和/或电子辅助设备190(在本文中也被称为语音辅助设备和显示辅助设备)。
44.一个或多个媒体设备被布置在环境100中，以向用户提供对本地存储或从远程内容源(例如，(多个)内容主机114)流传输的媒体内容的访问。在一些实施方式中，媒体设备包括直接向观众输出/显示/播放媒体内容的媒体输出设备106，以及将通过一个或多个网络接收的媒体内容流传输到媒体输出设备106的投射设备108。媒体输出设备106的示例包括但不限于电视(tv)显示设备、音乐播放器和计算机监视器。投射设备108的示例包括但不限于媒体流传输盒、投射设备(例如，google chromecast设备)、机顶盒(stb)、dvd播放器和tv盒。
45.在示例性环境100中，媒体输出设备106被布置在一个以上的位置中，并且每个媒体输出设备106耦合到相应的投射设备108或者包括嵌入式投射单元。媒体输出设备106-1包括硬布线到dvd播放器或机顶盒108-1的tv显示器。媒体输出设备106-3包括联网的tv设备，其集成嵌入式投射单元来流传输媒体内容以显示给其观众。媒体输出设备106-2包括耦合到联网的tv盒108-1(例如，google tv或apple tv产品)的常规tv显示器，并且这样的tv盒108-2流传输从媒体内容主机服务器114接收的媒体内容，并且提供对互联网的访问以在媒体输出设备106-2上显示基于互联网的内容。
46.除了媒体设备106和108之外，一个或多个电子辅助设备190被布置在环境100中。
电子辅助设备190收集用于发起电子辅助设备190和/或媒体设备106和108的各种媒体播放功能的音频输入。在一些实施方式中，电子辅助设备190被配置为提供本地存储或从远程内容源流传输的媒体内容。在一些实施方式中，电子辅助设备190是语音激活的并且被布置在媒体设备附近，例如，被布置在与投射设备108和媒体输出设备106相同的房间中。可替代地，在一些实施方式中，语音激活的电子辅助设备(例如，190-1或190-3)被布置在具有一个或多个设备但不具有任何媒体设备的房间中。可替代地，在一些实施方式中，语音激活的电子辅助设备190被布置在没有联网电子设备的位置中。这允许电子辅助设备190与媒体设备通信并且将正在一个设备上显示的内容共享到另一设备(例如，从设备190-1共享到设备190-2和/或媒体设备108)。
47.语音激活的电子辅助设备190包括至少一个麦克风、扬声器、处理器和存储用于由处理器执行的至少一个程序的存储器。扬声器被配置为允许电子辅助设备190递送语音消息(例如，与正在呈现的媒体内容项相关的消息或作为用户与电子辅助设备190之间的对话的一部分的消息)。在一些实施例中，响应于用户查询，电子辅助设备190通过扬声器向用户提供可听信息。作为语音消息的替代方式，还可以使用视觉信号来向电子辅助设备190的用户提供关于音频输入处理的状态的反馈，诸如在设备上显示的视觉通知。
48.根据一些实施方式，电子设备190是语音激活的接口设备，其被配置为借助于服务器系统140提供语音识别功能。在一些实施方式中，服务器系统140包括云投射服务服务器116和/或语音/显示辅助服务器112。例如，在一些实施方式中，电子设备190包括联网的扬声器，其向用户提供音乐(例如，在电子辅助设备190或显示设备106上显示的视频内容的音频)并允许免视和/或免提访问语音助理服务(例如，google助理)。可选地，电子设备190为语音接口设备，诸如扬声器设备或包括具有触摸检测能力或无触摸检测能力的显示屏的设备。
49.在一些实施方式中，除了麦克风、扬声器、处理器和存储器(例如，190-2和190-4)之外，电子辅助设备190还集成显示屏。显示屏被配置为除了可以经由电子辅助设备190的扬声器广播的音频信息之外还提供附加的视觉信息(例如，媒体内容、与媒体内容有关的信息等)。当用户在附近并且用户的视线未被遮挡时，用户可以直接在电子辅助设备的显示屏上审查附加视觉信息。可选地，附加视觉信息向电子设备190的用户提供关于音频输入处理的状态的反馈。可选地，响应于用户的先前语音输入(例如，用户查询)来提供附加视觉信息，并且可以与由扬声器广播的音频信息相关。在一些实施方式中，语音激活的电子设备190的显示屏是触敏的，并且被配置为检测其表面上的触摸输入(例如，通过触敏显示屏提供的指令)。可替代地，在一些实施方式中，语音激活的电子设备190的显示屏不是触敏屏。
50.当来自电子设备190的语音输入被用于经由投射设备108来控制电子设备190和/或媒体输出设备106时，电子辅助设备190使得能够控制启用投射的媒体设备，而与电子辅助设备190是否具有其自己的显示器无关。在示例中，电子设备190包括具有远场语音访问的扬声器，并且用作用于网络实现助理服务(例如，google助理)的语音接口设备。
51.电子设备190可以被设置在环境100中的任何房间中。在一些实施方式中，当多个电子辅助设备190被分布在多个房间中时，电子辅助设备190成为被同步以接受来自多个房间中的每一个的语音输入的音频接收器。例如，第一电子设备190-1可以接收指向第二电子设备190-2的用户指令(例如，用户指令“ok google，在厨房设备上显示该相册(ok google,
show this photo album on the kitchen device)”)。
52.具体地，在一些实施方式中，电子设备190包括具有连接到语音激活个人助理服务(例如，google助理)的麦克风的联网(例如，通过wi-fi联网的)扬声器。用户可以经由电子辅助设备190的麦克风发出媒体播放请求，并且要求个人助理服务在电子辅助设备190自身上和/或在另一个连接的媒体输出设备106上播放媒体内容。例如，用户可以通过在扬声器附近说“ok google，在我的客厅电视上播放猫视频(ok google,play cat videos on my living room tv)”来发出媒体播放请求。然后，个人助理服务通过使用默认或指定的媒体应用在所请求的设备上播放所请求的媒体内容来满足媒体播放请求。
53.用户还可以经由电子辅助设备190的麦克风做出关于已经在电子辅助设备190上播放和/或正在电子辅助设备190上播放的媒体内容的语音请求。例如，用户可以指示电子辅助设备提供与正在显示的当前媒体内容项相关的信息，诸如媒体内容的所有权信息或主题。在一些实施方式中，当没有遥控器或第二屏幕设备可用于用户时，通过语音在显示设备上发起或停用当前显示的媒体内容的隐藏字幕。因此，用户可以经由免视和免提语音激活的电子辅助设备190打开显示设备上的隐藏字幕，而不涉及具有物理用户界面的任何其他设备。
54.在一些实施方式中，电子辅助设备190包括显示屏和一个或多个内置摄像头。摄像头被配置为捕获图像和/或视频，然后将其传输(例如，流传输)到服务器系统140以在(多个)客户端设备(例如，授权的客户端设备104)上显示。
55.在一些实施方式中，语音激活的电子辅助设备190可以被安装在、与其集成和/或由其支撑的环境100的墙壁154、地板156或天花板158。集成设备包括智能的、多感测的、联网的设备，其在网络中彼此无缝地集成和/或与中央服务器或云计算系统无缝地集成以提供各种有用的功能。在一些实施方式中，设备被设置在环境100的与投射设备108和/或输出设备106相同的位置处，因此，设备位于投射设备108和输出设备106的附近或者相对于投射设备108和输出设备106的已知距离处。
56.在一些实施方式中，环境100包括一个或多个联网的摄像头系统132(在本文中也被称为摄像头132)。在一些实施例中，由摄像头132捕获的内容应用户的请求(例如，“ok google，显示婴儿房监视器(ok google,show the baby room monitor)”的用户指令)和/或根据环境100的设置(例如，在晚上或响应于检测到入侵者显示由特定摄像头132捕获的显示内容的设置)显示在电子辅助设备190上。
57.在一些实施方式中，环境100包括一个或多个联网的恒温器122、危险检测器124、门铃126、门锁128、警报系统130、摄像头系统132、墙壁开关136、电器138(例如，冰箱、炉子、烤箱、电视、洗衣机和/或烘干机)、灯、立体声系统、对讲机系统、车库门开启器、地板风扇、吊扇、壁式空调、池加热器、灌溉系统、安全系统、空间加热器、窗户空调(ac)单元、电动管道通风口等。
58.环境100包括一个或多个其他占用传感器(例如，触摸屏、ir传感器、环境光传感器和运动检测器)。在一些实施方式中，环境100包括射频识别(rfid)读取器(例如，在每个房间152或其一部分中)，其基于位于住户上或嵌入住户中的rfid标签来确定占用。例如，rfid读取器可以被集成到联网的危险检测器中。
59.在一些实施方式中，除了包括感测能力之外，包括在环境100中的一个或多个设备
能够进行数据通信，包括与其他设备、中央服务器、云计算系统和/或联网的其他设备(例如，客户端设备104、投射设备108和/或电子辅助设备190)共享信息。类似地，在一些实施方式中，投射设备108和电子辅助设备190中的每一个还能够进行数据通信，包括与其他投射设备108、电子辅助设备190、中央服务器或云计算系统140和/或联网的其他设备(例如，客户端设备104)共享信息。可以使用某些定制或标准无线网络协议(例如，ieee 802.15.4、wi-fi、zigbee、6lowpan、thread、z-wave、bluetooth smart、isa 100.11a、wirelesshart、miwi等)和/或某些定制或标准有线网络协议(例如，以太网、homeplug等)或任何其他合适的通信协议(包括截至本文档的提交日尚未开发的通信协议)来执行数据通信。
60.在一些实施方式中，投射设备108、电子辅助设备190和包括在环境100中的其他设备用作无线或有线中继器。在一些实施方式中，投射设备108中的第一投射设备经由无线路由器与投射设备108中的第二投射设备或一个或多个其他设备通信。投射设备108、电子辅助设备190和一个或多个其他设备还可以经由与诸如互联网110的网络的连接(例如，网络接口160)彼此通信。通过互联网110，投射设备108、电子辅助设备190和/或一个或多个其他设备可以与服务器系统140(在本文中也称为中央服务器系统和/或云计算系统)通信。可选地，服务器系统140可以与制造商、支持实体或服务提供商相关联，所述制造商、支持实体或服务提供商与包括在环境100中的一个或多个设备和/或显示或以其他方式呈现给用户的媒体内容项相关联。
61.通常，包括在环境100中的任何连接的电子设备可以被配置有用于与环境100中的用户交互的一系列能力。例如，电子设备可以被配置有一个或多个麦克风、一个或多个扬声器和/或语音交互能力，其中，用户经由由麦克风接收的语音输入和由扬声器回放的可听输出与电子设备交互以向用户呈现信息。类似地，电子设备可以被配置有用于接收用户输入的按钮、开关和/或其他触摸响应传感器(诸如触摸屏、触摸面板或电容式或电阻式触摸传感器)，以及用于向用户提供触觉输出的触觉或其他触觉反馈能力。电子设备还可以被配置有视觉输出能力，诸如显示面板和/或一个或多个指示灯，以向用户可视地输出信息，如在名为“用于语音用户界面视觉呈现的led设计语言(led design language for visual affordance of voice user interfaces)”的美国专利申请no.15/592,120中所述，其通过引用并入本文。另外，包括在环境100中的电子设备可以被配置有能够检测电子设备附近的对象和人的移动的移动传感器，诸如(多个)雷达收发器或(多个)pir检测器，如在名为“用于利用基于雷达的接触接口系统、方法和设备(systems,methods,and devices for utilizing radar-based touch interfaces)”的美国专利申请no.15/481,289中所述，其通过引用并入本文。
62.由这些传感器中的任一个接收的输入可以由电子设备和/或由与电子设备通信地耦合的服务器(例如，图1a的服务器系统140)处理。在一些实施方式中，电子设备和/或服务器处理和/或准备对(多个)用户输入的响应，该响应由电子设备经由电子设备的输出能力中的一个或多个输出。在一些实施方式中，电子设备经由电子设备的输出能力中的一个或多个输出信息，该信息不是直接响应于用户输入而是由环境100中的第二电子设备或者由与电子设备通信地耦合的服务器发送到该电子设备的信息。该传送的信息可以是可以通过电子设备的输出能力显示/播放的任何类型。
63.服务器系统140提供数据处理，用于从由包括在环境100中的设备(诸如视频摄像
头132、门铃126(具有嵌入式摄像头)和电子辅助设备190)捕获的数据中监视和促进对事件(例如，运动、音频、安全等)的审查。在一些实施方式中，服务器系统140可以包括处理(例如，由电子辅助设备190、门铃/摄像头126或视频摄像头132收集的)视频和/或音频输入的语音/显示助理服务器112、提供媒体内容以在环境100中包括的一个或多个设备上显示的一个或多个内容主机114、以及基于分布式设备终端创建虚拟用户域的云投射服务服务器116。在一些实施方式中，服务器系统140还包括用于保持虚拟用户环境中的分布式设备终端的记录的设备注册表118。分布式设备终端的示例包括但不限于电子辅助设备190、投射设备108、媒体输出设备106和/或包括在环境100中的任何其他设备。在一些实施方式中，这些分布式设备终端链接到虚拟用户域中的用户账户。在一些实施方式中，这些功能和内容主机中的每一个是服务器系统140内的不同服务器。在一些实施方式中，这些功能的子集被集成在服务器系统140内。
64.在一些实施方式中，网络接口160包括常规网络设备(例如，路由器)。在一些实施方式中，环境100还包括集线器设备180，其直接或经由网络接口160通信地耦合到(多个)网络110。集线器设备180还通信地耦合到包括在环境100中的一个或多个设备。在一些实施方式中，包括在环境100中的联网设备中的一个或多个使用一个或多个无线电通信网络(例如，zigbee、z-wave、insteon、蓝牙、wi-fi和/或其他无线电通信网络)可选地与集线器设备180通信。在一些实施方式中，集线器设备180和与集线器设备180耦合/耦合到集线器设备180的设备可以经由在客户端设备104(例如，移动电话、家用控制器、膝上型计算机、平板计算机、游戏控制台或类似的电子设备)上运行的应用来控制或以其他方式交互。在一些实施方式中，这种应用的用户可以查看集线器设备或耦合的联网设备的状态信息、配置集线器设备以与新引入家庭网络的设备互操作、调试新设备、调整或查看连接设备的设置等。
65.图1b是图示根据一些实施方式的包括网络102的代表性网络架构170的框图。
66.在一些实施方式中，环境100的集成设备包括智能的、多感测的、联网的设备(例如，设备122、124、126、128、130、132、136和/或138)，在本文中统称为设备120，其在网络(例如，图1b的102)中彼此无缝地集成和/或与中央服务器或云计算系统(例如，服务器系统164)无缝地集成以提供各种有用的功能。
67.在一些实施方式中，环境100中的设备120与集线器设备180组合以在网络102中创建网状网络。在一些实施方式中，网络102中的一个或多个设备120操作为控制器。附加地和/或可替代地，集线器设备180操作为控制器。在一些实施方式中，控制器具有比其他设备更多的计算能力。在一些实施方式中，控制器处理输入(例如，来自设备120、电子设备190(图1a)和/或服务器系统164)并且发送命令(例如，向网络102中的设备120)以控制环境100的操作。在一些实施方式中，网络102中(例如，网状网络中)的一些设备120是“发言人”节点(例如，120-1)，而其他设备是“低功率”节点(例如，120-6)。环境100中的一些设备是电池供电的，而其他设备具有常规且可靠的电源，诸如通过连接到环境的墙壁154后面的布线(例如，连接到120伏线电压线)。具有常规和可靠电源的设备被称为“发言人”节点。这些节点通常配备有使用无线协议来促进与环境100中的各种其他设备以及与服务器系统164的双向通信的能力。在一些实施方式中，一个或多个“发言人”节点操作为控制器。电池供电的设备是“低功率”节点。这些低功率节点倾向于小于发言人节点，并且通常仅使用需要非常小功率的无线协议(诸如zigbee、zwave、6lowpan、thread、蓝牙等)进行通信。
68.在一些实施方式中，一些低功率节点不能进行双向通信。这些低功率节点发送消息，但它们不能“监听”。因此，环境100中的其他设备(诸如发言人节点)不能向这些低功率节点发送信息。在一些实施方式中，一些低功率节点仅能够进行有限的双向通信。例如，其他设备能够仅在某个时间段期间与低功率节点通信。
69.如所述，在一些实施方式中，设备用作低功率和发言人节点以在环境100中创建网状网络。在一些实施方式中，环境中的各个低功率节点定期发出关于它们正在感测什么的消息，并且环境中的其他低功率节点除了发出它们自己的消息之外还转发消息，从而使消息在整个网络102的节点之间(即，设备间)传播。在一些实施方式中，能够使用相对高功率的通信协议(诸如ieee 802.11)进行通信的网络102中的发言人节点能够切换到相对低功率的通信协议(诸如ieee802.15.4)以接收这些消息、将消息转换为其他通信协议，并且将转换后的消息发送到其他发言人节点和/或服务器系统164(使用例如相对高功率的通信协议)。因此，使用低功率通信协议的低功率节点能够跨整个网络102以及通过互联网110向服务器系统164发送和/或接收消息。在一些实施方式中，网状网络使得服务器系统164能够定期地从家中的大多数或所有设备接收数据、基于数据进行推断、促进跨网络102内外的设备的状态同步，以及向一个或多个设备发送命令以在环境中执行任务。
70.如所述，发言人节点和一些低功率节点能够“监听”。因此，用户、其他设备和/或服务器系统164可以将控制命令传送到低功率节点。例如，用户可以使用电子设备104(例如，电话或其他移动通信设备)通过互联网向服务器系统164发送命令，然后，服务器系统164将命令中继到网络102中的一个或多个发言人节点。发言人节点可以使用低功率协议将命令传送到整个网络102中的低功率节点，以及传送到没有直接从服务器系统164接收命令的其他发言人节点。
71.在一些实施方式中，作为设备120的示例的夜灯170(图1a)是低功率节点。除了容纳光源之外，夜灯170还容纳占用传感器(诸如超声波或无源ir传感器)和环境光传感器(诸如光敏电阻器或测量房间中的光的单像素传感器)。在一些实施方式中，夜灯170被配置为当其环境光传感器检测到房间黑暗时以及当其占用传感器检测到有人在房间中时激活光源。在其他实施方式中，夜灯170被简单地配置为当其环境光传感器检测到房间黑暗时激活光源。此外，在一些实施方式中，夜灯170包括低功率无线通信芯片(例如，zigbee芯片)，其定期地发出关于房间的占用和房间中的光量的消息，包括与占用传感器检测到房间中人的存在一致的瞬时消息。如上所述，这些消息可以在网络102内在节点之间(即，设备间)无线地(例如，使用网状网络)以及通过互联网110向服务器系统164发送。
72.低功率节点的其他示例包括危险检测器124、摄像头132、门铃126等的电池供电版本。这些电池供电设备通常位于无法获得恒定且可靠的电力的区域中，并且可选地包括任何数量和类型的传感器，诸如(多个)图像传感器、占用/运动传感器、环境光传感器、环境温度传感器、湿度传感器、烟雾/火/热传感器(例如，热辐射传感器)、一氧化碳/二氧化物传感器等。此外，电池供电的设备可以将对应于相应传感器中的每一个的消息发送到其他设备和/或服务器系统164，诸如通过使用如上所述的网状网络。
73.发言人节点的示例包括线路供电门铃126、恒温器122、墙壁开关136和墙壁插头142。这些设备位于可靠的电源附近并且连接到可靠的电源，因此可以包括更多的功耗组件，诸如能够以各种协议进行双向通信的一个或多个通信芯片。
74.在一些实施方式中，环境100包括被配置为以自主方式执行某些家庭任务的服务机器人168(图1a)。
75.如上参考图1a-1b所解释的，在一些实施方式中，图1a-1b的环境100包括直接地或经由网络接口160通信地耦合到网络110的集线器设备180。集线器设备180还使用至少在环境100中可用的无线电通信网络通信地耦合到一个或多个设备。无线电通信网络使用的通信协议包括但不限于zigbee、z-wave、insteon、euocean、thread、osian、蓝牙低功耗等。在一些实施方式中，集线器设备180不仅转换从每个设备接收的数据以满足网络接口160或(多个)网络110的数据格式要求，而且还转换从网络接口160或(多个)网络110接收的信息以满足与目标设备相关联的相应通信协议的数据格式要求。在一些实施方式中，除了数据格式转换之外，集线器设备180还初步地处理从设备接收的数据或从网络接口160或(多个)网络110接收的信息。例如，集线器设备180可以集成来自多个传感器/连接设备(包括相同和/或不同类型的传感器/设备)的输入、对这些输入执行更高级处理-例如，以评估整体环境并协调不同传感器/设备之间的操作-和/或基于输入的收集和编程处理向不同设备提供指令。还应当注意到，在一些实施方式中，网络接口160和集线器设备180被集成到一个网络设备。本文描述的功能代表设备、在(多个)代表性电子设备(诸如电话或其他移动通信设备)上运行的(多个)控制应用、(多个)集线器设备180、以及经由互联网或其他广域网耦合到(多个)集线器设备的(多个)服务器的特定实现。该功能和相关操作的全部或一部分可以由所述系统的任何元件执行，例如，在不同的系统实施方式中，可以全部或部分地在服务器、一个或多个连接的设备和/或控制应用或其不同组合上执行如由本文描述为由集线器设备的实施方式执行的功能的全部或一部分。
76.图2图示了代表性操作环境200，其中，服务器系统164(有时也被称为“集线器设备服务器系统”、“视频服务器系统”或“集线器服务器系统”)提供用于监视和促进由摄像机132捕获的视频流中的运动事件的审查的数据处理。如图2所示，服务器系统164从位于各个物理位置(例如，在家庭、餐馆、商店、街道、停车场和/或图1的环境100内)的视频源222(包括(多个)摄像头132、(多个)门铃126和/或(多个)电子设备190)接收视频数据。每个视频源222可以绑定到一个或多个评论者账户，并且服务器系统164将用于视频源222的视频监视数据提供给与评论者账户相关联的客户端设备204。例如，便携式电子设备104是客户端设备204的示例。
77.在一些实施方式中，提供者服务器系统164或其组件对应于参考图1a-1b描述的服务器系统。在一些实施方式中，服务器系统164是专用视频处理服务器或者包括专用视频处理组件，其独立于由参考图1a-1b描述的服务器系统提供的其他服务向视频源和客户端设备204提供视频处理服务。
78.在一些实施方式中，视频源222中的每一个包括一个或多个摄像机132，其基本上实时地或逐个剪辑地捕获视频并将所捕获的视频发送到服务器系统164(在下文中参考事件和视频剪辑更详细地描述)。在一些实施方式中，视频源222中的一个或多个可选地包括用作一个或多个摄像头132与服务器系统164之间的中介的控制器设备(未示出)。控制器设备从一个或多个摄像头132接收视频数据，可选地，对视频数据执行一些初步处理，并且基本上实时地代表一个或多个摄像头132将视频数据发送到服务器系统164。在一些实施方式中，每个摄像头具有其自己的板载处理能力，以在将经处理的视频数据(连同通过初步处理
获得的元数据)发送到控制器设备和/或服务器系统164之前对所捕获的视频数据执行一些初步处理。贯穿本公开内容，参考作为视频源222的视频摄像头132来描述实施方式。然而，每个实施方式也适用于环境100中的任何其他配备摄像头的设备，诸如包括摄像头的门铃126或助理设备190。
79.如图2所示，根据一些实施方式，客户端设备204中的每一个包括客户端侧模块202。客户端侧模块202通过一个或多个网络110与在服务器系统164上执行的服务器侧模块206通信。客户端侧模块202提供用于事件监视和审查处理以及与服务器侧模块206通信的客户端侧功能。服务器侧模块206为每个驻留在相应的客户端设备204上的任何数量的客户端侧模块202提供用于事件监测和审查处理的服务器侧功能。服务器侧模块206还为任何数量的视频源222(包括任何数量的控制设备和摄像头132)提供用于视频处理和摄像头控制的服务器侧功能。
80.在一些实施方式中，服务器侧模块206包括一个或多个处理器212、视频存储数据库214、设备和账户数据库216、到一个或多个客户端设备218的i/o接口、以及到一个或多个视频源222的i/o接口。到一个或多个客户端的i/o接口促进用于服务器侧模块206的面向客户端的输入和输出处理。数据库216存储用于向视频处理服务器注册的评论者账户的多个简档，其中，相应的用户简档包括用于相应评论者账户的账户凭证，以及链接到相应评论者账户的一个或多个视频源。到一个或多个视频源222的i/o接口促进与一个或多个视频源222(例如，一个或多个摄像头132和相关联的控制器设备的组)的通信。视频存储数据库214存储从视频源222接收的原始视频数据，以及各种类型的元数据，诸如运动事件、事件类别、事件类别模型、事件过滤器和事件掩码，以用在用于每个评审者账户的事件监视和审查的数据处理中。
81.代表性客户端设备204的示例包括但不限于手持式计算机、可穿戴计算设备、个人数字助理(pda)、平板计算机、膝上型计算机、台式计算机、蜂窝电话、移动电话、媒体播放器、导航设备、游戏控制台、电视、遥控器、销售点(pos)终端、车载计算机、电子书阅读器、或者这些数据处理设备或其他数据处理设备中的任何两个或多个的组合。
82.一个或多个网络110的示例包括局域网(lan)和广域网(wan)，诸如互联网。一个或多个网络110可选地使用任何已知的网络协议来实现，包括各种有线或无线协议，诸如以太网、通用串行总线(usb)、firewire、长期演进(lte)、全球移动通信系统(gsm)、增强型数据gsm环境(edge)、码分多址(cdma)、时分多址(tdma)、蓝牙、wi-fi、互联网协议语音(voip)、wi-max或任何其他合适的通信协议。
83.在一些实施方式中，服务器系统164在一个或多个独立数据处理设备或分布式计算机网络上实现。在一些实现方式中，服务器系统164还采用第三方服务提供商(例如，第三方云服务提供商)的各种虚拟设备和/或服务来提供服务器系统164的底层计算资源和/或基础设施资源。在一些实施方式中，服务器系统164包括但不限于手持式计算机、平板计算机、膝上型计算机、台式计算机、或这些数据处理设备中的任何两个或多个的组合、或其他数据处理设备。
84.图2所示的服务器-客户端环境200包括客户端侧部分(例如，客户端侧模块202)和服务器侧部分(例如，服务器侧模块206)。操作环境200的客户端和服务器部分之间的功能划分在不同的实施方式中可以变化。类似地，视频源222和服务器系统164之间的功能划分
在不同的实施方式中可以变化。例如，在一些实施方式中，客户端侧模块202是瘦客户端，其仅提供面向用户的输入和输出处理功能，并且将所有其他数据处理功能委托给后端服务器(例如，服务器系统164)。类似地，在一些实施方式中，视频源222中的相应一个是简单的视频捕获设备，其捕获视频数据(例如，以视频剪辑形式的事件)并将其流传输到服务器系统164，而对视频数据没有或有有限的本地初步处理。尽管从服务器系统164的角度描述了本技术的许多方面，但是由客户端设备204和/或视频源222执行的相应动作对于本领域技术人员而言在没有任何创造性努力的情况下将是显而易见的。类似地，可以从客户端设备或视频源的角度描述本技术的一些方面，并且由视频服务器执行的相应动作对于本领域技术人员而言在没有任何创造性努力的情况下将是显而易见的。此外，本技术的一些方面可以由服务器系统164、客户端设备204和视频源222协作地执行。
85.应当理解到，涉及服务器系统164、视频源222和摄像机132的操作环境200仅仅是示例。操作环境200的许多方面通常适用于其他操作环境，在其他操作环境中，服务器系统提供数据处理以用于监视和促进对由其他类型的电子设备(例如，恒温器122、危险检测器124、门铃126、墙壁插头142、电器138等)捕获的数据的审查。
86.电子设备、客户端设备和服务器系统使用一个或多个通信网络110彼此通信。在示例环境中，两个或多个设备(例如，网络接口设备160、集线器设备180和客户端设备204-m)位于彼此非常接近的位置，使得它们可以经由有线连接、wlan或蓝牙个域网(pan)通信地耦合在同一子网110a中。蓝牙pan可选地基于经典蓝牙技术或蓝牙低功耗(ble)技术建立。该环境进一步包括一个或多个其他无线电通信网络110b，视频源222-n的电子设备中的至少一些电子设备通过该一个或多个其他无线电通信网络110b与集线器设备180交换数据。可替代地，在一些情况下，视频源222-n的一些电子设备经由耦合设备160、180和204-m的同一子网110a直接与网络接口设备160通信。在一些实施方式中(例如，在网络110c中)，客户端设备204-m和视频源222-n的电子设备都经由(多个)网络110直接通信，而不经过网络接口设备160或集线器设备180。
87.在一些实施方式中，在正常操作期间，网络接口设备160和集线器设备180彼此通信以形成网络网关，通过该网络网关与视频源222-n的电子设备交换数据。如上所述，网络接口设备160和集线器设备180可选地经由子网110a彼此通信。
88.图3是图示根据一些实施方式的环境100中的示例性电子设备222的框图。例如，电子设备222可以是安全摄像头132、门铃摄像头126或具有摄像头190的辅助设备。电子设备222通常包括一个或多个处理器(cpu)302、一个或多个网络接口304、存储器306以及用于互连这些组件(有时称为芯片组)的一个或多个通信总线308。电子设备222包括被配置为捕获图像和/或视频的一个或多个摄像头362。电子设备222包括一个或多个输出设备312，包括一个或多个扬声器、显示器和/或被配置为显示(多个)摄像头362的状态的视觉指示的一个或多个指示灯(例如，led)。在一些实施方式中，电子设备222还包括检测事件或变化的(多个)传感器363(诸如运动传感器、雷达传感器和/或存在传感器)。在一些实施方式中，通过检测摄像头362的视场中的运动来触发事件或变化的检测。
89.在电子设备222(例如，辅助设备190)的一些实施方式中，电子设备222还包括促进用户输入的一个或多个输入设备310，包括一个或多个麦克风、音量控件和隐私控件。音量控件被配置为接收控制扬声器的音量级别或重置显示辅助设备300的用户动作(例如，按下
音量增大按钮或音量减小按钮、按下音量增大按钮和音量减小按钮这两者达到延长的时间长度)。隐私控件被配置为接收控制显示辅助设备的隐私设置的用户动作(例如，是否停用麦克风和/或摄像头362)。在一些实施方式中，隐私控件是位于电子设备222上的物理按钮。在一些实施方式中，电子设备222的输入设备310包括被集成在显示面板上并且被配置为检测其表面上的触摸输入的触摸检测模块。在一些实施方式中，电子设备222的输入设备310包括被配置为捕获视场的图像和/或视频流的摄像头模块。
90.在一些实施方式中，电子设备222包括被配置为检测用户在显示辅助设备190周围的预定区域中的存在的存在传感器363。在一些情况下，显示辅助设备190在停用音频输入的检测和处理的睡眠或休眠模式下操作，并且不从睡眠或休眠模式唤醒或监听环境(即，处理从环境收集的音频信号)，直到存在传感器检测到用户存在于预定区域中。存在传感器的示例是被配置为检测用户的存在的超声传感器。
91.存储器306包括高速随机存取存储器，诸如dram、sram、ddr ram或其他随机存取固态存储器设备；并且可选地包括非易失性存储器，诸如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存存储器设备，或一个或多个其他非易失性固态存储设备。存储器306可选地包括远离一个或多个处理器302(或多个cpu)定位的一个或多个存储设备。存储器306或可替代地存储器306内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施方式中，存储器306或存储器306的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集：
92.操作系统316，其包括用于处理各种基本系统服务和用于执行硬件相关任务的过程；
93.网络通信模块318，用于经由一个或多个网络接口304(有线或无线)和一个或多个网络110(诸如互联网、其他广域网、局域网、城域网等)，将电子设备222连接到其他设备(例如，服务器系统164、客户端设备104、客户端设备204、设备120、集线器设备180和/或其他电子设备222)；
94.输入/输出控制模块320，用于经由一个或多个输入设备310接收使得能够在显示器处呈现信息的输入，包括：
95.语音处理模块322，用于处理在电子设备222周围的环境中收集的音频输入或语音消息，或者准备所收集的音频输入或语音消息以在服务器系统164(语音/显示助理服务器112)处进行处理；
96.显示辅助模块324，用于显示附加视觉信息，包括但不限于媒体内容项(例如，youtube视频剪辑)、新闻帖子、社交媒体消息、天气信息、个人照片、音频输入处理的状态和设备的读数；以及
97.触摸感测模块326，用于感测电子设备222的顶表面上的触摸事件；
98.事件处理模块350，用于检测事件并且处理与事件相关联的视频剪辑，包括：
99.触发检测模块350，用于检测事件触发(例如，场景中的运动或前景对象的存在)；
100.对象识别模块354，用于对场景中检测到的对象执行对象识别分析(例如，作为关于对象是否应当触发事件的创建的确定的一部分)；以及
101.事件合成模块356，用于合成包括包含事件的帧和/或事件之前和/或之后的附加帧的视频剪辑，其中，合成包括考虑事件参数，诸如不活动阈值和最大事件长度；
102.视频处理模块358，用于从摄像头362的图像传感器捕获图像帧并处理视频流(例如，连续视频流、视频剪辑和/或一个或多个静止图像)，其中，在一些实施方式中，处理包括压缩经处理的视频数据以通过网络传输；
103.电源检测模块359，用于检测电子设备222的电源类型(例如，设备是由电池供电还是由有线电源供电)；
104.数据330包括：
105.用于存储与电子设备222自身相关联的信息的设备设置332，包括公共设备设置(例如，服务层、设备型号、存储容量、处理能力、通信能力等)以及电子设备222所链接到的虚拟用户域中的用户账户的信息；
106.事件简档设置380，包括由事件处理模块350用于创建事件的参数，诸如：
107.填充382，包括前滚动值(例如，在检测到感兴趣的对象或感兴趣的发生之前包括在事件剪辑中的时间量，或者在包括感兴趣的对象或感兴趣的发生的图像帧之前所获得的图像的数量，参见例如图8和9中的填充窗口814和914)；以及后滚动值(例如，在检测到的感兴趣的对象或感兴趣的发生的事件不再在摄像头的场景或视场中之后包括在事件剪辑中的时间量；或者不再检测到感兴趣的对象或感兴趣的发生的所获得的图像的数量，参见例如图8和9中的填充窗口816和916)。
108.不活动阈值384(例如，在结束事件之前等待而不是继续事件以包括后续活动的时间量，或者不再检测到感兴趣的对象或感兴趣的发生的的所获得的图像帧的数量，其中，该数量对应于在结束事件之前等待的时间量；参见例如图8中的时间d/e之间以及图9中的时间d/f和i/j之间的不活动窗口)，
109.最大事件长度386(例如，事件可以在事件结束之前持续多长时间，而不管感兴趣的对象或感兴趣的发生是否仍然存在于场景或摄像头的视场中，或者与被指定为最大事件长度的时间量相关联的最大图像数量；例如，参见图8和9中的事件片段812和912；在一些实施方式中，最大事件长度包括填充窗口；在一些实施方式中，最大事件长度不包括填充窗口)。
110.冷却阈值388(例如，对象检测的速率，高于该速率则事件的记录停止)，和/或
111.对象过滤器和/或优先级390(例如，用于确定哪些对象可以计数为用于记录事件的基础，参见例如图5中的示例性公式442中的事件优先级列表)；
112.图像缓冲器392(也被称为输入缓冲器)，用于存储由摄像头362的图像传感器捕获的图像帧；
113.语音控制数据336，用于存储音频信号、语音消息、响应消息和与电子设备222的语音接口功能相关的其他数据；
114.授权用户数据338，用于存储授权使用显示辅助设备的用户的信息，包括授权用户的图像、语音信息、指纹信息；以及
115.本地数据存储器340，用于选择性地存储与电子设备222相关联的原始或经处理的数据，诸如由(多个)摄像头362捕获的事件数据和/或视频数据；
116.上述识别的元件中的每一个可以被存储在先前提及的存储器设备中的一个或多个中，并且对应于用于执行上述功能的指令集。上述识别的模块或程序(即，指令集)不需要被实现为单独的软件程序、过程、模块或数据结构，并且因此这些模块的各种子集可以在各
种实现方式中组合或以其他方式重新布置。在一些实施方式中，存储器306可选地存储上文识别的模块和数据结构的子集。此外，存储器306可选地存储上文未描述的附加模块和数据结构。
117.在一些实施方式中，可以在服务器系统(例如，服务器系统164)处存储或以其他方式实现上文所识别的元件中的一个或多个。例如，事件处理模块350可以被存储在服务器系统164处。对于这样的实施方式，电子设备222将包括从摄像头362获得的图像数据的视频流传送到服务器系统164，并且事件处理模块350将在服务器系统164处执行触发检测、对象识别和/或事件合成。作为上述过程中的一个或多个过程的结果，事件剪辑(例如，下文参考图7更详细描述的事件剪辑740)将从服务器系统164传送到电子设备222并且被显示(例如，在电子设备222的输出设备312处)。
118.图4是图示根据一些实施方式的服务器系统164的框图。服务器系统164包括一个或多个处理器(例如，cpu)402、一个或多个网络接口404、存储器406和用于互连这些组件(有时称为芯片组)的一个或多个通信总线408。存储器406包括高速随机存取存储器，诸如dram、sram、ddr sram或其他随机存取固态存储器设备；并且可选地，包括非易失性存储器，诸如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存存储器设备、或一个或多个其他非易失性固态存储设备。存储器406可选地包括远离一个或多个处理器402定位的一个或多个存储设备。存储器406或可替代地存储器406内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施方式中，存储器406或存储器406的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集：
119.·
操作系统410，包括用于处理各种基本系统服务和用于执行硬件相关任务的过程；
120.·
网络通信模块412，用于经由一个或多个网络接口404(有线或无线)将服务器系统164连接到其他系统和设备(例如，客户端设备、电子设备和连接到一个或多个网络110的系统)；
121.·
服务器侧模块414，其提供用于设备控制、数据处理和数据审查的服务器侧功能，包括但不限于：
122.○
数据接收模块416，用于从电子设备接收数据(例如，从电子设备222接收事件数据)，并且准备所接收的数据以供进一步处理并且存储在服务器数据库428中；
123.○
设备控制模块418，用于生成并且发送服务器发起的控制命令以修改电子设备(例如，电子设备222)的操作模式，和/或(例如从客户端设备204和客户端设备104)接收并且转发用户发起的控制命令以修改电子设备的操作模式(例如接收用于电子设备222的设备配置数据438并且转发对应于配置数据438的一个或多个事件处理公式442)；
124.○
数据处理模块420，用于处理由电子设备提供的数据，和/或准备经处理的数据并且将其发送到设备以供审查(例如，客户端设备204以供用户审查)，包括但不限于：
125.■
视频处理模块422，用于处理(例如，分类和/或识别)所接收的视频剪辑(例如，来自电子设备222的与检测到的事件相对应的视频剪辑)内的检测到的实体和/或事件候选；
126.■
用户接口模块424，用于与用户通信(例如，发送警报、时间线事件等，以及接收用户编辑和区定义等)；以及
127.■
实体识别模块426，用于分析和/或识别环境内检测到的人；
128.·
服务器数据库428，包括但不限于：
129.○
设备和账户数据库216，用于存储设备和账户数据，包括：
130.■
与一个或多个设备(例如，电子设备222)相关的设备信息436；
131.■
设备配置数据438，包括设备标识符448、安装位置数据449a、设备目的信息449b和/或设备电源类型数据449c；
132.■
用户账户的账户数据432，包括用户账户信息，诸如用户简档、用于所链接的集线器设备和电子设备的信息和设置(例如，集线器设备标识)、集线器设备特定机密、相关用户和硬件特性(例如，服务层、订阅、设备型号、存储容量、处理能力等)、用户接口设置、数据审查偏好等，其中，用于相关联的电子设备的信息包括但不限于一个或多个设备标识符(例如，mac地址和uuid)、设备特定机密和显示的标题；向视频处理服务器注册的评论者账户的简档，其中，相应的用户简档包括用于相应的评论者账户的账户凭证，以及链接到相应的评论者账户的一个或多个视频源；
133.○
视频存储数据库214(参见图2)，用于存储从视频源接收的视频数据(例如，从一个或多个电子设备222接收的视频剪辑)以及各种类型的事件元数据，诸如运动事件、事件类别、事件类别模型、事件过滤器和事件掩码，以用在用于每个评论者账户的事件监视和审查的数据处理中；
134.○
数据存储430，用于存储与每个用户账户的每个电子设备(例如，每个电子设备222)相关联的数据，以及数据处理模型、经处理的数据结果和与数据相关联的其他相关元数据(例如，数据结果的名称、电子设备的位置、创建时间、持续时间、电子设备的设置等)，其中(可选地)，安全地存储与集线器设备180或设备相关联的数据和/或处理的全部或一部分；
135.○
授权人员数据库242，用于存储电子设备(例如，电子设备222)的授权用户的信息，包括图像、声纹、指纹、置信度水平等；
136.○
事件信息440，诸如事件记录和上下文信息(例如，描述接近的访客周围情况的上下文数据)；
137.○
事件公式442，包括与特定配置设置438相对应的事件参数的预定或以其他方式预编程的公式(在本文中也被称为配方)，包括填充值443a、不活动值443b、长度值443c、冷却值和/或优先级值443d的特定组合；
138.○
先前图像444，诸如在各种照明条件下由(多个)摄像头捕获的先前背景图像和/或实体图像；以及
139.○
实体信息446，诸如标识和/或表征(例如，在环境100中的)实体的信息。
140.上文所识别的元件中的每一个可以被存储在先前提及的存储器设备中的一个或多个中，并且对应于用于执行上述功能的指令集。上述识别的模块或程序(即，指令集)不需要被实现为单独的软件程序、过程或模块，并且因此这些模块的各种子集可以在各种实施方式中被组合或以其他方式重新布置。在一些实施方式中，存储器406可选地存储上文识别的模块和数据结构的子集。此外，存储器406可选地存储上文未描述的附加模块和数据结构(例如，用于链接客户端设备、设备和环境的账户管理模块)。
141.在一些实施方式中，存储器406包括语音/显示辅助应用(未示出)，其被执行以布
置从语音激活的电子设备190接收的语音消息的语音处理、直接处理语音消息以提取用户语音命令和投射设备108或另一语音激活的电子设备190的名称，和/或使得语音激活的电子设备190能够播放媒体内容(音频或视频)。
142.在一些实施方式中，服务器系统164包括云投射服务(例如，图1a的云投射服务器116)。在一些实施方式中，存储器406进一步包括投射设备应用，其被执行以提供用于与(多个)投射设备108相关联的设备供应、设备控制和用户账户管理的服务器侧功能。在2019年12月7日提交的名为“显示辅助设备(display assistant device)”的pct申请no.pct/us2015/64449中找到云投射功能的进一步细节，其全部内容通过引用并入本文。
143.图5包括根据一些实施方式的两个示例性事件公式(例如，图4的公式442)。
144.室外公式502用于与位于室外环境中的电子设备222(例如，室外安全摄像头或门铃摄像头)一起使用。在室外公式502中，事件在初始事件触发之前(例如，在最初检测到运动之前，或者在感兴趣的对象被识别为已经进入场景之前)被填充两秒的视频，并且在事件完成之后(例如，在不再检测到运动之后)被填充两秒的视频。填充值在本文中有时被称为前滚动值和后滚动值。不活动阈值是30秒，并且最大事件长度是5小时。此外，室外公式包括感兴趣的对象/事件及其优先级的列表。在一些实施方式中，如果在事件的特定部分同时检测到两个对象/事件，那么使用较高优先级对象/事件来标记事件的所述部分。在一些实施方式中，仅具有高于阈值的优先级的对象/事件被用作创建事件和/或向客户端设备发送通知的基础。
145.室内公式504用于与位于室内环境中的电子设备222(例如，室内安全摄像头或配备摄像头的辅助设备)一起使用。在该示例中，室内发生的事件被给予额外的后滚动填充时间(5秒，而在室外公式中仅2秒)。不活动阈值仍然为30秒，但最大事件长度仅为1小时。此外，事件优先级列表将诸如宠物、敲门、打破玻璃和婴儿哭泣的对象/事件优先级排序高于那些对象/事件在室外公式502中的优先级，因为这些事件更可能发生，因此在室内设置中更相关。
146.公式502和504是示例。在不脱离本文描述的概念的范围的情况下，可以在事件公式中实现值的其他组合以及其他设备位置和配置。在一些实施方式中，公式442可以包括基线参数值(诸如图5的示例中包括的基线参数值)，其被配置为基于下文所述的更新的配置数据、用户偏好和/或设备学习算法而改变。
147.图6是图示根据一些实施方式的与用户账户相关联的代表性客户端设备204(图2中的客户端设备204和图1中的客户端设备104)的框图。客户端设备204通常包括一个或多个处理器(例如，cpu)602、一个或多个网络接口604、存储器606和用于互连这些组件(有时被称为芯片组)的一个或多个通信总线608。可选地，客户端设备还包括用户接口610和一个或多个传感器690(例如，加速度计和陀螺仪)。用户接口610包括使得能够呈现媒体内容的一个或多个输出设备612，包括一个或多个扬声器和/或一个或多个视觉显示器。用户接口610还包括一个或多个输入设备614，包括促进用户输入的用户接口组件，诸如键盘、鼠标、语音命令输入单元或麦克风、触摸屏显示器、触敏输入板、手势捕获摄像头或其他输入按钮或控件。此外，一些客户端设备使用麦克风和语音识别或摄像头和手势识别来补充或替换键盘。在一些实施方式中，客户端设备包括用于捕获图像的一个或多个摄像头、扫描仪或光传感器单元(未示出)。可选地，客户端设备包括位置检测组件616，诸如gps(全球定位卫星)
传感器或其他地理位置接收器，用于确定客户端设备的位置(例如，室内、室外或环境中的特定房间或区域)。
148.存储器606包括高速随机存取存储器，诸如dram、sram、ddr sram或其他随机存取固态存储器设备；并且可选地，包括非易失性存储器，诸如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存存储器设备、或一个或多个其他非易失性固态存储设备。存储器606可选地包括远离一个或多个处理器602定位的一个或多个存储设备。存储器606或可替代地存储器606内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施方式中，存储器606或存储器606的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或其子集或超集：
149.·
操作系统618，包括用于处理各种基本系统服务和用于执行硬件相关任务的过程；
150.·
网络通信模块620，用于经由一个或多个网络接口604(有线或无线)将客户端设备204连接到其他系统和设备(例如，客户端设备、电子设备和连接到一个或多个网络110的系统)；
151.·
输入处理模块622，用于检测来自一个或多个输入设备614之一的一个或多个用户输入或交互，并且解释检测到的输入或交互；
152.·
用于由客户端设备执行的一个或多个应用623(例如，游戏、社交网络应用、应用624和/或其他基于web或非基于web的应用)，用于控制设备(例如，向集线器设备和/或其他客户端或电子设备发送命令、配置设置、键入电子设备222的配置数据等)以及用于审查由设备捕获的数据(例如，设备状态和设置、捕获的数据、事件视频剪辑或关于集线器设备或其他连接设备的其他信息)。在一些实施方式中，用户能够使用应用624来配置用于显示辅助设备190的设置，包括用于监视(例如，实时视图、事件历史、通知)开/关模式、在家/离开辅助和活动区的设置。在一些实施方式中，应用624使得用户能够安排摄像头362将被激活以用于家庭监视的时间。在一些实施方式中，用户能够经由应用624来配置图像和/或视频提要的质量、要使用的带宽以及麦克风的设置。在一些实施方式中，应用624提供电子设备222移动时将会扭曲在活动区内记录什么和不记录什么的用户教育(例如，训练视频、手册、弹出消息通知)。在一些实施方式中，当电子设备222四处移动时，应用624禁用区或对区进行调整。在一些实施方式中，电子设备222被配置为当其被移动时向云(例如，向服务器系统164)发送通知；
153.·
用户界面模块626，用于提供和显示用户界面，其中可以配置和/或查看用于一个或多个设备(例如，设备120、环境100中的语音激活的显示辅助设备190)的设置、捕获的数据和/或其他数据；
154.·
客户端模块628，其提供用于设备控制、数据处理和数据审查的客户端侧功能，包括但不限于：
155.○
设备控制模块630，用于根据用户输入来生成用于修改设备(例如，电子设备222和可选地其他电子设备)的操作模式的控制命令；
156.○
视频分析模块632，用于提供所接收的视频数据(例如，事件视频剪辑)以供观看和/或分析视频数据以检测和/或识别人、对象、动物和事件；
157.○
数据审查模块634，用于提供用于审查来自服务器系统164或视频源222的数据
的用户界面，包括但不限于：
158.■
事件审查模块636，用于审查事件(例如，运动和/或音频事件)，并且可选地，使得用户能够编辑和/或更新事件；以及
159.■
人员审查模块638，用于审查关于所检测的人员和其他实体的数据和/或图像，并且可选地，使得用户能够编辑和/或更新人员数据；
160.○
呈现模块640，用于呈现用于与电子设备222和/或服务器系统164交互的用户界面和响应选项；以及
161.○
远程交互模块642，用于例如经由电子设备222和/或服务器系统164，与远程人员(例如，环境100的访客)交互；以及
162.·
客户端数据644，存储与用户账户和电子设备相关联的数据，包括但不限于：
163.○
账户数据646，存储与客户端设备上加载的用户账户和与用户账户相关联的电子设备(例如，视频源501的电子设备)相关的信息，其中，这些信息包括缓存的登录凭证、集线器设备标识符(例如，mac地址和uuid)、电子设备标识符(例如，mac地址和uuid)、用户界面设置、显示偏好、认证令牌和标签、密码密钥等；
164.○
本地数据存储648，用于选择性地存储与电子设备(例如，视频源222的)相关联的原始数据或经处理的数据，可选地，包括先前描述的实体数据；以及
165.○
先前图像650，诸如在各种照明条件下由(多个)摄像头捕获的先前背景图像和/或实体图像。
166.上述所识别的元件中的每一个可以被存储在先前提及的存储器设备的一个或多个中，并且对应于用于执行上述功能的指令集。上述所识别的模块或程序(即，指令集)不需要被实现为单独的软件程序、过程、模块或数据结构，并且因此这些模块的各种子集可以在各种实施方式中组合或以其他方式重新布置。在一些实施方式中，存储器606可选地存储上面识别的模块和数据结构的子集。此外，存储器606可选地存储上文未描述的附加模块和数据结构。
167.图7是根据一些实施方式的事件处理系统700的框图。与图3共享的特征被类似地编号，并且为了简洁起见，一些特征不再进一步讨论。在一些实施方式中，系统700在配备有摄像头的电子设备(例如，电子设备222)上实现。在一些实施方式中，系统700的各种模块在服务器系统(例如，164)中实现，诸如对象识别模块354。系统700处理与检测到的感兴趣对象相对应的事件。贯穿本公开，术语“事件”是指视频数据(例如，视频剪辑)的一部分，其包括住户感兴趣的事物(例如，人或对象)，或者包括感兴趣的发生(例如，运动)。术语“事件”还可以是指作为视频剪辑的基础的事件自身(例如，运动事件)。除非另有说明，否则术语“事件”、“剪辑”、“事件剪辑”和“视频剪辑”在整个本公开中可互换地使用。在下文中，参考图8和图9包括关于事件、它们的组件以及它们如何组成的附加描述。
168.返回参考图7，摄像头362的图像传感器捕获图像数据并且将图像数据作为图像帧存储在缓冲器392中。在一些实施方式中，缓冲器是循环缓冲器，这意味着最旧的帧不断地被最新的帧重写，从而确保先前捕获的帧的不断更新日志的可用性。触发检测模块352检测事件触发。在一些实施方式中，检测触发包括检测摄像头的视场中的运动(例如，通过比较后续帧以检测指示视场中的移动对象的变化的像素值，或者通过检测来自运动传感器363的运动)。在一些实施方式中，检测触发包括检测在摄像头的视场的前景中的对象的存在
(例如，通过从背景参考图像中减去当前图像以检测前景对象，或者通过从存在传感器363检测存在)。在检测到触发时，对象识别模块354确定触发是否表示用于事件创建目的的感兴趣的对象或感兴趣的发生。在一些实施方式中，对象识别模块354执行对象或模式识别过程(例如，使用计算机视觉技术)以检测对象的身份、人员的身份、对象的类型(例如，人vs.动物vs.汽车vs.包裹)，或在触发检测时处理模块350不知道的对象的任何属性。事件合成模块356根据事件简档设置380来合成事件剪辑740(如下文参考图8和9详细所述)。在一些实施方式中，事件简档设置380基于从服务器164接收的公式442。在一些实施方式中，服务器基于设备222的设备配置数据来选择公式442，设备配置数据的至少一部分基于设备的电源类型。为此，电源检测模块359确定设备222如何通过外部电源712或通过电池714被供电。在一些实施方式中，电源检测模块359连接到外部电力总线和电池电力总线，并且电源检测模块359基于哪个电力总线是活动的来确定电源类型。在一些实施方式中，存储在事件简档设置380中的公式包括针对两种类型的电源的优化。这样，事件合成模块356根据当前由电源检测模块359检测到的电源类型来合成事件剪辑。
169.在一些实施方式中，电源类型信息由用户在配置过程期间设置。在一些实施方式中，电源类型由设备自身(例如，由电源检测模块359)检测，并且设备222(例如，事件处理模块350)基于检测到的电源类型来调整事件参数380。在一些实施方式中，检测到的电源类型被发送到服务器164以包括在由设备控制模块418实现的公式设置过程中。在一些实施方式中，事件记录参数380动态地更新(例如，基于配置数据的变化，诸如电源类型)而不必与服务器164通信；在这些实施方式中，各种事件简档被配置为在检测到例如电源类型的变化时自动地调整。例如，在一些实施方式中，当设备222被拔出时，设备切换到电池供电模式，从而使得事件处理模块改变各种事件记录参数以用于省电目的(例如，更短的不活动阈值和事件长度设置、更少的感兴趣对象以包括在优先级设置390中等)。
170.在一些实施方式中，进一步更新事件记录公式以优化由电池供电的设备222的电池寿命。例如，随着电池电平和/或估计的电池寿命值减小，诸如不活动阈值和最大事件长度的事件记录参数可以减小，冷却参数(例如，等待直到新事件被处理为止的时间量)可以增加，并且事件被配置为包括的感兴趣的对象和感兴趣的发生的列表可以减小，以便进一步节省电池功率。
171.在一些实施方式中，可以在服务器系统(例如，服务器系统164)处存储或以其他方式实现上述元件中的一个或多个。例如，事件处理模块350(或与事件处理模块350相关联的模块352、354、356和380中的一个或多个)可以被存储在服务器系统164处。对于这样的实施方式，电子设备222将包括从摄像头362和/或图像缓冲器392获得的图像数据的视频流传送到服务器系统164，并且事件处理模块350将在服务器系统164处执行触发检测、对象识别和/或事件合成。作为上述过程中的一个或多个过程的结果，事件剪辑(例如，事件剪辑740)将从服务器系统164传送到电子设备222并且被显示(例如，在电子设备222的输出设备312处)。
172.图8描绘了根据一些实施方式的示例事件810。在电子设备222处(例如，由事件处理系统700，图7)处理事件。出于该示例的目的，设备222位于起居室中。然而，该示例中的设备的确切位置并不意味着限制本文描述的概念。系统700根据设备的起居室位置使用公式802。起居室公式802指定2秒前滚动和2秒后滚动的填充参数、30秒的不活动阈值以及5小时
的最大事件长度。图中的定时标记(a-e)随时间顺序出现。在时间a处，检测到运动(例如，通过触发检测模块352)。对象识别模块354继续行进以确定运动的识别属性。在时间b处，运动被识别为由被识别为系统700已知的人(bob)所引起。这样，系统700利用检测到的对象的身份和关于事件的其他信息来标记事件(例如，“bob被看到在起居室中(bob seen in the living room)”)。只要事件的定时(例如，自从在时间a处的初始触发检测起经过的时间量)未达到最大事件长度，事件就继续。在时间c处，bob离开起居室，并且在时间d处不再有运动，从而使得事件初步结束。在时间d结束的初步事件处，不活动计数开始。由于在该示例中的不活动阈值是30秒，因此不活动计数在时间d处开始并且在30秒之后在时间e处结束。如果在30秒的不活动窗口内(在时间d和e之间)不再存在触发检测，则事件合成模块356结束事件并且对填充参数的事件主体合成视频剪辑。视频剪辑在时间a'处开始，该时间a'是在时间a处的触发检测前的2秒，并且在时间d'处结束，该时间d'是事件的主体在时间d处离开房间后的2秒。2秒的窗口814和816(在时间a'和a以及时间d和d'之间)表示前滚动和后滚动填充值，并且对于显示事件的用户附加上下文很有用(例如，正好在bob进入之前的房间的状态，以及鲍勃离开后房间的状态)。事件810的视频剪辑包括来自在填充窗口814和816期间捕获的图像帧的图像数据，以及来自在运动窗口812期间捕获的图像帧的数据。
173.图9描绘了根据一些实施方式的示例组合事件910。该事件在位于起居室中的电子设备222处被处理，因此也受制于起居室公式802。正如图8所示，在时间a处检测到运动，在时间b处将场景中的对象识别为bob，并且bob在时间c处离开房间，从而在时间d处结束与检测到的触发相关联的事。此外，正如图8中，30秒不活动阈值计数器在时间d处开始。然而，在可以在时间f处达到30秒阈值之前，在时间e处检测到另一个运动触发。在时间g处确定该运动与另一个已知人charlie相关联，charlie在时间h处继续行进以退出，从而在时间i处结束后续运动相关的发生。另一个不活动窗口在时间i处开始，并且30秒后，在时间j处，不活动窗口结束，在该窗口期间没有检测到附加触发。不活动窗口的结束(在已经达到不活动阈值时)触发针对两个事件的视频剪辑的创建(由于后续事件在初始事件之后的不活动窗口期间开始)。根据填充值914和916创建了用于组合事件910的视频剪辑；因此，剪辑在时间a'处(在时间a处开始运动前的2秒)开始并且在时间i'处(在时间i处结束运动后的2秒)结束。重要的是，组合事件910的视频剪辑仅包括单个前滚动窗口914和单个后滚动窗口916，并且运动窗口912包括两个事件(例如，bob的检测和charlie的检测)的被检测到的发生。因此，系统700利用描述两次发生的单个标签(例如，“bob和charlie被看到在起居室中(bob and charlie seen in the living room)”)来标记组合事件。该单个标签传达来自多次发生的信息，同时通过显示更简单的用户界面来提供更流线型的用户体验。换句话说，不是将在时间上接近的多个事件作为显示器上的单独事件/元素传达给用户，而是组合事件(其将事的全部或子集进行总结)提供了更清晰的方法以显示可能由于其数量而被以其他方式忽略的大量信息。
174.图10描绘了用于显示事件(例如，事件810和910)的示例用户界面。在一些实施方式中，用户界面由客户端设备204的用户界面模块626实现。
175.用户界面1002包括事件列表1004。一些事件是基于视频的，如事件1006(对应于事件910)，而其他事件不是。例如，当住户通过询问问题(例如，“现在是什么时候(what time is it)”)或通过发出命令(例如，播放爵士乐)与助理设备190交互、与tv 108交互(例如，通
过播放电影)、与恒温器122交互(例如，调高热量)、或以任何方式与任何设备交互时，可以创建事件。对于包括图像或视频数据的事件，诸如1006，事件列表1004可选地包括缩略图1008，该缩略图包括与事件相关联的屏幕截图(例如，包括bob和charlie这两者的图像)。
176.在用户选择事件1006(例如，经由输入614)时，显示用户界面1022。在一些实施方式中，用户界面1022的部分或全部被包括在用户界面1002中。在一些实施方式中，用户界面1022被单独呈现(如图所示)。在不脱离本文描述的概念的范围的情况下，两个用户界面中的元素可以在其他组合中混合和匹配。用户界面1022显示与事件相关联的视频数据1024。在一些实施方式中，视频数据1024可通过选择视频控件(例如，播放、暂停等)来播放。界面包括事件的描述1026，包括概要数据(例如，“bob和charlie被看到(bob and charlie were seen)”)、时间和位置数据(例如，3:32pm-客厅)和/或描述事件的其他信息。界面还显示指示事件定时的事件长度的视觉表示1030。在一些实施方式中，视觉表示1030是基本上矩形的形状(有时称为弹丸)，其长度基于事件的长度。在一些实施方式中，当视频剪辑1024播放时，视觉表示1030围绕其长轴移动(例如，滚动)，指示剪辑1024的当前显示部分相对于整个事件的位置。在该图中，这被示出为具有已经提前2秒的剪辑1030的时间线。在不脱离本文描述的概念的范围的情况下，可以实现事件的其他视觉表示。在一些实施方式中，界面还包括与事件相关联的检测到的属性1032(例如，对象识别过程的结果)。在该图中，这些属性包括在场景中检测到的已知人的身份(bob、charlie)、在场景中检测到的对象的类型(人)以及在场景中检测到的事的类型(说话)。
177.图11描绘了用于获得电子设备222的设备配置数据438(例如，位置、目的和电源数据449，图4)的示例性用户界面。在一些实施方式中，用户界面由客户端设备204的用户界面模块626实现。在一些实施方式中，当住户为环境配置设备时，住户使用应用(例如，624，图6)作为安装过程的一部分。
178.用户界面1110提示住户添加用于在应用中配置的特定设备(例如，电子设备222)。在一些实施方式中，住户扫描代码(例如，qr码)或手动键入由应用用于识别特定设备的信息。
179.用户界面1120提示住户选择设备的目的(例如，以设备简档的形式，诸如看家或商业、充当婴儿监视器等)。在一些实施方式中，所识别的简档被存储为在服务器系统164处的设备的目的信息449b(图4)。
180.用户界面1130提示住户选择设备的位置(例如，安装位置，或者如果设备是便携式的(诸如电池供电的安全摄像头)，则设备打算在操作期间所处的位置)。在一些实施方式中，位置包括位置类型(例如，室内、室外)、特定房间(例如，客厅、托儿所)和/或区域或区(例如，入口通道、走廊)。在一些实施方式中，所识别的位置数据被存储为在服务器系统164处的设备的位置信息449a(图4)。
181.用户界面1140提示住户选择设备的通知(例如，住户有兴趣在客户端设备204处接收电子通知的检测到的对象和/或事)。在一些实施方式中，通知对应于所识别的人(例如，已知的人、未知的人)、对象类型(例如，动物、车辆、包裹、人)、音频事(例如，狗叫、玻璃破碎、婴儿哭泣、大噪声)或任何其他类型的对象或事(例如，图5的示例性公式442中包括的那些)。在一些实施方式中，通知选择数据被存储为在服务器系统164处的设备的目的信息449b(图4)。
182.图12是根据一些实施方式的事件处理过程1200的流程图。该过程可以在具有一个或多个处理器(例如，(多个)cpu 302)和存储用于由一个或多个处理器执行的一个或多个程序的存储器(例如，存储器306)的电子设备(例如，电子设备222)、具有一个或多个处理器(例如，(多个)cpu 402)和存储用于由一个或多个处理器执行的一个或多个程序的存储器(例如，存储器406)的服务器系统(例如，服务器系统164)；和/或具有一个或多个处理器(例如，(多个)cpu)602和存储用于由一个或多个处理器执行的一个或多个程序的存储器(例如，存储器606)的客户端设备(例如，客户端设备204)处执行。在一些实施方式中，电子设备、服务器系统和客户端设备包括一个或多个程序和存储用于由一个或多个相应处理器执行的一个或多个相应程序的存储器，并且一个或多个程序包括用于执行过程1200的指令。在一些实施方式中，相应的非暂时性计算机可读存储介质存储一个或多个相应的程序，该一个或多个相应的程序包括指令，该指令在由电子设备、服务器系统和客户端设备利用一个或多个相应的处理器执行时，使得电子设备、服务器系统和客户端设备执行过程1200。
183.当客户端设备204接收(1202)特定电子设备222的配置数据(例如，位置数据449a、目的数据449b和/或电源数据449c中的一个或多个)时，过程1200开始。在一些实施方式中，使用上文参考图11描述的界面中的一个或多个来接收配置数据。认识到用户可能有兴趣基于事件的位置来审查不同种类的事件相关数据，位置数据指定设备的安装位置或设备以其他方式旨在监视的位置(例如，参考用户界面1130)。另外，认识到用户可能有兴趣基于事件的类型来审查不同种类的事件相关数据，目的数据例如基于设备简档(例如，参考用户界面1120)或通知选择(例如，参考用户界面1140)来指定设备的预期用途。例如，如果事件包括与摄像头的视场中的人或包裹相关的事，那么用户可能有兴趣从室外安全摄像头接收事件。然而，如果来自室外安全摄像头的事件包括与大噪声或车辆相关的事件，则用户可能对于接收该事件不感兴趣。同样地，对于被用作安装在托儿所中的婴儿监视器的电子设备222，如果事件与婴儿哭泣有关，则用户可能对接收该事件感兴趣，而对诸如车辆和包裹检测之类的事可能不感兴趣。
184.客户端设备204将配置数据传送到服务器164，服务器164基于配置数据438来确定(1204)(例如，使用设备控制模块418)一个或多个事件公式442，并且将这些公式传送到特定电子设备222。设备控制模块418基于配置数据来确定事件公式。换句话讲，服务器基于设备的位置和预期用途来确定设备的事件参数，诸如填充、不活动阈值和最大事件长度。在一些实施方式中，公式是动态的-换句话说，参数基于事件的类型、检测到的对象的类型、事件的长度和/或定义或以其他方式描述事件的任何其他属性而动态地改变。在一些实施方式中，动态公式将参数443设置为初始值，该初始值被配置为基于前述事件相关属性动态地改变。在一些实施方式中，服务器将一个或多个事件公式442作为事件记录简档发送到电子设备222。在一些实施方式中，服务器将各个公式442发送到电子设备222。
185.电子设备222从服务器164捕获、接收或以其他方式获得(1206)事件公式。在一些实施方式中，设备从服务器获得包括简档记录参数380的事件记录简档。在一些实施方式中，参数380由事件公式和/或包括公式的事件记录简档来设置。事件记录参数380被用于设备222的目标事件记录操作(例如，事件的目标记录)，并且它们包括诸如填充参数382(例如，在检测到感兴趣对象之前和之后记录的时间量，参见例如图9的914和916)、不活动阈值384(例如，在结束事件之前等待而不是继续事件以包括后续活动的时间量，参见例如图9的
时间d和i)、最大事件长度参数386(例如，设备停止记录之前事件可能持续多长时间)、冷却参数388(例如，对象检测的速率，高于该速率则事件的记录停止)和/或对象过滤器和优先级设置390(例如，确定哪些对象可以计数为记录事件的基础，例如，参见图5的示例性公式)的参数。在一些实施方式中，这些可调整参数已经由服务器基于电子设备222的配置数据438(诸如(i)设备的位置(例如，室内、室外、哪个房间等)、(ii)设备的预期用途(例如，在设备的视场中的内容，以及用户对看到什么感兴趣)，和/或(iii)设备的电源类型(例如，有线或电池供电))来设置。
186.电子设备222捕获、接收或以其他方式获得(1208)视频流(例如，由摄像头362捕获的场景的多个图像)，并且在一些实施方式中，将视频流的至少一部分本地存储在设备222上(例如，在缓冲器392中)。设备222基于所获得的视频流(例如，基于场景的多个图像中的一个或多个图像，通过例如检测运动或另一触发，如上参考触发检测模块352所述)来检测(1210)触发事件。响应于检测到触发事件，设备222识别(1212)场景的多个图像的一个或多个图像中的感兴趣的对象或感兴趣的发生(例如，通过执行如上参考对象识别模块354所述的一个或多个对象识别过程)。设备222根据事件记录和处理设置380，从包括感兴趣的对象的存储图像创建(1214)事件剪辑(例如，如上参考事件合成模块356所述)。设备222提供事件剪辑以供显示。在一些实施方式中，提供事件剪辑以供显示包括将事件剪辑发送到服务器164或集线器180以供存储(1216)和稍后在客户端设备204处查看(1218)。在一些实施方式中，特别是如果设备222包括显示屏，则提供事件剪辑以供显示包括本地存储事件剪辑并且在设备222处显示事件剪辑(例如，响应于用户打开或以其他方式选择事件剪辑以供显示)。
187.在一些实施方式中，事件记录公式经受在设备222处或在服务器164处实现的机器学习算法，以便从用户的角度进一步优化事件检测和处理的质量。例如，在一些实施方式中，住户使用客户端设备204输入关于一个或多个事件的反馈(例如，1006，图10)。示例反馈包括拒绝反馈(例如，针对住户分类为不相关或以其他方式不感兴趣的事件和/或其底层对象或事)，和/或用于调整特定公式中的事件记录参数中的一个或多个的定制反馈(例如，调整特定类型的对象检测的填充值、调整特定类型的检测到的发生的最大事件长度值等)。在一些实施方式中，机器学习模块基于住户反馈来调整特定类型的事件和设备配置的后续事件简档设置380。
188.在本文中的各种描述的实施方式的描述中使用的术语仅是出于描述特定实施方式的目的，而并非旨在进行限制。如在各种所描述的实施方式和所附权利要求的描述中所使用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另外明确指出。还应理解，本文所用的术语“和/或”是指并涵盖一个或多个相关联所列项目的任何和所有可能的组合。将进一步理解到，当在本说明书中使用时，术语“包括(includes)”、“包括(including)”、“包含(comprises)”和/或“包含(comprising)”规定了所述特征、整数、步骤、操作、元素和/或组件的存在，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、组件和/或其组。另外，将会理解，尽管术语“第一”、“第二”等在本文中可用于描述各种元件，但是这些元件不应受到这些术语的限制。这些术语仅用于区分一个元件和另一个元件。
189.如本文所使用的，取决于上下文，术语“如果”可选地解释为表示“在
…
时”或“一
旦
…”
或“响应于确定”或“响应于检测到”或“根据确定”。类似地，取决于上下文，短语“如果确定”或“如果检测到【所陈述的状况或事件】”可选地被解释为意指“一旦确定”或“响应于确定”或“在检测到【所陈述的状况或事件】时”或“响应于检测到【所陈述的状况或事件】”或“根据确定检测到所【陈述的状况或事件】”。。
190.为了说明的目的，已经参考特定实施例描述了前述描述。然而，以上说明性讨论并非旨在穷举或将权利要求限制为所公开的精确形式。鉴于以上教导，许多修改和变化是可能的。选择和描述实施例以便最佳地解释操作原理和实际应用，从而使本领域的其他技术人员能够实现。
191.尽管各种附图以特定顺序示出了多个逻辑阶段，但是可以将不依赖于顺序的阶段重新排序，并且可以组合或分解其他阶段。尽管具体提到了一些重新排序或其他分组，但其他的对于本领域普通技术人员而言将是显而易见的，因此，本文呈现的排序和分组并非详尽的替代列表。此外，应当认识到，这些阶段可以以硬件、固件、软件或其任何组合来实现。
192.为了说明的目的，已经参考特定实施方式描述了以上描述。然而，以上说明性讨论并非旨在穷举或将权利要求的范围限制为所公开的精确形式。鉴于以上教导，许多修改和变形是可能的。选择实施方式是为了最好地解释权利要求及其实际应用所基于的原理，从而使本领域的其他技术人员能够最佳地使用具有适于所设想的特定用途的各种修改的实施方式。