利用住宅安全摄像机上的AI输入的以感兴趣的人为中心的间隔拍摄视频以保护隐私的制作方法

利用住宅安全摄像机上的ai输入的以感兴趣的人为中心的间隔拍摄视频以保护隐私
技术领域
1.本发明总体上涉及计算机视觉，并且更具体地涉及方法和/或装置，该方法和/或装置用于利用住宅安全摄像机上的ai输入来实现以感兴趣的人为中心的间隔拍摄视频以保护隐私。


背景技术：

2.针对常规的互联网连接的/云实现的摄像机的间隔拍摄视频模式通常由在云服务器上操作的软件实现。该软件依赖于使用云服务器的分布式处理的资源(即，可扩展计算)。以固定的帧速率显示间隔拍摄视频片段以实现快进效果。例如，以固定的间隔选择视频帧以创建间隔拍摄视频(即，从每秒三十帧的视频中选择每第三十个帧来创建间隔拍摄视频)。
3.互联网连接的/云实现的摄像机对视频数据进行编码，并且然后将经编码的视频流传送到云服务器。在云服务器上使用许多额外的cpu周期以进行以下操作：解码常规的视频流(即，使用avc编码或hevc编码的压缩的视频)，以固定的帧间隔提取帧，然后将这些帧转码为间隔拍摄视频。同时，即使利用间隔拍摄视频，用户也难以查找重要的细节。由于间隔拍摄视频始终使用固定的帧速率而不使用所有捕获的视频数据，因此在捕获的视频中的用户感兴趣的内容的持续时间内，以正常的显示速度的视频帧不可用。例如，当安全摄像机观察到潜在的感兴趣的事件(例如，行人)时，间隔拍摄将与当安全摄像机未观察到任何特别感兴趣的事件时相同。
4.常规的互联网连接的/云实现的摄像机将完整的视频内容上载到云以用于从移动手机轻松访问。出于安全的目的(例如，用作证据)可以保留视频，否则云服务提供商可能不会删除上载的内容。这可以允许上载的视频无限期地保持可用。视频内容可以是隐私问题。上载的视频内容可以包括家庭成员的视频片段。上载的视频内容可以指示人们的行为模式。隐私问题可以使终端用户不舒服，或者视频内容可以由黑客使用。
5.将期望的是利用住宅安全摄像机上的ai输入来实现以感兴趣的人为中心的间隔拍摄视频以保护隐私。


技术实现要素：

6.本发明涉及一种装置，该装置包括接口和处理器。该接口可以被配置为接收由捕获设备生成的像素数据。该处理器可以被配置为进行以下操作：从接口接收像素数据；响应于像素数据而生成视频帧；对视频帧执行计算机视觉操作以检测对象；基于对象的特性来执行对检测到的对象的分类；确定所述对象的分类是否对应于用户定义的事件和用户定义的面部；根据视频帧来生成经编码的视频帧。经编码的视频帧可以包括视频帧的第一样本和视频帧的第二样本，该第一样本是在用户定义的事件未被检测到时以第一速率选择的，该第二样本是在用户定义的事件被检测到时以第二速率选择的。第二速率可以大于第一速
率。包括用户定义的面部而没有第二人的视频帧被从经编码的视频帧中排除。
附图说明
7.根据下面的详细描述和所附权利要求书以及附图，本发明的实施例将是显而易见的。
8.图1是示出本发明的示例上下文的图。
9.图2是示出实现本发明的示例实施例的示例互联网连接的摄像机的图。
10.图3是示出被配置为借助于神经网络来提供以事件为中心的间隔拍摄视频的装置的组件的框图。
11.图4是示出与云服务器通信的互连的摄像机和用于生成间隔拍摄视频的视频处理管线的图。
12.图5是示出边缘ai摄像机上的具有排除隐私事件视频帧的cv分析的智能间隔拍摄模式的图。
13.图6是示出边缘ai摄像机上的具有包括混合的事件视频帧的cv分析的智能间隔拍摄模式的图。
14.图7是示出在捕获的视频帧中的事件检测的图。
15.图8是示出智能间隔拍摄视频流的应用了隐私效果的经编码的视频帧的图。
16.图9是示出在智能手机上操作的用于控制针对间隔拍摄视频的偏好的应用的图。
具体实施方式
17.本发明的实施例包括利用住宅安全摄像机上的ai输入来提供以感兴趣的人为中心的间隔拍摄视频以保护隐私，本发明的实施例可以进行以下操作：(i)在边缘设备上实现事件检测；(ii)在边缘设备上实现视频编码；(iii)基于检测到的事件/对象来生成具有变化的帧速率的智能间隔拍摄视频；(iv)使用在处理器上实现的卷积神经网络来检测对象/事件；(v)调整间隔拍摄帧速率以在检测到事件/对象时捕获所有视频帧；(vi)执行面部识别和/或对象分类；(vii)排除可以是隐私问题的视频帧；(viii)模糊在经编码的视频帧中的面部；和/或(ix)被实现为一个或多个集成电路。
18.本发明的实施例可以被配置为提供智能间隔拍摄视频模式。间隔拍摄视频模式可以是通过基于在视频中捕获的内容来自动调整视频显示速度的智能间隔拍摄视频模式。本发明的实施例可以被配置为生成经编码的智能间隔拍摄视频。智能间隔拍摄视频可以在云服务上(例如，使用可扩展计算)生成。智能间隔拍摄视频可以在边缘设备(例如，人工智能(ai)摄像机)上生成。
19.本发明的实施例可以被配置为当生成智能间隔拍摄视频时保护特定的人的隐私。可以响应于检测到的对象/事件来自动地调整视频内容(例如，智能间隔拍摄视频中出现的内容)。例如，可以生成智能间隔拍摄视频流以包括陌生人的面部和行为，但是排除家庭成员的面部和行为。包括或排除视频内容的标准可以根据特定实现方式的设计标准而变化。
20.住宅安全摄像机(例如，边缘ai摄像机)可以被配置为实现人工智能(ai)技术。边缘ai摄像机使用ai技术可以在许多方面比使用云服务器更强大(例如，通过为用户提供相关的数据)并且是更节能的解决方案。边缘ai摄像机可以被配置为在设备上执行计算机可
读指令(例如，不依赖于外部处理资源)，以逐帧分析视频内容。基于分析，内容可以标记有元数据信息。元数据可以用于选择用于间隔拍摄视频的视频帧。例如，视频帧可以通过被标记为不具有感兴趣的对象/事件和具有感兴趣的对象/事件而被分类。计算机视觉(cv)操作可以确定是否存在感兴趣的对象/事件。
21.当在n秒(n＝60/120/240/
……
)的持续时间内不存在针对视频帧的感兴趣的cv事件(或对象的类型)时，边缘ai摄像机可以从无事件持续时间中选择视频帧中的一个。选定的帧可以用于视频编码(例如，在边缘ai摄像机设备中内置的视频编码器)。可以针对没有检测到事件的每个n秒持续时间重复从无事件持续时间n中选择一个视频帧用于编码。从无事件持续时间n中选择一个视频帧用于编码可以导致经编码的输出，该经编码的输出提供捕获的视频的压缩的部分(例如，从而以高显示速度高效地快进通过捕获的视频的“无意义的内容”部分)。
22.当在m秒(m＝5/15/30/
……
)的持续时间内存在针对视频帧的检测到的感兴趣的cv事件(或对象的类型)时，边缘ai摄像机可以调整在事件持续时间m内的视频帧的数量和/或选择速率。在示例中，感兴趣的对象和/或事件可以是人被检测到、汽车被检测到、检测到的动物、动作、检测到的特定的面部等。可以调整视频帧的选择以从事件的m秒持续时间中选择所有视频帧(例如，对于以每秒60帧捕获的2分钟事件，可以选择全部7200帧)。可以调整视频帧的选择以在事件的m秒持续时间内以比在无事件持续时间内更高的速率选择视频帧(例如，选择更多帧，但不是所有帧)，例如，对于以每秒60帧捕获的2分钟事件，选择的速率可以改变为30帧，并且可以每隔一帧进行选择，从而导致选择3600个视频帧。可以(例如，使用ai边缘摄像机的设备上视频编码)编码选定的视频帧。在事件持续时间m内以更高的速率选择视频帧用于编码可以导致经编码的输出，该经编码的输出提供智能间隔拍摄视频的具有针对“有意义的内容”的正常的显示速度的部分，或者智能间隔拍摄视频的具有针对“有意义的内容”的稍微压缩的显示速度(但不如“无意义的内容”的速度高)的部分。
23.利用在边缘摄像机上实现的智能间隔拍摄视频模式，用户可以快速地浏览在长时间段内(例如，几天/几周/几个月)捕获的视频内容，并且用户可以确信将不会错过感兴趣的cv事件。感兴趣的cv事件可以包括通过面部检测和/或面部识别来检测人(例如，已知的人)、(例如，使用车牌读取器)检测汽车牌照、使用动物/宠物识别来检测宠物(例如，已知的动物)、检测动作(例如，检测到的高于预定义的阈值的任何动作)等。可以被认为是感兴趣的事件的检测到的事件和/或对象的类型可以根据特定实现方式的设计标准而变化。
24.本发明的实施例可以使得用户能够指定可以被认为是感兴趣的对象/事件的类型。在一个示例中，在智能手机上操作的app可以被配置为调整针对边缘ai摄像机的设置。在另一示例中，边缘ai摄像机可以被配置为提供web界面以使得用户能够远程地选择被认为是感兴趣的事件的对象/事件。在又一示例中，边缘ai摄像机可以连接到云服务器，并且用户可以使用web界面以调整存储在云服务器上的设置，该设置然后可以被发送到边缘ai摄像机以控制感兴趣的间隔拍摄对象类型。
25.间隔拍摄的持续时间可以被配置为定期间隔，并且也可以被配置为自用户上次已经接收到间隔拍摄视频以来的时间。例如，如果用户已经错过了20个事件通知，则在用户与app进行交互(例如，在智能手机上滑动)以查看事件的瞬间，聚焦于事件的间隔拍摄可以呈现给用户以用于查看。尽管通常可以在边缘ai摄像机本地执行本发明的实施例(例如，从而
实现被配置为实现卷积神经网络和/或视频编码的处理器)，但是可以使用云服务器上的软件来执行本发明的实施例以实现类似的效果。
26.本发明的实施例可以被进一步配置为基于检测到的对象/事件来解释潜在的隐私问题。例如，检测到的cv事件可以包括检测人(例如，陌生人的面部、已知的人的面部、家庭成员的面部等)。当在m秒(m＝5/15/30/
……
)的持续时间内存在针对视频帧的检测到的感兴趣的cv事件(或对象的类型)时，该cv事件可以是持续时间为p的隐私事件。边缘ai摄像机可以被配置为确定该cv事件是没有隐私事件的cv事件还是具有隐私事件的cv事件。例如，隐私事件可以包括对已知的人的面部(例如，匹配预定义的面部输入或用户定义的面部输入的面部)的检测。如果面部对应于隐私事件，则边缘ai摄像机可以被配置为绘制隐私遮罩、应用模糊效果和/或将另一种类型的失真效果应用于面部并记录元数据(例如，将标记应用于视频帧)。如果面部对应于陌生人(例如，不匹配预定义的面部输入或用户定义的面部输入)，则可以选择该视频帧用于编码(例如，以作为智能间隔拍摄视频的一部分)。
27.边缘ai摄像机可以被配置为记录完整的视频内容(例如，输入或原始视频流)。完整的视频内容可以被记录到本地存储装置(例如，emmc、microsd卡等)。边缘ai摄像机可以对捕获的视频执行快速面部检测和/或面部识别。如果视频帧包括任何用户定义的面部(例如，任何家庭成员)，则可以绘制隐私遮罩(例如，可以在面部上绘制绿色遮罩、黑色遮罩等)。可以应用其他失真效果(例如，模糊效果、马赛克效果等)。如果视频帧包括陌生人的面部，则然后该视频帧可以被选择(例如，因为已经检测到事件)，但是可以对该面部不进行改变。如果视频帧包括用户定义的面部和陌生人面部两者，则边缘ai摄像机可以检测用户定义的面部在视频帧中的位置，并且仅将失真效果应用于用户定义的面部，而不应用于陌生人面部。在一些实施例中，边缘ai摄像机可以(例如，基于用户设置/偏好)不将失真效果应用于任一面部。在一些实施例中，当视频帧包括用户定义的面部时，该视频帧可以不被选择用于智能间隔拍摄视频流(例如，可以排除整个视频帧，并且不以针对非cv事件视频帧的帧速率选择该视频帧)。
28.用户定义的面部可以由终端用户选择。app可以被配置为接收用户定义的面部并且将用户定义的面部提供给边缘ai摄像机。在示例中，可以通过本地网络(例如，而不是云网络)来提供用户定义的面部。通过本地网络提交用户定义的面部可以确保隐私信息(例如，家庭成员的面部)不被暴露给云服务(例如，从未上载到云)。间隔拍摄的持续时间可以被定义为针对非cv事件、陌生人面部(例如，定期cv事件)和家庭面部(例如，隐私事件)的定期间隔。
29.参考图1，示出了说明本发明的示例上下文的图。示出了住宅50和车辆52。示出了摄像机系统100a-100n。摄像机100a-100n中的每一个可以被配置为生成智能间隔拍摄视频。例如，摄像机100a-100n中的每一个可以被配置为彼此独立地操作。摄像机100a-100n中的每一个可以捕获视频并生成智能间隔拍摄视频。在一个示例中，可以将相应的智能间隔拍摄视频上载到云存储服务。在另一示例中，可以本地存储相应的智能间隔拍摄视频(例如，存储在microsd卡上、存储到本地网络附接的存储设备等)。
30.摄像机100a-100n中的每一个可以被配置为检测可以被认为是感兴趣的不同的或相同的事件/对象。例如，摄像机系统100b可以捕获住宅50的入口附近的区域。对于住宅50的入口，感兴趣的对象/事件可以是检测人。摄像机系统100b可以被配置为分析视频帧以检
测人，并且当检测到人时，智能间隔拍摄视频可以减慢速度(例如，选择用于以更高的帧速率编码的视频帧)。在另一示例中，摄像机系统100d可以捕获车辆52附近的区域。对于车辆52，感兴趣的对象/事件可以是检测其他车辆和行人。摄像机系统100b可以被配置为分析视频帧以检测车辆(或道路标志)和人，并且当检测到车辆或行人时，智能间隔拍摄视频可以减慢速度。
31.参考图2，示出了说明实现本发明的示例实施例的示例互联网连接的摄像机的图。示出了摄像机系统100a-100n。每个摄像机设备100a-100n可以具有不同的样式和/或用例。例如，摄像机100a可以是行动摄像机，摄像机100b可以是天花板安装式安全摄像机，摄像机100n可以是网络摄像机等。可以实现其他类型的摄像机(例如，住宅安全摄像机、电池供电摄像机、门铃摄像机等)。摄像机100a-100n的设计/样式可以根据特定实现方式的设计标准而变化。
32.摄像机系统100a-100n可以包括处理器102和捕获设备104。处理器102可以被配置为实现卷积神经网络(cnn)。处理器102可以被配置为实现视频编码器。处理器102可以生成智能间隔拍摄视频。捕获设备104可以被配置为捕获可以用于生成视频帧的像素数据。
33.参考图3，示出了说明被配置为借助于神经网络来提供以事件为中心的间隔拍摄视频的装置的组件的框图。
34.处理器102可以被配置为根据从捕获设备104a-104n接收到的像素数据来生成经编码的视频帧。处理器102可以被配置为选择要被编码用于智能间隔拍摄视频的视频帧。可以响应于由cnn模块190b检测到的对象/事件而选择视频帧。调度器电路190a可以加载包括用于检测各种类型的对象/事件的参数的有向非循环图(dag)。例如，可以响应于由用户选择的感兴趣的事件的类型而加载不同的dag。
35.参考图4，示出了说明与云服务器通信的互连的摄像机和用于生成间隔拍摄视频的视频处理管线的图。边缘ai摄像机可以被配置为与远程云服务和/或用户设备(例如，智能手机)通信。用户可以使用智能手机52b-52n上的app选择设置。偏好可以作为事件设置存储在云服务中。云服务可以为处理器102提供神经网络参数(例如，特征集)。处理器102可以接收特征集以检测对象/事件。边缘ai摄像机可以被配置为将经编码的视频帧(例如，智能间隔拍摄视频)上载到云服务。经编码的视频帧可以存储在云服务的大容量视频存储装置中。用户可以使用智能手机来访问经编码的视频帧。智能手机可以连接到大容量视频存储装置并下载智能间隔拍摄视频。云服务可以进一步基于智能间隔拍摄视频的元数据标记中的内容来将通知提供给智能手机。
36.示出了处理器102的视频处理管线。处理器102可以响应于由捕获设备104捕获的像素数据而生成原始视频帧。该原始视频帧可以由cnn模块分析。cnn模块可以包括ai模型(例如，dag)。cnn模块可以基于用户的偏好来检测感兴趣的对象(例如，检测人、车辆、动物、移动、声音等中的一个或所有作为事件)。
37.当检测到事件时，cnn模块可以标记视频帧。可以将标记有事件的视频帧提供给视频编码管线。可以以经调整的帧速率(例如，完整的视频或比当未检测到事件时更高的帧速率)对具有检测到的事件的视频帧进行编码。
38.cnn模块可以确定哪些帧不具有检测到的事件(例如，不感兴趣的视频帧)。在不具有事件的视频帧中，处理器102可以为长度n的每个持续时间选择一个视频帧。例如，处理器
102可以从其中视频以60fps被捕获的持续时间n中选择一个视频帧(例如，从在一秒中捕获的60帧中选择一个帧)。
39.未被选择的视频帧可以不被包括在智能间隔拍摄视频流中。在一个示例中，可以丢弃(例如，不存储)未被选择的视频帧。在另一示例中，未被选择的视频帧可以在记录(例如，可以存储在摄像机设备100的本地、存储在microsd卡上等的完整的视频流的记录)中使用。可以将被选择的视频帧呈现给视频编码管线，以用于编码为智能间隔拍摄视频。
40.视频编码管线可以被配置为实时地编码视频帧(例如，hevc、avc、h264等)。视频编码管线可以基于捕获的时间来将选定的视频帧按顺序插入到经编码的视频中。例如，每个视频帧可以具有时间戳，并且视频帧可以按照时间戳的顺序被插入到经编码的视频中(例如，最早的视频帧在最先，以创建按时间顺序排序的视频)。视频编码管线可以生成带有具有事件的视频帧(以正常的速度显示)和非事件的视频帧(由于选择了较少的帧，因此以更快的速度显示)的经编码的视频。
41.视频编码管线可以被配置为将各种效果应用于选定的视频帧。例如，视频编码管线可以被配置为裁剪选定的视频帧、对选定的视频帧进行畸变校正(dewarp)、根据选定的视频帧应用彩色化(或移除颜色)、将模糊应用于视频帧的片段等。在示例中，模糊效果可以应用于选定的视频帧的部分以隐藏和/或删剪特定的对象(例如，出于隐私原因隐藏已知的人的身份、隐藏裸体部分以防止裸体被上载等)。
42.处理器102可以被配置为在视频帧被编码之前执行计算机视觉操作。在视频帧被编码之前执行计算机视觉操作可以使得能够在没有首先解码视频帧的周期成本的情况下执行计算机视觉操作。例如，如果计算机视觉由云服务执行，则将经编码的视频帧发送到云服务器，并且云服务器通过以下操作浪费cpu周期和功率：首先解码视频帧，然后执行计算机视觉操作，并且然后转码间隔拍摄视频。
43.处理器102可以被配置为针对全部在边缘ai摄像机100本地的智能间隔拍摄视频执行视频帧的选择。处理器102可以实现cnn模块。cnn模块可以是处理器102的硬件组件(或一起工作的多个硬件组件)，该硬件组件实现基于cnn的检测技术(或其他类型的检测技术)，该检测技术全部在处理器102上操作以执行诸如对象检测、对象跟踪、对象分类等之类的计算机视觉操作。硬件加速的cnn模块可以使得对象/事件检测能够在摄像机系统100上执行(例如，不依赖于云服务器的计算资源来执行对象检测)。在一些实施例中，处理器可以使用软件加速以用于计算机视觉和/或使用硬件加速的计算机视觉和软件加速的计算机视觉的组合。利用在基于硬件的cnn引擎和/或基于软件的cnn引擎上运行的计算机视觉操作，在边缘设备100中实现的处理器102可以能够检测一种或多种类型的事件，并且将事件标记应用于捕获的视频帧。
44.参考图5，示出了说明边缘ai摄像机上的具有排除隐私事件视频帧的cv分析的智能间隔拍摄模式的图。示出了包括视频帧的流(例如，图片组(gop))的捕获的视频流。cnn模块可以执行计算机视觉以确定哪些视频帧包括cv事件以及哪些视频帧包括隐私事件。视频帧的前两个持续时间为n的组可能不包括cv事件。可以由处理器102选择来自前四个持续时间为n的组中的每一个组的视频帧中的一个以用于智能间隔拍摄视频(例如，选择两个非事件视频帧)。
45.在两个非事件组之后，可以检测到cv事件(例如，持续时间为m)。响应于计算机视
觉操作，可以确定cv事件不包括隐私事件。在示例中，cv事件可以包括对陌生人(例如，不是用户定义的面部中的一个的面部)的检测。对于完整的智能间隔拍摄视频，在持续时间m内具有cv事件的所有视频帧可以被选择以用于智能间隔拍摄视频流。在所示的示例中，在持续时间m内可以有十二个视频帧。可以选择具有cv事件的所有十二个视频帧以用于智能间隔拍摄视频。
46.在cv事件的持续时间m之后，可以检测到隐私事件(例如，持续时间为p)。响应于计算机视觉操作，可以确定cv事件包括隐私事件。在示例中，隐私事件可以包括对家庭成员(例如，是用户定义的面部中的一个的面部)的检测。当检测到隐私事件时，可以基于用户设置/偏好来确定处理器102的响应。在所示的示例中，包括隐私事件的持续时间为p的视频帧可以被整个排除。例如，可以不选择隐私事件视频帧中的任何一个被编码用于智能间隔拍摄视频流。在另一示例中，可以将失真效果应用于在隐私事件视频帧中的用户定义的面部。在应用失真效果之后，隐私事件视频帧可以被视为cv事件视频帧(例如，可以选择全部视频帧以用于完整的智能间隔拍摄视频流，或者可以选择隐私视频帧中的一些以用于压缩的视频流的部分的间隔拍摄视频流)。排除隐私视频帧或者使用失真效果将隐私视频帧转换为cv事件视频帧可以保护在隐私事件视频帧中的人的隐私。例如，可以在不包括隐私事件视频帧的情况下上载智能间隔拍摄视频流，或者智能间隔拍摄视频流可以包括具有应用的失真效果的隐私事件视频帧以保护隐私。
47.在隐私事件的持续时间p之后，可以检测到视频帧的不包括cv事件的另外两个持续时间为n的组。可以将用于视频选择的帧速率重新调整回到默认速率。例如，可以针对视频帧的接下来的两个非事件的持续时间为n组中的每一个组选择一个视频帧。尽管第一视频帧被示出为从视频帧的非cv事件组中选择，但是可以根据特定实现方式的设计标准来从非cv事件组中的每一个组中选择视频帧中的任何一个。
48.智能间隔拍摄视频可以以正常的帧速率回放。由于要从视频帧的非cv部分回放的视频帧较少，因此智能间隔拍摄视频流的非cv部分的回放可能看起来以比实时回放更高的速度回放。例如，如果已经检测到视频帧的60个非cv事件组，则可以从针对智能间隔拍摄视频的每个帧中选择一个帧。以60fps回放智能间隔拍摄视频可以导致非cv事件组以一秒的压缩的形式回放。由于已经选择了cv事件的所有的视频帧，因此智能间隔拍摄视频流的部分的回放可以以正常的速度(例如，实时地)回放。
49.处理器102可以基于检测到的事件来生成智能间隔拍摄视频。cnn模块可以检测事件并标记对应于特定事件的视频帧。在一个示例中，视频帧(例如，帧n)可以对应于事件a和事件b，在帧n之后的接下来的一百个视频帧(例如，帧n 100)可以仅对应于事件b，并且接下来的100个帧(例如，帧p 100)可以对应于隐私事件p。处理器102可以被配置为通过以下方式来组合选定的帧：从不具有事件的视频中选择一些视频帧(例如，通常仅选择i-帧)，并且然后选择具有事件a标记的所有帧。然后，编码设备可以(例如，通过查找帧n和可以被选择的具有事件a标记的任何相邻帧)创建包括事件a的智能间隔拍摄视频(例如，压缩的视频)。类似地，可以针对事件b(例如，通过查找视频帧n和具有事件b标记的接下来的帧n 100)生成不同的智能间隔拍摄视频(例如，单独的视频文件)。对应于隐私事件p的视频帧(例如，视频帧p 100)可以从智能间隔拍摄视频流中排除。
50.参考图6，示出了说明边缘ai摄像机上的具有包括混合的事件视频帧的cv分析的
智能间隔拍摄模式的图。在一些实施例中，并非所有的视频帧可以是纯cv事件或纯隐私事件。不选择隐私事件视频帧中的任何一个可以导致许多感兴趣的事件/对象从间隔拍摄视频流中排除。
51.在所示的示例中，两个持续时间为n的非cv事件可以选择一个视频帧以用于智能间隔拍摄视频流。在两个非事件组之后，可以检测到cv事件(例如，持续时间为m)。对于完整的智能间隔拍摄视频，在持续时间m内的具有cv事件的所有视频帧都可以被选择以用于智能间隔拍摄视频流。对于部分的智能间隔拍摄视频，并非在持续时间m内的具有cv事件的所有视频帧都可以被选择以用于智能间隔拍摄视频流。例如，用于选择的帧速率可以是视频捕获帧速率的一半。在所示的示例中，在持续时间m内可以有六个视频帧。可以选择具有cv事件的六个视频帧中的三个视频帧以用于部分的智能间隔拍摄视频。
52.在cv事件持续时间m之后，可以检测到混合的cv事件。混合的cv事件可以包括感兴趣的对象和用户定义的面部两者。例如，混合的cv事件可以是对动物和家庭成员的检测。在另一示例中，混合的cv事件可以是对陌生人和家庭成员的检测。对于混合的cv事件视频帧，处理器102可以被配置为确定用户定义的面部在视频帧中的位置。处理器102可以将失真效果应用于混合的事件视频帧。可以将失真效果应用于视频帧的位置，该位置对应于用户定义的面部的位置。在将失真效果应用于混合的cv事件视频帧之后，失真的视频帧可以被视为与cv事件视频帧相同。在一个示例中，所有的失真的视频帧可以被选择以被编码用于智能间隔拍摄视频流。在所示的示例中，六个视频帧可以是失真的视频帧，并且所有六个失真的视频帧可以被包括在智能间隔拍摄视频流中。
53.在混合的cv事件视频帧之后，可以检测到隐私事件。例如，在混合的cv事件中检测到的陌生人可能会离开摄像机的视野，这在视频帧中留下用户定义的面部而没有任何其他检测到的事件。在所示的示例中，隐私事件视频帧可以从智能间隔拍摄视频流中整个排除。在隐私事件视频帧之后，可以检测到非cv事件视频帧。可以以压缩的速率选择非cv事件视频帧(例如，十二个视频帧中的两个视频帧被示出为选定的)。
54.在图5和图6中，由处理器102选择的要被编码用于智能间隔拍摄视频的视频帧被示出为大于可能未被选择的帧。出于说明的目的，选定的视频帧和/或未选定的视频帧的尺寸被示出为不同的(例如，较大的尺寸指示视频帧已经被选择，并且较小的尺寸指示视频帧尚未被选择)。通常，选定的视频帧可以不一定是特定的类型的视频帧(例如，选定的视频帧可以是i-帧、b-帧、p-帧等中的任何一个)。例如，在“cv事件持续时间”中的所有视频帧可以是与在“无cv事件持续时间”中的视频帧相同的编码gop的一部分，这可以使得选定的视频帧能够是任何类型的视频帧。在示例中，选定的帧可能不需要全都是i-帧，这是因为当视频帧被捕获并且处理器102正在执行编码时，可以由cnn模块并行地执行对象/事件检测(例如，可以不必一捕获到新的视频帧就完成通过cnn模块的计算机视觉操作)。可以执行计算机视觉操作，并且然后如果检测到事件，则可以在不改变针对该事件的视频gop的情况下将整个视频gop标记为事件(例如，事件a)。处理器102可以解码整个gop并且使用cnn模块选择帧中的一些帧。例如，对于部分的智能间隔拍摄视频(在图6中示出)，为了更好的质量，cnn模块可以决定在gop中仅查找视频帧中的一些视频帧。
55.参考图7，示出了说明在捕获的视频帧中的事件检测的图。示出了示例视频帧。示例视频帧可以包括提供给cnn模块的像素数据。cnn模块可以被配置为分析视频帧的像素数
据以确定感兴趣的事件/对象是否存在。由cnn模块检测到的对象/事件的类型可以由用户选择和/或由处理器102加载的特征集定义。
56.示例视频帧可以是住宅50的正面的捕获的视频(例如，从正门朝向车道向下的角度的视图)。示例视频帧可以包括一个人正在签收由递送员递送的包裹。递送卡车可以停放在路上。也示出了树和附近的住宅。
57.示出了表示由cnn模块检测到的对象的边界框的虚线框。检测到的对象可以是递送员的面部、人(例如，房主)的面部以及递送车辆。在示例中，针对处理器102的设置可以将感兴趣的对象定义为人和车辆。例如，树和住宅可以不是感兴趣的对象。
58.由于示例视频帧包括至少一个感兴趣的对象，因此cnn模块可以将该视频帧标记为“事件”视频帧。如果智能间隔拍摄视频包括在事件的持续时间内的所有视频帧，则示例视频帧可以被编码并转码为智能间隔拍摄视频帧。
59.参考图8，示出了说明智能间隔拍摄视频流的应用了隐私效果的经编码的视频帧的图。经编码的视频帧可以是与图7关联地示出的示例视频帧相同的视频帧。经编码的视频帧可以是失真的视频帧的示例。失真的视频帧可以是应用了失真效果的混合的事件视频帧中的一个。
60.在所示的示例中，对卡车的检测和对陌生人(例如，递送员)的检测可以由处理器102确定为事件。然而，视频帧还可以包括用户定义的面部中的一个(例如，正在签收递送的包裹的家庭成员的面部)。在家庭成员的面部周围示出了形状。形状可以具有阴影图案。具有阴影图案的形状可以表示应用于视频帧的失真效果。在所示的示例中，出于说明性目的，可以示出具有阴影图案的形状(例如，仍然示出家庭成员的面部)。然而，当应用失真效果时，家庭成员的面部可以被整个模糊。
61.可以将失真效果仅应用于家庭成员的面部(或如由用户设置定义的其他身体部位)。可以不将失真效果应用于其他cv事件。在所示的示例中，可以不将失真效果应用于卡车或陌生人。
62.在一个示例中，失真效果可以是遮罩(例如，覆盖在家庭成员的面部顶部的彩色遮罩)。在另一示例中，失真效果可以是模糊效果。在又一示例中，失真效果可以是马赛克效果。所应用的失真效果的类型可以根据特定实现方式的设计标准而变化。
63.参考图9，示出了说明在智能手机上操作的用于控制针对间隔拍摄视频的偏好的应用的图。示出了app界面。智能手机可以被配置为直接连接到边缘ai设备。智能手机可以被配置为连接到云服务以访问存储在云中的用户偏好。边缘ai设备可以被配置为根据从云中取回的设置来操作。
64.app可以使得用户能够选择是对完整的智能间隔拍摄视频流进行编码(例如，选择具有检测到的事件/对象的所有视频帧)还是对部分的间隔拍摄视频流进行编码。如果选择了部分的智能间隔拍摄视频流选项，则用户可以进一步定义针对具有检测到的事件的视频帧的选择的帧速率。在所示的示例中，60fps、30fps和15fps被示出为可用选项。针对部分的智能间隔拍摄视频的帧速率的可用选项可以根据特定实现方式的设计标准而变化。选择较低的帧速率可以导致检测到的事件的更压缩的版本被插入到智能间隔拍摄视频流中。
65.app可以使得用户能够选择要检测的对象和/或事件的类型。例如，事件可以是对人、车辆、动物的检测(例如，使用计算机视觉)、检测动作等。事件可以是音频事件(例如，检
测可能比预定义的声音级别更响亮的声音、特定的类型的声音特征等)。该app可以进一步使得用户能够观看直播流(例如，显示由边缘ai设备当前捕获的视频数据)。当cnn模块检测到事件时，该app可以提供通知。
66.app可以使得用户能够选择当检测到隐私事件视频帧时用于控制策略的选项。例如，对于混合的事件视频帧，模糊隐私面部的面部可以是一种可能性。对于隐私事件视频帧(例如，仅检测到房主)，可以提供选项。在一个示例中，该选项可以是排除整个视频帧(例如，隐私事件视频帧可以不被选择用于编码，并且将不会被编码为智能间隔拍摄视频流)。在另一示例中，该选项可以是在编码视频帧以用于智能间隔拍摄视频流之前将失真(例如，模糊)效果应用于面部。应用模糊效果可以允许隐私事件视频帧被包括在智能间隔拍摄视频流中，但是使用模糊效果以隐藏经编码的视频中的面部(或其他身体部位，或可标识的特征)。模糊效果可以使得终端用户能够查看在间隔拍摄视频中的已知的人，同时保护已知的人的隐私(例如，家长可能希望知道孩子何时从学校到家，但是不希望孩子的面部被上载到云服务器)。
67.当术语“可以”和“通常”在本文中结合“是”和动词使用时意指传达这样的意图：描述是示例性的，并且被认为足够宽泛以涵盖在本公开中呈现的具体示例以及可以基于本公开导出的可替代的示例两者。如本文中使用的术语“可以”和“通常”不应该被解释为一定暗示省略对应的元素的可取性或可能性。
68.尽管已经参考本发明的实施例具体地示出并描述了本发明，但是本领域技术人员将理解，可以在不脱离本发明的范围的情况下进行形式和细节的各种改变。