用于查看占用者状态和管理建筑物的设备的系统和方法与流程

用于查看占用者状态和管理建筑物的设备的系统和方法
1.根据35 u.s.c.
§
119的优先权要求
2.本专利申请要求于2019年3月29日提交的题为“system and method to view occupant status and manage devices of building(用于查看占用者状态和管理建筑物的设备的系统和方法)”的非临时申请no.16/370,836的优先权，该申请已被转让给本技术受让人并由此通过援引明确纳入于此。
3.领域
4.本公开一般涉及用于控制建筑物中的设备的接口。
5.相关技术描述
6.技术的进步已经导致了更小和更强大的计算设备。例如，目前存在各种便携式个人计算设备，包括无线电话(诸如移动和智能电话、平板和膝上型计算机)，它们体积小、重量轻且易于用户携带。这些设备可以在无线网络上传达语音和数据分组。此外，许多此类设备结合了附加功能性，诸如数字静止相机、数字视频相机、数字录音机和音频文件播放器。此外，此类设备可以处理可执行指令，包括可用于接入因特网的软件应用(诸如web浏览器应用)。如此，这些设备可包括显著的计算能力。
7.房屋内的“智能”设备网络(诸如启用物联网(iot)的设备)可以经由“家庭仪表板”应用来控制。例如，用户可以使用在智能电话或另一便携式个人计算设备上运行的家庭仪表板应用来打开或关闭灯或查看来自安全相机的馈送。然而，从远程位置控制设备可能给房屋内的占用者带来问题。为了解说，关闭房屋内的灯对于房屋内不期望关灯的占用者而言可能是危险的或不方便的。
8.概述
9.在一特定方面，一种用于向可安装到车辆仪表板上的视觉接口设备提供信息的设备包括存储器，该存储器被配置成存储指示建筑物的可控设备的设备信息和指示建筑物的一个或多个占用者的占用者数据。该设备还包括处理器，该处理器被配置成实时接收与该建筑物的一个或多个占用者相关联的状态信息。状态信息包括动态位置信息或动态活动信息中的至少一者。该处理器被配置成生成用于在视觉接口设备处提供建筑物的至少一部分以及与一个或多个占用者相关联的状态信息的视觉表示的输出。该处理器还被配置成基于用户输入来生成用于调整可控设备中的一个或多个设备的操作的指令。
10.在另一特定方面，一种用于提供与建筑物的占用者相关联的信息的方法包括在仪表板设备处实时接收与建筑物的一个或多个占用者相关联的状态信息。状态信息包括动态位置信息或动态活动信息中的至少一者。该方法包括在仪表板设备的视觉接口处生成建筑物的至少一部分以及与一个或多个占用者相关联的状态信息的视觉表示。该方法还包括在仪表板设备处接收与对建筑物的一个或多个可控设备的控制相关的用户输入；以及基于该用户输入来在仪表板设备处生成用于调整该一个或多个可控设备的操作的指令。
11.在另一特定方面，一种非瞬态计算机可读介质包括在由一个或多个处理器执行时使该一个或多个处理器实时接收与建筑物的一个或多个占用者相关联的状态信息的指令。状态信息包括动态位置信息或动态活动信息中的至少一者。这些指令进一步使该一个或多
个处理器生成供视觉接口设备提供建筑物的至少一部分以及与一个或多个占用者相关联的状态信息的视觉表示的输出。这些指令进一步使该一个或多个处理器接收关于对建筑物的一个或多个可控设备的控制的用户输入；以及基于该用户输入来生成用于调整该一个或多个可控设备的操作的指令。
12.在另一特定方面，一种用于执行用于提供关于建筑物的占用者的信息的操作的装备包括用于实时接收与建筑物的一个或多个占用者相关联的状态信息的装置。状态信息包括动态位置信息或动态活动信息中的至少一者。该装备还包括用于提供建筑物的至少一部分以及与一个或多个占用者相关联的状态信息的视觉表示的装置。该装备包括用于接收关于对建筑物的一个或多个可控设备的控制的用户输入的装置。该装备包括用于基于用户输入来生成用于调整一个或多个可控设备的操作的指令的装置。
13.本公开的其他方面、优点、和特征将在阅读整个申请后变得明了，整个申请包括以下章节：附图简述、详细描述、以及权利要求。
14.附图简述
15.图1是包括用于查看占用者状态和管理建筑物中的各设备的设备的系统的特定解说性示例的框图。
16.图2是包括图1的设备的各组件的第一解说性示例的框图。
17.图3是包括图1的设备的各组件的第二解说性示例的框图。
18.图4是包括图1的设备的各组件的第三解说性示例的框图。
19.图5是描绘由图1的设备生成的占用者状态和可控设备的视觉表示的解说性示例的示图。
20.图6是描绘图1的设备的第一解说性示例的示图。
21.图7是描绘图1的设备的第二解说性示例的示图。
22.图8是描绘图1的设备的第三解说性示例的示图。
23.图9是描绘由图1的设备生成的占用者状态和可控设备的视觉表示的另一解说性示例的示图。
24.图10是描绘在可由车辆的操作者和乘客查看的车辆仪表板中的图1的设备的实现的示图。
25.图11是描绘可由图10的操作者查看的占用者状态和可控设备的视觉表示的解说性示例的示图。
26.图12是描绘可由图10的乘客查看的占用者状态和可控设备的视觉表示的解说性示例的示图。
27.图13是解说提供关于建筑物的占用者的信息的特定方法的流程图。
28.图14是解说提供关于建筑物的占用者的信息的另一特定方法的流程图。
29.图15是可操作用于查看占用者状态和管理建筑物中的各设备的设备的特定解说性示例的框图。
30.详细描述
31.公开了可操作用于查看占用者状态和管理建筑物中的各设备的系统和方法。因为远程用户使用常规的家庭仪表板应用(例如，在远程电话处)来控制房屋内的设备可能给房屋的占用者带来不便或安全问题(诸如在房屋内的占用者不期望灯被关闭时关闭房屋内的
灯)，所以常规的家庭仪表板应用不太适合在占用者在建筑物内时使用。
32.如本文所述，除了提供对建筑物中的设备的控制之外，设备和系统还使用户能够查看具有关于建筑物的占用者的实时状态信息的房屋或其他建筑物的视觉表示。在一些实现中，占用者状态信息包括每个占用者的位置和活动信息并且还包括每个占用者的情绪状态和年龄估计。占用者状态信息使设备的用户能够避免原本可能由未向用户提供占用者状态信息的常规家庭仪表板应用引入的对建筑物的占用者的危险或不便。在该上下文中，“实时”是指没有显著延迟。由于状态信息与建筑物的占用者(例如，人类)有关，因此由通信等待时间、数据处理、用于播放的图像或数据缓冲等引入的任何延迟都是无关紧要的，因为这种延迟对于占用者的位置或活动显著改变而言太短并且在许多情形中对于典型的人类感知而言太短。因此，在状态信息的上下文中的“实时”指示接收到的状态信息描述了在人类动作的时间尺度(诸如若干秒或至多达一分钟)内的占用者状态。
33.此外，还描述了各种接口，包括触摸屏和上下文感知语音和姿势识别，以实现在不同条件下(诸如在实现为汽车仪表板显示器、移动设备应用或壁挂式建筑物管理显示器时)易于使用。在一些实现中，基于用户授权的访问控制保护建筑物中的占用者、建筑物中的可控设备或两者的隐私和安全性免受设备的未经授权用户或查看者的影响。
34.参考图1，公开了可操作用于提供占用者的状态并且管理建筑物中的各设备的系统的特定解说性方面，并且该系统一般被指定为100。系统100包括耦合至视觉接口设备140和话筒142的设备104。设备104还耦合至建筑物150(诸如经由一个或多个无线网络、一个或多个有线网络或其组合)。
35.建筑物150包括耦合至一个或多个可控设备156和一个或多个传感器158的建筑物管理系统154。该一个或多个传感器158被配置成检测与建筑物150的一个或多个占用者152相关的活动。在非限制性示例中，建筑物150是设备104的用户102的家。然而，在其他实现中，建筑物150是另一种类型的建筑物，诸如办公楼、公寓楼或剧院，作为非限制性示例。在解说性示例中，建筑物管理系统154是(诸如供公寓管理员使用的)多单元控制系统。
36.在一些实现中，一个或多个传感器158包括一个或多个话筒、相机、红外传感器、超声传感器、其他传感器或其组合。占用者活动(诸如在建筑物150中的各房间之间的移动、姿势和语音)由一个或多个传感器158检测并且提供给建筑物管理系统154。在一些实现中，建筑物管理系统154被配置成解读传感器数据来确定占用者152的身份、年龄和情绪状态并且将占用者信息作为状态信息130传送到设备104。例如，关于占用者的年龄和情绪状态的信息可以辅助用户102确定要经由设备104执行什么动作，如下文进一步所描述的。在一些实现中，传感器数据中的一些或全部取而代之被传送到设备104并且在设备104处被处理以生成状态信息130的对应部分。替换地或附加地，状态信息130的生成可以被分布在建筑物管理系统154与设备104之间。
37.一个或多个可控设备156响应于来自建筑物管理系统154的指令。在解说性示例中，一个或多个可控设备156包括气候控制设备(诸如中央供暖和空气单元)、照明设备(诸如可调光顶灯)、娱乐系统(诸如音频/视频系统)、一个或多个其他可控设备，或其任何组合。
38.设备104被配置成经由可视化“家庭仪表板”类型的应用向用户102提供对占用者信息的访问和对建筑物150中的各设备的控制。设备104被配置成向视觉接口设备140提供
建筑物150和一个或多个占用者152的视觉表示以及状态信息130的视觉表示以作为视觉表示144显示给用户102。设备104还响应于来自用户102的输入(诸如由用户102在由话筒142捕捉的用户语音103中说出的命令)而将命令转换成用于控制一个或多个可控设备156的指令。
39.设备104包括耦合至处理器108的存储器106和语音识别引擎118。存储器106被配置成存储可由处理器108执行以执行与视觉“家庭仪表板”类型的应用相关联的操作(例如，接收和显示与建筑物150相关的状态更新以及接收用于控制一个或多个可控设备156的用户输入)的可执行指令(例如，程序代码)。存储器106还被配置成存储与一个或多个可控设备156相关联的数据以及与一个或多个占用者152相关联的数据，如参考图2进一步描述的。
40.语音识别引擎118被配置成从话筒142接收音频信号143并且处理该音频信号143以生成用户输入119。在解说性示例中，语音识别引擎118被配置成执行自动语音识别(asr)以标识由用户102所说的词语并且生成所标识的词语的文本表示。用户输入119被提供给处理器108以用于作为对视觉仪表板类型应用的用户命令进行处理。
41.处理器108被配置成处理用户输入119以标识来自用户102的用户命令并且响应用户输入119。作为解说性示例，处理器108可以执行自然语言处理(nlp)以将用户输入119映射到要关于一个或多个可控设备156执行的动作。例如，包括词语序列“增加起居室灯光亮度”的用户输入119可被映射到关于增加建筑物150的起居室中顶灯的亮度水平25％的动作。处理器108生成并且向建筑物管理系统154传送标识要采取的动作的指令132。处理器108可以更新输出117以向用户102视觉地呈现动作已经被执行，诸如经由弹出消息或通过调整视觉表示144内的指示器(例如，调整起居室的照明水平的指示器以指示新的照明水平)。
42.在一些实现中，视觉接口设备140可安装到或集成到车辆仪表板中，诸如图7和10中所解说的。替换地或附加地，在一些实现中，视觉接口设备140被集成在移动设备中，诸如在如图6中所解说的平板设备中。在其他实现中，视觉接口设备140被实现为建筑物150内的设备，诸如图8中所解说的。在一些实现中，视觉接口设备140包括触摸屏或其他输入机制，以使得用户102能够向设备104输入非语音命令，诸如图2中所描绘的。在一些示例中，视觉接口设备140被配置成提供全息显示器，该全息显示器可以向不同的查看者提供不同版本的视觉表示144，诸如以使得经授权用户能够查看限制未经授权用户查看的信息(例如，基于坐在车辆中的用户的位置)，诸如参考图10
‑
12进一步所描述的。
43.在操作期间，在设备104、视觉接口设备140和话筒142被集成在汽车中的特定实现中，用户102(例如，汽车驾驶员)可以查看描绘建筑物150中的占用者和状况的视觉表示144。设备104接收对状态信息130的更新(诸如检测到的一个或多个占用者152的位置、活动和情绪状态的改变)，并且经由输出117来更新视觉表示144，以使得视觉表示144向用户102提供关于一个或多个占用者152的动态信息。如本文中所使用的，“动态”信息指示响应于检测到建筑物150处的状态改变而更新的信息。状态改变经由状态信息130来指示，该状态信息130可在改变被检测到之际被实时传送至设备104，或可周期性地或连续地被传送至设备104，并且由设备104处理以检测该状态改变。
44.例如，设备104可以维护每个检测到的占用者的记录并且可基于状态信息130中指示的改变(诸如当占用者在建筑物150内已经改变了位置(例如，房间)、改变了活动(例如，
占用者已经停止看电视并且现在正在参与电话或面对面交谈)、或改变了情绪状态时)来更新一个或多个记录(例如，在存储器106中)。响应于检测到的一个或多个占用者的改变，设备104更新输出117以使视觉接口设备140调整视觉表示144以指示该改变。为了解说，响应于占用者在建筑物150中的位置的改变，表示占用者的图标可以从一个位置(例如，建筑物150的图形地图中的第一房间)移除并且被插入另一位置(例如，图形地图中的第二房间)。参考图5进一步描述了显示位置、活动和其他状态信息的示例。
45.基于一个或多个占用者152的状态信息，用户102可以决定是否或如何调整一个或多个可控设备156中的一者或多者的操作。例如，用户102可以提供口述命令来关闭建筑物150中未被占用的房间的照明。作为另一示例，用户102可以在一个或多个占用者152中的一个占用者被检测为处于激动或愤怒的情绪状态时提供口述命令以使家庭娱乐系统播放轻柔缓慢的音乐，或者在检测到一个或多个占用者152中的一个占用者睡过头时提供口述命令以使家庭娱乐系统播放大声激励的音乐(例如，进行曲)。作为又一示例，状态信息130可以指示第一占用者很开心并且正在起居室看电视，并且第二占用者(例如，小孩)醒着并且正躺在卧室的床上，并且用户输入119可包括来自用户102的降低电视音量以帮助第二占用者入睡的指令。在该示例中，指令(例如，指令132)被传送到建筑物管理系统154以使电视降低音量。
46.口述命令由话筒142捕捉，由语音识别引擎118解读为用户输入119，并且由处理器108处理以生成指令(诸如指令132)。这些指令被传送到建筑物管理系统154，该建筑物管理系统使得这些指令由指定的一个或多个可控设备156执行。(诸如由传感器158检测到的)在建筑物150内的改变可以作为经更新的状态信息130被提供给设备104，并且经由视觉接口设备140来向用户102显示。
47.通过除了提供对设备156的控制之外还向用户102提供关于建筑物150的占用者的实时状态信息130，与不向用户提供占用者状态信息的常规家庭仪表板应用相比，用户102可以以降低使占用者152不便的风险远程地影响建筑物150中的改变。在占用者状态信息130包括每个占用者的位置和活动信息并且还包括每个占用者的情绪状态和年龄估计的实现中，与用户102不具有此类信息时相比，可以由用户102通过考虑占用者年龄和情绪状态来选择更有效或恰适的动作。
48.尽管在一些实现中，设备104可以与控制一个或多个可控设备156并且与一个或多个传感器158对接的建筑物管理系统154通信，但是在其他实现中，设备104被配置成在不存在中央管理系统的情况下(例如，建筑物管理系统154可被省略)(诸如在分布式物联网(iot)实现中)与一个或多个可控设备156和一个或多个传感器158交互。
49.应注意，由图1的系统100执行的各种功能被描述为由某些组件或模块来执行。然而，这种组件和模块的划分仅用于解说。在替换方面，由特定组件或模块执行的功能可以在多个组件或模块之间划分。此外，在替换方面，图1的两个或更多个组件或模块可被集成到单个组件或模块中。图1中所解说的每个组件或模块可以使用硬件(例如，现场可编程门阵列(fpga)设备、专用集成电路(asic)、数字信号处理器(dsp)、控制器等)、软件(例如，可由处理器执行的指令)或其任何组合来实现。
50.图2描绘了包括设备104的实现的系统200的示例。设备104被耦合至视觉接口设备140、话筒142和传感器244。例如，设备104可被集成到与视觉接口设备140、话筒142和传感
器244相异且分开的组件中。为了解说，视觉接口设备140可被集成到汽车仪表板设备中，话筒142可以是汽车内部中的话筒阵列的一部分，并且传感器244可被集成到汽车的另一内部组件中。设备104可以在汽车的电子封装中实现并且经由一条或多条导线或经由无线信令耦合到视觉接口设备140、话筒142和传感器244。
51.设备104包括存储器106和处理器108。存储器106被配置成存储可由处理器108执行以执行本文所描述的功能性的指令230。存储器106被进一步配置成存储指示建筑物150的一个或多个可控设备156的设备信息240。存储器106还被配置成存储指示建筑物150的一个或多个占用者152中的一者或多者的占用者数据242。
52.处理器108被耦合至存储器106并且包括输出生成器260、指令生成器262和用户验证器264。在一些实现中，输出生成器260、指令生成器262或用户验证器264中的一者或多者或全部经由在处理器108的一个或多个处理核处执行指令230来实现。在其他实现中，输出生成器260、指令生成器262或用户验证器264中的一者或多者的至少一部分经由特定于每个特定应用的专用硬件或电路系统来实现。
53.处理器108被配置成接收与建筑物150的一个或多个占用者152相关联的实时状态信息130。状态信息130包括动态位置信息202或动态活动信息204中的至少一者。如所解说的，位置信息202和活动信息204可被包括在经由视觉接口设备140提供给用户102的所显示的状态信息248中，如下文进一步描述的。另外，所显示的状态信息248可包括与一个或多个占用者152中的每一者相关联的估计年龄206和情绪状态208。
54.输出生成器260被配置成生成输出117以在视觉接口设备140处提供视觉表示144。视觉表示144图形地描绘了建筑物150的至少一部分以及与一个或多个占用者152相关联的状态信息248。例如，视觉表示144可以解说建筑物150的一个或多个内部空间的简化视图，并且可包括表示在该建筑物150内的大致位置处的一个或多个占用者152的指示符或图标，如参考图5进一步详细描述的。
55.指令生成器262被配置成使可控设备156中的一者或多者基于用户输入119来调整操作。例如，用户输入119可以表示经由用户102的可听语音从用户102接收到的命令、在视觉接口设备140的触摸屏246处的触摸检测、或被识别为给设备104的命令的用户102的姿势。在解说性实现中，由指令生成器262生成的指令132包括用于使建筑物150中的气候控制设备调整温度的指令、用于调整建筑物150的至少一个房间中的照明水平的指令或用于调整建筑物150中的娱乐系统的播放设置的指令中的至少一者。
56.设备104包括语音识别引擎118。语音识别引擎118被耦合至处理器108，并且被配置成接收与可听用户语音103相对应的音频信号143并且将该音频信号143转换成用户输入119。话筒142被耦合至语音识别引擎118，并且被配置成捕捉可听用户语音103并且生成音频信号143。
57.设备104还包括耦合至处理器108的姿势识别单元218。姿势识别单元218被配置成接收与用户姿势相对应的传感器信号243。姿势识别单元218被配置成将传感器信号243转换成用户输入119。例如，传感器244被耦合至姿势识别单元218，并且被配置成检测用户姿势并且生成传感器信号243。为了解说，传感器244可包括相机、红外传感器或超声传感器中的至少一者。可由传感器244捕捉的姿势的示例包括挥手姿势(诸如左右挥手姿势)、举手姿势、放下手姿势、张开的手、合上的手、数个扩张手指、一个或多个其他姿势、或其组合。可由
传感器244捕捉的姿势的其他示例包括头部姿势(诸如点头或摇头)、面部姿势或其任何组合。姿势识别单元218被配置成解读传感器信号243，诸如通过处理传感器信号243以形成给被配置成将输入信号分类为姿势的受训神经网络的输入。
58.设备104进一步包括触摸识别单元220，其被配置成接收与用户触摸相对应的触摸检测信号245并且将该触摸检测信号245转换成用户输入119。例如，视觉接口设备140包括耦合至触摸识别单元220的触摸屏246。触摸屏246被配置成显示视觉表示144并且生成触摸检测信号245。例如，当视觉表示144描绘建筑物150的简化图形指示时，触摸屏246可以在显示视觉表示144时检测所触摸位置，并且该位置可以由触摸识别单元220来解读以标识在视觉表示144内要由用户102操纵的一个或多个控件、一个或多个图标或一个或多个位置。
59.用户验证器264被配置成确定设备104的用户是否是经授权用户并且基于关于该用户是否是经授权用户(例如，被标识为授权访问对于未经授权用户受限的信息的用户)的确定来选择性地限制对一个或多个可控设备156的控制。例如，用户验证器264可被配置成基于用户是否是经授权用户来确定是否要选择性地限制对一个或多个可控设备156的至少一部分的访问。作为另一示例，用户验证器264可被配置成(诸如经由由用户102提供的凭证、密码、面部识别、语音识别、挑战问题、其他基于视觉或基于生物特征的信息，或用于验证用户102的身份的一个或多个机制)接收用户102的标识。可以将所标识的用户102与设备104的经授权用户的数据库进行比较，以确定对建筑物150的信息的访问。在一些实现中，设备104可用于提供关于多个建筑物(诸如用户的家、用户的办公室以及一个或多个位置)的信息。在此类情况下，用户验证器264可以为各种用户提供针对可经由设备104访问的多个建筑物中的每一者的不同的访问级别。在一些实现中，限制对状态信息248和对建筑物150的一个或多个部分的可见性的访问可基于用户102是否是建筑物150中的父母或经授权成人(诸如在建筑物150对应于用户102的家时)。在此类情形中，不是经授权用户的视觉表示144的观察者(诸如包括设备104的汽车中的乘客)可能无法看到关于建筑物150的各部分或建筑物150的一个或多个占用者的状态的特定信息。
60.设备104还包括耦合至处理器108的接收机222和发射机224。接收器222被配置成接收信息(诸如状态信息130)，并且发射机224被配置成向一个或多个可控设备156传送指令(诸如指令132)。尽管图2的接收机222和发射机224被描绘为不同的组件，但在其他实现中，接收机222和发射机224可以被实现为收发机。
61.如所解说的，设备104从外部传感器接收传感器信号(例如，音频信号143、传感器信号243和触摸检测信号245)，并且处理这些传感器信号以生成用户输入119。然而，在其他实现中，设备104替代地接收经处理的信号作为用户输入119，如图3中进一步描述的，或包括一个或多个传感器(诸如触摸屏246、话筒142、传感器244或其任何组合)。尽管图2将设备104解说为响应于经由触摸屏246、话筒142和传感器244接收到的用户输入，但是在其他实现中，设备104响应于更少的用户输入模式(诸如单个用户输入模式(例如，仅触摸检测、仅用户语音或仅姿势))，或者响应于两个用户输入模式(例如，触摸检测和用户语音、或触摸检测和姿势、或用户语音和姿势)。尽管描述了三个代表性用户输入模式，但是可以作为所描述的模式的补充或替换来实现其他的用户输入模式。作为解说性非限制性示例，在一些实现中，可以作为触摸屏246、话筒142或传感器244中的一者或多者的替换或补充来使用脑机接口(诸如基于脑电图(eeg)的接口)。
62.图3描绘了在排除图2的触摸识别单元220、语音识别引擎118、姿势识别单元218、接收机222和发射机224的实现中的设备104的示例300。设备104包括输入识别引擎302，其在处理器108处实现并且可操作用于执行如关于图2的触摸识别单元220、语音识别引擎118或姿势识别单元218中的一者或多者所描述的功能性。
63.在示例300中，设备104可以直接耦合至一个或多个传感器并且用户输入119可包括在输入识别引擎302处被处理的传感器数据(诸如触摸检测信号245、音频信号143和传感器信号243)。替换地，用户输入119可以从也被配置成执行传感器信号的信号处理和识别的用户接口设备接收。例如，话筒142可包括用于处理由话筒142生成的音频信号并且将用户输入119输出到设备104的语音识别引擎或可在包括该语音识别引擎的设备中实现。因此，设备104可被实现为可耦合至一个或多个输入设备、显示设备、传送方设备和接收方设备或网络接口或其任何组合的不同组件。
64.图4描绘了设备104的实现400的示例，其中视觉接口设备140、话筒142、传感器244、触摸识别单元220、语音识别引擎118和姿势识别单元218被集成在设备104中。例如，实现400可以对应于移动电子设备(诸如平板计算机)，如参考图6进一步所描述的。替换地，设备104可以在智能电话、膝上型计算机、一个或多个其他设备或其组合中实现。例如，话筒142可包括智能电话的话筒阵列，传感器244可包括在智能电话中实现的一个或多个相机，并且视觉接口设备140可以对应于智能电话的屏幕。接收机222和发射机224可被耦合至一个或多个天线(诸如天线阵列)，并且可以对应于用于蜂窝网络通信、电气与电子工程师协会(ieee)802.11类型的通信、短距离自组织(ad
‑
hoc)无线网络通信(诸如蓝牙类型的通信)、一个或多个无线电技术或其组合的组件。
65.图5描绘了视觉表示144的实现500的示例，并且包括建筑物150的至少一部分的视觉表示(解说为房屋的表示502)、以及各种状态指示符和用户可选择的控件。具体而言，实现500包括技能或动作选择器504、语音识别组件506、动作状态508、上下文指示符510、姿势指示符512。实现500还包括用于可控设备的操作的控件514(解说为用于娱乐系统的播放控件516和518)。状态信息520包括情绪状态208的指示符522和年龄或估计年龄206的指示符524。
66.表示502描绘了浴室530、卧室532、起居室534、厨房536、车库538和阳台540。建筑物150的位置530
‑
540中的每一者可包括(图1的)传感器158中的一者或多者以实现在传感器的特定位置内的关于占用者152的占用者检测、语音识别、姿势检测和其他信息收集。例如，位置530
‑
540中的每一者可包括一个或多个话筒、相机、其他检测器或其组合，并且可以提供传感器信息以使图1
‑
4的设备104能够显示一个或多个占用者152的状态信息(包括每个占用者的位置信息202、活动信息204、年龄206和情绪状态208)。其他环境信息也可以显示在表示502中，诸如指示为100％(全照明)与0％(无检测到的灯光)之间的值的检测到的灯光水平或照明设备(诸如可调光顶灯)的设置(其中0％指示照明设备关闭或完全调暗，50％指示照明设备调暗50％，并且100％指示照明设备未被调暗)的照明指示符542。
67.关于每个检测到的占用者152的位置信息202可以通过在针对该占用者的相应位置530
‑
540中显示图标544或其他指示符来指示。尽管针对由图标544表示的单个检测到的占用者解说了上下文指示符510、指示符522和指示符524的单个实例，但是在其中在建筑物150内标识多个占用者的实现中，可以显示上下文指示符510、指示符522和指示符524的多
个实例(每个检测到的占用者一个)。
68.动作选择器504被配置成提供可由用户102指定的动作或“技能”的列表(诸如与当前上下文相关联的下拉菜单)。例如，用户102可以(诸如经由在图标544上按压触摸屏)进行选择，以指示用户102期望查看或控制与图标544相关联的占用者的上下文。在所解说的示例中，上下文指示符510指示由图标544指示的占用者正在起居室534中看电视。动作选择器504的下拉菜单提供了适合于观看电视或操作娱乐系统的上下文的可选择动作(诸如添加歌曲)。用户102可以说出命令“调低灯光”，并且语音识别组件506可以经由自动语音识别并且根据在起居室534中看电视的上下文来将接收到的用户语音的解读显示为“调低起居室中的灯光”。作为另一示例，“向下”手势可以被检测到(例如，用户102将手从较高位置放低到较低位置)并且根据在起居室中看电视的上下文被解读为“调低电视音量”。与自动语音识别和上下文相对应的活跃技能被指示为动作状态508，并且被转换且作为指令132被发送。
69.所标识的情绪状态208可以经由对一个或多个占用者152的姿势、一个或多个占用者152的语音、一个或多个占用者152的声音特性(诸如韵律)或其组合的检测的组合来解读。例如，处理器108或语音识别引擎118可被配置成接收和处理一个或多个占用者152的经记录语音以检测一个或多个韵律元素，诸如重音、音调、音高、语速或一个或多个其他元素。在解说性示例中，历时是韵律的一个方面：如果语音的历时比平时更长或更短，说话者很可能处于情绪状态(诸如悲伤、不满意、犹豫等)。具有比平时更高或更低的动态范围的其他韵律元素(如音调和音高曲线)可能暗示说话者是高兴还是沮丧。韵律的所有特征与检测到的情绪之间可能存在相对复杂的映射相关性。所提取的韵律相关特征可被用作处理器108处的情绪分析的输入之一。替换地或附加地，一个或多个占用者152的视频捕捉可由处理器108接收并处理以检测该占用者的一个或多个物理特性(诸如肢体语言或面部表情)。处理器108可执行面部表情检测(诸如微笑或皱眉)或身体运动检测(诸如点头、摇头或耸肩)或其组合，其可指示情绪状态。处理器108可被配置成将韵律特征、视频处理的结果或两者与一个或多个音频情绪模型进行比较，以生成指示一个或多个相应情绪状态已被检测为由用户经历的一个或多个置信水平的输出。
70.还可基于用于情绪标识的因素来估计占用者的估计年龄206。例如，可以基于监督学习方法来训练年龄/性别检测器。可以提供不同年龄和性别范围(例如，儿童、50岁以下的女性、50岁或以上的女性、50岁以下的男性等)的训练语音数据，经训练的模型可以在接收到语音输入之际提供估计年龄范围和性别。估计年龄206可被用于确定与特定占用者相关联的状态信息520是否要被显示给作为未经授权用户的视觉表示144的查看者，诸如参考图7
‑
14进一步所描述的。
71.尽管实现500包括接口组件504
‑
512，但在其他实现中，为了显示的清楚起见，省略了接口组件504
‑
512中的一者或多者或全部。例如，接口组件504
‑
512可以替代地响应于经由菜单选项的选择而对于用户能被访问。
72.尽管实现500包括在建筑物150的表示502下方的状态信息520和在建筑物150的表示502内显示的图标544，但是在其他实现中，状态信息520替代地结合图标544来显示。例如，“开心的脸”视觉元素可以被描绘在图标544上(例如，集成在图标544内或覆盖在图标544上)以将所标识的情绪指示为开心，并且图标544的相对大小可以被用作该特定占用者
的估计年龄的指示符。
73.图6描绘了设备104在便携式电子设备中的特定实现600。例如，设备104可包括包含话筒142和传感器244的智能电话或平板计算机设备。
74.图7描绘了集成到交通工具仪表板设备(诸如汽车仪表板设备702)中的设备140的实现700的示例。视觉接口设备140被安装在汽车仪表板设备702内以对汽车驾驶员可见，并且视觉接口设备140也可以对交通工具的一个或多个乘客可见。视觉接口设备140可被集成在设备104内(诸如在图4的实现400中)，或者可以与设备104分开并且耦合至设备104(诸如在图2中描绘的系统200的实现中)。
75.图8描绘了实现为建筑物150内的家庭控制设备的设备104的实现800。如所解说的，设备104作为建筑物150的起居室中的壁挂式设备，其使起居室的占用者能够查看与建筑物150的每个房间和建筑物150的每个占用者相关联的位置和状态信息。
76.图9描绘了视觉表示144的实现900的示例，其中设备104的用户被限制访问建筑物150的一部分。为了解说，在其中设备104的用户不是经授权用户的实现中，为了保护建筑物150的所有者或建筑物150中私人位置的占用者的隐私，可以不显示建筑物150的私人区域。如所解说的，图5的浴室530和卧室532被涂黑以防止设备104的未经授权用户获取关于私人区域和私人区域内的占用者的信息。类似地，在其中视觉表示144的查看者被确定为未被授权查看占用者信息的情况下，关于一个或多个占用者152的信息可以被移除(诸如通过不显示图标544和状态信息520)。例如，当查看者未被授权并且占用者是未成年人时，可以省略图标544和状态信息520。
77.图10描绘了其中用户102是汽车驾驶员的实现1000的示例。视觉接口设备140被安装在汽车仪表板1006中并且对用户102和乘客1004可见。
78.在实现1000中，视觉接口设备140结合了全息显示器，该全息显示器能够为与第一查看方向1010相关联的用户102和与第二查看方向1012相关联的乘客1004提供不同的视觉显示。例如，设备104可以使用面部识别来确定用户102是经授权用户但乘客1004不是经授权用户。作为结果，设备104可以向视觉接口设备140生成输出117，以使得视觉接口设备140向用户102提供包括建筑物150的所有区域、一个或多个可控设备156和一个或多个占用者152的视觉表示144，如图11所解说的，并且向乘客1004提供省略关于建筑物150的私人区域的信息和关于一个或多个占用者152的信息的简化内容版本的视觉表示144，如图12所解说的。
79.图11描绘了如图10的用户102所见的根据图5的实现500显示不受限信息的视觉表示144的示例1100。作为对比，图12描绘了对图10的乘客1004可见且省略了敏感信息(诸如建筑物150中的私人位置和建筑物150的占用者)的显示(诸如参考图9所描述的)的视觉表示144的示例1200。
80.通过确定查看者是否是设备的经授权用户并且选择性地允许或禁止呈现关于建筑物150的一个或多个部分、一个或多个可控设备156、一个或多个占用者152或其任何组合的信息，可以提供细粒度的安全性和隐私。参考图14进一步详细描述了关于与设备104相关联的情境显示和授权的附加信息。
81.图13描绘了用于提供与建筑物的占用者相关联的信息的方法1300的实现。例如，方法1300可以由“仪表板”设备(诸如设备104)来执行。方法1300包括，在1302，在仪表板设
备处接收与建筑物的一个或多个占用者相关联的实时状态信息。状态信息包括动态位置信息或动态活动信息中的至少一者。在一些实现中，状态信息进一步包括至少一个占用者的年龄或情绪状态中的至少一者。在一示例中，状态信息对应于由设备104接收到的状态信息130。
82.方法1300包括，在1304，在该仪表板设备的视觉接口处生成该建筑物的至少一部分以及与该一个或多个占用者相关联的状态信息的视觉表示。例如，视觉接口设备140显示图5中描绘的包括建筑物150的横截面图形描绘、关于每个检测到的占用者152的不同状态信息、和用户接口控件的视觉表示144，以使得设备104的用户能够在单个显示器中(例如，在单个屏幕或全息图像上)调整可控设备156的操作。
83.方法1300包括，在1306，在该仪表板设备处接收与对该建筑物的一个或多个可控设备的控制相关的用户输入。在一些实现中，用户输入经由语音识别操作(诸如经由对音频信号143进行操作的语音识别引擎118)来接收。在一些实现中，用户输入经由姿势识别操作(诸如经由对传感器信号243进行操作的姿势识别单元218)或触摸检测操作(诸如经由对触摸检测信号245进行操作的触摸识别单元220)中的至少一者来接收。
84.方法1300包括，在1308，在该仪表板设备处基于该用户输入来生成用于调整该一个或多个可控设备的操作的指令。例如，处理器108生成要被传送到图1的建筑物管理系统154的指令132。
85.在一些实现中，方法1300包括确定仪表板设备的用户是否是经授权用户，并且基于该用户是否是经授权用户来选择性地限制对可控设备的控制或对状态信息的至少一部分的访问中的至少一者。例如，用户验证器264可以操作用于确定视觉表示144的一个或多个查看者是否是经授权用户。
86.在一些实现中，仪表板设备在车辆中，并且生成视觉表示包括响应于该车辆具有单个乘员并且该单个乘员是经授权用户，不受限地将状态信息和关于可控设备的信息纳入视觉表示中。在其他实现中，仪表板设备被集成在车辆的仪表板中，并且生成视觉表示包括响应于该车辆具有单个乘员并且该单个乘员是未经授权用户，从视觉表示省略状态信息并且省略关于非公共区域中的可控设备的信息，诸如图9中解说的。响应于车辆具有多个乘员并且车辆处于紧急情况，生成视觉表示可包括不受限地将状态信息和关于可控设备的信息纳入视觉表示中。响应于车辆具有多个乘员并且车辆不处于紧急情况，生成视觉表示可包括为不同的乘员全息地显示不同的屏幕。参考图14描述了关于基于上下文和用户认证显示的控制信息的示例的附加细节。
87.通过除了提供对建筑物内的设备的控制之外还向用户提供关于该建筑物的占用者的实时状态信息，方法1300使得用户能够以与不向用户提供占用者状态信息的常规家庭仪表板应用相比降低的使占用者不便的风险来远程地影响建筑物中的改变。在其中占用者状态信息包括每个占用者的位置和活动信息并且还包括每个占用者的情绪状态和年龄估计的实现中，与用户不具有此类信息时相比，可以由用户通过考虑占用者年龄和情绪状态来选择更有效或恰适的动作。
88.图14描绘了确定要在视觉接口设备140(诸如在图10中描绘的汽车仪表板实现中)处显示的一个或多个视觉表示的方法1400的示例。方法1400包括，在1402，确定汽车内的人数。例如，一个或多个传感器(诸如座椅传感器、相机、红外或超声传感器、或其任何组合)可
被用于确定汽车中乘员的数目和位置。响应于确定单个乘员在车内，方法1400包括，在1404，确定该单个乘员是否是经授权用户。例如，当乘员是经授权用户时，视觉表示144(例如，“仪表板”)在1406提供对私人位置、占用者数据和设备控制选项的不受限访问。替换地，当乘员不是经授权用户时，方法1400包括，在1408，显示视觉表示144以实现对公共区域中(诸如起居室、厨房和车库中)的电器的控制并且省略关于私人区域的占用者数据和信息。
89.替换地，当在汽车内检测到不止一个人时，方法1400包括，在1410，确定是否检测到紧急情况。在一些实现中，紧急情况对应于设备104的用户的紧急情况(例如，经由设备104中的加速度计或(诸)其他传感器检测到的或者通过经由无线信令从汽车的紧急响应系统接收通知检测到的车祸)。在一些实现中，紧急情况对应于建筑物的占用者的紧急情况(例如，警报(诸如作为非限制性示例的烟雾警报、火警、空气污染物警报或安全警报)被激活，并且指示检测到紧急情况的通知被发送到设备104(例如，在状态信息130中))。
90.响应于确定检测到紧急情况，方法1400包括，在1412，显示具有不受限信息的视觉表示144。否则，方法1400包括，在1414，为不同乘客全息地显示不同屏幕。不同的视觉表示144可以基于个体乘客中的每一者是经授权用户还是未经授权用户，诸如先前参考图10
‑
12所描述的。
91.通过标识车辆中乘客的数目并且为不同的乘客选择性地生成不同的全息屏幕，可以保护建筑物150内部的占用者和设备的隐私不被未经授权用户访问，而经授权用户可以完全地访问状态和控制信息。在紧急情况下，所有查看者(例如，紧急响应者)都被准予访问状态和控制信息。
92.参考图15，描绘了设备(例如，无线通信设备、家庭设备、物联网(iot)设备、语音激活的数字助理、或其组合)的特定解说性示例的框图并且一般地指定为1500。在各种实现中，设备1500包括比图15中所解说的更少或更多的组件。在解说性示例中，设备1500对应于设备104。在解说性示例中，设备1500执行参考图1
‑
14所描述的一个或多个操作。
93.在特定方面，设备1500包括处理器108(例如，中央处理单元(cpu))。设备1500可包括一个或多个附加处理器1510(例如，一个或多个数字信号处理器(dsp))。处理器1510包括语音和音乐编解码器(codec)1508、回声消除器1512或两者。处理器108经由收发机1540耦合至天线1542。收发机1540包括接收机222、发射机224或两者。
94.尽管语音和音乐codec 1508被解说为处理器1510的组件，但在其他示例中，语音和音乐codec 1508的一个或多个组件被包括在处理器108、codec 1534、另一处理组件或其组合中。设备1500还包括存储器106。设备1500包括耦合至显示控制器1526的视觉接口设备140。一个或多个扬声器1536、一个或多个话筒142或其组合可被耦合至codec 1534。codec 1534可包括数模转换器(dac)1502和模数转换器(adc)1504。
95.在特定方面，codec 1534可以从话筒142接收模拟信号，使用模数转换器1504来将模拟信号转换为数字信号，并且将数字信号提供给语音和音乐codec1508(诸如以脉冲编码调制(pcm)格式)。语音和音乐codec 1508可以处理数字信号。在特定方面，语音和音乐codec 1508可以向codec 1534提供数字信号。codec 1534可以使用数模转换器1502来将数字信号转换为模拟信号，并且可以将模拟信号提供给扬声器1536。
96.存储器106可包括可由处理器108、处理器1510、codec 1534、设备1500的另一处理单元、或其组合执行以实施本文所公开的方法和过程(诸如参考图1
‑
14所描述的一个或多
个操作)的指令230。参考图1
‑
14所描述的系统和设备中的一个或多个组件可以经由专用硬件(例如，电路系统)、通过处理器执行指令(例如，指令230)以执行一个或多个任务、或其组合来实现。作为一个示例，存储器106或处理器108、处理器1510、和/或codec 1534的一个或多个组件包括存储器设备，诸如随机存取存储器(ram)、磁阻随机存取存储器(mram)、自旋力矩转移mram(stt
‑
mram)、闪存、只读存储器(rom)、可编程只读存储器(prom)、可擦式可编程只读存储器(eprom)、电可擦式可编程只读存储器(eeprom)、寄存器、硬盘、可移动盘、或压缩盘只读存储器(cd
‑
rom)。存储器设备包括在由计算机(例如，codec 1534中的处理器、处理器108、和/或处理器1510)执行时使该计算机执行参考图1
‑
14所描述的一个或多个操作的指令(例如，指令230)。作为示例，存储器106或处理器108、处理器1510或codec1534的一个或多个组件是包括在由计算机(例如，codec 1534中的处理器、处理器108、和/或处理器1510)执行时使该计算机执行参考图1
‑
14所描述的一个或多个操作的指令(例如，指令230)的计算机可读存储设备。
97.在特定方面，设备1500被包括在系统级封装或片上系统设备1522(诸如移动站调制解调器(msm))中。在特定方面，处理器108、处理器1510、显示器控制器1526、存储器106、codec 1534和收发机1540被包括在系统级封装或片上系统设备1522中。在特定方面，输入设备1530(诸如触摸屏和/或键板)和电源1544被耦合至片上系统设备1522。此外，在特定方面，如图15中所解说的，视觉接口设备140、输入设备1530、扬声器1536、话筒142、天线1542、和电源1544在片上系统设备1522的外部。然而，视觉接口设备140、输入设备1530、扬声器1536、话筒142、天线1542、和电源1544中的每一者可被耦合至片上系统设备1522的组件(诸如接口或控制器)。在解说性示例中，设备1500对应于虚拟助理、家用电器、智能设备、物联网(iot)设备、通信设备、计算机、显示设备、电视、游戏控制台、音乐播放器、收音机、视频播放器、娱乐单元、个人媒体播放器、数字视频播放器、相机、导航设备、移动通信设备、智能电话、蜂窝电话、膝上型计算机、平板计算机、个人数字助理、显示设备、光碟播放器、调谐器、解码器系统、编码器系统或其任何组合。
98.结合所描述的各方面，公开了一种装备，该装备包括用于接收与建筑物的一个或多个占用者相关联的实时状态信息的装置。状态信息包括动态位置信息或动态活动信息中的至少一者。例如，用于接收实时状态信息的装置可以对应于接收机222、处理器108、收发机1540、被配置成接收状态信息的一个或多个其他电路或设备、或其任何组合。
99.该装备还包括用于提供该建筑物的至少一部分以及与该一个或多个占用者相关联的状态信息的视觉表示的装置。例如，用于提供的装置可以对应于视觉接口设备140、处理器108、输出生成器260、被配置成提供视觉表示的一个或多个其他电路或设备、或其任何组合。
100.该装备包括用于接收关于对该建筑物的一个或多个可控设备的控制的用户输入的装置。例如，用于接收用户输入的装置可以对应于话筒142、语音识别引擎118、触摸屏246、触摸识别单元220、传感器244、姿势识别单元218、输入设备1530、处理器108、输入识别引擎302、被配置成接收用户输入的一个或多个其他电路或设备、或其任何组合。
101.该装备包括用于基于用户输入来生成用于调整该一个或多个可控设备的操作的指令的装置。例如，用于生成指令的装置可以对应于处理器108、指令生成器262、被配置成生成指令的一个或多个其他电路或设备、或其任何组合。
102.在一些实现中，用户输入经由用于执行语音识别操作的装置(诸如语音识别引擎118、处理器108、输入识别引擎302、被配置成执行语音识别操作的一个或多个其他电路或设备、或其任何组合)来接收。
103.在一些实现中，用户输入经由用于执行姿势识别操作的装置或用于执行触摸检测操作的装置中的至少一者来接收。例如，用于执行姿势识别操作的装置可以对应于传感器244、姿势识别单元218、处理器108、输入识别引擎302、被配置成执行姿势识别操作的一个或多个其他电路或设备、或其任何组合。例如，用于执行触摸识别操作的装置可以对应于触摸屏246、触摸识别单元220、处理器108、输入识别引擎302、被配置成执行触摸识别操作的一个或多个其他电路或设备、或其任何组合。
104.在一些实现中，该装备包括用于基于用户是否是经授权用户来选择性地限制对可控设备的控制或对状态信息的至少一部分的访问中的至少一者的装置。例如，用于选择性限制的装置可以对应于处理器108、用户验证器264、被配置成选择性地限制对可控设备的控制或对状态信息的至少一部分的访问中的至少一者的一个或多个其他电路或设备、或其任何组合。
105.如本文所使用的，“耦合”可包括通信地耦合、电耦合、磁耦合、物理耦合、光耦合及其组合。两个设备(或组件)可以直接地或经由一个或多个其他设备、组件、导线、总线、网络(例如，有线网络、无线网络、或其组合)等间接地耦合(例如，通信地耦合、电耦合、或物理地耦合)。电耦合的两个设备(或组件)可被包括在相同设备或不同设备中，并且可以经由电子器件、一个或多个连接器或电感式耦合进行连接，作为解说性非限制性示例。在一些实现中，通信地耦合的两个设备(或组件)(诸如在电通信中)可以直接地或间接地(诸如经由一个或多个导线、总线、网络等)发送和接收电信号(数字信号或模拟信号)。
106.如本文所使用的，“生成”、“计算”、“使用”、“选择”、“访问”和“确定”可以互换地使用。例如，“生成”、“计算”或“确定”值、特性、参数或信号可以是指主动地生成、计算或确定值、特性、参数或信号，或者可以是指使用、选择或访问诸如由组件或设备已经生成的值、特性、参数或信号。
107.技术人员将进一步领会，结合本文所公开的各方面所描述的各种解说性逻辑框、配置、模块、电路、和算法步骤可被实现为电子硬件、计算机软件、或两者的组合。各种解说性组件、框、配置、模块、电路、和步骤已经在上文以其功能性的形式作了一般化描述。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员可针对每种特定应用以不同方式来实现所描述的功能性，但此类实现决策不应被解读为致使脱离本公开的范围。
108.结合本文所公开的各方面所描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。软件模块可驻留在随机存取存储器(ram)、闪存、只读存储器(rom)、可编程只读存储器(prom)、可擦式可编程只读存储器(eprom)、电可擦式可编程只读存储器(eeprom)、寄存器、硬盘、可移动盘、压缩盘只读存储器(cd
‑
rom)、或本领域中所知的任何其他形式的存储介质中。示例性非瞬态(例如，有形)存储介质耦合至处理器，以使得该处理器可从/向该存储介质读/写信息。在替换方案中，存储介质可被整合到处理器。处理器和存储介质可驻留在专用集成电路(asic)中。asic可驻留在计算设备或用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在计算
设备或用户终端中。
109.提供前面对所公开的各方面的描述是为了使本领域技术人员皆能制作或使用所公开的各方面。对这些方面的各种修改对于本领域技术人员而言将是显而易见的，并且本文中定义的原理可被应用于其他方面而不会脱离本公开的范围。因此，本公开并非旨在被限定于本文中示出的各方面，而是应被授予与如由所附权利要求定义的原理和新颖性特征一致的最广的可能范围。